WO2024043588A1 - 디지털 미러에 기반한 증강현실 정보 제공 장치 및 그 장치의 제어 방법 - Google Patents

디지털 미러에 기반한 증강현실 정보 제공 장치 및 그 장치의 제어 방법 Download PDF

Info

Publication number
WO2024043588A1
WO2024043588A1 PCT/KR2023/011851 KR2023011851W WO2024043588A1 WO 2024043588 A1 WO2024043588 A1 WO 2024043588A1 KR 2023011851 W KR2023011851 W KR 2023011851W WO 2024043588 A1 WO2024043588 A1 WO 2024043588A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
augmented reality
image
vehicle
processor
Prior art date
Application number
PCT/KR2023/011851
Other languages
English (en)
French (fr)
Inventor
최성환
박준식
이재영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2024043588A1 publication Critical patent/WO2024043588A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view

Definitions

  • the present invention relates to a display device provided in a vehicle, and more specifically, to a device that displays augmented reality information on a display based on a digital mirror.
  • the digital mirror is equipped with a camera aimed at the rear of the vehicle instead of a mirror such as a side mirror or room mirror that reflects the rear of the vehicle, and displays the image acquired through the mounted camera as a display or CID (CID) that replaces the room mirror. This may mean displaying through the Center Information Display.
  • CID CID
  • These digital mirrors can provide a wider viewing angle (rear viewing angle of 25 degrees or more from the driver's seat) compared to regular side mirrors (rear viewing angle of 18 degrees based on the driver's seat), and provide blind-side collision warning (BCW). It has the advantage of being able to provide various functions such as Spot Collision Warning as additional functions.
  • Augmented Reality (AR) technology which additionally outputs virtual objects in the real world using graphic objects that overlap with images captured by a camera.
  • Current vehicles provide drivers with additional information related to the environment around the vehicle, its condition, and the vehicle's driving path through augmented reality technology, so the driver can intuitively perceive the vehicle and its driving environment. Therefore, driving efficiency and convenience can be further improved.
  • augmented reality technology there is an advantage that various information necessary for driving a vehicle can be provided based on the real world.
  • digital mirrors also display images acquired through a camera through a display. Accordingly, the needs of customers who want to apply the augmented reality technology to the digital mirror have increased.
  • the present invention aims to solve the above-described problems and other problems.
  • Digital mirror-based augmentation recognizes objects displayed on a digital mirror and provides information related to the recognized objects to the user as augmented reality objects.
  • the goal is to provide a reality information providing device and a control method for the device.
  • the present invention aims to solve the above-mentioned problem and other problems, and the first and second cameras including the first object in the acquired image among the plurality of cameras are linked with each other, and the first and second cameras related to the first object are To provide a digital mirror-based augmented reality information providing device that can display augmented reality objects and a control method for the device.
  • an augmented reality information providing device detects the road environment around the vehicle and a plurality of cameras including a first camera and a second camera.
  • An interface unit that receives images including objects around the vehicle and receives sensing information that senses a driving state of the vehicle, and based on the sensing information based on an image captured by at least one of the plurality of cameras an AR module that renders at least one augmented reality object, and controls the AR module to render a first augmented reality object related to a first object among objects included in the image of the first camera, and the second camera and a processor that controls the display unit of the vehicle through the interface unit so that a second augmented reality object related to the first augmented reality object is displayed in the image in a direction opposite to the first object.
  • the processor calculates the 3D position and relative speed of the first object detected from the image of the first camera, and calculates the 3D position and relative speed of the first object according to the time taken from the time the first object was detected
  • the 3D location of the first object is estimated, and if the first object is not detected from the image of the first camera, a first augmented reality object indicating the 3D location of the estimated first object is displayed within a predetermined time. 1
  • the display unit is controlled to display the image of the camera.
  • the processor displays information related to the first object when the user selects the augmented reality object.
  • the processor based on the estimated 3D location of the first object, selects any one camera that captures an image around the estimated 3D location among the plurality of cameras as the second camera. It is characterized by decision-making.
  • the processor determines the second augmented reality object that includes a second augmented reality object that predicts the appearance of the first object based on the estimated position of the first object.
  • the interface unit is controlled so that the camera image is displayed on the display unit.
  • the processor detects the first object in the image of the second camera based on the estimated position of the first object. predicting the time at which the first augmented reality object will be included, and changing at least one of the first augmented reality object and the second augmented reality object according to the time elapsed from the time when the first object was not detected from the image of the first camera. It is characterized by
  • the processor changes the transparency of the first augmented reality object and the second augmented reality object to be opposite, depending on the time elapsed from the time when the first object was not detected, or the first augmented reality object It is characterized by changing the saturation of the augmented reality object and the second augmented reality object to be opposite.
  • the processor detects the first object based on an image captured by at least one other camera excluding the second camera. and controlling the interface unit to display an augmented reality object related to the first object based on an image captured by another camera in which the first object was detected.
  • the processor places the object in a position corresponding to the estimated 3D position among the images captured by the second camera.
  • the interface unit is controlled to display an augmented reality object related to the first object.
  • the processor calculates the distance from the center of the vehicle to the first object, calculates the time when the first object leaves the angle of view of the first camera, and calculates the time at which the first object leaves the angle of view of the first camera, and calculates the distance from the center of the vehicle to the first object.
  • Calculate the time required estimate candidate positions of the plurality of first objects as the 3D positions according to different required times for each preset unit time, and estimate the candidate positions of the plurality of first objects as the 3D positions based on at least one of the plurality of candidate positions. Determining a camera and identifying the first object included in an image captured by the second camera based on one of the plurality of candidate positions.
  • the processor projects a shape corresponding to the first object to each of the plurality of candidate positions within an image area including an area displayed through the display unit, and projects the shape corresponding to the first object into the image area displayed through the display unit.
  • At least one candidate position containing at least a part of the shape corresponding to the first object in a partial area of the image area is determined as the final candidate position, and among the objects included in the image captured by the second camera, The final candidate position corresponding to the shape corresponding to the projected first object and the object whose shapes overlap by more than a preset ratio is estimated as the three-dimensional position of the first object.
  • the processor Detect the occurrence of a preset safe driving-related event based on at least one of the following, and when the safe driving-related event occurs, crop a portion of the image including the area containing the first object among the images of the second camera. and controlling the interface unit so that the cropped image is scaled and displayed.
  • the processor crops a portion of the image from the second camera to include at least one of a specific side of the first object and an approach path of the first object, according to the aspect ratio of the display unit. Do it as
  • the processor detects a preset user's manipulation of the vehicle, determines a third camera among the plurality of cameras based on the detected manipulation, and selects a third camera from the image captured by the third camera.
  • the interface unit is controlled to crop a partial area containing at least one object and scale the image of the cropped area to display it on the display unit.
  • the processor determines the risk of at least one object included in the cropped area based on at least one of distance, speed, and driving direction, and differentiates different augmented reality objects according to the determined risk.
  • the AR module is controlled so that is displayed.
  • the user's operation includes operating a turn signal to enter a specific lane or looking at a mirror corresponding to a specific direction for more than a certain period of time, and the processor responds to the activated turn signal.
  • the third camera is characterized in that a camera that takes pictures of a lane along the lane or a specific direction according to a mirror that the user has looked at for a certain period of time or more is determined as the third camera.
  • a method of controlling an augmented reality information providing device includes controlling a first object included in a first camera among a plurality of cameras provided in a vehicle. Identifying, displaying a first augmented reality image including an augmented reality object related to the identified first object, estimating at least one location of the first object after a predetermined time has elapsed, Among the plurality of cameras, determining a second camera to acquire an image of the first object after the predetermined time has elapsed based on the estimated location of the first object, and determining a first camera from the image acquired from the second camera determining a display position according to the direction facing the object, and obtaining a second augmented reality object from the second camera to display the first augmented reality object and a second augmented reality object related to the first object at the determined display position. Characterized by comprising the step of controlling a display of the vehicle that displays an image.
  • the present invention has the effect of being able to receive information related to an object displayed on a digital mirror through augmented reality.
  • the present invention displays augmented reality information related to an object that has disappeared from the field of view of the user looking ahead through the digital mirror, so that even if the object enters the blind spot, the object This has the effect of allowing users to check related information.
  • Figure 1 is a block diagram for explaining the configuration of a digital mirror-based augmented reality information providing device according to an embodiment of the present invention connected to a vehicle.
  • Figure 2 is a flowchart showing an operation process in which an augmented reality information providing device according to an embodiment of the present invention displays an augmented reality object related to an object recognized by a first camera on a second camera image.
  • Figure 3 is an example diagram showing an example in which surrounding objects move relative to the movement of a vehicle equipped with an augmented reality information providing device according to an embodiment of the present invention.
  • FIG. 4 is an exemplary diagram illustrating examples of augmented reality objects displayed on the CID and room mirror displays according to the relative movement of the objects shown in FIG. 3.
  • Figure 5 is a flowchart showing an operation process in which the augmented reality information providing device according to an embodiment of the present invention determines a second camera among a plurality of cameras based on the estimated position of the first object after a predetermined time.
  • Figure 6 is an exemplary diagram illustrating an example in which the augmented reality information providing device according to an embodiment of the present invention estimates first object estimated positions after a predetermined time.
  • Figure 7 is a flowchart showing an operation process in which an augmented reality information providing device according to an embodiment of the present invention displays an augmented reality object related to a first object recognized in a first camera image on an image of a second camera.
  • Figure 8 is an example diagram showing an example in which the augmented reality information providing device according to an embodiment of the present invention displays the location of a first object obscured by an obstacle through an augmented reality object.
  • Figure 9 is a flowchart showing an operation process in which an augmented reality information providing device detects an object corresponding to the first object in a second camera image according to an embodiment of the present invention.
  • Figure 10 is an example diagram showing an example in which the augmented reality information providing device according to an embodiment of the present invention determines candidate positions in a second camera image corresponding to the projection of the estimated first object position after a predetermined time.
  • Figure 11 is an example diagram showing an example in which an augmented reality information providing device according to an embodiment of the present invention detects an object corresponding to the first object based on generated candidate objects.
  • FIGS. 12 and 13 are diagrams illustrating an example in which the augmented reality information providing device according to an embodiment of the present invention displays different augmented reality information about objects around the vehicle depending on the distance from the vehicle.
  • Figure 14 is an example diagram showing an example in which the augmented reality information providing device according to an embodiment of the present invention displays augmented reality objects that predict the appearance of the first object differently depending on the estimated position of the first object.
  • Figure 1 is a block diagram for explaining the configuration of a digital mirror-based augmented reality information providing device according to an embodiment of the present invention connected to a vehicle.
  • a digital mirror-based augmented reality information providing device (hereinafter referred to as augmented reality information providing device) according to an embodiment of the present invention includes a processor 100 and an interface unit 110 connected to the processor 100. , may be configured to include an Augmented Reality (AR) module 120, a memory 130, and a communication unit 140.
  • AR Augmented Reality
  • the components shown in FIG. 1 are not essential for implementing the augmented reality information providing device according to an embodiment of the present invention, so the augmented reality information providing device described in this specification has more components than the components listed above. It may have many or few components.
  • the interface unit 110 can be connected to an interface unit (not shown, hereinafter referred to as a vehicle interface unit) of the vehicle 200, and can be used to connect various devices provided by the vehicle 200 through the vehicle interface unit. Information can be received.
  • the vehicle interface unit may serve as a passageway between various types of external devices connected to the vehicle 200 or each component of the vehicle 200.
  • the vehicle interface unit may have various ports connected to the interface unit 110, and may be connected to the interface unit 110 through the ports. And data can be exchanged with the interface unit 110.
  • the interface unit 110 may be connected to each component of the vehicle 200 through the vehicle interface unit.
  • the interface unit 110 may be connected to an Advanced Driver Assistance Systems (ADAS) 210 provided in the vehicle 200.
  • ADAS Advanced Driver Assistance Systems
  • the ADAS (210) is a system that recognizes some of the numerous situations that may occur while driving, judges the situation, and controls the functions of the vehicle (100). In case of a risk of collision, the ADAS (210) automatically reduces the speed without the driver having to step on the brake.
  • AEB Autonomous Emergency Braking
  • LKAS Longe Keep Assist System
  • ASCC Advanced Smart Cruise Control
  • ABSD 'Active Blind Spot
  • It may be a system that includes 'Detection' and 'Around View Monitor (AVM)', which visually shows the situation around the vehicle.
  • the ADAS 210 may be equipped with a plurality of cameras (camera 1 211, camera 2 212, ... camera 210n).
  • the plurality of cameras are cameras provided in the vehicle 200, and may be cameras with angles of view set to acquire images in different directions with the vehicle 200 as the center.
  • the first camera 211 may be a camera that acquires an image of the front of the vehicle 200.
  • the second camera 212 may be a camera that acquires an image of the rear of the vehicle 200.
  • camera number 3 (not shown) and camera number 4 (not shown) may be cameras that acquire images of the left and right sides of the vehicle, respectively.
  • camera number 5 (not shown) may be a camera (e.g., a camera corresponding to the left side mirror) for acquiring an image of the rear of the vehicle 200 from the left side of the vehicle 200
  • camera number 6 (not shown) may be a camera for acquiring an image of the rear of the vehicle 200 from the left side of the vehicle 200.
  • a plurality of front cameras may be deployed to obtain images of the front of the vehicle 200.
  • a plurality of rear cameras may be disposed to obtain images of the rear of the vehicle 200
  • a plurality of left and right cameras may be disposed to acquire images of the left and right sides of the vehicle 200.
  • the ADAS 210 can distinguish between cameras that acquire images in a specific direction, and combine the images obtained from each camera to generate an image in the specific direction. By combining a plurality of cameras to obtain an image in a specific direction, an image with a wider angle of view in the specific direction can be provided to the user.
  • the ADAS 210 uses the plurality of cameras to recognize various objects around the vehicle, and the recognized objects based on the vehicle 200, such as the distance and angle between the vehicle 200 and the recognized objects. Their relative positions can be calculated. And the information detected and calculated by the ADAS 210, that is, object information including recognized objects and information about the relative positions of the recognized objects, will be transmitted to the processor 100 through the interface unit 110. You can.
  • the interface unit 110 may be connected to the navigation system 220 of the vehicle 200 through the vehicle interface unit. Additionally, navigation information provided from the connected navigation system 220 may be transmitted to the processor 100. Then, the processor 100 can detect the location of the vehicle 200 on the current route based on the navigation information and the vehicle location detected by the sensing unit of the vehicle 200.
  • the interface unit 110 may be connected to a sensing unit 230 including a plurality of sensors provided in the vehicle 200.
  • the plurality of sensors provided in the sensing unit 230 may include a sensor for identifying the location of the vehicle 200 and sensors for detecting the state of the vehicle and the state of the driver.
  • the sensing unit 230 includes a posture sensor (e.g., yaw sensor, roll sensor, pitch sensor), collision sensor, wheel sensor, and speed sensor.
  • tilt sensor, weight sensor, heading sensor, gyro sensor, position module, vehicle forward/reverse sensor, battery sensor, fuel sensor, tire sensor, steering sensor by steering wheel rotation may include a vehicle interior temperature sensor, vehicle interior humidity sensor, ultrasonic sensor, illuminance sensor, accelerator pedal position sensor, brake pedal position sensor, etc. It may also include an ultrasonic sensor, a LiDAR sensor, a radar sensor, an infrared sensor, or an internal camera to detect the user's movement, for detecting the status of the occupants.
  • the processor 100 can detect the user's gesture or the user's movement looking at a specific direction or a mirror corresponding to the specific direction.
  • the interface unit 110 may be connected to a display unit 250 that outputs visual information through the vehicle interface unit or an audio output unit (not shown) of the vehicle 200 that outputs audio information.
  • the sound output unit may include at least one speaker provided in the vehicle 200.
  • event information under the control of the processor 100 may be provided to the audio output unit so that the audio output unit outputs the event information.
  • the display unit 250 may include a plurality of displays.
  • the display unit 250 may include a center information display (CID) 251, a room mirror display 252, and a head up display (HUD) 253.
  • the room mirror display 252 is a display that displays images acquired by the rear camera of the vehicle 200, and may be a display (digital mirror) that replaces the role of the existing room mirror.
  • Each display included in the display unit 250 for example, the CID 251, the room mirror display 252, and the HUD 253, each outputs images acquired from cameras of different vehicles 200. You can.
  • one display may display images acquired from two or more cameras under the control of the processor 100.
  • any of the displays may be partitioned into a plurality of areas, and images acquired from different cameras may be displayed in each partitioned area.
  • the CID 251 may simultaneously output an image acquired from the front camera of the vehicle 200 and an image acquired from at least one other camera.
  • the CID 251 may be divided into three areas, and in the left area, an image obtained from a camera provided on the left side of the vehicle 200 and acquiring an image of the left rear of the vehicle 200 may be displayed. In the right area, an image obtained from a camera installed on the left side of the vehicle 200 and acquiring an image of the right rear of the vehicle 200 may be displayed. And the image obtained from the front camera of the vehicle 200 may be displayed in the central area.
  • the left area of the CID 251 can function as a left digital side mirror
  • the right area of the CID 251 can function as a right digital side mirror.
  • FIG. 1 only three displays, the CID 251, the room mirror display 252, and the HUD 253, are shown, but of course, many more displays can be included in the display unit 250.
  • a display corresponding to the left digital side mirror and a display corresponding to the right digital side mirror may be further included in the display unit 250.
  • the interface unit 110 may be connected to an input unit (not shown) of the vehicle 200 that receives user input through the vehicle interface unit.
  • the input unit may include a touch input unit capable of receiving a touch input from an occupant of the vehicle 200, that is, a user, or a microphone capable of receiving a voice input from the user. And when a user's input is received through the input unit, the interface unit 110 may input the received user's input into the processor 100.
  • At least one display provided in the vehicle 200 may form a touch screen capable of both visual information output and touch input.
  • the interface unit 110 may output an image acquired from at least one camera through the touch screen and receive a user's touch input sensed through the touch screen.
  • the augmented reality information providing device may be provided with an AR module 120 that renders and outputs an AR image including an augmented reality object.
  • the AR module 120 includes an image manager for forming an image including an augmented reality object, that is, an AR image, and an AR renderer for rendering an image including an augmented reality object on a display. can be provided.
  • the AR module 120 receives images sensed from a plurality of cameras connected to the ADAS 210, user gesture information or touch event information sensed through the input unit of the vehicle 200, and the ADAS 210 and navigation. Information sensed by the system 220, the sensing unit 230, etc. can be received through the interface unit 110.
  • images sensed by the plurality of cameras are received through the interface unit 110, and object identification can be performed under control of the processor 100. And the object identification result may be input to the processor 100. Additionally, the AR module 120 may determine an augmented reality object containing information corresponding to the recognized object and determine the determined augmented reality object.
  • the augmented reality object may be stored in the memory 130.
  • the augmented reality object may be provided from a preset server, for example, a cloud server.
  • the AR module 120 transmits the recognized object and information related to the recognized object, such as the current location and navigation information of the vehicle 200, to the cloud server along with the object recognition result, and transmits In response to the object recognition result and related information, an augmented reality object corresponding to the recognized object may be received.
  • the image configuration unit may determine an area on the image where each augmented reality object is to be placed, and place the determined augmented reality object on the image.
  • the AR renderer can receive image composition information of objects placed in each area of the image from the image composition unit. Additionally, an image according to the received image configuration information may be rendered on at least one display.
  • the augmented reality object may include various information related to the recognized object.
  • an augmented reality object corresponding to a specific place or building that is, a POI object
  • the information about the business office may include the name, industry, and contact information of the business office, and information about the services provided by the business office.
  • information related to these augmented reality objects that is, augmented reality information, can be displayed on the display based on the user's input for the augmented reality object.
  • the augmented reality information providing device may include a plurality of displays.
  • the AR module 120 may include a plurality of AR renderers for rendering images including augmented reality objects on each display.
  • the AR module 120 fuses information sensed from a plurality of cameras connected to the ADAS 210 or a plurality of sensors provided in the sensing unit 230 under the control of the processor 100, and the fused information Based on this, augmented reality objects can be displayed on the plurality of displays so that the images acquired from the plurality of cameras are organically linked with each other.
  • the AR module 120 receives vehicle CAN, GPS, IMU (Inertial Measurement Unit), navigation route information, etc. from the ADAS 210, the sensing unit 230, and the navigation system 220 and provides information to the vehicle. It may be provided with a fusion unit (not shown) that calculates a series of matrix information for projecting the 3D positions of surrounding objects on a reference coordinate system onto a target display. And the sensed values fused in the fusion unit can be shared by each AR renderer. And each AR renderer can create AR graphics displayed on different displays.
  • the AR module may be implemented in plurality according to the plurality of displays.
  • different image components and AR renderers included in each AR module can render AR images displayed on different displays.
  • the display unit 250 includes the CID 251, the room mirror display 252, and the HUD 253, the CID 251, the room mirror display 252, and the HUD AR modules corresponding to 253 may be provided.
  • each AR module may be provided on each display. That is, an AR module may be provided in the CID 251, the room mirror display 252, and the HUD 253, respectively.
  • the processor 100 fuses information sensed from a plurality of cameras connected to the ADAS 210 or a plurality of sensors provided in the sensing unit 230, and obtains information from the plurality of cameras based on the fused information.
  • the plurality of AR modules can be controlled so that the images are organically linked with each other.
  • the plurality of AR modules can each receive the sensed values of the ADAS 210 and the sensed values of the sensing unit 230 through the interface unit 110.
  • the connectivity of the augmented reality objects displayed on each display may decrease (e.g., because the results of GPS sensor fusion are different, the first AR module is an augmented reality object.
  • the second AR module does not display the augmented reality object, etc.
  • the plurality of AR modules each AR module's intermediate calculation data (e.g., filtered GPS location of the own vehicle, filtered location of surrounding objects, current
  • the processor 100 can control to share the type of augmented reality content being displayed, a matrix for the position of the camera on the road surface for vehicle vibration compensation, etc.).
  • the processor 100 uses the average of the matrix value calculated in the second AR module and the matrix value calculated in the first AR module for the matrix value related to the posture of the vehicle, or uses the average of the matrix value calculated in the first or first AR module.
  • One of the 2 AR modules can receive the matrix value calculated from the other and use it as is.
  • the memory 130 can store data supporting various functions of the augmented reality information providing device.
  • the memory 130 stores a plurality of application programs (application programs or applications) that can be executed by the processor 100, data for the operation of the AR module 120 and the interface unit 110, and instructions. You can. Additionally, data to support the ADAS 210 and a plurality of cameras connected to the ADAS 210 (e.g., calibration data), and data for the operation of the navigation system 220 and the sensing unit 230 may be stored.
  • the AR module 120 contains map information around the vehicle 200 and information on a plurality of POIs (Positions of Interest) included in the map. may be included. Additionally, it may include augmented reality content, that is, augmented reality objects, corresponding to each of the POIs included in the map. Additionally, the augmented reality content may include various information related to the POI, such as the POI's business name, industry, services provided, contact information, and selectable menus, that is, augmented reality information. Therefore, based on the POI information stored in the memory 130, the AR module 120 can display an image including an augmented reality object, that is, an augmented reality image, on at least one display included in the display unit 250. . Additionally, augmented reality information related to the selected POI may be displayed on at least one display based on the user's input for the displayed augmented reality object.
  • augmented reality content that is, augmented reality objects, corresponding to each of the POIs included in the map.
  • the augmented reality content may include various information related to the POI
  • the POI information and augmented reality content may be provided from a preset server, for example, a cloud server.
  • the processor 100 may connect wireless communication with the cloud server through the communication unit 140 and provide the location information of the vehicle 200 obtained from the sensing unit 230 to the cloud server.
  • the cloud server may transmit map information containing POI information, information about at least one POI around the current location of the vehicle 200, and augmented reality content for each POI, and POI information transmitted from the cloud server.
  • the augmented reality content may be stored in the memory 130.
  • the processor 100 controls each connected component and typically controls the overall operation of the augmented reality information providing device.
  • the processor 100 may receive information provided from the ADAS 210, the navigation system 220, and the sensing unit 230 of the vehicle 200 through the interface unit 110.
  • the processor 100 may receive images acquired from each of a plurality of cameras through the ADAS 210. Additionally, recognition results of objects included in images acquired from each camera can be received through the ADAS 210. And, depending on the recognition result, the AR module 120 can be controlled to render an augmented reality image in which the augmented reality object for the recognized object overlaps the image acquired from the camera. Additionally, the display unit 250 can be controlled through the interface unit 110 so that the augmented reality image rendered by the AR module 120 is displayed on at least one display.
  • the processor 100 determines the distance between each of the recognized objects and the vehicle 200 from the ADAS 210 (hereinafter, relative distance) and the angle according to the position of each recognized object with respect to the vehicle 200 (hereinafter, relative distance). You can receive information about angle). Additionally, information on the driving direction and moving speed (hereinafter referred to as relative speed) of each recognized object according to the current driving direction and current speed of the vehicle 200 can be received.
  • the processor 100 can estimate the location of a specific object after a predetermined time based on the received object information, for example, information about relative speed, relative angle, and relative distance. And based on the estimated location, the camera in which the specific object will be included can be determined.
  • the front camera of the vehicle 200 may acquire an image including the specific object.
  • the processor 100 may control one display so that the augmented reality object corresponding to the specific object displays an augmented reality image displayed around the specific object according to the recognition result of the specific object.
  • the camera that first acquired the image containing the specific object may be determined as the first camera.
  • the ADAS 210 can calculate the relative speed, relative distance, and relative speed of the specific object included in the image of the first camera and provide them to the processor 100. Then, the processor 100 can estimate the location of the specific object after a predetermined time based on the relative speed and relative distance of the specific object received from the ADAS 210 and the relative speed. For example, the processor 100 may estimate the location of the specific object after the predetermined time based on the point in time when the specific object is not detected by the front camera.
  • the processor 100 may determine a camera having an angle of view including the position of the specific object after the estimated predetermined time as the second camera. That is, as described above, if the specific object is a vehicle traveling in the opposite lane in the direction facing the vehicle 200, the processor 100 monitors the rear camera of the vehicle 200 to determine the possibility of the specific object appearing. You can decide on this higher camera, that is, the second camera.
  • the processor 100 receives information for recognition of the specific object recognized in the image of the first camera, that is, the shape, from the recognition results of the ADAS 210 for objects included in the image acquired by the second camera. Objects corresponding to characteristic information such as color, size, etc. can be detected. And when a corresponding object is detected, the augmented reality object corresponding to the specific object controls the AR module 120 to display an augmented reality image displayed around the specific object and displays one of the augmented reality objects through the interface unit 110. You can control the display of
  • the processor 100 determines the location of the changed object. Accordingly, the object can be tracked by linking a plurality of cameras including the object. And, through images acquired from linked cameras, augmented reality objects corresponding to the tracked objects can be continuously displayed. Accordingly, the user can more easily and intuitively recognize the movement of an object detected in a specific direction of the vehicle 200.
  • the processor 100 predicts the appearance of the specific object in the image acquired by the second camera.
  • the AR module and interface unit 110 can be controlled to display an augmented reality image with overlapping augmented reality objects.
  • the processor 100 selects an augmented reality object that predicts the appearance of the specific object, that is, an augmented reality object corresponding to the specific object (e.g., the first augmented reality object) and another augmented reality object (e.g., the second augmented reality object) related to the specific object.
  • the AR module 120 may be controlled to render an image from the second camera including an augmented reality object.
  • the display unit 250 can be controlled through the interface unit 110 so that the augmented reality image including the rendered second augmented reality object is displayed on any one display.
  • the processor 100 directs the estimated position of the specific object in the image acquired by the second camera in a direction opposite to the estimated position of the specific object after a predetermined time, that is, in a direction facing the estimated position of the specific object.
  • the AR module 120 can be controlled so that the second augmented reality object overlaps at a position corresponding to the direction. Therefore, there is an effect that the user can recognize in advance the position where the specific object will appear through the second augmented reality object even before the specific object is included in the image of the second camera.
  • the processor 100 includes the changed characteristic information.
  • the AR module 120 may be controlled so that augmented reality information is displayed on the image of the second camera.
  • the processor 100 controls the AR module 120 and the interface unit 110 to display the second augmented reality object differently depending on the distance between the vehicle 200 and the estimated location of the specific object after the predetermined time. can do.
  • the imminent appearance of the specific object may be indicated by increasing the size of the second augmented reality object or changing the saturation or brightness.
  • the first camera and the second camera may be determined differently depending on the relative position, relative speed, or relative angle of the object. For example, as described above, when a specific object is a vehicle in another lane traveling in the front of the vehicle 200 in the direction facing the vehicle 200, the front camera of the vehicle 200 recognizes the specific object first. can do. Additionally, the processor 100 may estimate the location of the specific object after a predetermined time and determine a rear camera as the camera to subsequently detect the specific object according to the estimated location. Accordingly, the front camera, which is the camera that recognizes the specific object first, may be the first camera, and the rear camera, which is the camera determined according to the estimated location of the specific object, may be the second camera.
  • the rear camera of the vehicle 200 Specific objects can be recognized first. Additionally, the processor 100 may estimate the location of the specific object after a predetermined time and determine a front camera as the camera to subsequently detect the specific object according to the estimated location.
  • the rear camera of the vehicle 200 may be the first camera
  • the front camera of the vehicle 200 may be the second camera.
  • the processor 100 may further display additional augmented reality objects for the recognized specific object according to at least one of the relative speed, relative angle, and relative distance of the recognized specific object. For example, when the distance between the recognized specific object and the vehicle 200 is less than a certain distance, the processor 100 adds an augmented reality object indicating the approach of the specific object to the image of the camera containing the specific object.
  • the AR module 120 can be controlled so that the overlapped augmented reality image is rendered.
  • Such additional augmented reality objects may be further displayed depending on the driving state of the vehicle 200 or the operating state of the vehicle 200.
  • the processor 100 determines whether the lane to be changed is safe based on objects detected from the lane corresponding to the turned on indicator light.
  • the AR module 120 and the interface unit 110 can be controlled to display an augmented reality object representing .
  • the processor 100 determines whether changing lanes is safe based on the object detected from the lane corresponding to the indicator light, that is, the distance between the vehicle 200 and another vehicle, and the speed of the other vehicle. can do.
  • the AR displays an augmented reality object indicating that a safe lane change is possible.
  • the module 120 can be controlled.
  • the speed of another vehicle in the lane corresponding to the indicator light or the relative speed of the other vehicle is higher than a certain speed, or the distance between the other vehicle and the vehicle 200 is less than the preset distance, changing lanes is dangerous.
  • the AR module 120 can be controlled so that an augmented reality object indicating that it is displayed is displayed. In this case, the augmented reality object indicating that safe lane change is possible and the augmented reality object indicating that lane change is dangerous may be different.
  • the augmented reality information providing device may further include a communication unit 140.
  • the communication unit 140 can connect wireless communication with a preset server, for example, a cloud server, under the control of the processor 100, and receive information according to the request of the processor 100 from the connected cloud server, for example, POI information. and information such as augmented reality content can be received.
  • Figure 2 is a flowchart showing an operation process in which an augmented reality information providing device according to an embodiment of the present invention displays an augmented reality object related to an object recognized by a first camera on a second camera image.
  • the processor 100 of the augmented reality information providing device may first identify objects included in the image acquired through the first camera. Accordingly, the first object among the objects included in the image of the first camera may be identified (S200).
  • the ADAS 210 may obtain information about which camera acquired the image including the first object. And the camera information acquired by the ADAS 210 may be information about the first camera.
  • the first object may be an object automatically selected according to preset conditions or selected by the user.
  • the preset condition may include at least one of the distance to the vehicle 200, or the relative speed and relative angle to the vehicle 200. That is, a vehicle that has a moving speed that is at least a certain level faster than the speed of the vehicle 200 may be automatically selected as the first object.
  • a vehicle whose distance from the vehicle 200 is less than a certain level it may be automatically selected as the first object.
  • a building containing a business branch that provides services corresponding to the industry preset by the user it may be automatically selected as the first object.
  • the processor 100 may collect various information obtained from the first object as characteristic information of the first object.
  • the processor 100 collects feature points such as the shape of the vehicle, that is, the size, the location of the license plate, the location of the exhaust port, the shape of the bumper, etc., and the color of the vehicle, as characteristic information of the first object. You can. Or, if the first object is a building, the shape of the building and its surroundings (for example, window patterns), the location of the building and the color of the building, letters or images included in the sign, the shape or size of the sign, etc. It can be collected as characteristic information of the object.
  • the processor 100 selects the first object for which the feature information has been collected, that is, the augmented reality object corresponding to the identified first object, to an augmented reality image included in the image acquired by the first camera (a first augmented reality image).
  • the AR module 120 can be controlled to be rendered.
  • the interface unit 110 can be controlled so that the rendered augmented reality image is displayed on any one of the displays included in the display unit 250 (S202).
  • an augmented reality image including an augmented reality object (first augmented reality object) corresponding to the first object may be displayed on the CID 251.
  • an augmented reality image including the first augmented reality object may be displayed on the room mirror display 252.
  • the processor 100 may estimate the location of the first object after a predetermined time has elapsed from the reference point. And among the cameras of the vehicle 200, at least one camera that is likely to obtain an image including the first object may be determined as the second camera based on the estimated location of the first object (S204). .
  • the reference viewpoint may be determined according to the first object.
  • the reference time may be the time when the first object is identified.
  • the reference point may be a point in time when the first object disappears from the image of the first camera.
  • the processor 100 may continuously monitor whether the first object is included in the image obtained from the first camera.
  • step S204 the processor 100 sets a reference point at which at least a portion of the first object is not displayed in the image obtained from the first camera according to the movement of the vehicle 200 or the movement of the first object. can be decided. In addition, at least one estimated first object location after a predetermined time has elapsed from the reference point can be calculated.
  • the estimated position of the first object may be calculated based on the position of the first object detected in the image of the first camera, that is, the estimated position on the reference coordinate system converted from the position on the first camera image coordinate system to the reference coordinate system.
  • the processor 100 may control the ADAS 210 to convert the first object coordinates on the first camera image coordinate system into coordinates on the reference coordinate system.
  • the reference coordinate system is a coordinate system centered on the rear wheel axis of the vehicle 200 and the point where the foot is placed on the ground as the origin, and the X-axis component with a positive value represents the driving direction of the vehicle 200, that is, the front. It may be a coordinate system in which the rear of the vehicle is the X-axis component with a negative (-) value, and the left and right sides of the vehicle 200 are the Y-axis. Additionally, both the first camera image coordinate system and the reference coordinate system may be a three-dimensional coordinate system. Accordingly, the coordinates of the first object on the first camera image coordinate system and the reference coordinate system may both be 3D coordinates indicating the 3D location of the first object.
  • the processor 100 calculates the estimated position of the first object after the predetermined time based on the first object coordinates on the reference coordinate system, the speed and driving direction of the vehicle 200, and the speed and driving direction of the first object. It can be calculated. And at least one camera different from the first camera may be determined as the second camera according to the calculated first object estimated position.
  • the second camera may be a camera whose angle of view includes the estimated position of the first object after the predetermined time has elapsed. That is, at least one camera that acquires an image in a direction toward the estimated first object position after the predetermined time has elapsed may be determined as the second camera.
  • step S204 of FIG. 2 of determining at least one second camera based on the estimated position of the first object after the predetermined time will be examined in more detail.
  • the processor 100 moves the direction opposite the location of the first object or the estimated location of the first object for each of the at least one second camera. can be determined (S206). For example, if the first object does not disappear from the image of the first camera, the direction facing the first object is a direction facing the first object according to the reference coordinate system, that is, oriented toward the location of the first object. It could be a direction. However, if the first object disappears from the image of the first camera, the direction facing the first object may be a direction toward the estimated location of the first object, that is, a direction toward the estimated location of the first object. .
  • the processor 100 may determine a position corresponding to the determined first object facing direction within the image acquired by the second camera.
  • the processor 100 may determine a position corresponding to the determined first object facing direction within the display area displayed on the display among the images acquired from the second camera.
  • the processor 100 uses an AR module (AR module) to render an augmented reality image in which an augmented reality object related to the first object is displayed at a position corresponding to the direction opposite the first object determined based on the image of the second camera. 120) can be controlled (S208).
  • AR module AR module
  • the augmented reality object related to the first object may be the first augmented reality object. Or, it may be a second augmented reality object that is different from the first augmented reality object.
  • the area where the first object is displayed may be a position corresponding to the direction facing the first object.
  • the processor 100 may control the AR module 120 to render an augmented reality image in which the first augmented reality object overlaps around the area where the first object is displayed among the images acquired from the second camera.
  • the interface unit 110 can be controlled to display an augmented reality image (second augmented reality image) including the first augmented reality object on at least one display according to the user's selection.
  • the first augmented reality image that is, a display displaying an augmented reality image based on an image from a first camera
  • the second augmented reality image that is, a display displaying an augmented reality image based on an image from a second camera.
  • the first augmented reality image is displayed on the CID 251
  • the second augmented reality image may be displayed on the room mirror display 252.
  • the first augmented reality image is displayed on the room mirror display 252
  • the second augmented reality image may be displayed on the CID 251.
  • the first augmented reality image and the second augmented reality image may be displayed on one display.
  • the processor 100 may divide the display area of one of the displays and display the first augmented reality image and the second augmented reality image in different areas.
  • the direction opposite the first object may be a position on a virtual extension line connecting the estimated position of the first object from the FOV (Field of View) of the second camera within the image of the second camera.
  • the position corresponding to the direction facing the first object may be a position in the display area adjacent to the intersection of the virtual extension line and a corner of the display area displayed on the display among the images of the second camera.
  • the processor 100 may display an augmented reality object related to the first object at a location corresponding to the direction facing the first object determined within the image of the second camera.
  • the augmented reality object related to the first object may be an augmented reality object for predicting the appearance of the first object.
  • the augmented reality object for predicting the appearance of the first object may be an augmented reality object different from the first augmented reality object (hereinafter referred to as a second augmented reality object).
  • the processor 100 operates the AR module 120 to render an augmented reality image in which the second augmented reality object overlaps at a position corresponding to the direction opposite the determined first object among the images acquired from the second camera. You can control it. Additionally, the interface unit 110 may be controlled to display a second augmented reality image including the second augmented reality object on at least one display according to the user's selection.
  • a processor controls the AR module 120 and the interface unit 110 to display a second augmented reality image including an augmented reality object related to the first object on the display in step S208 ( Let us look at the operation process of 100) in more detail.
  • Figures 3 and 4 show an example in which a second augmented reality object that predicts the appearance of the first object is displayed as an augmented reality object related to the first object.
  • Figure 3 is an example diagram showing an example in which a surrounding object (first object) moves relative to the movement of a vehicle equipped with an augmented reality information providing device according to an embodiment of the present invention.
  • 4 shows that an augmented reality image based on an image acquired from the front camera of the vehicle 200 is displayed on the CID 251 and an augmented reality image based on an image acquired from the rear camera of the vehicle 200 is displayed on the room mirror display 252. ) is based on the example shown in .
  • the first object 301 detected on the right side of the vehicle 200 is the speed of the vehicle 200 or the speed of the first object 301. It can be moved accordingly.
  • the vehicle moves at a speed that is the sum of the moving speed of the first object 301 and the moving speed of the vehicle 200. It can be moved relative to the direction of movement of (200).
  • the first object 301 is a building that cannot move on its own, it may be moved relative to the direction of movement of the vehicle 200 according to the moving speed of the vehicle 200. Therefore, as shown in FIG. 3, the first object 301 can be moved from the position of the first viewpoint to the position of the third viewpoint.
  • the processor 100 may identify the first object based on the image acquired from the front camera. Therefore, as shown in FIG. 4, in the case where the image acquired from the front camera of the vehicle is displayed on the CID 251, the processor 100 displays the first object related to the first object 301 according to the result of identifying the first object 301. 1
  • the AR module 120 can be controlled so that the first augmented reality image including the augmented reality object 411 is displayed on the CID 251 as shown in (a) of FIG. 4.
  • the first object 301 moves at a second time point according to the movement of the vehicle 200 or the first object 301, or the movement of both the vehicle 200 and the first object 301. It can be moved to the corresponding location. In this case, since the first object 301 is located in a blind spot between the front camera and the rear camera, the first object may not be detected by both the front camera and the rear camera.
  • the processor 100 estimates the position of the first object 301 after a predetermined time. You can. To this end, the processor 100 determines the coordinates of the first object 301 according to the reference coordinate system calculated through the ADAS 210 at the reference point and the first object 301 based on the vehicle 200. The position of the first object 301 can be estimated by considering the relative speed, relative distance, and relative angle.
  • the processor 100 may determine the rear camera that acquires an image of the rear of the vehicle as the second camera.
  • a second augmented reality object 412 for determining a position corresponding to the direction opposite to the first object and predicting the appearance of the first object 301 is set to the second augmented reality object 412.
  • the AR module 120 can be controlled to render a second augmented reality image included in the image acquired from the 2 camera.
  • the interface unit 110 can be controlled so that the second augmented reality image is displayed on the room mirror display 252, which is a display where the image acquired from the second camera is displayed.
  • the processor 100 operates in the display area displayed on the display (room mirror display) 252 among the images from the second camera (rear camera) based on the estimated position of the first object 301 after a predetermined time has elapsed. A position corresponding to the direction facing the first object may be determined. And a second augmented reality object 412 to announce the appearance of the first object 301 at the determined location can be displayed on the display where the image from the second camera is displayed. Therefore, as shown in (b) of FIG. 4, at the bottom right of the room mirror display 252 where the image acquired from the rear camera is displayed, a second augmented reality object that heralds the appearance of the first object 301 (412) may be displayed.
  • the first object 301 corresponds to the third viewpoint. Can be moved to location.
  • the first object 301 since the first object 301 is located at the rear of the vehicle 200, the first object 301 may be included in the image obtained from the rear camera.
  • the processor 100 may display an augmented reality object related to the first object 301, that is, a first augmented reality object 411, around the first object 301 displayed in the image of the rear camera. That is, as the first object 301 is included in the rear camera image, the second augmented reality object 412 may disappear and the first augmented reality object 411 may be displayed.
  • the first augmented reality object 411 of the first object 301 displayed in the image of the first camera appears seamlessly in the image of the other camera according to the movement of the vehicle 200 or the first object 301. It can be displayed as
  • POI information for the first object 301 can be provided by linking a plurality of different cameras on which the first object 301 is displayed, and through this, more improved navigation information can be provided. there is.
  • the augmented reality information providing device identifies the identified object through an augmented reality object (second augmented reality object) displayed on at least one camera image when the identified object enters the blind spot. It can provide information about the location of an object. Therefore, even if the object does not appear in the camera image due to being in a blind spot, the user can know its existence and location through the augmented reality object.
  • second augmented reality object augmented reality object
  • the processor 100 may calculate the estimated position of the first object and determine the second camera according to the calculated estimated position.
  • FIG. 5 is a flowchart showing an operation process in which the augmented reality information providing device according to an embodiment of the present invention determines a second camera among a plurality of cameras based on the estimated position of the first object after a predetermined time.
  • FIG. 6 is an example diagram illustrating an example in which the estimated position of at least one first object is calculated.
  • the processor 100 of the augmented reality information providing device includes an augmented reality object (first augmented reality object) of the first object identified from the image of the first camera.
  • first augmented reality object the augmented reality object
  • the coordinates of the first object can be converted to a reference coordinate system (S500).
  • the ADAS 210 can calculate the initial coordinates of the first object.
  • the initial coordinates of the first object may be coordinates calculated according to the image coordinate system of the first camera including the first object.
  • the processor 100 can control the ADAS 210 to convert the initial coordinates of the first object based on the image coordinate system of the first camera into the reference coordinate system.
  • the processor 100 may use first camera calibration data.
  • the first camera calibration data includes the position (X, Y, Z) and direction (Roll, Pitch, Yaw) of the first camera, the angle of view of the first camera, and FPS (Frame Rate) with respect to the origin of the reference coordinate system.
  • Per Second information, and may be data for converting the coordinates of the first camera image coordinate system into the reference coordinate system.
  • the first camera calibration data may be data previously stored in the memory 130.
  • the ADAS 210 may obtain host vehicle location information including the moving speed and position of the vehicle 200, and the driving azimuth (heading). And, based on the acquired vehicle location information and the 3D location information of the first object, the relative distance, relative angle, and relative speed between the first object and the vehicle 200 can be calculated.
  • the angle ( ⁇ )(yaw) (relative angle) of the first object can be calculated according to Equation 2 below.
  • the processor 100 estimates at least one position of the first object at a time when a predetermined time has elapsed from the reference point based on the relative distance, relative angle, and relative speed with the first object calculated from the ADAS 210. (S502).
  • the reference point in time (t1) 601 when the point at which the first object 301 disappears from the first camera is referred to as the reference point in time (t1) 601, the reference point in time (t1) 601 is the relative point in time.
  • the relative angle ⁇ may be outside the preset range.
  • the longitudinal and lateral relative velocities detected from the first object 301 are Rx and Ry, respectively, at the time point (t2) a predetermined time has elapsed from the reference time point (t1) 601, the The estimated position (x2, y2) of the first object 301 can be calculated according to Equation 3 below.
  • (x2, y2) are the estimated coordinates of the first object at time point (t2), a predetermined time elapsed from the reference time point (t1), (x1, y1) are the coordinates of the first object at the reference time point (t1), and Rx is the longitudinal relative velocity of the first object, and Ry is the lateral relative velocity of the first object.
  • the second time point (t2) increases, the distance (x2) on the x-axis coordinate and the distance (y2) on the y-axis coordinate from the origin (0,0) of the reference coordinate system increase, as shown in FIG. 6.
  • a plurality of different estimated first object positions 602 may be estimated.
  • the processor 100 may determine a second camera based on the estimated first object position 602 of at least one of the plurality of cameras provided in the vehicle 200 (S604). For example, the processor 100 determines as the second camera any one camera whose angle of view is set to capture images of the area where the estimated first object positions corresponding to each of the plurality of predetermined time points t2 are distributed. You can. That is, as shown in FIG. 6, when a plurality of first object estimated positions 602 are distributed within the angle of view of the rear camera, the processor 100 may determine the rear camera to be the second camera.
  • the vehicle 200 and the first object may be estimated based on the location information.
  • the processor 100 determines the speed of the vehicle 200 at a second time point when a predetermined time has elapsed from a reference point (e.g., t1 (601)) based on the driving speed, GPS position, and azimuth of the vehicle 200. GPS location can be estimated. And based on this, the relative moving position of the first object may be estimated on the vehicle reference coordinate system.
  • a reference point e.g., t1 (601)
  • Figure 7 is a flowchart showing an operation process in which the augmented reality information providing device according to an embodiment of the present invention displays an augmented reality object related to the first object recognized in the first camera image on the image of the second camera. .
  • step S208 of FIG. 2 for displaying the augmented reality object the processor 100 of the augmented reality information providing device according to an embodiment of the present invention can first identify objects included in the image acquired from the second camera. There is (S700). And based on the identification result, it can be detected whether the first object is included in the image acquired from the second camera (S700).
  • the ADAS 210 detects the first object in the image of the first camera, such as the size, shape, and color, as described in step S200 of FIG. 2.
  • the first object can be identified through features related to .
  • the characteristics used to identify the first object may be stored as characteristic information of the first object.
  • the processor 100 collects characteristic points such as the shape of the vehicle, that is, the size, the location of the license plate, the location of the exhaust port, the shape of the bumper, etc., and the color of the vehicle, as characteristic information of the first object. can do.
  • the first object is a building
  • the shape of the building and its surroundings, the location of the building and the color of the building, the letters or images included in the sign, the shape or size of the sign, etc. may be collected as characteristic information of the first object. You can.
  • the characteristic information of the first object collected and stored in this way can be used to detect an object corresponding to the first object from the image acquired by the second camera.
  • the processor 100 may detect an object corresponding to the collected and stored characteristic information among objects corresponding to 'building' among the objects detected by the second camera. there is.
  • the processor 100 includes features most similar to the morphological feature points of the identified first object, such as size and color included in the characteristic information of the first object. The object can be determined as the first object.
  • the processor 100 may further improve the detection accuracy and detection speed of the object corresponding to the first object by further using a plurality of estimated first object positions.
  • the processor 100 creates virtual objects corresponding to feature points of the first object at a plurality of estimated first object positions, and creates an object corresponding to the first object based on the generated virtual objects. It can also be detected from the image of the second camera. The operation process of the processor 100 will be described in more detail with reference to FIG. 9 below.
  • step S702 if the image acquired from the second camera includes at least a part of the object corresponding to the first object, the processor 100 determines the first object in the image acquired from the second camera. It can be determined that the corresponding object is included. Accordingly, AR is displayed so that an augmented reality image (second augmented reality image) displaying the first augmented reality object related to the first object is displayed around the area where the object corresponding to the first object is displayed among the images of the second camera.
  • the module 120 and the interface unit 110 can be controlled (S704).
  • the processor 100 determines whether the point in time when the estimated position of the first object is included in the angle of view of the second camera has been reached. You can check whether or not (S706). And, as a result of the check in step S706, if the estimated position of the first object has not reached the point where it is included in the angle of view of the second camera, the processor 100 determines that the first object is located between the second camera and the first camera. It can be judged that it is in a blind spot located between the angles of view.
  • the processor 100 may determine a direction opposite the estimated location of the first object in the image acquired by the second camera. Then, the AR module 120 can be controlled to render an augmented reality image displaying another augmented reality object related to the first object, that is, a second augmented reality object, according to the determined direction (S708).
  • the second augmented reality object is an augmented reality object that predicts the appearance of the first object, and may be an object different from the first augmented reality object.
  • the position in the direction opposite to the position of the first object may be a position determined based on an imaginary line connecting the image reference point of the second camera to the estimated position of the first object.
  • the processor 100 creates a virtual extension line connecting the center of the FOV of the second camera to the estimated position of the first object, and the corner of the display area displayed on the display among the images of the second camera and the The point where the virtual extension lines intersect may be determined as a location in a direction opposite to the location of the first object, and the second augmented reality object may be displayed around the determined location.
  • the second augmented reality object is displayed within the display area among the images from the second camera.
  • step S706 if the estimated position of the first object has reached a point within the field of view of the second camera, the processor 100 determines the estimated position of the first object, that is, within the field of view of the second camera. Based on the estimated position of the first object estimated to be included, it can be confirmed whether the object corresponding to the first object is occluded (S710).
  • the processor 100 may detect whether there is another object displayed in an area corresponding to the estimated location of the first object among the images obtained from the second camera. And, if there is another object displayed in an area of the second camera corresponding to the estimated location of the first object, it may be determined that the first object is occluded by the displayed object (hereinafter referred to as an occlusion object). Then, the processor 100 controls the AR module 120 to display an augmented reality image displaying an augmented reality object corresponding to the first object, for example, the first augmented reality object, in the area where the blocking object is displayed. By doing so, it can be displayed that the first object is located in an area obscured by the occluding object (S712).
  • step S710 if there are no other objects displayed in the area corresponding to the estimated position of the first object among the images acquired from the second camera, it can be determined that there is no occluding object. there is. Then, the processor 100 may determine that the first object has disappeared because the first object is no longer detected in the image of the second camera.
  • the processor 100 may determine one or more cameras as the second camera according to the distribution state of the plurality of first object estimated positions 602.
  • the processor 100 may determine the rear camera as the second camera as described above. there is. Additionally, the processor 100 may determine the camera corresponding to the right side digital mirror that senses the image of the rear area of the vehicle 200 from the right side of the vehicle 200 as the second camera. That is, both the rear camera and the camera corresponding to the right side digital mirror may be determined as the second camera.
  • the second camera may be a rear camera and a left digital side mirror camera.
  • the first object for example, a vehicle in a different lane from the vehicle 200
  • the first object can be detected by the left digital side mirror camera.
  • an augmented reality object (second augmented reality object) heralding the appearance of the first object is displayed on the display that displays the image of the rear camera according to the operation process of FIG. 7, while the left digital side mirror camera
  • a first augmented reality object including augmented reality information of the first object may be displayed.
  • the processor 100 may perform the operation process of FIG. 7 for each second camera. Therefore, for each second camera, a position pointing toward the estimated position of the first object is determined, and different augmented reality images in which the augmented reality object is displayed at the determined position may be rendered. And, depending on the user's selection, the different rendered augmented reality images may be displayed on at least one display.
  • the first object may move abnormally in a direction or at a speed that is not predicted by the processor 100. In this case, if an irregular movement of the first object occurs, the position of the first object after a predetermined time may deviate from the currently determined angle of view of the second camera.
  • the processor 100 uses the image acquired from a camera other than the currently determined second camera to detect the first object. You can check whether the first object is included.
  • the processor 100 it is possible to check whether detection of an object corresponding to the first object has been attempted.
  • the processor 100 may change any other camera except the currently determined second camera to the second camera. there is. Then, proceed to step S700 to identify objects included in the image acquired from the changed second camera, and proceed to step S702 to detect whether an object corresponding to the first object is included among the identified objects. can do.
  • the processor 100 proceeds to step S704 and selects the first object among the images from the changed second camera. Controls the AR module 120 and the interface unit 110 to display an augmented reality image (second augmented reality image) displaying the first augmented reality object related to the first object around the area where the corresponding object is displayed. can do.
  • augmented reality image second augmented reality image
  • the processor 100 may determine that the first object is in the blind spot. Accordingly, the processor 100 restores the second camera back to the second camera that was initially determined for the first object, proceeds to step S710 of FIG. 7, and adds the first object to the image of the restored second camera. You can also check whether there is an obscuring object blocking .
  • FIG. 8 shows an example in which, as described above, in step S712 of FIG. 7, the augmented reality information providing device according to an embodiment of the present invention displays the location of the first object obscured by an obstacle through an augmented reality object.
  • This is an example diagram.
  • FIG. 8 is an example in which the image acquired from the front camera of the vehicle 200 is displayed on the CID 251, and the image acquired from the rear camera of the vehicle 200 is displayed on the room mirror display 252. It shows.
  • the AR module 120 identifies the object (first object, 301) recognized by the front camera, and creates an augmented reality object (first augmented reality object) 411 related to the identified first object 301. It can be displayed on CID (251).
  • the front camera may be the first camera.
  • the processor 100 may detect the user's selection of the first object 301 displayed on the CID 251. For example, a touch input to the first augmented reality object 411 displayed on the CID 251, a movement of the user's eyeballs looking at the first augmented reality object 411, or the first augmented reality object.
  • the user's gesture e.g., pointing of the user's finger
  • a user's voice command for selecting the first object 301 may be detected.
  • the processor 100 may provide information related to the first object 301 in the form of augmented reality content according to the detected user's selection. For example, information on services (e.g. menu information) that can be provided by the first object 301, contact information on the first object 301, etc. may be stored in the identified first object in the form of the augmented reality content. (301) Can be displayed around (hereinafter referred to as augmented reality information). And if any piece of augmented reality information is selected by the user, services according to the selected augmented reality information, for example, menu selection or call connection to the first object 301, can be provided.
  • services e.g. menu information
  • contact information on the first object 301 e.g. contact information on the first object 301, etc.
  • the processor 100 determines whether the first object 301 has reached the reference point (e.g., t1 (601)) The location after a predetermined period of time can be estimated. And, according to the estimated position, a camera in which the first object 301 is likely to appear, that is, a camera with a field of view including the estimated position of the first object 301, may be determined as the second camera. In this case, the second camera may be a rear camera.
  • the first object 301 may deviate from the angle of view of the first camera as the vehicle 200 moves. For example, when the first object 301 leaves the t1 viewpoint 601 in FIG. 6 as the vehicle 200 moves, the first object 301 is positioned at the second viewpoint in FIG. 3. Likewise, it may be located in the blind spot between the front and rear cameras. In this case, the first object 301 may not be displayed on the CID 251 where the image acquired from the first camera (front camera) is displayed, and the room mirror display 252 where the image acquired from the rear camera is displayed. It may not be displayed on the screen.
  • the processor 100 determines that the estimated position of the first object 301 is the angle of view of the second camera, as described in step S706 of FIG. 7. You can check whether the point in time included in the location has been reached. As a result of the check, if the estimated position of the first object 301 has not reached the point where it is included in the angle of view position of the second camera, the appearance of the first object is predicted, as described in step S708 of FIG. 7.
  • the AR module 120 may be controlled to display an image from a second camera including an augmented reality object, that is, a second augmented reality object.
  • the processor 100 may determine a direction opposite to the estimated location of the first object on the room mirror display 252 where the image of the second camera is displayed. Additionally, the AR module 120 can be controlled so that the second augmented reality object oriented in the determined direction is displayed overlapping on the display where the image of the second camera is displayed, that is, the room mirror display 252. Therefore, as shown in (b) of FIG. 8, the second augmented reality object 412 will be displayed at a location on the room mirror display 252 corresponding to the direction in which the first object 301 will appear. You can.
  • step S706 of FIG. 7 if the estimated position of the first object 301 has reached the point where it is included in the angle of view position of the second camera, the processor 100 performs the process described in step S710 of FIG. As shown, it can be determined whether another object covering the first object 301 is included in the image of the second camera. Therefore, as shown in (c) of FIG. 8, the shape of another vehicle 800 running behind the vehicle 200 is superimposed on the estimated position of the first object 301. In this case, it may be determined that the other vehicle 800 is a blocking object that blocks the first object 301. Then, as shown in (c) of FIG.
  • the processor 100 creates an augmented reality object corresponding to the first object 301 to the occluding object, that is, another object 800 included in the image of the second camera, That is, the first augmented reality object can be displayed by overlapping (810). Therefore, the present invention allows the user to recognize the augmented reality object corresponding to the first object 301 even if another object included in the image of the second camera obscures the first object 301. It can be displayed.
  • the processor 100 may provide augmented reality information about the first object 301 based on the user's input about the first augmented reality object. Therefore, even if the user cannot identify the first object 301 in the image of the first camera, the first object 301 can be confirmed through the image of the second camera, and the first object 301 can be confirmed through the image of the second camera. ) You can receive augmented reality information related to.
  • the present invention displays an augmented reality object related to the first object 301 even when the first object 301 is obscured by another object, so that the first object 301 is displayed regardless of whether it is obscured or not. It has the effect of providing augmented reality information to users.
  • the processor 100 displays the image acquired from the camera according to the user's input on a display on which the image acquired from the camera is displayed, that is, the display on which the image received from the camera serving as a digital mirror is displayed. can do.
  • the processor 100 may enlarge (zoom in) or reduce (zoom out) the image of a specific camera displayed on the display based on the user's multi-touch input.
  • the camera image may be zoomed in or zoomed out based on a touch position applied to a point on the display where the camera image is displayed. That is, the reference point for zooming in or out may vary based on the touch position.
  • the shape of the object identified by the first camera may be different from the shape of the object identified by the second camera.
  • the first camera may include the front image of the first object
  • the second camera may include the rear image of the first object.
  • the augmented reality information providing device detects feature points of the identified first object, and selects an object with the most similar features based on the detected feature points to another object. An object corresponding to the first object can be detected by detecting it from the image of the camera.
  • the processor 100 collects feature points such as the shape of the vehicle, that is, the size, the location of the license plate, the location of the exhaust port, the shape of the bumper, etc., and the color of the vehicle, as characteristic information of the first object. You can. Or, if the first object is a building, the shape of the building and its surroundings (for example, window patterns), the location of the building and the color of the building, letters or images included in the sign, the shape or size of the sign, etc. It can be collected as characteristic information of the object.
  • the processor 100 selects any one of the objects included in the image of the second camera that is determined to have high similarity with the collected characteristic information of the first object as an object corresponding to the first object, that is, the first object. 1
  • the object can be judged to be an object seen from the second camera viewpoint.
  • the processor 100 projects the appearance area obtained from the identification result of the first object onto the estimated positions of the plurality of first objects, and based on whether the projected appearance areas match the appearance area, An object in the image of the second camera corresponding to the first object may be detected.
  • Figure 9 is a flowchart showing an operation process in which an augmented reality information providing device according to an embodiment of the present invention detects an object corresponding to the first object in this manner within a second camera image.
  • 10 and 11 illustrate an example of detecting an object matching the appearance area displayed at the estimated location of the first object identified according to the operation process of FIG. 9 as an object corresponding to the first object. They are provinces.
  • the operation process of FIG. 9 may be performed to determine whether the first object is detected in step S702 of FIG. 7.
  • the processor 100 of the augmented reality information providing device first uses the currently determined coordinate information of the plurality of first object estimated positions, that is, candidate positions, estimated in the vehicle reference coordinate system.
  • the calibration data of the second camera can be used to project onto the image area of the second camera (S900).
  • Figure 10 is an example diagram showing an example in which the augmented reality information providing device according to an embodiment of the present invention determines candidate positions in a second camera image corresponding to the projection of the estimated first object position after a predetermined time.
  • the first object 301 may be identified from the first camera (front camera) 211.
  • the location of the first object 301 can be calculated as three-dimensional coordinates (primary coordinates) according to the image coordinate system of the first camera 211.
  • the processor 100 controls the ADAS 210 to set the primary coordinates of the first object 301 to the vehicle reference coordinate system using the first camera calibration data 1010 corresponding to the first camera 211. It can be converted to . Then, the first coordinates can be converted into coordinate information according to the vehicle reference coordinate system. And when the first coordinates are converted into coordinate information according to the vehicle reference coordinate system, the processor 100 creates the first object ( 301), the estimated positions after a predetermined period of time can be calculated. And at least one second camera may be determined based on the calculated estimated positions.
  • the processor 100 uses the calibration data 1020 of the second camera 212 to calculate the coordinates of each estimated position converted into coordinate information according to the vehicle reference coordinate system. can be converted into coordinates (secondary coordinates, 1000) according to the image coordinate system of the second camera 212. That is, candidate positions projected onto the image area of the second camera can be determined.
  • step S900 when the first coordinates of the first object are projected to the image area of the second camera based on the calibration data of the second camera, the processor 100 places the coordinates at each position in the projected second camera image, Appearance areas corresponding to characteristic information identified from the first object may be created. Accordingly, a plurality of candidate objects having the same appearance area as the appearance area according to the characteristic information identified from the first object may be generated at each of the plurality of candidate positions in the image of the second camera (S902).
  • the processor 100 may detect at least some candidate objects included in the display area displayed on the display from the image of the second camera (S904). And, among the objects identified in the image of the second camera, it can be checked whether there is a candidate object whose feature information, including the appearance area, matches the feature information obtained from the first object by a predetermined ratio or more (S906).
  • the processor 100 may determine the size of the appearance area for each object included in the image of the second camera. Additionally, objects whose size of the external area matches the external area of the first object by a predetermined ratio or more can be detected. And, among objects whose size of the appearance area matches more than a predetermined ratio, objects whose appearance areas in which the candidate objects are displayed and where they are displayed match more than a predetermined ratio can be detected.
  • the processor 100 uses not only the size and location of the appearance area but also at least one other feature information identified from the first object to select an object corresponding to the first object among the objects included in the image of the second camera. can be detected. For example, when there are two or more objects whose appearance areas where the candidate objects are displayed and where they are displayed match more than a predetermined ratio, the processor 100 uses other characteristic information of the first object, for example, information such as color. Thus, an object corresponding to the first object can be detected.
  • step S906 if there is a candidate object whose appearance area and characteristics match a predetermined ratio or more among the objects identified by the second camera, the processor 100 selects a candidate object corresponding to the candidate object detected in step S906.
  • An object in the second camera image may be estimated to be an object corresponding to the first object. Accordingly, in step S702 of FIG. 7, if the object corresponding to the first object is included in the second camera, the process can proceed to step S704 of FIG. 7, where the first augmented reality object is displayed.
  • step S906 if, as a result of the detection in step S906, there is no candidate object whose appearance area and characteristics match a predetermined ratio or more among the objects identified by the second camera, the processor 100 determines that the object corresponding to the first object is the second camera. It can be determined that it is not included in the camera's video (S910). Therefore, in step S702 of FIG. 7, since the object corresponding to the first object is not included in the second camera, it is checked whether the estimated position of the first object has reached the point where it is included in the angle of view of the second camera. You can proceed to step S706.
  • Figure 11 is an example diagram showing an example in which an augmented reality information providing device according to an embodiment of the present invention detects an object corresponding to the first object based on generated candidate objects.
  • the processor 100 when the first object is identified in the front camera (first camera) as shown in (a) of FIG. 11, the processor 100 generates coordinate information of the first object 301 ( Coordinate information on a reference coordinate system calculated based on (first coordinates) may be projected to coordinates on a second camera image coordinate system based on second camera calibration data. Accordingly, as shown in (a) of FIG. 11, the first candidate location 1110 and the second candidate location 1120 may be determined.
  • the processor 100 uses characteristic information of the first object 301 obtained when identifying the first object 301, for example, a virtual object having an appearance area corresponding to the size of the appearance area, that is, a candidate object ( 1111 and 1121 may be generated in the first candidate location 1110 and the second candidate location 1120, respectively.
  • the first candidate object 1111 and the second candidate object 1121 may be 3D objects having a 3D external area. Therefore, as shown in FIG. 11(b), which shows the room mirror display 252 on which the image of the second camera, that is, the rear camera, is displayed, the first candidate object 1111 having a three-dimensional shape and the first candidate object 1111 have a three-dimensional shape. 2
  • Candidate object 1121 may be created.
  • the processor 100 selects the objects identified in the image of the second camera. 1 Objects whose appearance area is the same as that of the object 301 by a predetermined ratio or more can be detected. And, among the detected objects, an object whose appearance area matches a certain ratio or more with one of the candidate objects 1111 and 1121 can be detected.
  • the processor 100 may determine that the object corresponding to the first object 301 is included in the image of the second camera. (Step S908 in FIG. 9).
  • the processor 100 determines that the image of the second camera does not contain an object corresponding to the first object 301. (step S910 of FIG. 9).
  • an example of estimating an object whose appearance area overlaps with a candidate object by a predetermined ratio or more among the objects of the second camera is described as an object corresponding to the first object, but the candidate location, that is, the reference coordinate system If there is a candidate position where the estimated position of the image is converted to the second camera image coordinate system and the center position of the object is less than a predetermined distance, it can be estimated that the object corresponding to the first object is included in the image of the second camera.
  • the center position is the position on a two-dimensional plane (XY plane) for each of the objects included in the second camera, at least one object whose appearance area is the same or within a similar range to that of the first object. It can be.
  • the center position may be the center point of the upper corner of the outline area on the XY plane of the object identified by the second camera.
  • the plurality of candidate objects 1111 and 1121 are objects created so that the center of the upper edge of the bottom of a virtual object having an appearance area corresponding to the size of the first object is located at each candidate location 1110 and 1120. You can.
  • the augmented reality information providing device uses the above-mentioned information in various ways to emphasize a specific image area of the second camera.
  • a specific image area of the second camera can be displayed.
  • the processor 100 selects an area in the second camera image containing the detected object to emphasize the detected object. can be displayed with emphasis.
  • the processor 100 detects the surrounding situation of the vehicle 200 and drives the detected surrounding situation of the vehicle 200 according to the settings. Whether or not something is safe can also be displayed to the user using an augmented reality object.
  • Figures 12 and 13 show such examples.
  • the processor 100 may determine that the other vehicle 1200 is located at a distance equal to or greater than the safe distance.
  • an image from the rear camera that does not include augmented reality objects, etc. can be displayed on the room mirror display 252.
  • the processor 100 may provide a rear collision warning using augmented reality information.
  • the processor 100 creates an image range 1260 that satisfies the front of the other vehicle 1200 approaching from the rear of the vehicle 200, the road surface of the approach path, and the aspect ratio of the room mirror display 252. It can be calculated.
  • the processor 100 may calculate the image area to include both the lane in which the other vehicle 1200 is located (target lane) and adjacent vehicles located within a dangerous distance from the target lane within the rear camera image.
  • the processor 100 may set an area corresponding to the image range 1260 from the image acquired from the rear camera centered on the other vehicle 1200 according to the calculated image range 1260. Additionally, the image of the set area can be enlarged to match the resolution of the room mirror display 252 on which the rear camera image is displayed.
  • the image of another vehicle 1200 that is closer than a predetermined distance may be enlarged and displayed with greater emphasis on the room mirror display 252.
  • the processor 100 displays an augmented reality object 1252 for an approach warning near the image of another vehicle 1200 that is closer than the predetermined distance, so that the approaching vehicle (1200) can be displayed with more emphasis.
  • the other vehicle 1200 approaches less than a preset distance from the vehicle 200, but of course, this may occur according to the user's selection or the user's preset vehicle operation.
  • the processor 100 when the driver looks at the room mirror display 252 for a certain period of time for the purpose of braking, or when observing the rear situation through the room mirror display 252 after braking, the processor 100 As shown in (b), other vehicles close to the vehicle 200 are detected and the estimated time to collision (TTC) is calculated based on the location of the vehicle 200 at the location of the other detected vehicles. can do. Additionally, if there is an object whose expected collision time is less than a predetermined value, it can be displayed with emphasis by highlighting it using an augmented reality object, as shown in (b) of FIG. 12 above.
  • TTC estimated time to collision
  • the processor 100 can restore the rear camera to its initial setting area.
  • the processor 100 recalculates the image area and displays the image of the rear camera according to the recalculated image area of the room mirror display 252. You can adjust the video.
  • the image of the adjusted room mirror display 252 may include an augmented reality object to further emphasize the other vehicle 1200.
  • the processor 100 may maintain the position of the other vehicle 1200 within the set image area for a predetermined time or more. . Then, the processor 100 may determine that sufficient rear collision warning has been provided to the driver, and restore the image settings of the rear camera image back to the initial setting area.
  • a rear camera is used as an example, but the same can be applied to a side camera that acquires a side image of the vehicle 200 or a front camera that acquires a front image.
  • the display on which the acquired image is displayed may also be displayed on a display other than the room mirror display.
  • the processor 100 of the augmented reality information providing device detects the surrounding situation of the vehicle 200 and detects the detected vehicle ( 200) Whether the surrounding situation is safe to drive according to the indicator light may be displayed to the user using an augmented reality object.
  • Figure 13 shows this example.
  • the camera that detects objects around the vehicle 200 is a rear camera
  • the display that displays the image of the rear camera is a room mirror display.
  • the processor 100 of the augmented reality information providing device can detect the user's selection to change lanes. For example, the processor 100 operates when the turn signal in a specific direction is turned on, when the user looks at the mirror facing a specific lane or in a direction corresponding to a specific lane for more than a certain period of time, or when the user's voice When a lane change is selected by a command, it can be detected whether the vehicle 200 is currently in a state where it can safely change lanes.
  • the processor 100 when the lane to be changed is specified according to the turn signal or the user's selection, the processor 100 is adjacent to the vehicle 200 through the rear detection sensor and other vehicles 1310 located in the specified lane. can be detected. And, if the distance between the detected other vehicle and the vehicle 1310 is greater than the preset safety distance as shown in (a) of FIG. 13, the processor 100 determines that lane change to the specified lane is safe.
  • An image of the rear camera including the augmented reality object 1320 that is, an augmented reality image, may be displayed on the room mirror display 252.
  • the augmented reality object 1320 indicating that the lane change is safe may be displayed in green.
  • the processor 100 changes the lane to the specified other lane. This can be judged to be unsafe. Then, the processor 100 may enlarge and display the image of the rear camera including the other vehicle 1350 and the specific lane so that the other adjacent vehicle 1350 is more emphasized.
  • the processor 100 includes an augmented reality object having a virtual wall shape generated along the shape of the specified other lane within the image of the rear camera.
  • the augmented reality image can be displayed on the room mirror display 252 where the image of the rear camera is displayed.
  • the processor 100 displays an augmented reality object that displays the specific lane in red on the room mirror display 252 where the image of the rear camera is displayed, thereby It may indicate to the user that changing lanes to another lane is unsafe.
  • the processor 100 may determine the camera that acquires the image of the specified lane according to the user's operation. For example, when the user selects to change lanes to the right lane, the processor 100 may generate an augmented reality image based on the image acquired from the right digital side mirror camera. Alternatively, when the user selects to change lanes to the left lane, an augmented reality image can be created based on the image acquired from the left digital side mirror camera. That is, the processor 100 may detect the user's manipulation of the vehicle 200 and determine a camera that acquires an image to overlap the augmented reality object according to the detected manipulation.
  • the processor 100 may crop the display area to be displayed on the display to include an area including the lane and other vehicles adjacent to the vehicle 200 in the acquired image.
  • the processor 100 may crop a portion of the image acquired from the determined camera so that the area including the lane and other vehicles adjacent to the vehicle 200 is emphasized, and scales the cropped portion. It can be displayed on the display.
  • the augmented reality information providing device provides a second augmentation system that predicts the appearance of the first object when the first object enters the blind spot as the vehicle 200 moves. It has been explained that real-world objects can be displayed.
  • the processor 100 may calculate estimated positions corresponding to the points in time when a predetermined time has elapsed from the reference point. . And, based on the calculated estimated positions, a second camera that will acquire an image containing the first object may be determined after the predetermined time has elapsed.
  • the processor 100 may calculate the time until the first object enters the field of view of the second camera based on the calculated estimated positions. And, when the first object passes the reference point, a second augmented reality system that predicts the appearance of the first object as time passes, that is, as the first object approaches the point in time when it enters the field of view of the second camera. Objects can be displayed differently.
  • Figure 14 is an example diagram illustrating an example in which the augmented reality information providing device according to an embodiment of the present invention displays the second augmented reality object differently depending on the estimated position of the first object.
  • the first camera is a front camera and the second camera is a rear camera.
  • the explanation will be made by taking as an example that the image of the rear camera, that is, the second camera, is displayed through the room mirror display 252.
  • this is only an example for convenience of explanation, and the present invention is not limited to this, of course.
  • FIG. 14 shows an augmented reality object related to the first object as the first object has not passed the reference point (e.g., t1 (601) of FIG. 6). It is assumed that (the first augmented reality object) is displayed on a display (eg, CID 251) that displays the image of the front camera. In this case, as the first object is displayed on the CID 251, the augmented reality image related to the first object may not be displayed on the room mirror display 252, as shown in (a) of FIG. 14.
  • a display eg, CID 251
  • the augmented reality image related to the first object may not be displayed on the room mirror display 252, as shown in (a) of FIG. 14.
  • the processor 100 may calculate a plurality of estimated positions of the first object at a time when a predetermined time has elapsed from the reference point. . Then, the second camera is determined based on the calculated estimated positions, and when the second camera is determined, the first object enters the angle of view of the second camera from the reference point based on the estimated positions of the first object. The time until the point of occurrence, that is, the appearance time, can be calculated.
  • the processor 100 determines that the first object is not detected in the image of the first camera and also the determined image of the second camera.
  • an augmented reality object (second augmented reality object) that predicts the appearance of the first object in an area in the second camera image opposite the estimated position of the first object ) (1400) can be displayed on the room mirror display (252).
  • At least one of transparency and color (for example, saturation) of the second augmented reality object 1400 may change as the appearance time of the first object approaches. That is, when the calculated appearance time is more than the first time, the processor 100 displays the second augmented reality object 1400 with high transparency or low saturation on the room mirror display 252, as shown in (b) of FIG. 14. ) can be displayed on the screen. However, as time passes, if the remaining time among the calculated appearance times is less than the second time (here, the first time is a time greater than the second time), the processor 100 is shown in (d) of FIG. 14. As shown, the second augmented reality object 1400 can be displayed on the room mirror display 252 with low transparency or high saturation.
  • the remaining time among the calculated appearance times is less than the second time (here, the first time is a time greater than the second time)
  • the processor 100 is shown in (d) of FIG. 14.
  • the second augmented reality object 1400 can be displayed on the room mirror display 252 with low transparency or high saturation.
  • the transparency or saturation of the second augmented reality object may change differently depending on the elapsed time. Therefore, as shown in (b) to (d) of FIG. 14, after the first object disappears from the image of the first camera, the closer the time when the first object is included in the image of the second camera, the more the second augmented reality The transparency of an object may gradually decrease or the saturation may gradually increase.
  • the processor 100 creates the second augmented reality object as shown in (e) of FIG. 14. Instead, the augmented reality image including the first augmented reality object can be displayed on the room mirror display 252 where the image of the second camera, that is, the rear camera, is displayed.
  • the processor 100 may select the first augmented reality object from the image of the first camera even if the first augmented reality object is displayed overlapping the image of the second camera as the first object is included in the image of the second camera.
  • the transparency or saturation of the first augmented reality object displayed in the image of the second camera may vary as the time elapses from the point in time when the first object disappears, for example, the reference point in time. That is, the first augmented reality object displayed in the image of the second camera can be adjusted so that transparency increases or saturation decreases as the distance from the vehicle 200 increases.
  • Computer-readable media includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. It also includes those implemented in the form of carrier waves (e.g., transmission via the Internet). Additionally, the computer may include a terminal control unit. Accordingly, the above detailed description should not be construed as restrictive in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 디지털 미러에 기반하여 증강현실 정보를 디스플레이에 표시하는 장치에 대한 것으로, 제1 카메라 및 제2 카메라를 포함하는 복수의 카메라로부터 차량 주변의 도로 환경 및 차량 주변의 객체를 포함하는 영상들을 수신 및, 차량의 주행 상태를 센싱한 센싱 정보를 수신하는 인터페이스부와, 복수의 카메라 중 적어도 하나에서 촬영된 영상을 기초로, 센싱 정보에 근거하여 적어도 하나의 증강현실 객체를 렌더링하는 AR 모듈 및, 제1 카메라의 영상에 포함된 객체들 중 제1 객체에 관련된 제1 증강현실 객체를 렌더링하도록 AR 모듈을 제어하고, 제2 카메라의 영상에 제1 증강현실 객체와 관련된 제2 증강현실 객체가, 제1 객체에 대향되는 방향에 표시되도록 인터페이스부를 통해 차량의 디스플레이부를 제어하는 프로세서를 포함하는 것을 특징으로 한다.

Description

디지털 미러에 기반한 증강현실 정보 제공 장치 및 그 장치의 제어 방법
본 발명은, 차량에 구비되는 디스플레이 장치에 대한 것으로, 보다 자세하게는 디지털 미러(mirror)에 기반하여 증강현실 정보를 디스플레이에 표시하는 장치에 대한 것이다.
현재 자동차 관련 기술은 끊임없이 발전하고 있으며, 새로운 기술이 등장하고 있다. 이러한 자동차 관련 기술에 힘입어 등장하는 새로운 기술의 하나로서 기존의 사이드 미러 또는 백 미러를 카메라로 대체한 디지털 미러가 등장하고 있다.
상기 디지털 미러는, 차량의 후방을 비추는 사이드 미러 또는 룸 미러와 같은 거울 대신에, 차량 후방을 지향하는 카메라를 탑재하고 탑재된 카메라를 통해 획득되는 이미지를, 상기 룸 미러를 대체한 디스플레이 또는 CID(Center Information Display)를 통해 표시하는 것을 의미할 수 있다.
이러한 디지털 미러(digital mirror)의 경우 통상적인 사이드 미러(운전석 기준 후방 시야각 18도)에 비하여 보다 넓은 시야각(운전석 기준 후방 시야각 25도 이상)을 제공할 수 있으며, 후측방 충돌 경고(BCW, Blind-Spot Collision Warning) 등 다양한 기능을 부가 기능으로 구비할 수 있다는 장점이 있다. 또한 사이드 미러의 경우, 미러의 반사면에서 반사되는 차량 후방의 상을 사용자가 육안으로 확인하여야 하는 바, 일정 수준의 반사면 면적이 요구되는 반면, 카메라의 경우 넓은 반사면 면적을 요구하지 않고 카메라의 부품 배치에 따라 컴팩트한 형태로 구비될 수 있으므로, 후방 시야의 사각지대를 최소화할 수 있을 뿐만 아니라, 전측방 시야까지 개성될 수 있다는 이점이 있다. 또한 기존 사이드 미러에 비하여 공기 저항을 최소화함으로써 연비를 증가시킬 수 있다는 장점이 있다. 이처럼 사이드 미러보다 우수한 장점들로 인하여 디지털 미러로의 대체가 증가하는 추세에 있다.
한편 요즈음에는 카메라로 촬영되는 영상에 오버랩되는 그래픽 객체를 이용하여 실제 세계에 가상의 객체를 추가로 출력하는 증강현실(Augmented Reality, AR) 기술이 등장하고 있다. 현재의 차량은 이러한 증강현실 기술을 통해 차량 주변의 환경 및 차량의 상태와 차량의 주행 경로에 관련된 추가적인 정보들을 운전자에게 제공하므로, 운전자는 직관적으로 차량 및 차량의 주행 환경을 인지할 수 있다. 따라서 주행의 효율 및 편의성이 보다 향상될 수 있다. 이러한 증강현실 기술을 활용하는 경우, 실제 현실 세계를 기반으로 차량의 주행에 필요한 다양한 정보들이 제공될 수 있다는 장점이 있다.
그런데 디지털 미러 역시 카메라를 통해 획득되는 이미지를 디스플레이를 통해 표시한다. 이에 따라 상기 디지털 미러에도 상기 증강현실 기술을 적용하고자 하는 고객의 니즈가 증가하게 되었다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 하는 것으로, 디지털 미러에서 표시되는 객체들을 인식하고 인식된 객체들과 관련된 정보를 증강현실 객체로서 사용자에게 제공할 수 있도록 하는 디지털 미러 기반 증강현실 정보 제공 장치 및 그 장치의 제어 방법을 제공하는 것이다.
또한 본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 하는 것으로, 복수의 카메라 중 획득된 영상에 제1 객체를 포함하는 제1 및 제2 카메라가 서로 연동되어, 상기 제1 객체와 관련된 증강현실 객체를 표시할 수 있도록 하는 디지털 미러 기반 증강현실 정보 제공 장치 및 그 장치의 제어 방법을 제공하는 것이다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 증강현실 정보 제공 장치는, 제1 카메라 및 제2 카메라를 포함하는 복수의 카메라로부터 차량 주변의 도로 환경 및 상기 차량 주변의 객체를 포함하는 영상들을 수신 및, 상기 차량의 주행 상태를 센싱한 센싱 정보를 수신하는 인터페이스부와, 상기 복수의 카메라 중 적어도 하나에서 촬영된 영상을 기초로, 상기 센싱 정보에 근거하여 적어도 하나의 증강현실 객체를 렌더링하는 AR 모듈 및, 상기 제1 카메라의 영상에 포함된 객체들 중 제1 객체에 관련된 제1 증강현실 객체를 렌더링하도록 상기 AR 모듈을 제어하고, 상기 제2 카메라의 영상에 상기 제1 증강현실 객체와 관련된 제2 증강현실 객체가, 상기 제1 객체에 대향되는 방향에 표시되도록 상기 인터페이스부를 통해 상기 차량의 디스플레이부를 제어하는 프로세서를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 제1 카메라의 영상으로부터 검출된 상기 제1 객체의 3차원 위치 및 상대 속도를 산출하며, 상기 제1 객체가 검출된 시각으로부터 소요된 소요 시간에 따라 상기 제1 객체의 3차원 위치를 추정하고, 상기 제1 카메라의 영상으로부터 상기 제1 객체가 검출되지 않으면, 소정 시간 이내에 상기 추정된 제1 객체의 3차원 위치를 가리키는 제1 증강현실 객체가 상기 제1 카메라의 영상에 표시되도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 증강현실 객체에 대한 사용자의 선택이 있는 경우, 상기 제1 객체와 관련된 정보를 표시하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 추정된 제1 객체의 3차원 위치에 근거하여 상기 복수의 카메라 중 상기 추정된 3차원 위치 주변의 영상을 촬영하는 어느 하나의 카메라를 상기 제2 카메라로 결정하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 제2 카메라가 결정되면, 상기 추정된 제1 객체의 추정 위치에 근거하여 상기 제1 객체의 출현을 예고하는 제2 증강현실 객체를 포함하는 상기 제2 카메라의 영상이 상기 디스플레이부 상에 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 제1 카메라의 영상으로부터 상기 제1 객체가 검출되지 않으면, 상기 추정된 제1 객체의 추정 위치에 근거하여, 상기 제2 카메라의 영상에 상기 제1 객체가 포함될 시각을 예측하고, 상기 제1 증강현실 객체 및 상기 제2 증강현실 객체 중 적어도 하나를, 상기 제1 카메라의 영상으로부터 상기 제1 객체가 검출되지 않은 시점으로부터 경과된 시간에 따라 변경하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 제1 객체가 검출되지 않은 시점으로부터 경과된 시간에 따라, 상기 제1 증강현실 객체와 상기 제2 증강현실 객체의 투명도를 상반되게 변경하거나, 상기 제1 증강현실 객체와 상기 제2 증강현실 객체의 채도를 상반되게 변경하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 결정된 제2 카메라의 영상으로부터 상기 제1 객체가 검출되지 않으면, 상기 제2 카메라를 제외한 적어도 하나의 다른 카메라에서 촬영된 영상에 근거하여 상기 제1 객체를 검출하며, 상기 제1 객체가 검출된 어느 하나의 다른 카메라에서 촬영된 영상을 기초로 상기 제1 객체와 관련된 증강현실 객체가 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 적어도 하나의 다른 카메라에서 촬영된 영상으로부터 상기 제1 객체가 검출되지 않으면, 상기 제2 카메라에서 촬영된 영상 중 상기 추정된 3차원 위치에 대응하는 위치에 상기 제1 객체와 관련된 증강현실 객체가 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 차량 중심으로부터 상기 제1 객체까지의 거리를 산출 및, 상기 제1 객체가 상기 제1 카메라의 화각을 벗어나는 시각을 산출하고, 산출된 시각을 기초로 상기 소요 시간을 산출하며, 상기 기 설정된 단위 시간 별로 서로 다른 소요 시간에 따라 복수개의 상기 제1 객체의 후보 위치를 상기 3차원 위치로서 추정하고, 상기 복수개의 후보 위치 중 적어도 하나에 근거하여 상기 제2 카메라를 결정 및, 상기 복수개의 후보 위치 중 어느 하나에 근거하여 상기 제2 카메라에서 촬영된 영상에 포함된 상기 제1 객체를 식별하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 디스플레이부를 통해 표시되는 영역을 포함하는 이미지 영역 내에, 상기 복수개의 후보 위치 각각에 상기 제1 객체에 대응하는 형상을 투영하고, 상기 디스플레이부를 통해 표시되는 상기 이미지 영역 내의 일부 영역에, 상기 제1 객체에 대응하는 형상의 적어도 일부가 포함되는 적어도 하나의 후보 위치를 최종 후보 위치로 결정하고, 상기 제2 카메라에서 촬영된 영상에 포함된 객체들 중, 상기 투영되는 제1 객체에 대응하는 형상과 형상이 기 설정된 비율 이상 중첩되는 객체에 대응하는 어느 하나의 상기 최종 후보 위치를, 상기 제1 객체의 3차원 위치로서 추정하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 제2 카메라의 영상에 포함된 제1 객체와 상기 차량 사이의 거리, 상기 제1 객체의 상대 속도, 상기 제1 객체의 주행 방향과 상기 차량의 주행 방향 중 적어도 하나에 근거하여 기 설정된 안전주행 관련 이벤트의 발생을 검출하고, 상기 안전주행 관련 이벤트가 발생하면, 상기 제2 카메라의 영상 중 상기 제1 객체가 포함된 영역을 포함하는 일부의 이미지를 크롭하고, 크롭된 이미지가 스케일링되어 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 디스플레이부의 종횡비에 따라, 상기 제1 객체의 특정 면과 상기 제1 객체의 접근 경로 중 적어도 하나가 포함되도록 상기 제2 카메라의 영상 일부를 크롭하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 차량에 대한 기 설정된 사용자의 조작을 검출하고, 검출된 조작에 근거하여 상기 복수의 카메라 중 제3 카메라를 결정하고, 상기 제3 카메라에서 촬영된 영상으로부터 적어도 하나의 객체를 포함하는 일부의 영역을 크롭 및, 크롭된 영역의 이미지가 스케일링되어 디스플레이부상에 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 프로세서는, 상기 크롭된 영역에 포함된 적어도 하나의 객체에 대하여, 거리와 속도 및 주행 방향 중 적어도 하나에 근거하여 위험도를 판별 및 판별된 위험도에 따라 서로 다른 증강현실 객체가 표시되도록 상기 AR 모듈을 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 사용자의 조작은, 특정 차선으로의 진입을 위한 방향 지시등 작동 또는 특정 방향에 대응하는 미러를 일정 시간 이상 주시하는 조작을 포함하며, 상기 프로세서는, 상기 작동된 방향 지시등에 따른 차선 또는 상기 사용자가 일정 시간 이상 주시한 미러에 따른 특정 방향을 촬영하는 카메라를 상기 제3 카메라로 결정하는 것을 특징으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 증강현실 정보 제공 장치의 제어 방법은, 차량에 구비된 복수의 카메라 중 제1 카메라에 포함된 제1 객체를 식별하는 단계와, 식별된 제1 객체에 관련된 증강현실 객체를 포함하는 제1 증강현실 이미지를 표시하는 단계와, 소정 시간 경과된 후의 상기 제1 객체의 위치를 적어도 하나 추정하는 단계와, 상기 복수의 카메라 중, 상기 추정된 제1 객체의 위치에 근거하여 상기 소정 시간 경과 후에 상기 제1 객체의 영상을 획득할 제2 카메라를 결정하는 단계와, 상기 제2 카메라에서 획득되는 영상으로부터 제1 객체를 대향하는 방향에 따른 표시 위치를 결정하는 단계 및, 상기 제1 증강현실 객체와 다른 상기 제1 객체와 관련된 제2 증강현실 객체를, 상기 결정된 표시 위치에 표시되도록 상기 제2 카메라에서 획득된 영상을 표시하는 상기 차량의 디스플레이를 제어하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 디지털 미러에서 표시되는 객체에 관련된 정보를 증강현실을 통해 제공받을 수 있다는 효과가 있다.
또한 본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 전방을 주시하는 사용자의 시야에서 사라진 객체와 관련된 증강현실 정보를 상기 디지털 미러를 통해 표시함으로써, 상기 객체가 사각지대로 진입하더라도 상기 객체에 관련된 정보를 사용자가 확인할 수 있다는 효과가 있다.
도 1은 차량과 연결된 본 발명의 실시 예에 따른 디지털 미러 기반 증강현실 정보 제공 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 제1 카메라에서 인식된 객체에 관련된 증강현실 객체를, 제2 카메라 영상에 표시하는 동작 과정을 도시한 흐름도이다.
도 3은 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가 탑재된 차량의 이동에 따라, 주변의 객체가 상대이동하는 예를 도시한 예시도이다.
도 4는 상기 도 3에서 도시된 객체의 상대 이동에 따라, CID 및 룸 미러 디스플레이에서 표시되는 증강현실 객체들의 예를 도시한 예시도이다.
도 5는 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 소정 시간 후의 제1 객체 추정 위치에 근거하여 복수의 카메라 중 제2 카메라를 결정하는 동작 과정을 도시한 흐름도이다.
도 6은 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 소정 시간 후의 제1 객체 추정 위치들을 추정하는 예를 도시한 예시도이다.
도 7은 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 제1 카메라 영상에서 인식된 제1 객체에 관련된 증강현실 객체를, 제2 카메라의 영상에 표시하는 동작 과정을 도시한 흐름도이다.
도 8은 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 장애물에 의해 가려진 제1 객체의 위치를 증강현실 객체를 통해 표시하는 예를 도시한 예시도이다.
도 9는 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 제2 카메라 영상 내에서, 상기 제1 객체에 대응하는 객체를 검출하는 동작 과정을 도시한 흐름도이다.
도 10은 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 소정 시간 후의 제1 객체 추정 위치를 투영한 대응하는 제2 카메라 영상 내의 후보 위치들을 결정하는 예를 도시한 예시도이다.
도 11은 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 생성된 후보 객체들에 근거하여, 상기 제1 객체에 대응하는 객체를 검출하는 예를 도시한 예시도들이다.
도 12 및 도 13은 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 차량과의 거리에 따라 차량 주변에 객체에 대해 서로 다른 증강현실 정보를 표시하는 예를 도시한 예시도이다.
도 14는 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 제1 객체의 추정 위치에 따라 상기 제1 객체의 출현을 예고하는 증강현실 객체를 서로 다르게 표시하는 예를 도시한 예시도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다
본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 또한 이하에서 설명되는 각각의 실시 예들 뿐만 아니라, 실시 예들의 조합은 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물 내지 대체물로서, 본 발명의 사상 및 기술 범위에 해당될 수 있음은 물론이다.
도 1은 차량과 연결된 본 발명의 실시 예에 따른 디지털 미러 기반 증강현실 정보 제공 장치의 구성을 설명하기 위한 블록도이다.
도 1을 참조하여 살펴보면, 본 발명의 실시 예에 따른 디지털 미러 기반 증강현실 정보 제공 장치(이하 증강현실 정보 제공 장치)는 프로세서(100) 및, 상기 프로세서(100)에 연결되는 인터페이스부(110), AR(Augmented Reality) 모듈(120), 메모리(130) 및 통신부(140)를 포함하여 구성될 수 있다. 상기 도 1에 도시된 구성요소들은 본 발명의 실시 예에 따른 상기 증강현실 정보 제공 장치를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 상기 증강현실 정보 제공 장치는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
먼저 인터페이스부(110)를 살펴보면, 인터페이스부(110)는 차량(200)의 인터페이스부(도시되지 않음, 이하 차량 인터페이스부)와 연결될 수 있으며, 상기 차량 인터페이스부를 통해 차량(200)에서 제공되는 다양한 정보들을 수신할 수 있다. 여기서 상기 차량 인터페이스부는, 상기 차량(200)에 연결된 다양한 종류의 외부기기 또는 상기 차량(200)의 각 구성부와의 통로 역할을 수행할 수 있다. 예를 들면 상기 차량 인터페이스부는 상기 인터페이스부(110)와 연결되는 다양한 포트(port)를 구비할 수 있고, 상기 포트를 통해 상기 인터페이스부(110)와 연결될 수 있다. 그리고 상기 인터페이스부(110)와 데이터를 교환할 수 있다.
상기 인터페이스부(110)는 상기 차량 인터페이스부를 통해 상기 차량(200)의 각 구성부와 연결될 수 있다. 일 예로 상기 인터페이스부(110)는 상기 차량(200)에 구비된 ADAS(Advanced Driver Assistance Systems)(210)와 연결될 수 있다. 상기 ADAS(210)는 운전 중 발생할 수 있는 수많은 상황 가운데 일부를 스스로 인지하고 상황을 판단, 상기 차량(100)의 기능을 제어하기 위한 시스템으로, 충돌 위험시 운전자가 제동장치를 밟지 않아도 스스로 속도를 줄이거나 멈추는 '자동 긴급제동 시스템(AEB: Autonomous Emergency Braking)', 차선 이탈 시 주행 방향을 조절해 차선을 유지하는 '주행 조향보조 시스템(LKAS: Lane Keep Assist System)', 사전에 정해 놓은 속도로 달리면서도 앞차와 간격을 알아서 유지하는 '어드밴스트 스마트 크루즈 컨트롤(ASCC: Advanced Smart Cruise Control)', 사각지대 충돌 위험을 감지해 안전한 차로 변경을 돕는 '후측방 충돌 회피 지원 시스템(ABSD: Active Blind Spot Detection)', 차량 주변 상황을 시각적으로 보여주는 '어라운드 뷰 모니터링 시스템(AVM: Around View Monitor)' 등을 포함하는 시스템일 수 있다.
이를 위해 상기 ADAS(210)는 복수의 카메라(1번 카메라(211), 2번 카메라(212), ... n번 카메라(210n))를 구비할 수 있다. 여기서 상기 복수의 카메라는 차량(200)에 구비된 카메라로서, 차량(200)을 중심으로 서로 다른 방향의 이미지를 획득하도록 화각이 설정된 카메라들일 수 있다.
일 예로 1번 카메라(211)는 차량(200)의 전방의 이미지를 획득하는 카메라일 수 있다. 또한 2번 카메라(212)는 차량(200) 후방의 이미지를 획득하는 카메라일 수 있다. 그리고 3번 카메라(도시되지 않음) 및 4번 카메라(도시되지 않음)는 각각 차량의 좌측방 및 우측방의 이미지를 획득하는 카메라일 수 있다. 또한 5번 카메라(도시되지 않음)는 차량(200)의 좌측에서 차량(200) 후방의 이미지를 획득하기 위한 카메라(예 : 좌측 사이드 미러에 대응하는 카메라)일 수 있으며, 6번 카메라(도시되지 않음)는 차량(200)의 우측에서 차량(200) 후방의 이미지를 획득하기 위한 카메라(예 : 우측 사이드 미러에 대응하는 카메라)일 수 있다.
또는 상기 차량(200)의 전방의 이미지를 획득하기 위해 복수의 전방 카메라가 배치될 수 있다. 마찬가지로 상기 차량(200) 후방의 이미지를 획득하기 위해 복수의 후방 카메라가, 상기 차량(200)의 좌측방 및 우측방의 이미지를 획득하기 위해 복수의 좌측방 카메라 및 우측방 카메라가 배치될 수 있다. 이 경우 ADAS(210)는 특정 방향의 이미지를 획득하는 카메라들을 각각 구분하고, 각 카메라에서 획득되는 이미지를 조합하여 상기 특정 방향의 이미지를 생성할 수 있다. 이와 같이 복수의 카메라를 조합하여 특정 방향의 이미지를 획득함으로써, 상기 특정 방향에 대한 보다 넓은 화각의 영상을 사용자에게 제공할 수 있다.
한편 ADAS(210)는 상기 복수의 카메라를 이용하여 차량 주변의 다양한 객체들을 인식 및, 상기 차량(200)과 인식된 객체들 사이의 거리와 각도 등 상기 차량(200)을 기준으로 상기 인식된 객체들의 상대 위치를 산출할 수 있다. 그리고 ADAS(210)에서 검출 및 산출된 정보들, 즉 인식된 객체들 및 상기 인식된 객체들의 상대 위치에 대한 정보들을 포함하는 객체 정보들은 상기 인터페이스부(110)를 통해 프로세서(100)로 전달될 수 있다.
또한 상기 인터페이스부(110)는 상기 차량 인터페이스부를 통해 상기 차량(200)의 내비게이션 시스템(220)과 연결될 수 있다. 그리고 연결된 내비게이션 시스템(220)으로부터 제공되는 내비게이션 정보를 프로세서(100)로 전달할 수 있다. 그러면 프로세서(100)는 내비게이션 정보와 상기 차량(200)의 센싱부 등에서 검출되는 차량 위치에 근거하여 차량(200)의 현재 경로 상의 위치를 검출할 수 있다.
또한 상기 인터페이스부(110)는 상기 차량(200)에 구비된 복수의 센서를 포함하는 센싱부(230)와 연결될 수 있다. 상기 센싱부(230)에 구비되는 복수의 센서는 상기 차량(200)의 위치를 식별하기 위한 센서 및 차량의 상태와 운전자의 상태를 감지하기 위한 센서들을 포함할 수 있다.
일 예로 상기 센싱부(230)는 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다. 또한 탑승자의 상태 감지를 위한 초음파 센서나 라이다(LiDAR) 센서 또는 레이더(radar) 센서나 적외선 센서 또는 사용자의 움직임을 검출하기 위한 내부 카메라 등을 포함할 수 있다. 이러한 센싱부(230)의 감지 결과에 근거하여 프로세서(100)는 사용자의 제스처 또는 특정 방향이나 상기 특정 방향에 대응하는 미러를 주시하는 사용자의 움직임을 감지할 수 있다.
또한 인터페이스부(110)는 차량 인터페이스부를 통해 시각 정보를 출력하는 디스플레이부(250) 또는 음향 정보를 출력하는 차량(200)의 음향 출력부(도시되지 않음)와 연결될 수 있다. 일 예로 상기 음향 출력부는 차량(200)에 구비된 적어도 하나의 스피커를 포함할 수 있다. 그리고 상기 프로세서(100)의 제어에 따른 이벤트 정보를 상기 음향 출력부에 제공하여, 상기 음향 출력부가 상기 이벤트 정보를 출력하도록 할 수 있다.
그리고 상기 디스플레이부(250)는 복수의 디스플레이를 포함할 수 있다. 예를 들어 상기 디스플레이부(250)는 CID(Center Information Display)(251), 룸 미러(Room mirror) 디스플레이(252), HUD(Head Up Display)(253)를 포함할 수 있다. 여기서 상기 룸 미러 디스플레이(252)는, 차량(200)의 후방 카메라에 획득된 이미지를 표시하는 디스플레이로서, 기존의 룸 미러의 역할을 대체하는 디스플레이(디지털 미러)일 수 있다.
상기 디스플레이부(250)에 포함된 각각의 디스플레이, 예를 들어 CID(251), 룸 미러 디스플레이(252), 및 HUD(253)는 각각 서로 다른 차량(200)의 카메라에서 획득된 이미지를 출력할 수 있다. 또는 프로세서(100)의 제어에 따라 어느 하나의 디스플레이가 둘 이상의 카메라에서 획득된 이미지를 표시할 수도 있다. 이 경우 상기 어느 디스플레이는 복수의 영역으로 구획될 수 있으며, 구획된 각 영역에 서로 다른 카메라에서 획득된 이미지가 표시될 수 있다.
예를 들어 CID(251)는 차량(200)의 전방 카메라에서 획득된 이미지 및 적어도 하나의 다른 카메라에서 획득된 이미지를 동시에 출력할 수 있다. 이러한 경우, 상기 CID(251)는 3개의 영역으로 구획될 수 있으며, 좌측 영역에는 차량(200)의 좌측에 구비되어 차량(200) 좌측 후방의 영상을 획득하는 카메라로부터 획득된 영상이 표시될 수 있고, 우측 영역에는 차량(200)의 좌측에 구비되어 차량(200) 우측 후방의 영상을 획득하는 카메라로부터 획득된 영상이 표시될 수 있다. 그리고 중앙 영역에는 차량(200)의 전방 카메라에서 획득된 영상이 표시될 수 있다. 이 경우 상기 CID(251)의 좌측 영역은, 좌측 디지털 사이드 미러의 역할을 수행할 수 있고, 상기 CID(251)의 우측 영역은, 우측 디지털 사이드 미러의 역할을 수행할 수 있다.
한편 상기 도 1에서는 CID(251), 룸 미러 디스플레이(252), HUD(253)의 3개 디스플레이만을 도시하였으나, 얼마든지 더 많은 디스플레이가 디스플레이부(250)에 포함될 수 있음은 물론이다. 일 예로 상기 좌측 디지털 사이드 미러에 대응하는 디스플레이 및, 상기 우측 디지털 사이드 미러에 대응하는 디스플레이가 상기 디스플레이부(250)에 더 포함될 수 있다.
또한 상기 인터페이스부(110)는 상기 차량 인터페이스부를 통해 사용자 입력을 수신하는 차량(200)의 입력부(도시되지 않음)와 연결될 수 있다. 일 예로 상기 입력부는 차량(200)의 탑승자, 즉 사용자의 터치 입력을 수신할 수 있는 터치 입력부 또는 사용자의 음성 입력을 수신할 수 있는 마이크 등을 포함할 수 있다. 그리고 상기 입력부를 통해 사용자의 입력이 수신되는 경우라면, 인터페이스부(110)는 수신된 사용자의 입력을 프로세서(100)에 입력할 수 있다.
또한 상기 차량(200)에 구비된 적어도 하나의 디스플레이가 시각 정보의 출력 및 터치 입력이 모두 가능한 터치 스크린을 형성할 수 있다. 이 경우 상기 인터페이스부(110)는 상기 터치 스크린을 통해 적어도 하나의 카메라에서 획득된 이미지를 출력하고, 터치 스크린을 통해 감지되는 사용자의 터치 입력을 수신할 수 있다.
한편 본 발명의 실시 예에 따른 증강현실 정보 제공 장치는, 증강현실 객체를 포함하는 AR 이미지를 렌더링하여 출력하는 AR 모듈(120)을 구비할 수 있다. 상기 AR 모듈(120)은 증강현실 객체를 포함하는 이미지, 즉 AR 이미지를 형성하기 위한 영상 구성부(Scene manager) 및, 증강현실 객체를 포함하는 영상을 디스플레이 상에 렌더링하기 위한 AR 렌더러(renderer)를 구비할 수 있다.
먼저 AR 모듈(120)은 상기 ADAS(210)와 연결된 복수의 카메라에서 센싱된 이미지 및, 차량(200)의 입력부를 통해 감지되는 사용자의 제스처 정보 또는 터치 이벤트 정보, 그리고 상기 ADAS(210), 내비게이션 시스템(220), 센싱부(230) 등에서 감지되는 정보를 상기 인터페이스부(110)를 통해 수신할 수 있다.
여기서 상기 복수의 카메라에서 센싱된 이미지는 인터페이부(110)를 통해 수신되어, 프로세서(100)의 제어에 따라 객체 식별이 이루어질 수 있다. 그리고 객체 식별 결과가 프로세서(100)에 입력될 수 있다. 또한 상기 AR 모듈(120)은 인식된 객체에 대응하는 정보를 포함하는 증강현실 객체를 결정하고, 결정된 증강현실 객체를 결정할 수 있다.
여기서 상기 증강현실 객체는, 메모리(130)에 저장된 것일 수 있다. 또는 상기 증강현실 객체는, 기 설정된 서버, 예를 들어 클라우드 서버로부터 제공되는 것일 수 있다. 이 경우 상기 AR 모듈(120)은 인식된 객체 및 상기 인식된 객체와 관련된 정보, 예를 들어 현재 차량(200)의 위치 및 내비게이션 정보 등을 상기 객체 인식 결과와 함께 상기 클라우드 서버로 전송하고, 전송된 객체 인식 결과와 관련 정보에 대한 응답으로, 상기 인식된 객체에 대응하는 증강현실 객체를 수신할 수 있다.
그리고 영상 구성부는 각각의 증강현실 객체가 배치될 이미지 상의 영역을 결정하고, 이미지 상에 상기 결정된 증강현실 객체를 배치할 수 있다. 그리고 AR 렌더러는 상기 영상 구성부로부터 이미지 상의 각 영역에 배치된 객체들의 영상 구성 정보를 수신할 수 있다. 그리고 수신된 영상 구성 정보에 따른 영상을 적어도 하나의 디스플레이 상에 렌더링할 수 있다.
한편 상기 증강현실 객체는, 인식된 객체에 관련된 다양한 정보를 포함할 수 있다. 예를 들어 특정 장소나 건물에 대응하는 증강현실 객체, 즉 POI 객체는 대응하는 장소 또는 건물에 관련된 정보로서 해당 장소 또는 건물에 위치한 영업소의 정보를 포함할 수 있다. 이 경우 상기 영업소의 정보는 상기 영업소의 상호나 업종 및 연락처, 그리고 상기 영업소가 제공하는 서비스에 대한 정보 등을 포함할 수 있다. 그리고 이러한 증강현실 객체에 관련된 정보들, 즉 증강현실 정보들은 상기 증강현실 객체에 대한 사용자의 입력에 근거하여 디스플레이 상에 표시될 수 있다.
한편, 상술한 바와 같이 본 발명의 실시 예에 따른 증강현실 정보 제공 장치는 복수의 디스플레이를 포함할 수 있다. 이 경우 상기 AR 모듈(120)은 각각의 디스플레이에 증강현실 객체를 포함하는 영상을 렌더링하기 위한 복수의 AR 렌더러를 포함할 수 있다. 이 경우 상기 AR 모듈(120)은 프로세서(100)의 제어에 따라 ADAS(210)에 연결된 복수의 카메라 또는 센싱부(230)에 구비된 복수의 센서로부터 센싱되는 정보들을 융합하고, 융합된 정보들에 근거하여 상기 복수의 카메라에서 획득된 이미지들이 서로 유기적으로 연동되도록, 상기 복수의 디스플레이에 증강현실 객체들을 표시할 수 있다.
일 예로, AR 모듈(120)은 ADAS(210)와 센싱부(230), 내비게이션 시스템(220)으로부터 차량 CAN, GPS, IMU(Inertial Measurement Unit, 관성 측정 장치), 내비게이션 경로 정보 등을 수신 받아 차량 기준 좌표계상에서 주변 객체들의 3차원 위치를 대상하는 디스플레이로 투영하기 위한 일련의 행렬 정보를 계산하는 융합부(도시되지 않음)를 구비할 수 있다. 그리고 상기 융합부에서 융합된 감지값들은 각 AR 렌더러가 공유할 수 있다. 그리고 각각의 AR 렌더러는 서로 다른 디스플레이에 표시되는 AR 그래픽을 생성할 수 있다.
또는 상술한 바와 같이 AR 렌더러가 복수개 구비되는 것이 아니라, 상기 AR 모듈이 상기 복수의 디스플레이에 따라 복수개로 구현될 수도 있다. 이 경우 각 AR 모듈에 포함된 서로 다른 영상 구성부와 AR 렌더러가, 서로 다른 디스플레이에 표시되는 AR 이미지를 렌더링할 수 있다. 일 예로 도 1에 도시된 바와 같이 디스플레이부(250)이 CID(251)와 룸 미러 디스플레이(252) 및 HUD(253)를 포함하는 경우라면, CID(251)와 룸 미러 디스플레이(252) 및 HUD(253)에 각각 대응하는 AR 모듈들이 구비될 수 있다. 이 경우 각 AR 모듈은 각 디스플레이에 구비될 수 있다. 즉 CID(251)와 룸 미러 디스플레이(252) 및 HUD(253)에 각각 AR 모듈이 구비될 수 있다.
이 경우 프로세서(100)는, ADAS(210)에 연결된 복수의 카메라 또는 센싱부(230)에 구비된 복수의 센서로부터 센싱되는 정보들을 융합하고, 융합된 정보들에 근거하여 상기 복수의 카메라에서 획득된 이미지들이 서로 유기적으로 연동되도록, 상기 복수의 AR 모듈을 제어할 수 있다.
이 경우 상기 복수의 AR 모듈은 각각 인터페이스부(110)를 통해 ADAS(210)의 감지값 및 센싱부(230)의 감지값들을 각자 수신할 수 있다. 여기서 각각의 AR 모듈(120)에서 수신된 감지값들이 서로 다를 경우 각 디스플레이에서 표시되는 증강현실 객체들의 연결성이 떨어질 수 있기 때문에(예: GPS 센서퓨전의 결과가 달라 제1 AR 모듈은 증강현실 객체를 표시하지만, 제2 AR 모듈은 증강현실 객체를 표시하지 않는 등), 상기 복수의 AR 모듈이 각각의 AR 모듈의 중간 연산 데이터(예: 필터링된 자차 GPS 위치, 주변 객체의 필터링된 위치, 현재 표시되고 있는 증강현실 컨텐츠의 종류, 차량 떨림 보상을 위한 도로 지면에서 카메라의 위치에 대한 행렬 등)를 공유하도록, 프로세서(100)가 제어할 수 있다. 예를 들어, 프로세서(100)는 차량의 자세에 관한 행렬값에 대하여, 제2 AR 모듈에서 산출된 행렬값과, 제1 AR 모듈에서 산출된 행렬값의 평균을 이용하던지, 또는 제1 또는 제2 AR 모듈 중 어느 하나가, 다른 하나에서 연산된 행렬값을 수신하여 그대로 이용하도록 할 수 있다.
한편 메모리(130)는 상기 증강현실 정보 제공 장치의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 메모리(130)는 상기 프로세서(100)에 의해 실행될 수 있는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), AR 모듈(120)과 인터페이스부(110)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 또한 ADAS(210) 및 상기 ADAS(210)와 연결된 복수의 카메라를 지원하기 위한 데이터(예 : 캘리브레이션 데이터), 내비게이션 시스템(220) 및 센싱부(230)의 동작을 위한 데이터들이 저장될 수 있다.
여기서 상기 내비게이션 시스템(220)의 동작을 위한 데이터로서 메모리(130)에는 AR 모듈(120)이 차량(200) 주변의 맵 정보 및 상기 맵에 포함된 다수의 POI(Position Of Interest)에 대한 정보들이 포함될 수 있다. 또한 상기 맵에 포함된 POI들 각각에 대응하는 증강현실 컨텐츠, 즉 증강현실 객체들을 포함할 수 있다. 또한 상기 증강현실 컨텐츠는 POI의 상호명과 업종, 제공하는 서비스, 연락처 및 선택 가능한 메뉴 등, 상기 POI에 관련된 다양한 정보들, 즉 증강현실 정보들을 포함할 수 있다. 따라서 상기 메모리(130)에 저장된 POI 정보에 근거하여 AR 모듈(120)은 디스플레이부(250)에 포함된 적어도 하나의 디스플레이에, 증강현실 객체를 포함하는 이미지, 즉 증강현실 이미지를 표시할 수 있다. 그리고 표시된 증강현실 객체에 대한 사용자의 입력에 근거하여 선택된 POI에 관련된 증강현실 정보를 적어도 하나의 디스플레이에 표시할 수 있다.
한편, 상기 POI 정보 및 증강현실 컨텐츠는 기 설정된 서버, 예를 들어 클라우드 서버로부터 제공되는 것일 수 있다. 이 경우 프로세서(100)는 통신부(140)를 통해 상기 클라우드 서버와 무선 통신을 연결하고, 센싱부(230)에서 획득된 차량(200)의 위치 정보를 상기 클라우드 서버에 제공할 수 있다. 그러면 클라우드 서버는, POI 정보가 포함된 맵 정보 또는 현재 차량(200)의 위치 주변에 있는 적어도 하나의 POI에 대한 정보 및 각 POI에 대한 증강현실 컨텐츠를 전송할 수 있으며, 클라우드 서버로부터 전송된 POI 정보 및 증강현실 컨텐츠는 메모리(130)에 저장될 수 있다.
한편 프로세서(100)는 연결된 각 구성요소를 제어하며, 통상적으로 증강현실 정보 제공 장치의 전반적인 동작을 제어한다. 먼저 프로세서(100)는 인터페이스부(110)를 통해 차량(200)의 ADAS(210)와 내비게이션 시스템(220), 그리고 센싱부(230)에서 제공되는 정보들을 수신할 수 있다.
여기서 프로세서(100)는 상기 ADAS(210)를 통해 복수의 카메라 각각에서 획득되는 이미지를 수신할 수 있다. 또한 ADAS(210)를 통해 각 카메라에서 획득된 이미지들에 포함된 객체들의 인식 결과를 수신할 수 있다. 그리고 인식 결과에 따라, 카메라에서 획득된 영상에 상기 인식된 객체에 대한 증강현실 객체가 오버랩된 증강현실 이미지가 렌더링되도록 상기 AR 모듈(120)을 제어할 수 있다. 그리고 상기 AR 모듈(120)에서 렌더링된 증강현실 이미지가 적어도 하나의 디스플레이에 표시되도록 인터페이스부(110)를 통해 디스플레이부(250)를 제어할 수 있다.
또한 프로세서(100)는 ADAS(210)로부터 상기 인식된 각 객체들과 차량(200) 사이의 거리(이하 상대 거리) 및 차량(200)을 기준으로 인식된 각 객체들의 위치에 따른 각도(이하 상대 각도)에 대한 정보를 수신할 수 있다. 또한 차량(200)의 현재 주행 방향 및 상기 차량(200)의 현재 속도에 따른 상기 인식된 각 객체들의 주행 방향 및 이동 속도(이하 상대 속도)에 대한 정보를 수신할 수 있다.
그러면 프로세서(100)는 상기 수신된 객체 정보, 예를 들어 상대 속도 와 상대 각도, 및 상대 거리에 대한 정보에 근거하여 특정 객체의 소정 시간 후의 위치를 추정할 수 있다. 그리고 추정된 위치에 근거하여 상기 특정 객체가 포함될 카메라를 결정할 수 있다.
일 예로 상기 특정 객체가 차량(200)과 마주보는 방향으로 반대 차선에서 주행하는 차량인 경우라면, 차량(200)의 전방 카메라는 상기 특정 객체가 포함된 이미지를 획득할 수 있다. 그리고 프로세서(100)는 상기 특정 객체의 인식 결과에 따라 상기 특정 객체에 대응하는 증강현실 객체가, 상기 특정 객체의 주변에 표시되는 증강현실 이미지를 표시하도록 어느 하나의 디스플레이를 제어할 수 있다. 여기서 상기 특정 객체가 포함된 이미지를 먼저 획득한 카메라가 제1 카메라로 결정될 수 있다.
그러면 ADAS(210)는 상기 제1 카메라의 영상에 포함된 상기 특정 객체의 상대 속도 및 상대 거리, 그리고 상대 속도를 산출하여 프로세서(100)에 제공할 수 있다. 그러면 프로세서(100)는 ADAS(210)로부터 수신되는 상기 특정 객체의 상대 속도 및 상대 거리, 그리고 상대 속도에 근거하여, 상기 특정 객체의 소정 시간 후의 위치를 추정할 수 있다. 예를 들어 프로세서(100)는 상기 특정 객체가 상기 전방 카메라에서 검출되지 않는 시점을 기준으로, 상기 소정 시간 후의 상기 특정 객체의 위치를 추정할 수 있다.
그리고 추정된 상기 특정 객체의 위치에 근거하여 상기 특정 객체가 출현할 가능성이 높은 다른 카메라(이하 제2 카메라)를 결정할 수 있다. 이 경우 프로세서(100)는 상기 추정된 소정 시간 후의 상기 특정 객체의 위치를 포함하는 화각을 가지는 카메라를 상기 제2 카메라로 결정할 수 있다. 즉, 상술한 바와 같이 상기 특정 객체가 차량(200)과 마주보는 방향으로 반대 차선에서 주행하는 차량인 경우라면, 프로세서(100)는 상기 차량(200)의 후방 카메라를 상기 특정 객체가 출현할 가능성이 높은 카메라, 즉 제2 카메라로 결정할 수 있다.
그러면 프로세서(100)는 상기 제2 카메라에서 획득되는 이미지에 포함된 객체들에 대한 ADAS(210)의 인식 결과로부터, 상기 제1 카메라의 영상에서 인식된 상기 특정 객체의 인식을 위한 정보, 즉 형태나 색상, 크기 등과 같은 특징 정보에 대응하는 객체를 검출할 수 있다. 그리고 대응하는 객체가 검출되는 경우 상기 특정 객체에 대응하는 증강현실 객체가, 상기 특정 객체의 주변에 표시되는 증강현실 이미지를 표시하도록 AR 모듈(120)을 제어하고 인터페이스부(110)를 통해 어느 하나의 디스플레이를 제어할 수 있다.
따라서 프로세서(100)는, 차량(200) 주변의 객체가, 차량(200)의 이동 속도 또는 상기 객체의 이동 속도에 따라 상대 위치(차량(200) 기준 위치)가 변경되는 경우, 변경된 객체의 위치에 따라 상기 객체를 포함하는 복수의 카메라를 연동하여 상기 객체를 추적할 수 있다. 그리고 연동된 카메라들로부터 획득되는 영상들을 통해, 상기 추적된 객체에 대응하는 증강현실 객체를 연속적으로 표시할 수 있다. 이에 따라 사용자는 차량(200)의 특정 방향에서 검출된 객체의 이동을 보다 쉽고 직관적으로 인식할 수 있다는 효과가 있다.
뿐만 아니라, 프로세서(100)는 상기 제2 카메라에서 획득된 이미지에 포함된 객체들 중, 상기 특정 객체가 포함되지 않은 경우라면, 상기 제2 카메라에서 획득된 이미지에 상기 특정 객체의 출현을 예고하는 증강현실 객체가 오버랩된 증강현실 이미지가 표시되도록 AR 모듈 및 인터페이스부(110)를 제어할 수 있다.
예를 들어 상기 특정 객체가, 복수의 카메라 각각의 화각을 벗어난 영역, 즉 사각지대에 있는 경우라면, 상기 특정 객체가 제2 카메라에서 획득된 이미지에 포함되지 않을 수 있다. 이 경우 프로세서(100)는 상기 특정 객체의 출현을 예고하는 증강현실 객체, 즉, 상기 특정 객체에 대응하는 증강현실 객체(예 : 제1 증강현실 객체)와 관련된 다른 증강현실 객체(예 : 제2 증강현실 객체)를 포함하는 제2 카메라의 영상이 렌더링되도록 AR 모듈(120)을 제어할 수 있다. 그리고 상기 렌더링된 제2 증강현실 객체를 포함하는 증강현실 이미지가 어느 하나의 디스플레이에 표시되도록 인터페이스부(110)를 통해 디스플레이부(250)를 제어할 수 있다.
여기서 프로세서(100)는 상기 제2 카메라에서 획득된 영상 내에서, 소정 시간 후의 상기 특정 객체 추정 위치에 대향되는 방향, 즉 상기 특정 객체의 추정 위치를 마주보는 방향으로 상기 특정 객체의 추정 위치를 지향하는 방향에 대응하는 위치에 상기 제2 증강현실 객체가 오버랩되도록 상기 AR 모듈(120)을 제어할 수 있다. 따라서 사용자는 상기 제2 증강현실 객체를 통해, 상기 특정 객체가 상기 제2 카메라의 영상에 포함되기 전에도, 상기 특정 객체가 나타낼 위치를 미리 인지할 수 있다는 효과가 있다.
또한 프로세서(100)는 제1 카메라에서 식별된 제1 시점에서 식별된 제1 객체의 특징 정보 중 일부가, 제2 카메라에서 식별된 제2 시점에서 변경된 것으로 판단되면, 상기 변경된 특징 정보를 포함하는 증강현실 정보가 상기 제2 카메라의 영상에 표시되도록 AR 모듈(120)을 제어할 수도 있다.
뿐만 아니라 프로세서(100)는 상기 제2 증강현실 객체가 상기 차량(200)과 상기 소정 시간 후의 특정 객체 추정 위치와의 거리에 따라 서로 다르게 표시되도록 AR 모듈(120) 및 인터페이스부(110)를 제어할 수 있다. 일 예로 제2 증강현실 객체의 크기가 커지거나 또는 채도나 휘도가 달라짐으로써 상기 특정 객체의 출현이 임박하였음을 표시할 수도 있다.
한편 상기 제1 카메라 및 제2 카메라는 객체의 상대 위치나 상대 속도 또는 상대 각도 등에 따라 다르게 결정될 수 있다. 예를 들어 상술한 설명과 같이 특정 객체가 차량(200)의 전방에서 차량(200)과 마주보는 방향으로 주행하는 다른 차선의 차량인 경우, 차량(200)의 전방 카메라가 상기 특정 객체를 먼저 인식할 수 있다. 그리고 프로세서(100)는 소정 시간 후의 상기 특정 객체의 위치를 추정하고 추정된 위치에 따라 상기 특정 객체를 이어서 검출할 카메라로서 후방 카메라를 결정할 수 있다. 따라서 상기 특정 객체를 먼저 인식하는 카메라인 전방 카메라가 제1 카메라일 수 있고, 상기 특정 객체의 추정된 위치에 따라 결정되는 카메라인 후방 카메라가 제2 카메라일 수 있다.
상술한 예와 반대로, 특정 객체가 차량(200)의 후방에서 차량(200)과 같은 방향으로 주행하며 차량(200)을 추월하는 다른 차선의 차량인 경우라면, 차량(200)의 후방 카메라가 상기 특정 객체를 먼저 인식할 수 있다. 그리고 프로세서(100)는 소정 시간 후의 상기 특정 객체의 위치를 추정하고 추정된 위치에 따라 상기 특정 객체를 이어서 검출할 카메라로서 전방 카메라를 결정할 수 있다. 이 경우 차량(200)의 후방 카메라가 상기 제1 카메라일 수 있고, 차량(200)의 전방 카메라가 상기 제2 카메라일 수 있다.
또한 프로세서(100)는 인식된 특정 객체의 상대 속도, 상대 각도 및 상대 거리 중 적어도 하나에 따라 상기 인식된 특정 객체에 대한 부가적인 증강현실 객체를 더 표시할 수 있다. 예를 들어, 상기 인식된 특정 객체와 차량(200) 사이의 거리가 일정 거리 이하인 경우, 프로세서(100)는 상기 특정 객체 포함된 카메라의 영상에, 상기 특정 객체의 접근을 나타내는 증강현실 객체에 더 오버랩된 증강현실 이미지가 렌더링되도록 AR 모듈(120)을 제어할 수 있다.
한편 이처럼 부가적인 증강현실 객체는 차량(200)의 구동 상태 또는 차량(200)의 조작 상태에 따라 더 표시될 수 있다. 예를 들어 차량(200)의 차선 변경을 위한 지시등이 온(on) 된 경우, 프로세서(100)는 상기 온 된 지시등에 대응하는 차선으로부터 검출되는 객체들에 근거하여, 변경 예정 차선이 안전한지 여부를 나타내는 증강현실 객체가 표시되도록 AR 모듈(120) 및 인터페이스부(110)를 제어할 수 있다.
예를 들어 프로세서(100)는, 상기 지시등에 대응하는 차선으로부터 검출되는 객체, 즉 다른 차량과 상기 차량(200) 사이의 거리 및 상기 다른 차량의 속도에 근거하여 차선의 변경이 안전한지 여부를 판단할 수 있다.
일 예로 상기 다른 차량의 속도가 일정 속도 이하인 경우에 차량(200)과 상기 다른 차량과의 거리가 기 설정된 안전거리를 초과하는 경우에는, 안전한 차선 변경이 가능함을 나타내는 증강현실 객체가 표시되도록 상기 AR 모듈(120)을 제어할 수 있다. 반면 상기 지시등에 대응하는 차선의 다른 차량의 속도나 상기 다른 차량의 상대 속도가 일정 속도 이상이거나, 또는 상기 다른 차량과 상기 차량(200) 사이의 거리가 상기 기 설정된 거리 이하인 경우에는 차선 변경이 위험함을 나타내는 증강현실 객체가 표시되도록 상기 AR 모듈(120)을 제어할 수 있다. 이 경우 안전한 차선 변경이 가능함을 나타내는 증강현실 객체와 차선 변경이 위험함을 나타내는 증강현실 객체는 서로 다를 수 있다.
그리고 본 발명의 실시 예에 따른 증강현실 정보 제공 장치는 통신부(140)를 더 포함할 수 있다. 상기 통신부(140)는 프로세서(100)의 제어에 따라 기 설정된 서버, 예를 들어 클라우드 서버와 무선 통신을 연결할 수 있으며, 연결된 클라우드 서버로부터 프로세서(100)의 요청에 따른 정보, 예를 들어 POI 정보 및 증강현실 컨텐츠 등의 정보를 수신할 수 있다.
한편 도 2는 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 제1 카메라에서 인식된 객체에 관련된 증강현실 객체를, 제2 카메라 영상에 표시하는 동작 과정을 도시한 흐름도이다.
도 2를 참조하여 살펴보면, 본 발명의 실시 예에 따른 증강현실 정보 제공 장치의 프로세서(100)는 먼저 제1 카메라를 통해 획득된 영상에 포함된 객체들을 식별할 수 있다. 이에 따라 상기 제1 카메라의 영상에 포함된 객체들 중 제1 객체가 식별될 수 있다(S200). ADAS(210)는 제1 객체를 포함하는 영상을 획득한 카메라가 몇 번 카메라인지에 대한 정보를 획득할 수 있다. 그리고 상기 ADAS(210)가 획득한 카메라의 정보는 상기 제1 카메라의 정보일 수 있다.
여기서 상기 제1 객체는, 기 설정된 조건에 따라 자동으로 선택되거나 또는 사용자에 의해 선택되는 객체일 수 있다. 일 예로 상기 기 설정된 조건은 차량(200)과의 거리, 또는 차량(200)과의 상대 속도 및 상대 각도 중 적어도 하나를 포함할 수 있다. 즉, 차량(200)의 속도보다 일정 수준 이상 빠른 이동 속도를 가지는 차량의 경우 상기 제1 객체로 자동으로 선택될 수 있다. 또는 차량(200)으로부터의 거리가 일정 수준 미만인 차량의 경우 상기 제1 객체로 자동으로 선택될 수 있다. 또는 사용자가 미리 설정한 업종에 대응하는 서비스를 제공하는 영업점이 있는 건물의 경우 자동으로 제1 객체로 선택될 수 있다.
상기 S200 단계에서, 상기 프로세서(100)는 상기 제1 객체로부터 획득되는 다양한 정보를 상기 제1 객체의 특징 정보로 수집할 수 있다. 예를 들어 제1 객체가 차량인 경우 프로세서(100)는 차량의 형태, 즉 크기나 번호판의 위치, 배기구 위치, 범퍼 모양 등 및 차량의 색상과 같은 특징점들을 상기 제1 객체의 특징 정보로서 수집할 수 있다. 또는 상기 제1 객체가 건물인 경우 건물 및 그 건물 주변의 형태(예를 들어 창문 패턴), 건물의 위치 및 건물의 색상, 간판에 포함된 문자나 이미지, 간판의 형태나 크기 등이 상기 제1 객체의 특징 정보로서 수집될 수 있다.
그리고 프로세서(100)는 상기 특징 정보가 수집된 제1 객체, 즉 식별된 제1 객체에 대응하는 증강현실 객체가, 제1 카메라가 획득된 영상에 포함된 증강현실 이미지(제1 증강현실 이미지)가 렌더링되도록 AR 모듈(120)을 제어할 수 있다. 그리고 렌더링된 증강현실 이미지가 디스플레이부(250)에 포함된 디스플레이들 중 어느 하나에 표시되도록 인터페이스부(110)를 제어할 수 있다(S202).
예를 들어 제1 카메라가 전방 카메라인 경우 상기 제1 객체에 대응하는 증강현실 객체(제1 증강현실 객체)가 포함된 증강현실 이미지는 CID(251)에 표시될 수 있다. 또는 상기 제1 카메라가 후방 카메라인 경우 상기 제1 증강현실 객체가 포함된 증강현실 이미지는 룸 미러 디스플레이(252)에 표시될 수 있다.
한편 제1 객체의 증강현실 객체를 포함하는 증강현실 이미지가 디스플레이들 중 적어도 하나에 표시되는 상태에서, 프로세서(100)는 기준 시점으로부터 소정 시간 경과 후의 상기 제1 객체의 위치를 추정할 수 있다. 그리고 차량(200)의 카메라들 중, 상기 제1 객체의 추정된 위치에 근거하여 상기 제1 객체를 포함하는 영상을 획득할 가능성이 높은 적어도 하나의 카메라를 제2 카메라로 결정할 수 있다(S204).
여기서 상기 기준 시점은, 상기 제1 객체에 따라 결정될 수 있다. 예를 들어 상기 기준 시점은 상기 제1 객체가 식별된 시점일 수 있다. 또는 상기 기준 시점은 상기 제1 객체가 상기 제1 카메라의 영상에서 사라진 시점일 수 있다. 이 경우 프로세서(100)는 제1 객체가 제1 카메라에서 획득한 영상 내에 포함되는지 여부를 지속적으로 모니터링할 수 있다.
따라서 프로세서(100)는 상기 S204 단계에서, 차량(200)의 이동 또는 상기 제1 객체의 이동에 따라 상기 제1 카메라에서 획득된 영상에 상기 제1 객체의 적어도 일부가 표시되지 않는 시점을 기준 시점으로 결정할 수 있다. 그리고 상기 기준 시점으로부터 소정 시간 경과 후의 제1 객체 추정 위치를 적어도 하나 산출할 수 있다.
여기서 상기 제1 객체의 추정 위치는, 제1 카메라의 영상에서 검출된 제1 객체의 위치, 즉 제1 카메라 이미지 좌표계 상의 위치를 기준 좌표계로 전환한 기준 좌표계 상의 추정 위치를 기초로 산출될 수 있다. 이 경우 프로세서(100)는 ADAS(210)를 제어하여 상기 제1 카메라 이미지 좌표계 상의 제1 객체 좌표를, 상기 기준 좌표계 상의 좌표로 변환할 수 있다.
여기서 기준 좌표계는 차량(200)의 뒷바퀴축을 중심으로 지면에 수선의 발을 내린 지점을 원점으로 하는 좌표계로서, 차량(200)의 주행 방향, 즉 전방을 양(+)의 값을 가지는 X축 성분으로 하고 차량의 후방을 음(-)의 값을 가지는 X축 성분으로 하며, 차량(200)의 좌우측방을 Y축으로 하는 좌표계일 수 있다. 또한 상기 제1 카메라 이미지 좌표계 및 상기 기준 좌표계는 모두 3차원 좌표계일 수 있다. 따라서 상기 제1 카메라 이미지 좌표계 및 상기 기준 좌표계 상의 제1 객체의 좌표는 모두 상기 제1 객체의 3차원 위치를 나타내는 3차원 좌표일 수 있다.
그리고 프로세서(100)는 상기 기준 좌표계 상의 제1 객체 좌표와, 차량(200)의 속도 및 주행 방향, 그리고 상기 제1 객체의 속도 및 주행 방향에 근거하여 상기 소정 시간 후의 상기 제1 객체 추정 위치를 산출할 수 있다. 그리고 산출된 제1 객체 추정 위치에 따라 상기 제1 카메라와 다른 적어도 하나의 카메라를 제2 카메라로 결정할 수 있다.
여기서 상기 제2 카메라는 상기 소정 시간 경과 후의 제1 객체 추정 위치가 화각에 포함되는 카메라일 수 있다. 즉, 상기 소정 시간 경과 후의 상기 제1 객체 추정 위치를 지향하는 방향의 영상을 획득하는 적어도 하나의 카메라가 상기 제2 카메라로 결정될 수 있다.
이하 도 5를 참조하여, 상기 소정 시간 후의 제1 객체 추정 위치에 근거하여 적어도 하나의 제2 카메라를 결정하는 상기 도 2의 S204 단계를 보다 자세히 살펴보기로 한다.
한편 상기 S204 단계에서 적어도 하나의 제2 카메라가 결정되면, 프로세서(100)는 상기 적어도 하나의 제2 카메라 각각에 대하여 상기 제1 객체의 위치 또는 상기 추정된 제1 객체의 추정 위치를 대향하는 방향을 결정할 수 있다(S206). 예를 들어 상기 제1 객체가 제1 카메라의 영상에서 사라지지 않은 경우라면, 상기 제1 객체 대향 방향은 상기 기준 좌표계에 따른 제1 객체를 마주보는 방향, 즉 상기 제1 객체의 위치를 지향하는 방향일 수 있다. 그러나 상기 제1 객체가 제1 카메라의 영상에서 사라진 경우라면, 상기 제1 객체 대향 방향은 상기 제1 객체의 추정 위치를 바라보는 방향, 즉 상기 제1 객체의 추정 위치를 지향하는 방향일 수 있다.
그러면 프로세서(100)는 상기 제2 카메라에서 획득된 영상 내에서, 상기 결정된 제1 객체 대향 방향에 대응하는 위치를 결정할 수 있다. 여기서 프로세서(100)는 상기 제2 카메라에서 획득된 영상 중 디스플레이 상에 표시되는 표시 영역 내에서 상기 결정된 제1 객체 대향 방향에 대응하는 위치를 결정할 수 있다.
그리고 프로세서(100)는, 상기 제2 카메라의 영상을 바탕으로 상기 결정된 제1 객체 대향 방향에 대응하는 위치에, 상기 제1 객체와 관련된 증강현실 객체가 표시되는 증강현실 이미지를 렌더링하도록 AR 모듈(120)을 제어할 수 있다(S208).
여기서 상기 제1 객체와 관련된 증강현실 객체는 상기 제1 증강현실 객체일 수 있다. 또는 상기 제1 증강현실 객체와 다른 제2 증강현실 객체일 수 있다.
예를 들어 상기 제2 카메라에서 획득된 영상 내에 상기 제1 객체가 포함되어 있는 경우라면, 상기 제1 객체가 표시되는 영역이 상기 제1 객체 대향 방향에 대응하는 위치일 수 있다. 그러면 프로세서(100)는 상기 제2 카메라에서 획득된 영상 중 상기 제1 객체가 표시되는 영역 주변에 상기 제1 증강현실 객체가 오버랩된 증강현실 이미지를 렌더링하도록 상기 AR 모듈(120)을 제어할 수 있다. 그리고 사용자의 선택에 따른 적어도 하나의 디스플레이에 상기 제1 증강현실 객체가 포함된 증강현실 이미지(제2 증강현실 이미지)가 표시되도록 인터페이스부(110)를 제어할 수 있다.
여기서 상기 제1 증강현실 이미지, 즉 제1 카메라의 영상을 바탕으로 하는 증강현실 이미지가 표시된 디스플레이와, 상기 제2 증강현실 이미지, 즉 제2 카메라의 영상을 바탕으로 하는 증강현실 이미지가 표시되는 디스플레이는 서로 다른 디스플레이일 수 있다. 예를 들어 제1 증강현실 이미지가 CID(251)에서 표시된 경우 상기 제2 증강현실 이미지는 룸 미러 디스플레이(252)에 표시될 수 있다. 반대로 제1 증강현실 이미지가 룸 미러 디스플레이(252)에서 표시된 경우 상기 제2 증강현실 이미지는 CID(251)에 표시될 수 있다.
또는 상기 제1 증강현실 이미지와 제2 증강현실 이미지가 어느 하나의 디스플레이에서 표시될 수도 있다. 이 경우 프로세서(100)는 상기 어느 하나의 디스플레이의 표시 영역을 구분하여, 서로 다른 영역에 상기 제1 증강현실 이미지와 제2 증강현실 이미지를 표시할 수 있다.
한편, 상기 제2 카메라에서 획득된 영상 내에 상기 제1 객체가 포함되어 있지 않은 경우라면, 즉 제1 객체가 제1 카메라와 제2 카메라 사이의 사각지대에 위치한 경우라면, 상기 제1 객체 대향 방향에 대응하는 위치는, 제2 카메라의 영상 내에서, 상기 제2 카메라의 FOV(Field Of View)로부터 상기 제1 객체의 추정 위치를 잇는 가상의 연장선 상의 일 위치일 수 있다. 이 경우 상기 제1 객체 대향 방향에 대응하는 위치는, 상기 제2 카메라의 영상 중 디스플레이 상에 표시되는 표시 영역의 모서리와 상기 가상의 연장선의 교차점에 인접한 상기 표시 영역 내의 일 위치일 수 있다.
그러면 프로세서(100)는 상기 제2 카메라의 영상 내에서 결정된 제1 객체 대향 방향에 대응하는 위치에, 상기 제1 객체와 관련된 증강현실 객체를 표시할 수 있다. 이 경우 상기 제1 객체와 관련된 증강현실 객체는 상기 제1 객체의 출현을 예고하기 위한 증강현실 객체일 수 있다. 이 경우 상기 제1 객체의 출현을 예고하기 위한 증강현실 객체는, 상기 제1 증강현실 객체와 다른 증강현실 객체(이하 제2 증강현실 객체)일 수 있다.
그러면 프로세서(100)는 상기 제2 카메라에서 획득된 영상 중 상기 결정된 제1 객체 대향 방향에 대응하는 위치에, 상기 제2 증강현실 객체가 오버랩된 증강현실 이미지를 렌더링하도록 상기 AR 모듈(120)을 제어할 수 있다. 그리고 사용자의 선택에 따른 적어도 하나의 디스플레이에 상기 제2 증강현실 객체가 포함된 제2 증강현실 이미지가 표시되도록 인터페이스부(110)를 제어할 수 있다.
이하 하기 도 7을 참조하여, 상기 S208 단계에서 제1 객체에 관련된 증강현실 객체를 포함하는 제2 증강현실 이미지를 디스플레이 상에 표시하도록 AR 모듈(120) 및 인터페이스부(110)를 제어하는 프로세서(100)의 동작 과정을 보다 자세하게 살펴보기로 한다.
한편 도 3 및 도 4는 상술한 바와 같이, 상기 제1 객체와 관련된 증강현실 객체로서, 상기 제1 객체의 출현을 예고하는 제2 증강현실 객체가 표시되는 예를 도시한 것이다.
도 3은 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가 탑재된 차량의 이동에 따라, 주변의 객체(제1 객체)가 상대이동하는 예를 도시한 예시도이다. 그리고 도 4는 차량(200)의 전방 카메라에서 획득된 이미지에 따른 증강현실 이미지가 CID(251)에서 표시 및 차량(200)의 후방 카메라에서 획득된 이미지에 따른 증강현실 이미지가 룸 미러 디스플레이(252)에 표시되는 예를 가정한 것이다.
먼저 도 3을 참조하여 살펴보면, 차량(200)이 전방으로 이동하는 경우, 차량(200) 우측에서 검출되는 제1 객체(301)는 차량(200)의 속도 또는 상기 제1 객체(301)의 속도에 따라 이동될 수 있다. 이 경우 상기 제1 객체(301)가 차량(200)과 반대 방향으로 이동하는 차량인 경우라면, 상기 제1 객체(301)의 이동 속도와 상기 차량(200)의 이동 속도를 합한 속도로 상기 차량(200)의 이동 방향과 반대로 상대 이동될 수 있다. 또는 상기 제1 객체(301)가 스스로 이동할 수 없는 건물인 경우라면, 상기 차량(200)의 이동 속도에 따라 상기 차량(200)의 이동 방향과 반대로 상대 이동될 수 있다. 따라서 도 3에서 보이고 있는 바와 같이 상기 제1 객체(301)는 제1 시점의 위치에서 제3 시점의 위치로 이동될 수 있다.
한편 상기 제1 객체(301)가 제1 시점에 대응하는 위치에 있는 경우라면, 차량(200)의 전방에 상기 제1 객체가 있으므로 차량(200)의 전방 카메라에서 획득되는 이미지에 상기 제1 객체가 포함될 수 있다. 이 경우 상기 프로세서(100)는 상기 전방 카메라에서 획득된 영상에 근거하여 상기 제1 객체를 식별할 수 있다. 따라서 도 4와 같이, 차량의 전방 카메라에서 획득된 영상을 CID(251)에 표시하는 경우라면, 프로세서(100)는 상기 제1 객체(301)를 식별한 결과에 따라 상기 제1 객체에 관련된 제1 증강현실 객체(411)를 포함하는 제1 증강현실 이미지가 상기 도 4의 (a)에서 보이고 있는 바와 같이 CID(251) 상에 표시되도록 AR 모듈(120)을 제어할 수 있다.
이러한 상태에서, 차량(200) 또는 상기 제1 객체(301)의 이동, 또는 상기 차량(200)과 상기 제1 객체(301) 모두의 이동에 따라 상기 제1 객체(301)가 제2 시점에 대응하는 위치로 이동될 수 있다. 이 경우 상기 제1 객체(301)는 전방 카메라와 후방 카메라 사이의 사각지대에 위치하므로, 전방 카메라와 후방 카메라 모두에서 제1 객체가 검출되지 않을 수 있다.
이처럼 제1 객체(301)가 전방 카메라, 즉 제1 객체(301)가 먼저 검출된 제1 카메라의 영상에서 사라지면, 프로세서(100)는 상기 제1 객체(301)의 소정 시간 후의 위치를 추정할 수 있다. 이를 위해 프로세서(100)는, 기준 시점에서의 ADAS(210)를 통해 산출된 기준 좌표계에 따른 상기 제1 객체(301)의 좌표 및, 차량(200)을 기준으로 한 상기 제1 객체(301)의 상대 속도, 상대 거리 및 상대 각도를 고려하여 상기 제1 객체(301)의 위치를 추정할 수 있다.
추정 결과, 상기 도 3에서 보이고 있는 바와 같이 차량(200)과 제1 객체(301) 중 적어도 하나의 이동에 따라 상기 제1 객체(301)가 제1 시점의 위치에서 제3 시점의 위치로 이동하므로, 프로세서(100)는 차량 후방의 영상을 획득하는 후방 카메라를 제2 카메라로 결정할 수 있다.
그리고 상기 도 2의 S208 단계에서 설명한 바와 같이, 상기 제1 객체 대향 방향에 대응하는 위치를 결정하고, 상기 제1 객체(301)의 출현을 예고하기 위한 제2 증강현실 객체(412)가 상기 제2 카메라에서 획득된 영상 내에 포함된 제2 증강현실 이미지를 렌더링하도록 AR 모듈(120)을 제어할 수 있다. 그리고 상기 제2 카메라에서 획득된 영상이 표시되는 디스플레이, 즉 룸 미러 디스플레이(252)에 상기 제2 증강현실 이미지가 표시되도록 인터페이스부(110)를 제어할 수 있다.
따라서 도 4의 (b)에서 보이고 있는 바와 같이, 제1 객체(301)가 사각지대에 위치함에 따라 제1 카메라인 전방 카메라와 제2 카메라인 후방 카메라 어디에서도 제1 객체가 표시되지 않을 수 있다. 그러나 프로세서(100)는 상기 제1 객체(301)의 소정 시간 경과 후의 추정 위치에 근거하여, 상기 제2 카메라(후방 카메라)의 영상 중 디스플레이(룸 미러 디스플레이)(252)에서 표시되는 표시 영역에서 제1 객체 대향 방향에 대응하는 위치를 결정할 수 있다. 그리고 결정된 위치에 상기 제1 객체(301)의 출현을 예고하기 위한 제2 증강현실 객체(412)를 상기 제2 카메라의 영상이 표시되는 디스플레이에 표시할 수 있다. 따라서 도 4의 (b)에서 보이고 있는 바와 같이, 후방 카메라에서 획득된 영상이 표시되는 룸 미러 디스플레이(252)의 우측 하단에, 상기 제1 객체(301)의 출현을 예고하는 제2 증강현실 객체(412)가 표시될 수 있다.
한편, 차량(200) 또는 상기 제1 객체(301)의 이동, 또는 상기 차량(200)과 상기 제1 객체(301) 모두의 이동에 따라 상기 제1 객체(301)가 제3 시점에 대응하는 위치로 이동될 수 있다. 이 경우 상기 제1 객체(301)는 차량(200)의 후방에 위치하므로 상기 후방 카메라에서 획득되는 이미지에 상기 제1 객체(301)가 포함될 수 있다.
따라서 프로세서(100)는 후방 카메라의 영상에 표시되는 제1 객체(301) 주변에 상기 제1 객체(301)에 관련된 증강현실 객체, 즉 제1 증강현실 객체(411)를 표시할 수 있다. 즉, 상기 제1 객체(301)가 후방 카메라 영상에 포함됨에 따라 제2 증강현실 객체(412)가 사라지고, 제1 증강현실 객체(411)가 표시될 수 있다.
또한 제1 카메라의 영상에서 표시되던 제1 객체(301)의 제1 증강현실 객체(411)가, 차량(200) 또는 제1 객체(301)의 이동에 따라 다른 카메라의 영상에서 심리스(seamless)하게 표시될 수 있다.
따라서 차량(200)이 특정 POI를 지나치더라도 상기 다른 카메라(제2 카메라)에서 표시되는 증강현실 객체를 통해 지나친 POI의 정보를 확인 및 선택할 수 있다. 또한 살펴본 바와 같이 상기 제1 객체(301)가 표시되는 서로 다른 복수의 카메라를 연동하여 상기 제1 객체(301)에 대한 POI 정보를 제공하도록 할 수 있으며, 이를 통해 보다 향상된 내비게이션 정보를 제공할 수 있다.
뿐만 아니라, 본 발명의 실시 예에 따른 증강현실 정보 제공 장치는, 식별된 객체가 사각지대에 진입하는 경우, 적어도 하나의 카메라 영상에 표시되는 증강현실 객체(제2 증강현실 객체)를 통해 상기 식별된 객체의 위치에 대한 정보를 제공할 수 있다. 따라서 사각지대에 있음에 따라 카메라 영상에 나타나지 않는 객체라고 할지라도, 상기 증강현실 객체를 통해 사용자가 그 존재 및 위치를 알 수 있다는 효과가 있다.
한편 상기 프로세서(100)는 제1 객체의 추정 위치를 산출하고 산출된 추정 위치에 따라 제2 카메라를 결정할 수 있다.
도 5는 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 소정 시간 후의 제1 객체 추정 위치에 근거하여 복수의 카메라 중 제2 카메라를 결정하는 동작 과정을 도시한 흐름도이다. 그리고 도 6은 상기 추정된 적어도 하나의 제1 객체 추정 위치가 산출된 예를 도시한 예시도이다.
도 5를 참조하여 살펴보면, 본 발명의 실시 예에 따른 증강현실 정보 제공 장치의 프로세서(100)는 제1 카메라의 영상으로부터 식별된 제1 객체의 증강현실 객체(제1 증강현실 객체)를 포함하는 증강현실 이미지가 디스플레이에 표시되면, 상기 제1 객체의 좌표를 기준 좌표계로 변환할 수 있다(S500).
먼저 ADAS(210)는 제1 객체가 식별되면 제1 객체의 초기 좌표를 산출할 수 있다. 이 경우 상기 제1 객체의 초기 좌표는 상기 제1 객체가 포함된 제1 카메라의 이미지 좌표계에 따라 산출되는 좌표일 수 있다. 그러면 프로세서(100)는 ADAS(210)를 제어하여, 상기 제1 카메라의 이미지 좌표계를 기준으로 하는 상기 제1 객체의 초기 좌표를, 상기 기준 좌표계로 변환할 수 있다.
이러한 기준 좌표계로의 변환을 위해 프로세서(100)는 제1 카메라 캘리브레이션(calibration) 데이터를 이용할 수 있다. 상기 제1 카메라 캘리브레이션 데이터는, 상기 기준 좌표계의 원점을 기준으로 상기 제1 카메라의 위치(X, Y, Z)와 지향 방향(Roll, Pitch, Yaw), 제1 카메라의 화각, 및 FPS(Frame Per Second)의 정보를 포함하는 정보로서, 상기 제1 카메라 이미지 좌표계의 좌표를 상기 기준 좌표계로 변환하기 위한 데이터일 수 있다. 상기 제1 카메라 캘리브레이션 데이터는 상기 메모리(130)에 기 저장된 데이터일 수 있다.
또한 ADAS(210)는 프로세서(100)의 제어에 따라, 차량(200)의 이동 속도와 위치, 그리고 주행 방위각(heading)을 포함하는 자차 위치 정보를 획득할 수 있다. 그리고 획득된 자차 위치 정보와 상기 제1 객체의 3차원 위치 정보에 근거하여 상기 제1 객체와 차량(200)과의 상대 거리, 상대 각도 및 상대 속도를 산출할 수 있다.
예를 들어 프로세서(100)는, 변환된 기준 좌표계 상의 제1 객체(301)의 좌표가 (x1, y1)일 때, 이동거리 S = 속도(V) * 시간 (T)에 근거하여 하기 수학식 1에 따라 상기 기준 좌표계의 원점(0, 0)으로부터 상기 제1 객체까지의 거리(D)(상대 거리)를 산출할 수 있다.
Figure PCTKR2023011851-appb-img-000001
그리고 상기 기준 좌표계의 원점(0, 0)으로부터, 상기 제1 객체의 각도(θ)(yaw)(상대 각도)는 하기 수학식 2에 따라 산출될 수 있다.
Figure PCTKR2023011851-appb-img-000002
그러면 프로세서(100)는 상기 ADAS(210)로부터 산출된 제1 객체와의 상대 거리, 상대 각도 및 상대 속도에 근거하여 상기 기준 시점으로부터 소정 시간이 경과된 시점의 제1 객체 위치를 적어도 하나 추정할 수 있다(S502).
예를 들어 도 6에서 보이고 있는 바와 같이, 상기 제1 객체(301)가 제1 카메라에서 사라지는 시점을 기준 시점(t1)(601)이라고 할 때, 상기 기준 시점(t1)(601)은 상기 상대 거리(D)가 기 설정된 거리 이하로 가까워지면서, 상기 상대 각도(θ)가 기 설정된 범위를 벗어나는 시점일 수 있다.
이 경우 상기 제1 객체(301)로부터 검출된 종방향 상대 속도와 횡방향 상대 속도를 각각 Rx, Ry라고 할 때, 상기 기준 시점(t1)(601)으로부터 소정시간 경과한 시점(t2)에서 상기 제1 객체(301)의 추정 위치(x2, y2)는 하기 수학식 3에 따라 산출될 수 있다.
Figure PCTKR2023011851-appb-img-000003
여기서, (x2, y2)는 기준 시점(t1)으로부터 소정 시간 경과한 시점(t2)에서의 제1 객체 추정 좌표, (x1, y1)은 상기 기준 시점(t1)의 제1 객체 좌표이며, Rx는 상기 제1 객체의 종방향 상대 속도, Ry는 상기 제1 객체의 횡방향 상대 속도임.
여기서 상기 소정 시간 경과 시점(t2)(이하 제2 시점)은, 상기 기준 시점(t1)(601)으로부터 단조 증가된 시점일 수 있다. 즉, t2 = t1 + n, n = {1, 2, 3, 4, ...}일 수 있다. 따라서 기 설정된 단위 시간을 순차적으로 더하여 상기 n을 일률적으로 증가시킴으로서 복수의 서로 다른 소정 시간 경과 시점(t2)을 산출할 수 있다. 이 경우 상기 제2 시점(t2)이 커질수록 기준 좌표계의 원점(0,0)으로부터 x축 좌표 상의 거리(x2) 및 y축 좌표 상의 거리(y2)가 증가하므로, 도 6에서 보이고 있는 바와 같이 서로 다른 복수의 제1 객체 추정 위치(602)가 추정될 수 있다.
그러면 프로세서(100)는, 차량(200)에 구비된 복수의 카메라 중 상기 추정된 적어도 하나의 제1 객체 추정 위치(602)에 근거하여 제2 카메라를 결정할 수 있다(S604). 예를 들어 프로세서(100)는 상기 복수의 소정 시간 경과 시점(t2)에 각각 대응하는 제1 객체 추정 위치들이 분포된 영역의 이미지를 촬영하도록 화각이 설정된 어느 하나의 카메라를 상기 제2 카메라로 결정할 수 있다. 즉 도 6에서 보이고 있는 바와 같이, 복수의 제1 객체 추정 위치(602)가 후방 카메라의 화각 내에 분포하는 경우 프로세서(100)는 상기 후방 카메라를 제2 카메라로 결정할 수 있다.
한편 상술한 설명에서는 ADAS(210)에서 추정되는 상대 속도와 상대 거리, 그리고 상대 각도에 따라 소정 시간 후의 제1 객체 추정 위치를 산출하는 예를 설명하였으나, 이와는 달리 차량(200)과 상기 제1 객체의 위치 정보에 근거하여 상기 제1 객체의 위치를 추정할 수도 있음은 물론이다.
예를 들어 프로세서(100)는 차량(200)의 주행 속도와 GPS 위치, 진행 방위각을 기초로 기준 시점(예 : t1(601))에서 소정 시간이 경과된 제2 시점에서의 차량(200)의 GPS 위치를 추정할 수 있다. 그리고 이를 기초로 상기 제1 객체의 상대적인 이동 위치를 차량 기준 좌표계 상에서 추정할 수도 있다.
한편 도 7은 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 제1 카메라 영상에서 인식된 제1 객체에 관련된 증강현실 객체를, 제2 카메라의 영상에 표시하는 동작 과정을 도시한 흐름도이다.
본 발명의 실시 예에 따른 증강현실 정보 제공 장치의 프로세서(100)는 상기 증강현실 객체를 표시하는 도 2의 S208 단계가 진행되면, 먼저 제2 카메라로부터 획득된 영상에 포함된 객체들을 식별할 수 있다(S700). 그리고 상기 식별 결과에 근거하여 상기 제2 카메라에서 획득된 영상에 제1 객체가 포함되어 있는지 여부를 검출할 수 있다(S700).
상술한 바와 같이 ADAS(210)는 상기 도 2의 S200 단계에서 설명한 바와 같이, 제1 카메라의 영상에서 상기 제1 객체를 식별할 때에 상기 제1 객체로부터 검출되는 크기 및 모양, 그리고 색상과 같은 형태에 관련된 특징들을 통해 상기 제1 객체를 식별할 수 있다. 그리고 상기 제1 객체의 식별에 사용된 특징들은 상기 제1 객체의 특징 정보로서 저장될 수 있다. 예를 들어 상기 제1 객체가 차량인 경우 프로세서(100)는 차량의 형태, 즉 크기나 번호판의 위치, 배기구 위치, 범퍼 모양 등 및 차량의 색상과 같은 특징점들을 상기 제1 객체의 특징 정보로서 수집할 수 있다. 또는 상기 제1 객체가 건물인 경우 건물 및 그 건물 주변의 형태, 건물의 위치 및 건물의 색상, 간판에 포함된 문자나 이미지, 간판의 형태나 크기 등이 상기 제1 객체의 특징 정보로서 수집될 수 있다.
이와 같이 수집 및 저장된 제1 객체의 특징 정보는, 상기 제2 카메라에서 획득된 영상으로부터 상기 제1 객체에 대응하는 객체를 검출하는데 이용될 수 있다. 예를 들어 프로세서(100)는 상기 제1 객체가 건물인 경우, 상기 제2 카메라에서 검출되는 객체들 중 '건물'에 대응하는 객체들 중 상기 수집 및 저장된 특징 정보에 대응하는 객체를 검출할 수 있다. 또한 상기 제1 객체가 '차량'인 경우, 프로세서(100)는 상기 제1 객체의 특징 정보에 포함된 크기 및 색상 등, 식별된 제1 객체가 가지는 형태적 특징점들과 가장 유사한 특징들을 포함하는 객체를 제1 객체로 판별할 수 있다. 또는 상기 프로세서(100)는 복수의 제1 객체 추정 위치를 더 이용하여 상기 제1 객체에 대응하는 객체의 검출 정확도 및 검출 속도를 보다 향상시킬 수 있다. 예를 들어 프로세서(100)는 추정된 복수의 제1 객체 추정 위치에 상기 제1 객체의 특징점에 대응하는 가상 객체들을 생성하고, 생성된 가상 객체들에 근거하여 상기 제1 객체에 대응하는 객체를 제2 카메라의 영상으로부터 검출할 수도 있다. 이러한 프로세서(100)의 동작 과정에 대해서, 하기 도 9를 참조하여 보다 자세하게 설명하기로 한다.
상기 S702 단계의 검출 결과, 제2 카메라에서 획득된 영상에 상기 제1 객체에 대응하는 객체의 적어도 일부가 포함된 경우라면, 프로세서(100)는 제2 카메라에서 획득된 영상에 상기 제1 객체에 대응하는 객체가 포함된 것으로 판별할 수 있다. 따라서 제2 카메라의 영상 중 상기 제1 객체에 대응하는 객체가 표시되는 영역 주변에, 상기 제1 객체에 관련된 제1 증강현실 객체가 표시되는 증강현실 이미지(제2 증강현실 이미지)가 표시되도록 AR 모듈(120) 및 인터페이스부(110)를 제어할 수 있다(S704). 한편 상기 S702 단계의 체크 결과 상기 제2 카메라의 영상에서 상기 제1 객체가 검출되지 않은 경우라면, 프로세서(100)는 상기 제1 객체의 추정 위치가 제2 카메라의 화각 내에 포함되는 시점에 도달하였는지 여부를 체크할 수 있다(S706). 그리고 S706 단계의 체크 결과 상기 제1 객체의 추정 위치가 상기 제2 카메라의 화각 내에 포함되는 시점에 도달하지 않은 경우라면, 프로세서(100)는 상기 제1 객체가 상기 제2 카메라와 제1 카메라의 화각 사이에 위치한 사각지대에 있는 것으로 판단할 수 있다.
따라서 프로세서(100)는 제2 카메라에서 획득된 영상에서, 상기 추정된 제1 객체의 위치를 대향하는 방향을 결정할 수 있다. 그리고 결정된 방향에 따라 상기 제1 객체에 관련된 다른 증강현실 객체, 즉 제2 증강현실 객체가 표시되는 증강현실 이미지를 렌더링하도록 상기 AR 모듈(120)을 제어할 수 있다(S708). 여기서 상기 제2 증강현실 객체는 상기 제1 객체의 출현을 예고하는 증강현실 객체로서, 상기 제1 증강현실 객체와 다른 객체일 수 있다.
여기서 제1 객체의 위치를 대향하는 방향에 따른 위치는, 상기 제2 카메라의 영상 기준점으로부터 상기 추정된 제1 객체의 위치를 잇는 가상선에 근거하여 결정되는 위치일 수 있다. 예를 들어 프로세서(100)는 상기 제2 카메라의 FOV 중심으로부터 상기 추정된 제1 객체의 위치를 잇는 가상의 연장선을 생성하고, 상기 제2 카메라의 영상 중 디스플레이에 표시되는 표시 영역의 모서리와 상기 가상의 연장선이 교차하는 지점을 상기 제1 객체의 위치를 대향하는 방향에 따른 위치로 결정하고, 결정된 위치 주변에 상기 제2 증강현실 객체를 표시할 수 있다. 이 경우 상기 제2 증강현실 객체는 상기 제2 카메라의 영상 중 상기 표시 영역 내에 표시됨은 물론이다.
한편 상기 S706 단계의 체크 결과, 제1 객체의 추정 위치가 제2 카메라의 화각 내에 포함되는 시점에 도달한 경우라면, 프로세서(100)는 추정된 제1 객체의 위치, 즉 제2 카메라의 화각 내에 포함되는 것으로 추정되는 제1 객체의 추정 위치에 근거하여 상기 제1 객체에 대응하는 객체가 가려진 상태인지 여부를 확인할 수 있다(S710).
예를 들어 프로세서(100)는 상기 제2 카메라에서 획득된 영상 중, 상기 추정된 제1 객체의 위치에 대응하는 영역에 표시되는 다른 객체가 있는지 여부를 검출할 수 있다. 그리고 상기 추정된 제1 객체의 위치에 대응하는 제2 카메라의 일 영역에 표시되는 다른 객체가 있는 경우, 상기 표시되는 객체(이하 가림 객체)에 의해 상기 제1 객체가 가려진 것으로 판단할 수 있다. 그러면 프로세서(100)는 상기 가림 객체가 표시되는 영역에, 상기 제1 객체에 대응하는 증강현실 객체, 예를 들어 제1 증강현실 객체가 표시되는 증강현실 이미지가 표시되도록 AR 모듈(120)을 제어함으로써, 상기 제1 객체가 상기 가림 객체에 의해 가려진 영역에 위치하고 있음을 표시할 수 있다(S712).
이하 이처럼 가림 객체에 의해 가려진 영역에, 제1 객체에 대응하는 제1 증강현실 객체가 표시되는 증강현실 이미지의 예를, 하기 도 8을 참조하여 살펴보기로 한다.
그러나 상기 S710 단계의 확인 결과, 상기 제2 카메라에서 획득된 영상 중, 상기 추정된 제1 객체의 추정 위치에 대응하는 영역에 표시되는 다른 객체가 없는 경우라면, 상기 가림 객체가 없는 것으로 판단할 수 있다. 그러면 프로세서(100)는 제2 카메라의 영상에서 더 이상 제1 객체가 검출되지 않음에 따라, 상기 제1 객체가 사라진 것으로 판단할 수 있다.
한편 상기 제2 카메라는 복수일 수도 있음은 물론이다. 이러한 경우 상기 도 7에서 설명한 과정은 각각의 제2 카메라에 대해 별개로 이루어질 수 있다. 예를 들어 상술한 도 6의 설명에서, 프로세서(100)는 상기 복수의 제1 객체 추정 위치(602)의 분포 상태에 따라 하나 이상의 카메라를 제2 카메라로 결정할 수 있다.
즉 도 6에서 보이고 있는 바와 같이, 차량(200) 우측 후방에 복수의 제1 객체 추정 위치(602)가 분포되는 경우, 프로세서(100)는 상술한 바와 같이 후방 카메라를 상기 제2 카메라로 결정할 수 있다. 또한 프로세서(100)는 차량(200)의 우측 측면에서 차량(200)의 후방 영역의 이미지를 센싱하는 우측 사이드 디지털 미러에 대응하는 카메라를 제2 카메라로 결정할 수 있다. 즉, 상기 후방 카메라 및 상기 우측 사이드 디지털 미러에 대응하는 카메라가 모두 제2 카메라로 결정될 수 있다.
또는 제1 카메라가 전방 카메라일 때에, 제2 카메라는 후방 카메라와 좌측 디지털 사이드 미러 카메라일 수 있다. 이 경우 제1 객체, 예를 들어 차량(200)과 다른 차선의 차량이 전방 카메라와 후방 카메라 사이의 사각 지대에 위치하더라도, 좌측 디지털 사이드 미러 카메라에는 상기 제1 객체가 검출될 수 있다. 이 경우 상기 도 7의 동작 과정에 따라 후방 카메라의 영상을 표시하는 디스플레이에는 상기 제1 객체의 출현을 예고하는 증강현실 객체(제2 증강현실 객체)가 표시되는 반면, 상기 좌측 디지털 사이드 미러 카메라의 영상에서는 상기 제1 객체가 검출됨에 따라 상기 제1 객체의 증강현실 정보를 포함하는 제1 증강현실 객체가 표시될 수도 있음은 물론이다.
한편 이와 같이 하나 이상의 제2 카메라가 결정되는 경우 프로세서(100)는 상기 도 7의 동작 과정을 각각의 제2 카메라 별로 수행할 수 있다. 따라서 각 제2 카메라 별로, 추정된 제1 객체의 위치를 지향하는 위치가 결정되고 결정된 위치에 증강현실 객체가 표시되는 서로 다른 증강현실 이미지가 렌더링 될 수 있다. 그리고 사용자의 선택에 따라 적어도 하나의 디스플레이에 상기 렌더링된 서로 다른 증강현실 이미지가 표시될 수 있다.
한편, 상기 제1 객체가 이동이 가능한 경우라면, 예를 들어 차량인 경우라면, 상기 제1 객체는 프로세서(100)에 의해 예측되지 않은 방향 또는 속도로 변칙적으로 이동할 수 있다. 이 경우 제1 객체의 변칙적인 이동이 발생하면, 소정 시간 후의 제1 객체의 위치는 현재 결정된 제2 카메라의 화각을 벗어날 수 있다.
이러한 제1 객체의 변칙적인 이동시에 상기 제1 객체를 검출하기 위하여, 프로세서(100)는 상기 S702 단계에서 제1 객체가 검출되지 않은 경우라면 현재 결정된 제2 카메라 외에 다른 카메라에서 획득되는 영상에 상기 제1 객체가 포함되어 있는지 여부를 체크할 수 있다.
따라서 상기 제2 카메라에서 획득된 영상에 상기 제1 객체에 대응하는 객체의 적어도 일부가 포함되지 않은 경우라면, 프로세서(100)는 차량(200)에 구비된 모든 카메라에서 획득된 영상들 각각에 대하여, 상기 제1 객체에 대응하는 객체의 검출이 시도되었는지 여부를 체크할 수 있다.
그리고 모든 카메라에서 획득된 영상들에 대하여 상기 제1 객체에 대응하는 객체가 검출되지 않은 경우라면, 프로세서(100)는 현재 결정된 제2 카메라를 제외한 어느 하나의 다른 카메라를 상기 제2 카메라로 변경할 수 있다. 그리고 상기 S700 단계로 진행하여 변경된 제2 카메라에서 획득된 영상에 포함된 객체들을 식별하고, 상기 S702 단계로 진행하여 상기 식별된 객체들 중 상기 제1 객체에 대응하는 객체가 포함되어 있는지 여부를 검출할 수 있다.
그리고 변경된 제2 카메라에서 획득된 영상에, 상기 제1 객체에 대응하는 객체가 포함된 경우라면, 프로세서(100)는 상기 S704 단계로 진행하여, 상기 변경된 제2 카메라의 영상 중 상기 제1 객체에 대응하는 객체가 표시되는 영역 주변에, 상기 제1 객체에 관련된 제1 증강현실 객체가 표시되는 증강현실 이미지(제2 증강현실 이미지)가 표시되도록 AR 모듈(120) 및 인터페이스부(110)를 제어할 수 있다.
반면 모든 카메라의 영상에서 상기 제1 객체에 대응하는 객체가 검출되지 않은 경우라면, 프로세서(100)는 상기 제1 객체가 사각지대에 있는 것으로 판단할 수 있다. 따라서 프로세서(100)는 상기 제1 객체에 대해 최초 결정되었던 제2 카메라로 다시 제2 카메라를 복원하고, 상기 도 7의 S710 단계로 진행하여, 상기 복원된 제2 카메라의 영상에 상기 제1 객체를 가리는 가림 객체가 있는지 여부를 체크할 수도 있다.
한편 도 8은 상술한 바와 같이 상기 도 7의 S712 단계에서, 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 장애물에 의해 가려진 상기 제1 객체의 위치를 증강현실 객체를 통해 표시하는 예를 도시한 예시도이다.
먼저 도 8의 (a)는 차량(200)의 전방 카메라에서 획득된 영상이 CID(251)에 표시되고, 차량(200)의 후방 카메라에서 획득된 영상이 룸 미러 디스플레이(252)에서 표시되는 예를 도시한 것이다. 이 경우 AR 모듈(120)은, 전방 카메라에서 인식된 객체(제1 객체, 301)를 식별하고, 식별된 제1 객체(301)에 관련된 증강현실 객체(제1 증강현실 객체)(411)를 CID(251) 상에 표시할 수 있다. 이 경우 상기 전방 카메라는 제1 카메라일 수 있다.
이 경우, 프로세서(100)는 상기 CID(251)에 표시되는 제1 객체(301)에 대한 사용자의 선택을 감지할 수 있다. 예를 들어 상기 CID(251) 상에 표시되는 제1 증강현실 객체(411)에 대한 터치 입력 또는 상기 제1 증강현실 객체(411)를 주시하는 사용자의 눈동자의 움직임, 또는 상기 제1 증강현실 객체(411)를 선택하기 위한 사용자의 제스처(예 : 사용자 손가락의 가리킴) 등을 감지할 수 있다. 또는 상기 제1 객체(301)를 선택하기 위한 사용자의 음성 명령을 감지할 수 있다.
그러면 프로세서(100)는 감지된 사용자의 선택에 따라 상기 제1 객체(301)에 관련된 정보를 증강현실 컨텐츠의 형태로 제공할 수 있다. 예를 들어 상기 제1 객체(301)에서 제공 가능한 서비스(예 : 메뉴 정보)의 정보나, 상기 제1 객체(301)에 대한 연락처 정보 등이 상기 증강현실 컨텐츠의 형태로 상기 식별된 제1 객체(301) 주변에 표시될 수 있다(이하 증강현실 정보). 그리고 사용자에 의해 어느 하나의 증강현실 정보가 선택되는 경우라면, 선택된 증강현실 정보에 따른 서비스, 예를 들어 메뉴 선택이나 상기 제1 객체(301)로의 통화 연결 등의 서비스를 제공할 수 있다.
한편 상기 제1 카메라에서 제1 객체(301)가 식별된 경우, 프로세서(100)는 상기 제1 객체(301)가 기준 시점(예 : t1(601))에 도달하였는지 여부에 따라 상기 기준 시점으로부터 소정 시간 경과 후의 위치를 추정할 수 있다. 그리고 추정된 위치에 따라 상기 제1 객체(301)가 출현할 가능성이 높은 카메라, 즉 상기 제1 객체(301)의 추정된 위치를 포함하는 화각을 가지는 카메라를 제2 카메라로 결정할 수 있다. 이 경우 상기 제2 카메라는 후방 카메라일 수 있다.
또한 상기 식별된 증강현실 객체가 제1 카메라에서 획득된 영상에서 표시되는 상태에서, 차량(200)의 이동에 따라 상기 제1 객체(301)가 상기 제1 카메라의 화각을 벗어날 수 있다. 예를 들어, 차량(200)의 이동에 따라 상기 제1 객체(301)가 도 6의 t1 시점(601)을 벗어나는 경우, 상기 제1 객체(301)는 상기 도 3의 제2 시점 상의 위치와 같이, 전방 카메라와 후방 카메라 사이의 사각 지대에 위치할 수 있다. 이 경우 상기 제1 객체(301)는 제1 카메라(전방 카메라)에서 획득된 영상이 표시되는 CID(251) 상에서 표시되지 않을 수 있으며, 후방 카메라에서 획득된 영상이 표시되는 룸 미러 디스플레이(252) 상에서 표시되지 않을 수 있다.
한편 이와 같이 제1 카메라가 전방 카메라이고, 제2 카메라가 후방 카메라인 경우에, 프로세서(100)는 도 7의 S706 단계에서 설명한 바와 같이 제1 객체(301)의 추정 위치가 제2 카메라의 화각 위치에 포함되는 시점에 도달하였는지 여부를 체크할 수 있다. 그리고 체크 결과, 제1 객체(301)의 추정 위치가 제2 카메라의 화각 위치에 포함되는 시점에 도달하지 않은 경우라면, 상기 도 7의 S708 단계에서 설명한 바와 같이, 상기 제1 객체의 출현을 예고하는 증강현실 객체, 즉 제2 증강현실 객체를 포함하는 제2 카메라의 영상이 표시되도록 AR 모듈(120)을 제어할 수 있다.
이를 위해 프로세서(100)는 상기 제2 카메라의 영상이 표시되는 룸 미러 디스플레이(252)에서 상기 추정된 제1 객체의 위치에 대향하는 일 방향을 결정할 수 있다. 그리고 결정된 방향을 지향하는 제2 증강현실 객체가 상기 제2 카메라의 영상이 표시되는 디스플레이, 즉 룸 미러 디스플레이(252)에 오버랩되어 표시되도록 AR 모듈(120)을 제어할 수 있다. 따라서 도 8의 (b)에서 보이고 있는 바와 같이, 상기 제1 객체(301)가 출현할 방향에 대응하는 룸 미러 디스플레이(252) 상의 일 위치에, 상기 제2 증강현실 객체(412)가 표시될 수 있다.
한편 상기 도 7의 S706 단계의 체크 결과, 제1 객체(301)의 추정 위치가 제2 카메라의 화각 위치에 포함되는 시점에 도달한 경우라면, 프로세서(100)는 상기 도 7의 S710 단계에서 설명한 바와 같이, 상기 제1 객체(301)를 가리는 다른 객체가 제2 카메라의 영상에 포함되어 있는지 여부를 판별할 수 있다. 따라서 도 8의 (c)에서 보이고 있는 바와 같이, 상기 제1 객체(301)의 추정 위치에, 차량(200) 후방에서 차량(200)의 뒤를 이어 주행하고 있는 다른 차량(800)의 형상이 중첩되는 경우, 상기 다른 차량(800)이 상기 제1 객체(301)를 가리는 가림 객체라고 판단할 수 있다. 그러면 프로세서(100)는 도 8의 (c)에서 보이고 있는 바와 같이, 가림 객체, 즉 제2 카메라의 영상에 포함된 다른 객체(800)에 상기 제1 객체(301)에 대응하는 증강현실 객체, 즉 제1 증강현실 객체를 오버랩(810)하여 표시할 수 있다. 따라서 본 발명은 제2 카메라의 영상에 포함된 다른 객체가, 제1 객체(301)를 가리고 있는 경우라고 할지라도, 상기 제1 객체(301)에 대응하는 증강현실 객체를 사용자가 인지할 수 있도록 표시할 수 있다.
한편 이와 같이 제1 증강현실 객체가 표시되는 경우, 프로세서(100)는 상기 제1 증강현실 객체에 대한 사용자의 입력에 근거하여 상기 제1 객체(301)에 대한 증강현실 정보를 제공할 수 있다. 따라서 사용자가 제1 카메라의 영상에서 제1 객체(301)를 미처 확인하지 못하는 경우라고 할지라도, 제2 카메라의 영상을 통해 상기 제1 객체(301)를 확인할 수 있으며, 상기 제1 객체(301)에 관련된 증강현실 정보를 제공받을 수 있다. 뿐만 아니라 본 발명은 다른 객체에 의해 제1 객체(301)가 가려진 상태에서도 상기 제1 객체(301)에 관련된 증강현실 객체를 표시함으로서, 가려짐 여부와 상관없이 상기 제1 객체(301)에 대한 증강현실 정보를 사용자에게 제공할 수 있다는 효과가 있다.
한편 프로세서(100)는 카메라에서 획득된 영상이 표시되는 디스플레이, 즉 디지털 미러 역할을 수행하는 카메라에서 수신된 영상이 표시되는 디스플레이에 대해, 인가되는 사용자의 입력에 따라 상기 카메라에서 획득된 영상을 표시할 수 있다. 예를 들어 프로세서(100)는 사용자의 멀티 터치 입력에 근거하여 상기 디스플레이 상에 표시되는 특정 카메라의 영상을 확대(줌 인(zoom in))하거나 축소(줌 아웃(zoom out))할 수 있다. 또는 상기 카메라 영상이 표시되는 디스플레이 상의 일 지점에 인가되는 터치 위치를 기준으로 상기 카메라 영상이 줌 인되도록 하거나 또는 줌 아웃 되도록 할수도 있다. 즉, 상기 터치 위치를 기준으로 줌 인 또는 줌 아웃 되는 기준점이 달라질 수 있다.
한편 동일한 객체라고 할지라도 제1 카메라에서 식별된 객체의 형상과 제2 카메라에서 식별된 객체의 형상이 서로 다를 수 있다. 예를 들어 전방 카메라와 후방 카메라가 각각 제1 및 제2 카메라인 경우, 제1 카메라에는 제1 객체의 정면 형상이 포함되는 반면, 제2 카메라에는 제1 객체의 후면 영상이 포함될 수 있다. 이에 따라 본 발명의 실시 예에 따른 증강현실 정보 제공 장치는 제1 객체가 식별되는 경우, 상기 식별된 제1 객체의 특징점들을 검출하고, 검출된 특징점들에 근거하여 가장 유사한 특징을 가지는 객체를 다른 카메라의 영상으로부터 검출하여 상기 제1 객체에 대응하는 객체로 검출할 수 있다.
예를 들어 제1 객체가 차량인 경우 프로세서(100)는 차량의 형태, 즉 크기나 번호판의 위치, 배기구 위치, 범퍼 모양 등 및 차량의 색상과 같은 특징점들을 상기 제1 객체의 특징 정보로서 수집할 수 있다. 또는 상기 제1 객체가 건물인 경우 건물 및 그 건물 주변의 형태(예를 들어 창문 패턴), 건물의 위치 및 건물의 색상, 간판에 포함된 문자나 이미지, 간판의 형태나 크기 등이 상기 제1 객체의 특징 정보로서 수집될 수 있다.
한편 프로세서(100)는 제2 카메라의 영상에 포함된 객체들 중, 상기 수집된 제1 객체의 특징 정보와 유사성이 높다고 판단되는 어느 하나의 객체를 상기 제1 객체에 대응하는 객체, 즉 상기 제1 객체를 제2 카메라 시점에서 바라본 객체로 판단할 수 있다.
이를 위해 프로세서(100)는 추정된 복수의 제1 객체의 위치에, 상기 제1 객체의 식별 결과로부터 획득한 외형 영역을 투영하고, 투영된 외형 영역들과 외형 영역이 일치하는지 여부에 근거하여 상기 제1 객체에 대응하는 제2 카메라의 영상 내의 객체를 검출할 수 있다.
도 9는 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 제2 카메라 영상 내에서, 이러한 방식으로 상기 제1 객체에 대응하는 객체를 검출하는 동작 과정을 도시한 흐름도이다. 그리고 도 10 내지 도 11은 상기 도 9의 동작 과정에 따라 식별된 제1 객체의 추정된 위치에 표시되는 외형 영역에 일치하는 객체를 상기 제1 객체에 대응하는 객체로서 검출하는 예를 도시한 예시도들이다. 여기서 상기 도 9의 동작 과정은, 상기 도 7의 S702 단계에서의 제1 객체 검출 여부를 판별하기 위해 수행될 수 있다.
도 9를 참조하여 살펴보면, 본 발명의 실시 예에 따른 증강현실 정보 제공 장치의 프로세서(100)는, 먼저 차량 기준 좌표계에서 추정된 복수의제1 객체 추정 위치, 즉 후보 위치의 좌표 정보들을 현재 결정된 제2 카메라의 캘리브레이션 데이터를 이용하여 제2 카메라의 이미지 영역에 투영할 수 있다(S900).
도 10은 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 소정 시간 후의 제1 객체 추정 위치를 투영한 대응하는 제2 카메라 영상 내의 후보 위치들을 결정하는 예를 도시한 예시도이다.
예를 들어 도 10에서 보이고 있는 바와 같이, 제1 카메라(전방 카메라)(211)에서 제1 객체(301)가 식별될 수 있다. 이 경우 상기 제1 객체(301)의 위치는, 상기 제1 카메라(211) 이미지 좌표계에 따른 3차원 좌표(1차 좌표)로 산출될 수 있다.
그러면 프로세서(100)는 ADAS(210)를 제어하여 상기 제1 객체(301)의 1차 좌표를, 상기 제1 카메라(211)에 대응하는 제1 카메라 캘리브레이션 데이터(1010)를 이용하여 차량 기준 좌표계로 변환할 수 있다. 그러면 상기 제1 좌표는 상기 차량 기준 좌표계에 따른 좌표 정보로 변환될 수 있다. 그리고 상기 제1 좌표가 상기 차량 기준 좌표계에 따른 좌표 정보로 변환되면, 프로세서(100)는 제1 객체(301)와 차량(200) 간의 상대 속도, 상대 거리 및 상대 각도에 근거하여 제1 객체(301)에 대한 소정 시간 경과 후의 추정 위치들을 산출할 수 있다. 그리고 산출된 추정 위치들에 근거하여 적어도 하나의 제2 카메라를 결정할 수 있다.
한편 제2 카메라가 후방 카메라(212)인 경우, 프로세서(100)는 제2 카메라(212)의 캘리브레이션 데이터(1020)를 이용하여, 상기 차량 기준 좌표계에 따른 좌표 정보로 변환된 각 추정 위치의 좌표를, 상기 제2 카메라(212)의 이미지 좌표계에 따른 좌표(2차 좌표, 1000)들로 변환할 수 있다. 즉 제2 카메라의 이미지 영역에 투영된 후보 위치들이 결정될 수 있다.
상기 S900 단계에서, 제1 객체의 제1 좌표가, 제2 카메라의 캘리브레이션 데이터에 근거하여 제2 카메라의 이미지 영역에 투영되면, 프로세서(100)는 투영된 제2 카메라 영상 내의 각 위치에, 상기 제1 객체로부터 식별된 특징 정보에 대응하는 외형 영역들을 생성할 수 있다. 따라서 상기 제2 카메라의 영상 내 복수의 후보 위치 각각에 제1 객체로부터 식별된 특징 정보에 따른 외형 영역과 동일한 외형 영역을 가지는 복수의 후보 객체들이 생성될 수 있다(S902).
그러면 프로세서(100)는 제2 카메라의 영상 중, 디스플레이 상에 표시되는 표시 영역 내에 포함되는 적어도 일부의 후보 객체들을 검출할 수 있다(S904). 그리고 제2 카메라의 영상에서 식별된 객체들 중, 외형 영역을 비롯한 특징 정보가, 상기 제1 객체로부터 획득된 특징 정보와 소정 비율 이상 일치하는 후보 객체가 있는지 여부를 체크할 수 있다(S906).
예를 들어 프로세서(100)는 제2 카메라의 영상으로부터 객체들을 식별할 때에 상기 제2 카메라의 영상에 포함된 객체들 각각에 대한 외형 영역의 크기를 결정할 수 있다. 그리고 상기 외형 영역의 크기가 상기 제1 객체의 외형 영역과 소정 비율 이상 일치하는 객체들을 검출할 수 있다. 그리고 외형 영역의 크기가 소정 비율 이상 일치하는 객체들 중, 후보 객체들이 표시되는 외형 영역과 표시되는 위치가 소정 비율 이상 일치하는 객체를 검출할 수 있다.
또한 프로세서(100)는 상기 외형 영역의 크기와 위치 뿐만 아니라, 상기 제1 객체로부터 식별되는 적어도 하나의 다른 특징 정보들을 이용하여 제2 카메라의 영상에 포함된 객체들 중 제1 객체에 대응하는 객체를 검출할 수 있다. 예를 들어 프로세서(100)는 상기 후보 객체들이 표시되는 외형 영역과 표시되는 위치가 소정 비율 이상 일치하는 객체가 2개 이상인 경우, 제1 객체의 다른 특징 정보, 예를 들어 색상 등의 정보를 이용하여 어느 상기 제1 객체에 대응하는 객체를 검출할 수 있다.
이러한 상기 S906 단계의 검출 결과, 제2 카메라에서 식별된 객체들 중 외형 영역 및 특징이 소정 비율 이상 일치하는 후보 객체가 있는 경우라면, 프로세서(100)는 상기 S906 단계에서 검출된 후보 객체에 대응하는 제2 카메라 영상 내의 객체를 제1 객체에 대응하는 객체로 추정할 수 있다. 따라서 상기 도 7의 S702 단계에서는 제1 객체에 대응하는 객체가 제2 카메라에 포함된 경우에 상기 제1 증강현실 객체를 표시하는 도 7의 S704 단계로 진행할 수 있다.
반면 상기 S906 단계의 검출 결과, 제2 카메라에서 식별된 객체들 중 외형 영역 및 특징이 소정 비율 이상 일치하는 후보 객체가 없는 경우라면, 프로세서(100)는 제1 객체에 대응하는 객체가 상기 제2 카메라의 영상에 포함되지 않은 것으로 판단할 수 있다(S910). 따라서 상기 도 7의 S702 단계에서는 제1 객체에 대응하는 객체가 제2 카메라에 포함되지 않음에 따라 제1 객체의 추정 위치가 제2 카메라의 화각 내에 포함되는 시점에 도달하였는지 여부를 체크하는 도 7의 S706 단계로 진행할 수 있다.
도 11은 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 생성된 후보 객체들에 근거하여, 상기 제1 객체에 대응하는 객체를 검출하는 예를 도시한 예시도들이다.
도 11을 참조하여 살펴보면, 먼저 도 11의 (a)에서 보이고 있는 바와 같이 전방 카메라(제1 카메라)에서 제1 객체가 식별된 경우, 프로세서(100)는 제1 객체(301)의 좌표 정보(제1 좌표)에 근거하여 산출되는 기준 좌표계 상의 좌표 정보를, 제2 카메라 캘리브레이션 데이터에 근거하여 제2 카메라 이미지 좌표계 상의 좌표로 투영할 수 있다. 이에 따라 도 11의 (a)에서 보이고 있는 바와 같이 제1 후보 위치(1110) 및 제2 후보 위치(1120)가 결정될 수 있다.
그러면 프로세서(100)는 상기 제1 객체(301)의 식별 시에 획득된 제1 객체(301)의 특징 정보, 예를 들어 외형 영역의 크기에 대응하는 외형 영역을 가지는 가상 객체, 즉 후보 객체(1111, 1121)를 상기 제1 후보 위치(1110) 및 제2 후보 위치(1120)에 각각 생성할 수 있다. 여기서 상기 제1 후보 객체(1111)와 제2 후보 객체(1121)는 3차원 외형 영역을 가지는 3차원 객체일 수 있다. 따라서 상기 제2 카메라, 즉 후방 카메라의 영상이 표시되는 룸 미러 디스플레이(252)를 도시하고 있는 도 11의 (b)에서 보이고 있는 바와 같이, 3차원 형상을 가지는 제1 후보 객체(1111)와 제2 후보 객체(1121)가 생성될 수 있다.
한편 도 11의 (a) 및 (b)에서 보이고 있는 바와 같이, 3차원 형상을 가지는 후보 객체들(1111, 1121)이 생성되면, 프로세서(100)는 제2 카메라의 영상에서 식별된 객체들 제1 객체(301)와 외형 영역이 소정 비율 이상 동일한 객체들을 검출할 수 있다. 그리고 검출된 객체들 중 상기 후보 객체들(1111, 1121) 중 어느 하나와 소정 비율 이상 외형 영역이 일치하는 객체를 검출할 수 있다.
즉, 도 11의 (a) 및 (b)에서 보이고 있는 바와 같이, 제2 카메라의 영상에서 식별된 객체들 중, 제1 후보 객체(1111)와 소정 비율 이상 외형 영역이 중첩되며, 상기 제1 객체(301)의 외형 영역의 크기와 유사한 객체(1150)가 있는 경우, 프로세서(100)는 상기 제1 객체(301)에 대응하는 객체가 상기 제2 카메라의 영상에 포함된 것으로 판별할 수 있다(도 9의 S908 단계).
반면, 제2 카메라의 영상에서 식별된 객체들 중, 상기 제1 객체(301)의 외형 영역의 크기와 유사한 객체가 없는 경우, 또는 외형 영역의 크기가 유사하더라도 제1 후보 객체(1111) 또는 제2 후보 객체(1121)와 소정 비율 이상 외형 영역이 중첩된 객체가 없는 경우라면, 프로세서(100)는 제2 카메라의 영상에 제1 객체(301)에 대응하는 객체가 포함되어 있지 않은 것으로 판단할 수 있다(도 9의 S910 단계).
한편 상술한 설명에서는 제2 카메라의 객체들 중, 어느 하나의 후보 객체와 외형 영역이 소정 비율 이상 중첩되는 객체를 제1 객체에 대응하는 객체로 추정하는 예를 설명하였으나, 후보 위치, 즉 기준 좌표계 상의 추정 위치를 제2 카메라 이미지 좌표계로 변환된 위치와 객체의 중심 위치가 소정 거리 이하인 후보 위치가 있는 경우에 상기 제1 객체에 대응하는 객체가 상기 제2 카메라의 영상 내에 포함되어 있는 것으로 추정할 수도 있음은 물론이다. 예를 들어 상기 중심 위치는, 제2 카메라에 포함된 객체들 중, 외형 영역의 크기가 상기 제1 객체와 동일 또는 유사한 범위 내에 있는 적어도 하나의 객체 각각에 대한 2차원 평면(XY 평면) 상의 위치일 수 있다.
보다 자세하게 도 11에서 보이고 있는 바와 같이, 상기 중심 위치는 제2 카메라에서 식별된 객체의 XY 평면 상의 외형 영역 중, 상측 모서리 중심점일 수 있다. 이 경우 상기 복수의 후보 객체(1111, 1121)는, 제1 객체에 대응하는 크기의 외형 영역을 가지는 가상 객체의 밑면 상측 모서리 중심이, 각 후보 위치(1110, 1120)에 위치하도록 생성되는 객체들일 수 있다.
한편 본 발명의 실시 예에 따른 증강현실 정보 제공 장치는 제2 카메라의 이미지 영역 안에서 운전자에게 제공해야 할 안전주행 관련 이벤트가 탐지될 경우, 상기 제2 카메라의 특정 이미지 영역을 강조하기 위해 다양하게 상기 제2 카메라의 특정 이미지 영역을 표시할 수 있다.
일 예로 프로세서(100)는 차량(200)의 주변에서, 기 설정된 거리 이하로 접근하는 다른 객체가 탐지되는 경우 상기 탐지된 객체를 강조하기 위해 상기 탐지된 객체가 포함된 제2 카메라 영상 내의 일 영역을 강조하여 표시할 수 있다. 또는 상기 프로세서(100)는 사용자에 의해 기 설정된 차량(200)의 구동이 설정되는 경우, 차량(200)의 주변 상황을 검출하고 검출된 차량(200) 주변의 상황이 상기 설정된 바에 따라 구동하기에 안전한지 여부를 사용자에게 증강현실 객체를 이용하여 표시할 수도 있다. 도 12 내지 도 13은 이러한 예를 도시한 것이다.
먼저 도 12를 참조하여 살펴보면, 도 12의 (a)에서 보이고 있는 바와 같이, 차량(200)의 후방에서 접근하는 다른 차량(1200)이 차량(200)으로부터 기 설정된 거리 이상 이격된 상태인 경우 프로세서(100)는 상기 다른 차량(1200)이 안전거리 이상의 거리에 위치한 것으로 판단할 수 있다. 이 경우 도 12의 (a)에서 보이고 있는 바와 같이, 증강현실 객체 등이 포함되지 않은 후방 카메라의 영상을 룸 미러 디스플레이(252) 상에 표시할 수 있다.
그러나 상기 다른 객체(1200)가 차량(200)과의 거리가 기 설정된 거리 이하로 접근하는 경우, 프로세서(100)는 후방 충돌 경고를 증강현실 정보로 안내할 수 있다. 이를 위해 프로세서(100)는 차량(200)의 후방에서 접근하는 상기 다른 차량(1200)의 전면과 접근 경로의 도로면, 그리고 룸 미러 디스플레이(252)의 종횡비를 모두 만족하는 이미지 범위(1260)를 산출할 수 있다. 여기서 프로세서(100)는 상기 후방 카메라 영상 내에서 상기 다른 차량(1200)이 위치한 차로(대상 차로) 및 상기 대상 차로 위에서 위험거리 내에 위치한 인접 차량이 모두 포함되도록 상기 이미지 영역을 산출할 수 있다.
그러면 프로세서(100)는 산출된 이미지 범위(1260)에 따라 상기 다른 차량(1200)을 중심으로 후방 카메라에서 획득된 영상으로부터 상기 이미지 범위(1260)에 대응하는 일 영역을 설정할 수 있다. 그리고 설정된 영역의 이미지를, 상기 후방 카메라의 영상이 표시되는 룸 미러 디스플레이(252)의 해상도에 맞게 확대할 수 있다.
따라서 도 12의 (b)에서 보이고 있는 바와 같이, 소정 거리 이상 근접한 다른 차량(1200)의 이미지가 룸 미러 디스플레이(252)에서 확대되어 보다 강조되어 표시될 수 있다. 뿐만 아니라 도 12의 (b)에서 보이고 있는 바와 같이 프로세서(100)는 상기 소정 거리 이상 근접한 다른 차량(1200)의 이미지 근처에 접근 경보를 위한 증강현실 객체(1252)를 표시하여, 상기 접근하는 차량(1200)을 보다 강조하여 표시할 수 있다.
한편 상술한 설명에서는, 다른 차량(1200)이 차량(200)으로부터 기 설정된 거리 이하로 접근하는 경우를 가정하였으나, 사용자의 선택 또는 사용자의 기 설정된 차량 조작에 따라 이루어질 수도 있음은 물론이다.
예를 들어 운전자가 브레이크 제동을 목적으로 룸 미러 디스플레이(252)를 일정시간 주시하였을 경우, 혹은 브레이크 제동 후 룸 미러 디스플레이(252)를 통해 후방 상황을 관찰하는 경우, 프로세서(100)는 상기 도 12의 (b)에서 보이고 있는 바와 같이, 차량(200) 주변에 근접한 다른 차량들을 검출하고 검출된 다른 차량들 위치에 차량(200)의 위치에 근거하여 충돌 예상 시간(TTC, Time to Collision)을 산출할 수 있다. 그리고 충돌 예상 시간이 소정 값 이하인 객체가 있는 경우 상기 도 12의 (b)에서 보이고 있는 바와 같이 증강현실 객체를 이용하여 하이라이트 함으로서 강조하여 표시할 수 있다.
한편 근접한 다른 차량(1200)과 차량(200) 사이의 거리가 다시 상기 기 설정된 거리를 초과하는 경우, 또는 접근 중인 상기 다른 차량(1200)이, 차량(200)과의 거리가 멀어짐에 따라 상기 설정된 이미지 영역을 벗어나는 경우, 프로세서(100)는 다시 후방 카메라의 초기 설정 영역으로 복원할 수 있다. 반면 상기 근접하는 차량(1200)과 차량(200)이 더 근접한 경우 프로세서(100)는 이미지 영역을 재산출하고 재산출된 이미지 영역에 따라 상기 후방 카메라의 영상이 표시되는 룸 미러 디스플레이(252)의 영상을 조정할 수 있다. 이 경우 조정된 룸 미러 디스플레이(252)의 영상은 상기 다른 차량(1200)을 보다 강조하기 위한 증강현실 객체가 포함될 수 있다.
한편 프로세서(100)는 상기 다른 차량(1200)과 차량(200) 사이의 거리가 소정 시간 이상 유지되는 경우, 상기 설정된 이미지 영역 내에서 상기 다른 차량(1200)의 위치가 소정 시간 이상 유지될 수 있다. 그러면 프로세서(100)는 운전자에게 후방 충돌 경고가 충분히 제공된 것으로 판단할 수 있고, 상기 후방 카메라 영상의 이미지 설정을 초기 설정 영역으로 다시 복원할 수 있다.
상술한 설명에서는 후방 카메라를 예로 들어 설명하였으나, 차량(200)의 측방 이미지를 획득하는 측방 카메라 또는 전방 이미지를 획득하는 전방 카메라에서도 동일하게 적용될 수 있다. 이 경우 획득된 영상이 표시되는 디스플레이 역시 상기 룸 미러 디스플레이가 아니라 다른 디스플레이에 표시될 수 있다.
한편 본 발명의 실시 예에 따른 증강현실 정보 제공 장치의 프로세서(100)는 사용자에 의해 차량(200)의 구동을 위한 지시등이 조작되는 경우, 차량(200)의 주변 상황을 검출하고 검출된 차량(200) 주변의 상황이 상기 지시등에 따른 구동이 안전한지 여부를 사용자에게 증강현실 객체를 이용하여 표시할 수도 있다. 도 13은 이러한 예를 도시한 것이다. 설명의 편의상 차량(200) 주변의 객체를 검출하는 카메라를 후방 카메라로, 또한 후방 카메라의 영상이 표시되는 디스플레이를 룸 미러 디스플레이로 가정하기로 한다.
도 13을 참조하여 살펴보면, 본 발명의 실시 예에 따른 증강현실 정보 제공 장치의 프로세서(100)는 차선 변경을 위한 사용자의 선택을 감지할 수 있다. 예를 들어 프로세서(100)는 사용자가 특정 방향으로의 방향 지시등이 온 되는 경우, 사용자가 특정 차선을 지향하는 방향 또는 특정 차선에 대응하는 방향의 미러를 일정시간 이상 주시하는 경우, 또는 사용자의 음성 명령에 의해 차선 변경이 선택되는 경우, 차량(200)이 현재 안전하게 차선을 변경할 수 있는 상태인지 여부를 검출할 수 있다.
즉, 상술한 바와 같이 방향 지시등 또는 사용자의 선택 등에 따라 변경할 차선이 특정되는 경우, 프로세서(100)는 후방 감지 센서를 통해 차량(200)과 인접하며, 상기 특정된 차선에 위치한 다른 차량(1310)을 검출할 수 있다. 그리고 상기 검출된 다른 차량과 차량(1310) 사이의 거리가 도 13의 (a)에서 보이고 있는 바와 같이 기 설정된 안전거리 이상인 경우라면, 프로세서(100)는 상기 특정된 차선으로의 차선 변경이 안전함을 나타내는 증강현실 객체(1320)를 포함하는 상기 후방 카메라의 영상, 즉 증강현실 이미지를 룸 미러 디스플레이(252) 상에 표시할 수 있다. 여기서 상기 차선 변경이 안전함을 나타내는 증강현실 객체(1320)는 녹색으로 표시될 수 있다.
반면 방향 지시등 또는 사용자의 선택에 따라 특정된 다른 차선에 위치한 다른 차량(1350) 또는 장애물이 상기 차량(200)으로부터 안전거리 이내에 있는 경우라면, 프로세서(100)는 상기 특정된 다른 차선으로의 차선 변경이 안전하지 않은 것으로 판단할 수 있다. 그러면 프로세서(100)는 상기 인접한 다른 차량(1350)이 보다 강조되도록, 상기 다른 차량(1350) 및 상기 특정 차선을 포함하는 후방 카메라의 영상을 보다 확대하여 표시할 수 있다.
뿐만 아니라 프로세서(100)는, 상기 도 13의 (b)에서 보이고 있는 바와 같이 상기 후방 카메라의 영상 내에서, 상기 특정된 다른 차선의 형상을 따라 생성되는 가상의 벽 형상을 가지는 증강현실 객체가 포함된 증강현실 이미지를 상기 후방 카메라의 영상이 표시되는 룸 미러 디스플레이(252)에 표시할 수 있다. 또는/상기 벽 영상의 증강현실 객체와 더불어 프로세서(100)는 상기 특정 차선을 붉은 색으로 표시하는 증강현실 객체를 상기 후방 카메라의 영상이 표시되는 룸 미러 디스플레이(252)에 표시함으로써, 상기 특정된 다른 차선으로의 차선 변경이 안전하지 않음을 사용자에게 표시할 수 있다.
한편 상기 프로세서(100)는 상기 사용자의 조작에 따라 상기 특정된 차선의 영상을 획득하는 카메라를 결정할 수 있다. 예를 들어 프로세서(100)는 사용자가 우측 차선으로의 차선 변경을 선택하는 경우 우측 디지털 사이드 미러 카메라에서 획득되는 영상에 근거하여 증강현실 이미지를 생성할 수 있다. 또는 사용자가 좌측 차선으로의 차선 변경을 선택하는 경우 좌측 디지털 사이드 미러 카메라에서 획득되는 영상에 근거하여 증강현실 이미지를 생성할 수 있다. 즉, 프로세서(100)는 차량(200)에 대한 사용자의 조작을 검출하고 검출된 조작에 따라 증강현실 객체를 오버랩할 영상을 획득하는 카메라를 결정할 수 있다.
또한 프로세서(100)는 획득된 영상에서, 차선 및 차량(200)과 인접한 다른 차량을 포함하는 영역이 포함되도록 디스플레이 상에 표시될 표시 영역을 크롭(crop)할 수 있다. 이 경우 상기 프로세서(100)는 상기 차선 및 차량(200)과 인접한 다른 차량을 포함하는 영역이 강조되도록 상기 결정된 카메라에서 획득된 영상의 일부를 크롭할 수 있으며, 크롭된 일부를 스케일링(scaling)하여 디스플레이 상에 표시할 수 있다.
한편 상술한 설명에 따르면, 본 발명의 실시 예에 따른 증강현실 정보 제공 장치는 차량(200)의 이동에 따라 제1 객체가 사각지대로 진입하는 경우 상기 제1 객체의 출현을 예고하는 제2 증강현실 객체를 표시할 수 있음을 설명한 바 있다.
이 경우 프로세서(100)는 제1 객체가 상기 제1 카메라의 화각을 벗어나는 시점, 즉 기준 시점에 도달하는 경우, 상기 기준 시점으로부터 소정 시간이 경과한 시점들에 대응하는 추정 위치들을 산출할 수 있다. 그리고 산출된 추정 위치들에 근거하여 상기 소정 시간이 경과한 후에 상기 제1 객체가 포함될 영상을 획득할 제2 카메라를 결정할 수 있다.
한편 프로세서(100)는 상기 산출된 추정 위치들에 근거하여, 상기 제1 객체가 상기 제2 카메라의 화각 내에 진입할 때까지의 시간을 산출할 수 있다. 그리고 상기 제1 객체가 상기 기준 시점을 지나면, 시간의 경과에 따라 즉, 상기 제1 객체가 상기 제2 카메라의 화각 내에 진입하는 시점에 임박할수록 상기 제1 객체의 출현을 예고하는 제2 증강현실 객체를 다르게 표시할 수 있다.
도 14는 이와 같이 본 발명의 실시 예에 따른 증강현실 정보 제공 장치가, 제1 객체의 추정 위치에 따라 상기 제2 증강현실 객체를 서로 다르게 표시하는 예를 도시한 예시도이다. 이하의 설명에서 설명의 편의상 제1 카메라는 전방 카메라이고, 제2 카메라는 후방 카메라임을 가정하여 설명하기로 한다. 또한 상기 후방 카메라, 즉 제2 카메라의 영상이 룸 미러 디스플레이(252)를 통해 표시되는 것을 예로 들어 설명하기로 한다. 그러나 이는 설명의 편의를 위한 예일 뿐, 본 발명이 이에 한정되는 것이 아님은 물론이다.
먼저 도 14의 (a)를 참조하여 살펴보면, 도 14의 (a)는 제1 객체가 기준 시점(예 : 도 6의 t1(601))을 경과하지 않음에 따라 제1 객체에 관련된 증강현실 객체(제1 증강현실 객체)가 전방 카메라의 영상을 표시하는 디스플레이(예 : CID(251))에 표시되는 경우를 가정한 것이다. 이 경우 제1 객체가 CID(251)에 표시됨에 따라, 도 14의 (a)에서 보이고 있는 바와 같이 룸 미러 디스플레이(252)에는 제1 객체와 관련된 증강현실 이미지가 표시되지 않을 수 있다.
이러한 상태에서, 차량(200)의 이동에 따라 제1 객체가, 상기 기준 시점에 도달하면 프로세서(100)는 상기 기준 시점으로부터 소정 시간이 경과한 시점의 제1 객체 추정 위치를 복수개 산출할 수 있다. 그리고 산출된 추정 위치들에 근거하여 제2 카메라를 결정하고, 제2 카메라가 결정되면 상기 제1 객체의 추정 위치들에 근거하여 상기 기준 시점으로부터 상기 제2 카메라의 화각 내에 상기 제1 객체가 진입하는 시점까지의 시간, 즉 출현 시간을 산출할 수 있다.
그리고 제1 카메라의 화각과 제2 카메라의 화각 사이의 영역, 즉 사각지대에 진입하면, 프로세서(100)는 제1 객체가 제1 카메라의 영상에서 검출되지 않고, 또한 상기 결정된 제2 카메라의 영상에서도 상기 제1 객체가 포함되지 않음에 따라, 상기 제1 객체의 추정된 위치를 대향하는 제2 카메라 영상 내 일 영역에, 상기 제1 객체의 출현을 예고하는 증강현실 객체(제2 증강현실 객체)(1400)가 포함된 증강현실 이미지를 룸 미러 디스플레이(252)에 표시할 수 있다.
이 경우 상기 제2 증강현실 객체(1400)는 상기 제1 객체의 출현 시점이 임박함에 따라 투명도 및 색상(예를 들어 채도) 중 적어도 하나가 달라질 수 있다. 즉, 상기 산출된 출현 시간이 제1 시간 이상인 경우 프로세서(100)는 도 14의 (b)에서 보이고 있는 바와 같이 높은 투명도 또는 낮은 채도로 상기 제2 증강현실 객체(1400)를 룸 미러 디스플레이(252) 상에 표시할 수 있다. 그러나 시간이 경과함에 따라 상기 산출된 출연 시간 중 남은 시간이 제2 시간(여기서 제1 시간은 제2 시간보다 큰 시간임) 미만인 경우라면, 프로세서(100)는 도 14의 (d)에서 보이고 있는 바와 같이 낮은 투명도 또는 높은 채도로 상기 제2 증강현실 객체(1400)를 룸 미러 디스플레이(252) 상에 표시할 수 있다.
즉, 시간의 경과에 따라 제2 증강현실 객체의 투명도 또는 채도 등이 상기 경과된 시간에 따라 상반되게 변경될 수 있다. 따라서 도 14의 (b) 내지 (d)에서 보이고 있는 바와 같이, 제1 객체가 제1 카메라의 영상으로부터 사라진 이후 상기 제1 객체가 제2 카메라의 영상에 포함될 시점이 임박할수록 상기 제2 증강현실 객체의 투명도는 점점 낮아지거나 채도가 점점 높아질 수 있다.
그리고 제2 카메라의 영상으로부터 식별된 객체 중 상기 제1 객체에 대응하는 객체, 즉 제1 객체가 포함된 경우라면 프로세서(100)는 도 14의 (e)에서 보이고 있는 바와 같이 제2 증강현실 객체 대신 제1 증강현실 객체를 포함하는 증강현실 이미지를, 제2 카메라, 즉 후방 카메라의 영상이 표시되는 룸 미러 디스플레이(252) 상에 표시할 수 있다.
한편 상술한 설명에서는 제2 증강현실 객체를 변경하여 표시하는 것을 예로 들어 설명하였으나, 시간의 경과에 따라 제1 증강현실 객체가 다르게 표시될 수도 있음은 물론이다. 예를 들어 프로세서(100)는, 제2 카메라의 영상에 제1 객체가 포함됨에 따라 제1 증강현실 객체가 상기 제2 카메라의 영상에 오버랩되어 표시되는 상태라고 할지라도, 제1 카메라의 영상으로부터 제1 객체가 사라진 시점, 예를 들어 기준 시점으로부터 경과된 시간이 길어질수록 상기 제2 카메라의 영상에 표시되는 제1 증강현실 객체의 투명도 또는 채도가 달라지도록 할 수 있다. 즉, 차량(200)으로부터 멀어질수록 투명도가 높아지거나 또는 채도가 낮아지도록 상기 제2 카메라의 영상에서 표시되는 제1 증강현실 객체를 조정할 수 있다.
전술한 본 발명은, 전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부를 포함할 수도 있다. 따라서 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (17)

  1. 제1 카메라 및 제2 카메라를 포함하는 복수의 카메라로부터 차량 주변의 도로 환경 및 상기 차량 주변의 객체를 포함하는 영상들을 수신 및, 상기 차량의 주행 상태를 센싱한 센싱 정보를 수신하는 인터페이스부;
    상기 복수의 카메라 중 적어도 하나에서 촬영된 영상을 기초로, 상기 센싱 정보에 근거하여 적어도 하나의 증강현실 객체를 렌더링하는 AR 모듈; 및,
    상기 제1 카메라의 영상에 포함된 객체들 중 제1 객체에 관련된 제1 증강현실 객체를 렌더링하도록 상기 AR 모듈을 제어하고, 상기 제2 카메라의 영상에 상기 제1 증강현실 객체와 관련된 제2 증강현실 객체가, 상기 제1 객체에 대향되는 방향에 표시되도록 상기 인터페이스부를 통해 상기 차량의 디스플레이부를 제어하는 프로세서를 포함하는 것을 특징으로 하는 증강현실 정보 제공 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 제1 카메라의 영상으로부터 검출된 상기 제1 객체의 3차원 위치 및 상대 속도를 산출하며, 상기 제1 객체가 검출된 시각으로부터 소요된 소요 시간에 따라 상기 제1 객체의 3차원 위치를 추정하고,
    상기 제1 카메라의 영상으로부터 상기 제1 객체가 검출되지 않으면, 소정 시간 이내에 상기 추정된 제1 객체의 3차원 위치를 가리키는 제1 증강현실 객체가 상기 제1 카메라의 영상에 표시되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 증강현실 정보 제공 장치.
  3. 제2항에 있어서, 상기 프로세서는,
    상기 증강현실 객체에 대한 사용자의 선택이 있는 경우, 상기 제1 객체와 관련된 정보를 표시하는 것을 특징으로 하는 증강현실 정보 제공 장치.
  4. 제2항에 있어서, 상기 프로세서는,
    상기 추정된 제1 객체의 3차원 위치에 근거하여 상기 복수의 카메라 중 상기 추정된 3차원 위치 주변의 영상을 촬영하는 어느 하나의 카메라를 상기 제2 카메라로 결정하는 것을 특징으로 하는 증강현실 정보 제공 장치.
  5. 제4항에 있어서, 상기 프로세서는,
    상기 제2 카메라가 결정되면, 상기 추정된 제1 객체의 추정 위치에 근거하여 상기 제1 객체의 출현을 예고하는 제2 증강현실 객체를 포함하는 상기 제2 카메라의 영상이 상기 디스플레이부 상에 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 증강현실 정보 제공 장치.
  6. 제5항에 있어서, 상기 프로세서는,
    상기 제1 카메라의 영상으로부터 상기 제1 객체가 검출되지 않으면, 상기 추정된 제1 객체의 추정 위치에 근거하여, 상기 제2 카메라의 영상에 상기 제1 객체가 포함될 시각을 예측하고,
    상기 제1 증강현실 객체 및 상기 제2 증강현실 객체 중 적어도 하나를, 상기 제1 카메라의 영상으로부터 상기 제1 객체가 검출되지 않은 시점으로부터 경과된 시간에 따라 변경하는 것을 특징으로 하는 증강현실 정보 제공 장치.
  7. 제5항에 있어서, 상기 프로세서는,
    상기 제1 객체가 검출되지 않은 시점으로부터 경과된 시간에 따라, 상기 제1 증강현실 객체와 상기 제2 증강현실 객체의 투명도를 상반되게 변경하거나, 상기 제1 증강현실 객체와 상기 제2 증강현실 객체의 채도를 상반되게 변경하는 것을 특징으로 하는 증강현실 정보 제공 장치.
  8. 제4항에 있어서, 상기 프로세서는,
    상기 결정된 제2 카메라의 영상으로부터 상기 제1 객체가 검출되지 않으면, 상기 제2 카메라를 제외한 적어도 하나의 다른 카메라에서 촬영된 영상에 근거하여 상기 제1 객체를 검출하며, 상기 제1 객체가 검출된 어느 하나의 다른 카메라에서 촬영된 영상을 기초로 상기 제1 객체와 관련된 증강현실 객체가 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 증강현실 정보 제공 장치.
  9. 제8항에 있어서, 상기 프로세서는,
    상기 적어도 하나의 다른 카메라에서 촬영된 영상으로부터 상기 제1 객체가 검출되지 않으면, 상기 제2 카메라에서 촬영된 영상 중 상기 추정된 3차원 위치에 대응하는 위치에 상기 제1 객체와 관련된 증강현실 객체가 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 증강현실 정보 제공 장치.
  10. 제1항에 있어서, 상기 프로세서는,
    상기 차량 중심으로부터 상기 제1 객체까지의 거리를 산출 및, 상기 제1 객체가 상기 제1 카메라의 화각을 벗어나는 시각을 산출하고, 산출된 시각을 기초로 소요 시간을 산출하며,
    상기 기 설정된 단위 시간 별로 서로 다른 소요 시간에 따라 복수개의 상기 제1 객체의 후보 위치를 3차원 위치로서 추정하고, 상기 복수개의 후보 위치 중 적어도 하나에 근거하여 상기 제2 카메라를 결정 및, 상기 복수개의 후보 위치 중 어느 하나에 근거하여 상기 제2 카메라에서 촬영된 영상에 포함된 상기 제1 객체를 식별하는 것을 특징으로 하는 증강현실 정보 제공 장치.
  11. 제10항에 있어서, 상기 프로세서는,
    상기 디스플레이부를 통해 표시되는 영역을 포함하는 이미지 영역 내에, 상기 복수개의 후보 위치 각각에 상기 제1 객체에 대응하는 형상을 투영하고, 상기 디스플레이부를 통해 표시되는 상기 이미지 영역 내의 일부 영역에, 상기 제1 객체에 대응하는 형상의 적어도 일부가 포함되는 적어도 하나의 후보 위치를 최종 후보 위치로 결정하고,
    상기 제2 카메라에서 촬영된 영상에 포함된 객체들 중, 상기 투영되는 제1 객체에 대응하는 형상과 형상이 기 설정된 비율 이상 중첩되는 객체에 대응하는 어느 하나의 상기 최종 후보 위치를, 상기 제1 객체의 3차원 위치로서 추정하는 것을 특징으로 하는 증강현실 정보 제공 장치.
  12. 제1항에 있어서, 상기 프로세서는,
    상기 제2 카메라의 영상에 포함된 제1 객체와 상기 차량 사이의 거리, 상기 제1 객체의 상대 속도, 상기 제1 객체의 주행 방향과 상기 차량의 주행 방향 중 적어도 하나에 근거하여 기 설정된 안전주행 관련 이벤트의 발생을 검출하고,
    상기 안전주행 관련 이벤트가 발생하면, 상기 제2 카메라의 영상 중 상기 제1 객체가 포함된 영역을 포함하는 일부의 이미지를 크롭하고, 크롭된 이미지가 스케일링되어 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 증강현실 정보 제공 장치.
  13. 제12항에 있어서, 상기 프로세서는,
    상기 디스플레이부의 종횡비에 따라, 상기 제1 객체의 특정 면과 상기 제1 객체의 접근 경로 중 적어도 하나가 포함되도록 상기 제2 카메라의 영상 일부를 크롭하는 것을 특징으로 하는 증강현실 정보 제공 장치.
  14. 제12항에 있어서, 상기 프로세서는,
    상기 차량에 대한 기 설정된 사용자의 조작을 검출하고, 검출된 조작에 근거하여 상기 복수의 카메라 중 제3 카메라를 결정하고,
    상기 제3 카메라에서 촬영된 영상으로부터 적어도 하나의 객체를 포함하는 일부의 영역을 크롭 및, 크롭된 영역의 이미지가 스케일링되어 디스플레이부상에 표시되도록 상기 인터페이스부를 제어하는 것을 특징으로 하는 증강현실 정보 제공 장치.
  15. 제12항 또는 제14항에 있어서, 상기 프로세서는,
    상기 크롭된 영역에 포함된 적어도 하나의 객체에 대하여, 거리와 속도 및 주행 방향 중 적어도 하나에 근거하여 위험도를 판별 및 판별된 위험도에 따라 서로 다른 증강현실 객체가 표시되도록 상기 AR 모듈을 제어하는 것을 특징으로 하는 증강현실 정보 제공 장치.
  16. 제14항에 있어서,
    상기 사용자의 조작은,
    특정 차선으로의 진입을 위한 방향 지시등 작동 또는 특정 방향에 대응하는 미러를 일정 시간 이상 주시하는 조작을 포함하며,
    상기 프로세서는,
    상기 작동된 방향 지시등에 따른 차선 또는 상기 사용자가 일정 시간 이상 주시한 미러에 따른 특정 방향을 촬영하는 카메라를 상기 제3 카메라로 결정하는 것을 특징으로 하는 증강현실 정보 제공 장치.
  17. 차량에 구비된 복수의 카메라 중 제1 카메라에 포함된 제1 객체를 식별하는 단계;
    식별된 제1 객체에 관련된 제1 증강현실 객체를 포함하는 제1 증강현실 이미지를 표시하는 단계;
    소정 시간 경과된 후의 상기 제1 객체의 위치를 적어도 하나 추정하는 단계;
    상기 복수의 카메라 중, 상기 추정된 제1 객체의 위치에 근거하여 상기 소정 시간 경과 후에 상기 제1 객체의 영상을 획득할 제2 카메라를 결정하는 단계;
    상기 제2 카메라에서 획득되는 영상으로부터 제1 객체를 대향하는 방향에 따른 표시 위치를 결정하는 단계; 및,
    상기 제1 증강현실 객체와 다른 상기 제1 객체에 관련된 제2 증강현실 객체를, 상기 결정된 표시 위치에 표시되도록 상기 제2 카메라에서 획득된 영상을 표시하는 상기 차량의 디스플레이를 제어하는 단계를 포함하는 것을 특징으로 하는 증강현실 정보 제공 장치의 제어 방법.
PCT/KR2023/011851 2022-08-26 2023-08-10 디지털 미러에 기반한 증강현실 정보 제공 장치 및 그 장치의 제어 방법 WO2024043588A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220107620 2022-08-26
KR10-2022-0107620 2022-08-26

Publications (1)

Publication Number Publication Date
WO2024043588A1 true WO2024043588A1 (ko) 2024-02-29

Family

ID=90013504

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/011851 WO2024043588A1 (ko) 2022-08-26 2023-08-10 디지털 미러에 기반한 증강현실 정보 제공 장치 및 그 장치의 제어 방법

Country Status (1)

Country Link
WO (1) WO2024043588A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190011577A (ko) * 2017-07-25 2019-02-07 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
KR20190016815A (ko) * 2017-08-09 2019-02-19 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
US10410426B2 (en) * 2017-12-19 2019-09-10 GM Global Technology Operations LLC Augmented reality vehicle user interface
KR102104500B1 (ko) * 2019-03-07 2020-04-24 삼성전자주식회사 정보 제공 방법 및 이를 위한 정보 제공 차량
KR20210008503A (ko) * 2018-05-15 2021-01-22 르노 에스.아.에스. 증강 현실 카메라를 사용한 후방 시야 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190011577A (ko) * 2017-07-25 2019-02-07 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
KR20190016815A (ko) * 2017-08-09 2019-02-19 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
US10410426B2 (en) * 2017-12-19 2019-09-10 GM Global Technology Operations LLC Augmented reality vehicle user interface
KR20210008503A (ko) * 2018-05-15 2021-01-22 르노 에스.아.에스. 증강 현실 카메라를 사용한 후방 시야 방법 및 장치
KR102104500B1 (ko) * 2019-03-07 2020-04-24 삼성전자주식회사 정보 제공 방법 및 이를 위한 정보 제공 차량

Similar Documents

Publication Publication Date Title
WO2021137485A1 (en) Method and device for displaying 3d augmented reality navigation information
WO2020071839A1 (ko) 선박 및 항만 모니터링 장치 및 방법
WO2018092989A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020085540A1 (en) Augmented reality method and apparatus for driving assistance
WO2017217578A1 (ko) 차량용 제어장치 및 그것의 제어방법
WO2017008224A1 (zh) 一种移动物体的距离检测方法、装置及飞行器
WO2015099465A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
US7015952B2 (en) Image processing apparatus and a method to compensate for shaking during image capture
WO2015093828A1 (ko) 스테레오 카메라 및 이를 구비한 차량
WO2013133464A1 (en) Image display device and method thereof
WO2019147021A1 (en) Device for providing augmented reality service, and method of operating the same
WO2017131427A1 (en) Method for displaying image and electronic device thereof
WO2015152691A2 (ko) 차량 주변 이미지 생성 장치 및 방법
WO2015093823A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2015088289A1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
WO2018143589A1 (ko) 차선 정보를 출력하는 방법 및 장치
WO2017018844A1 (ko) 자율 주행 차량 및 그의 동작 방법
WO2019135437A1 (ko) 안내 로봇 및 그의 동작 방법
WO2021194254A1 (ko) 차량에 탑재된 cms 사이드 디스플레이(camera monitoring system side display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법
WO2017007166A1 (ko) 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2016186319A1 (ko) 차량 운전 보조 장치 및 차량
WO2020138760A1 (ko) 전자 장치 및 그의 제어 방법
WO2018135745A1 (ko) 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치
WO2015093853A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23857622

Country of ref document: EP

Kind code of ref document: A1