WO2021210874A1 - 인공지능용 영상을 제공하는 영상처리방법 및 장치와 인공지능 기기를 위한 정보제공시스템 - Google Patents

인공지능용 영상을 제공하는 영상처리방법 및 장치와 인공지능 기기를 위한 정보제공시스템 Download PDF

Info

Publication number
WO2021210874A1
WO2021210874A1 PCT/KR2021/004605 KR2021004605W WO2021210874A1 WO 2021210874 A1 WO2021210874 A1 WO 2021210874A1 KR 2021004605 W KR2021004605 W KR 2021004605W WO 2021210874 A1 WO2021210874 A1 WO 2021210874A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
artificial intelligence
output
display
image frame
Prior art date
Application number
PCT/KR2021/004605
Other languages
English (en)
French (fr)
Inventor
장종환
강은미
Original Assignee
장종환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 장종환 filed Critical 장종환
Priority to US17/918,943 priority Critical patent/US20230237808A1/en
Publication of WO2021210874A1 publication Critical patent/WO2021210874A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/0803—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division using frequency interleaving, e.g. with precision offset
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the present invention relates to image processing technology, and more particularly, to an image processing method and apparatus capable of providing both an image for a human and an image that can be recognized only by an artificial intelligence device on a single display.
  • DID digital information display
  • the existing display provides visual information to humans and has a limitation in that its use is limited.
  • artificial intelligence-based autonomous driving devices which are attracting attention as the core technology of the 4th industrial revolution
  • artificial intelligence needs to acquire information through display images just like humans.
  • most recent autonomous vehicles use artificial intelligence as a means of recognizing and classifying surrounding objects. After classifying various objects of the vehicle and checking the speed and direction of the object, the driving strategy is determined and the speed and direction of the vehicle are controlled.
  • the large display 50 installed around the driving path of the autonomous driving drone 10 outputs an image including, for example, a building image 52 and a sky image 54 .
  • the AI image analysis model must recognize the entire display 50 as a fixed obstacle in the camera image and set a path to bypass it.
  • the AI image analysis model recognizes the building image 52 in the image as a fixed obstacle and recognizes the sky image 54 between the building image 52 and the building image 52 as a drivable free space
  • the sky image An accident in which the drone 10 collides with the display 50 may occur by setting the driving route (arrow direction) toward the central portion of 54 .
  • the AI image analysis model is In the camera image, it is necessary to recognize the entire display 50 as a fixed obstacle and set a path to bypass it.
  • the vehicle 20 deviates from the normal road by setting the driving route (arrow direction) toward the road image 56 or the display 50 ) may cause an accident.
  • the present invention has been devised against this background, and an object of the present invention is to provide an image processing method capable of providing both an image for a human and an image that can be recognized only by an artificial intelligence device on a single display.
  • Another object of the present invention is to prevent an artificial intelligence device from mistaking an object included in an image of a display as being real.
  • Another object of the present invention is to prevent an accident in which an AI-based autonomous driving device actually misidentifies an object included in an image of a display and collides with a display or deviates from a normal path.
  • a display In order to achieve this object, a first aspect of the present invention, a display; a memory for storing a plurality of basic image frames to be output as images on a display and at least one image frame for artificial intelligence; While the basic image frame is being output as an image, the display is controlled to output the image frame for artificial intelligence as an image according to the setting conditions, but one or more image frames for artificial intelligence are inserted between the basic image frames to output the image as an image.
  • An image processing apparatus including a processor for controlling is provided.
  • the artificial intelligence image frame may have a shorter duration than the basic image frame.
  • the processor may control the display so that at least one image frame for artificial intelligence overlaps the basic image frame.
  • the processor divides the image frames for artificial intelligence into a plurality of pieces and sequentially overlaps the plurality of divided image frames for artificial intelligence on a plurality of basic image frames at intervals set.
  • the display can be controlled as much as possible.
  • the image frame for artificial intelligence may be displayed only on a partial area of the display.
  • the image processing apparatus may include an approach detecting unit for detecting the approach of the moving object, and the processor may control to output an image frame for artificial intelligence only when the approach of the moving object is detected.
  • the processor may check whether an approaching moving object is an autonomous driving device, and control to output an image frame for artificial intelligence only when it is confirmed as an autonomous driving device have.
  • the image processing apparatus provides a first operation mode for outputting only a basic image frame, a second operation mode for outputting only an image frame for artificial intelligence, and an image frame for artificial intelligence while the basic image frame is output and an operation mode determining means for determining one operation mode from among the third operation modes for outputting .
  • a second aspect of the present invention comprises the steps of: outputting a basic image frame as an image on a display;
  • An image output step for artificial intelligence in which an image frame for artificial intelligence is output as an image according to a set condition while a basic image frame is output as an image, but one or more image frames for artificial intelligence are inserted between the basic image frames and output as an image It provides an image processing method comprising a.
  • the artificial intelligence image frame may have a shorter duration than the basic image frame.
  • the image frame for artificial intelligence may be displayed only on a partial area of the display.
  • the image frame for artificial intelligence in the step of outputting the image for artificial intelligence, may be output as an image only when an approach of a moving object is detected.
  • a third aspect of the present invention provides a display, a memory for storing a plurality of basic image frames and at least one image frame for artificial intelligence, and an image frame for artificial intelligence according to a setting condition while the basic image frame is output as an image.
  • an image processing apparatus including a processor for controlling the display to output an image, but for controlling the display to output an image by inserting an image frame for artificial intelligence between basic image frames;
  • An image checking unit for artificial intelligence that confirms whether a camera and an image captured by the camera includes an image frame for artificial intelligence output as an image through the display and obtains information for artificial intelligence from the image frame for artificial intelligence;
  • An artificial intelligence unit that analyzes the image captured by the camera to classify objects in the image and generates a control command, and a processor that processes the information for artificial intelligence acquired from the image confirmation unit for artificial intelligence and the control command generated by the AI unit It provides an information providing system for an artificial intelligence device, including an artificial intelligence device comprising a.
  • the image frame for artificial intelligence includes a collision warning image
  • the artificial intelligence unit captures the image of the camera
  • the area displayed with the collision warning image can be regarded as a fixed obstacle and image analysis can be performed.
  • the artificial intelligence device further includes a distance sensor, and the artificial intelligence unit, the image captured by the camera, the measured value of the distance sensor and the image for artificial intelligence to the input node It may include a deep learning algorithm into which information for artificial intelligence confirmed by the confirmation unit is input.
  • the artificial intelligence device may include a communication unit for wirelessly transmitting its identification information to the image processing device.
  • the display can be used as a communication platform with not only humans but also artificial intelligence.
  • the entire display can be regarded as a fixed obstacle and excluded from the analysis target, so that the artificial intelligence among the camera images is The number of objects to be analyzed can be reduced, and this can greatly improve the computational speed and judgment speed of artificial intelligence.
  • FIG. 1 is a diagram illustrating a state in which an artificial intelligence for image analysis classifies an object in a camera image
  • FIGS. 2 and 3 are diagrams illustrating several cases in which an autonomous driving device collides with a display
  • FIG. 4 is a block diagram of an image processing apparatus according to an embodiment of the present invention.
  • 5 is a functional block diagram of a control program
  • FIG. 6 is a flowchart illustrating a process in which an image processing apparatus outputs an image for artificial intelligence according to an embodiment of the present invention
  • FIG. 7 is a frame configuration diagram illustrating an image display method for artificial intelligence according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating an image output to a display according to a method according to an embodiment of the present invention.
  • 9A to 9C are diagrams illustrating various images for artificial intelligence.
  • FIG. 10 is a block diagram of an artificial intelligence device according to an embodiment of the present invention.
  • 11 is a diagram illustrating a deep learning model architecture
  • FIG. 12 is a flowchart illustrating a control method of an artificial intelligence device using an image for artificial intelligence.
  • FIG. 13 is a flowchart illustrating a driving control method of an autonomous driving artificial intelligence device using a collision warning image
  • FIG. 14 is a frame configuration diagram showing a modified example of an image display method for artificial intelligence.
  • FIG. 15 is a diagram illustrating an output image to which the frame configuration of FIG. 14 is applied
  • 16 is a frame configuration diagram showing another modified example of an image display method for artificial intelligence
  • FIG. 17 is a diagram illustrating an output image to which the frame configuration of FIG. 16 is applied
  • a part includes or includes any component, it means that other components may be further included or provided without excluding other components unless otherwise stated.
  • one element when one element is connected, combined, or communicated with another element, it is not only connected, combined, or communicated directly with another element, but also indirectly connected with another element in between. , combining, or communicating.
  • one component when one component is directly connected or directly coupled to another component, it means that another element is not interposed therebetween.
  • drawings attached to the present specification are merely illustrative to facilitate understanding of the gist of the present invention, it is clarified in advance that the scope of the present invention is not limited thereto.
  • the present invention relates to an image processing apparatus capable of outputting both a basic image that can be recognized by humans and an image for artificial intelligence that can only be recognized by artificial intelligence, and an artificial intelligence device using the same.
  • the image processing apparatus 100 includes a processor 110 , a memory 120 , a display 130 , an input unit 140 , and a communication unit 150 . ), an approach sensing unit 160 , and a bus 102 .
  • the processor 110 executes a computer program stored in the memory 120 to execute a predetermined operation or data processing.
  • the processor 110 may include at least one of a central processing unit (CPU) and a graphics processing unit (GPU).
  • the memory 120 may include a non-volatile memory (eg, flash memory, etc.) and a volatile memory (eg, random access memory (RAM)), and the memory 120 may include mass storage such as HDD, SSD, and CD-ROM. may include.
  • a non-volatile memory eg, flash memory, etc.
  • a volatile memory eg, random access memory (RAM)
  • mass storage such as HDD, SSD, and CD-ROM. may include.
  • the memory 120 may store a computer program for the operation of the image processing apparatus 100 , basic image data to be output through the display 130 , and image data for artificial intelligence.
  • the computer program and/or image data may be stored in the non-volatile memory and loaded into the volatile memory to be executed.
  • the computer program stored in the memory 120 includes a control program 180 for controlling the output of the display 150 , and the control program 180 includes an image output control unit 182 . ) may be included.
  • the image output control unit 182 outputs an image for artificial intelligence by controlling the display 130 according to a preset method. A detailed image output method for artificial intelligence will be described later.
  • the image output control unit 182 is software in the form of a program stored in the memory 120
  • the present invention is not limited thereto.
  • at least some of the image output control functions may be implemented as hardware or a combination of software and hardware.
  • the hardware may be an application specific integrated circuit (ASIC).
  • the display 130 may include a panel on which an image is displayed and a driver IC for applying an electrical signal to each pixel of the panel.
  • the type of the panel is not particularly limited and may be a flat panel such as LCD, LED, OLED, PDP, etc., may be an LED display board, or may be a device that displays images in other ways. Also, the display 130 may be a display representing a hologram.
  • the input unit 140 is an input means for an administrator or a user of the image processing apparatus 100 and may include at least one of a keyboard, a button, a touchpad, a touch screen, a mouse, and a joystick.
  • a communication interface that transmits the control signal received from the communication unit 150 to the processor 110 may serve as the input unit 140 .
  • the communication unit 150 includes a wired and/or wireless communication module, and the type thereof is not particularly limited.
  • the wireless communication module for example, a short-range wireless communication module such as Wi-Fi, Bluetooth (Bluetooth), Z-wave, Zigbee (Zigbee), BLE (Bluetooth Low Energy), UWB (Ultra-Wideband) It may include at least one of, LTE-M, NB-Iot (NarrowBand-Internet of Things), LoRa (Long Range Wide Area Network), such as low power wide area (Low Power Wide-Area: LPWA) communication module, such as at least one It may include, and may include a mobile communication module for access to a mobile communication network.
  • a short-range wireless communication module such as Wi-Fi, Bluetooth (Bluetooth), Z-wave, Zigbee (Zigbee), BLE (Bluetooth Low Energy), UWB (Ultra-Wideband) It may include at least one of, LTE-M, NB-Io
  • the communication unit 150 may include at least one of the V2X communication interfaces.
  • Vehicle to Everything (V2X) may include, for example, communication between vehicles (V2V), communication between vehicles and infrastructure (V2I), communication between vehicles and pedestrians (V2P), communication between vehicles and networks (V2N), and the like.
  • the approach detecting unit 160 is for detecting the approach of a moving object, and may include at least one of a radar sensor, an infrared sensor, an ultrasonic sensor, and a laser sensor. Also, the approach detection unit 160 may be an image analysis device or image analysis software that analyzes a camera image to determine whether a moving object approaches.
  • the approach detection unit 160 is for controlling to output an image for artificial intelligence and/or a basic image only when a moving object approaches, and is used to reduce power consumption due to image output in an area where autonomous driving devices are not frequently operated. can be utilized.
  • the approach detecting unit 160 may be omitted.
  • the bus 102 transmits electrical signals between the respective components 110 , 120 , 130 , 140 , 150 , and 160 of the image processing apparatus 100 , and may be a cable, a circuit pattern, or the like.
  • a basic image to be output from the image processing apparatus 100 and an image for artificial intelligence are stored in the memory 120 , and parameters (eg, artificial intelligence) to be referenced when the warning output control unit 182 outputs an image for artificial intelligence Output conditions, duration, output period, output method, etc.) of the image for intelligence should be set.
  • parameters eg, artificial intelligence
  • the output condition of the image for artificial intelligence may be divided into, for example, always output, periodic output, and output when approaching a moving object.
  • the output method of the image for artificial intelligence includes a method of inserting a frame of an image for artificial intelligence between the frames of the basic image, a method of overlapping the frame of an image for artificial intelligence with a frame of the basic image, a method of overlapping the frame of the image for artificial intelligence, It can be divided into a method of overlapping frames of images for artificial intelligence.
  • the processor 110 When the image processing apparatus 100 starts to operate, the processor 110 outputs a basic image through the display 130 according to a set condition.
  • the processor 110 may check the output condition of the image for artificial intelligence and, when the output condition is 'always output' or 'periodic output', may output the image for artificial intelligence together according to a set method. (ST12)
  • the processor 110 determines whether or not the moving object approaches by using the detection result of the approach detecting unit 160 . (ST13)
  • the processor 110 may output an image for artificial intelligence through the display 130 according to a set method, and as shown in the drawing, check once again whether the moving object is an artificial intelligence device. may be
  • Whether an approaching moving object is an artificial intelligence device can be checked through device identification information obtained through wireless communication with an artificial intelligence device. For example, it is possible to obtain identification information of an autonomous driving device through V2X communication, which is an autonomous driving communication standard, and check whether the autonomous driving device is approached through this. (ST14)
  • the processor 110 outputs an image for artificial intelligence through the display 130 according to a set method. (ST15)
  • the processor 110 may continuously monitor whether or not the moving object approaches, and if the moving object does not approach, end the output of the image for artificial intelligence and output only the basic image. (ST16, ST17)
  • the display 130 when the display 130 outputs the basic image, as shown in FIG. 7(a) , the frames fo of the plurality of basic images are periodically output with a certain idle period ⁇ t.
  • the image output method for artificial intelligence utilizes this idle period ⁇ t, and as shown in the frame configuration diagram of FIG. This is a method of inserting an image frame (fa) for artificial intelligence in each idle period ( ⁇ t).
  • the duration of the inserted image frame fa for artificial intelligence is preferably shorter than the duration of the basic image frame fo, but is not necessarily limited thereto.
  • high-speed cameras exhibit at least 1,000 fps (frame per second) performance even at the entry-level level, and human vision can distinguish up to about 60 Hz. Even if the video passes so fast that it is impossible to see, the AI device can easily check it through the high-speed camera.
  • FIG. 7(b) it is shown that three image frames fa for artificial intelligence are inserted for each idle period ⁇ t between the basic image frames fo, but the present invention is not limited thereto.
  • the number of image frames fa for artificial intelligence inserted for each idle period ⁇ t between basic image frames fo may not be constant, and each artificial intelligence The duration of the image frame fa may not be constant.
  • no information is output through the basic image frame fo, and information for the artificial intelligence device may be output only through the image frame fa for artificial intelligence.
  • the display 130 by setting the display 130 to the AI-only mode, only the image frame fa for AI can be output at high speed to transmit a large amount of information to the AI device. In this case, from the point of view of a person, only a phenomenon of the degree of blinking may be recognized.
  • FIG. 8 exemplifies a state in which an artificial intelligence image 135 is inserted between the basic images 132 and output through the display 130 .
  • the type of image displayed on the image 135 for artificial intelligence is not particularly limited, and may include a pattern 135a for artificial intelligence in the form of stripes as shown in FIG. 8(a), and FIG. 8(b).
  • the pattern 135a for artificial intelligence in the form of a dot displayed with a size that cannot be recognized by a person may be included in various positions of the display 130 .
  • the artificial intelligence pattern 135a constituting the artificial intelligence image 135 may be implemented in various ways.
  • the artificial intelligence pattern 135a may include predetermined characters.
  • the artificial intelligence pattern 135a may be a pattern of a road sign.
  • the human may recognize that the display 130 outputs information or advertisements, and the artificial intelligence device 200 may recognize that the display 130 functions as a road sign.
  • the artificial intelligence pattern 135a may be displayed by specifying a partial area rather than the entire area of the display 130 .
  • the frame rate (fps) of the AI frame (fa) is too high or the frame duration is too long, the AI video will be visible to the human eye, which interferes with viewing the basic video can be Therefore, it is preferable to appropriately select the frame rate and/or duration of the frame fa for artificial intelligence so as to be invisible to the human eye.
  • the AI device 200 may not recognize the AI image by analyzing the camera image. Therefore, it is preferable to appropriately select the frame rate and/or duration of the frame fa for artificial intelligence in consideration of the fps performance of the camera mounted on the artificial intelligence device 200 .
  • the artificial intelligence device 200 includes a processor 210 , a memory 220 , a camera 230 , an artificial intelligence image confirmation unit 240 , an artificial intelligence unit 250 , It may include an operation control unit 260 , a distance sensor 270 , a communication unit 280 , a bus 202 , and the like.
  • the processor 210 executes a computer program stored in the memory 220 to execute a predetermined operation or data processing.
  • the processor 210 may include at least one of a CPU and a GPU.
  • the memory 220 may include a non-volatile memory and a volatile memory. Also, the memory 220 may include mass storage such as HDD, SSD, and CD-ROM. The memory 220 may store a computer program, control parameters, data, etc. for the operation of the artificial intelligence device 200 . A computer program, control parameters, data, etc. may be stored in the non-volatile memory and loaded into the volatile memory to be executed.
  • the camera 230 is for acquiring an image around the device, and a specific type is not limited. However, in order to photograph the image 135 for artificial intelligence output for a short time from the display 130 of the image processing apparatus 100 , the image generation frame rate (fps) of the camera 230 is the image output of the display 130 . It is desirable to be large enough relative to the frame rate (fps).
  • the image check unit 240 for artificial intelligence determines whether the image 135 for artificial intelligence is included in the image captured by the camera 230 . Specifically, it is determined whether the image 135 for artificial intelligence is included in the image of the display 130 included in the image taken by the camera.
  • the AI image check unit 240 analyzes each frame of the camera image to determine whether a frame including the previously registered AI image 135 or AI pattern 135a exists. desirable.
  • the processor 210 controls the operation of the artificial intelligence device 200 based on the information obtained from the image 135 for artificial intelligence. can do.
  • the AI image check unit 240 may transmit the corresponding information to the AI unit 250 after checking the AI image 135 .
  • the pattern of the image for artificial intelligence 135 is variously modified according to the shooting angle, distance, illuminance, weather, etc. may be filmed.
  • the image confirmation unit 240 for artificial intelligence stores all the various deformation patterns of the image 135 for artificial intelligence in advance or learns them in advance through machine learning.
  • a supervised learning algorithm may be used for machine learning on the pattern of the image 135 for artificial intelligence, or a deep learning image analysis algorithm may be used.
  • the artificial intelligence unit 250 uses the image obtained from the camera 230 , the image for artificial intelligence obtained from the image confirmation unit 240 for artificial intelligence 135 , and distance information obtained from the distance sensor 270 . to control the operation of the artificial intelligence device 200 .
  • the type of artificial intelligence algorithm executed by the artificial intelligence unit 250 is not particularly limited.
  • the artificial intelligence device 200 can be controlled.
  • An artificial neural network (ANN) of a deep learning algorithm has one or more hidden layers between an input layer and an output layer as illustrated in FIG. 11, and learning through the deep learning algorithm is an arbitrary first layer node This is a process of optimizing the weight ([W]1,,,,[W]n) given between (neuron) and the node (neuron) of the second layer.
  • the deep learning algorithm applies the gradient descent method, etc., based on the error between the output value of the output node and the target value, for each learning cycle or for each set cycle to apply each weight ([W]1,,,,[W] By updating n), the accuracy of the output value can be continuously improved.
  • each input node of the input layer includes an image acquired from the camera 230, image information for artificial intelligence confirmed by the image verification unit 240 for artificial intelligence, and distance.
  • a measurement value of the detection sensor 270 may be input, and an output node of the output layer may output a speed command and/or a direction command for controlling the autonomous driving device in response to the input information.
  • the speed command includes acceleration, deceleration, and stop commands
  • the direction command may include commands in a vertical direction in addition to a horizontal direction.
  • the artificial intelligence unit 250 may be mounted in the form of a module having a separate processor, memory, data, etc., and is software that performs calculations using the processor 210 and the memory 220 of the artificial intelligence device 200 . It can also be installed in the form In addition, all of the components of the artificial intelligence unit 250 may be mounted on the artificial intelligence device 200 , and some functions may be implemented as a distributed system in which communication with the communication unit 280 is possible remotely.
  • the operation control unit 260 controls the operation of the artificial intelligence device 200 in response to a command from the artificial intelligence unit 250 .
  • the operation control unit 260 responds to the speed command and the speed control unit 262 for controlling the engine speed, the motor speed, the transmission gear, the brake, etc. and the direction command in response to the It may include a direction control unit 264 for controlling the traveling direction.
  • the distance detection sensor 270 is for the artificial intelligence device 200 to measure a distance with a surrounding object, and may include at least one of a radar sensor, an ultrasonic sensor, an infrared sensor, a laser sensor, and a lidar (LiDAR). have.
  • the communication unit 280 includes a wired and/or wireless communication module, and the type thereof is not particularly limited.
  • the wireless communication module may include at least one of short-range wireless communication modules such as Wi-Fi, Bluetooth, Z-Wave, ZigBee, BLE, and UWB, LTE-M, NB-Iot, low-power wide area (LPWA) ) may include at least one of the communication modules, may include a mobile communication module for mobile communication network connection, may include at least one of the V2X communication interface.
  • short-range wireless communication modules such as Wi-Fi, Bluetooth, Z-Wave, ZigBee, BLE, and UWB, LTE-M, NB-Iot, low-power wide area (LPWA)
  • LPWA low-power wide area
  • the bus 202 transmits an electrical signal between each component of the artificial intelligence device 200 , and may be a cable, a circuit pattern, or the like.
  • the artificial intelligence device 200 uses the camera 230 to photograph the surrounding environment. (ST22)
  • the image captured by the camera 230 is transmitted to the image confirmation unit 240 for artificial intelligence, and the image confirmation unit 240 for artificial intelligence analyzes each frame of the captured image and includes the image 135 for artificial intelligence. Check whether it has been (ST23, ST24)
  • the image confirmation unit 240 for artificial intelligence may acquire predetermined information from the image 135 for artificial intelligence.
  • the type of information obtainable from the image 135 for artificial intelligence is not particularly limited.
  • the artificial intelligence device 200 may simply recognize data from the image 135 for artificial intelligence, or may recognize a predetermined command. (ST25)
  • the processor 210 may process the information obtained from the image checking unit 240 for artificial intelligence in a preset method. For example, the processor 210 may preferentially process the information obtained from the image confirmation unit 240 for artificial intelligence, or may process the information in a separately set order. (ST26)
  • the artificial intelligence unit 250 is Deep learning-based image analysis can be performed on all objects included in the camera-captured image.
  • the artificial intelligence device 200 may control the operation of the device or generate predetermined data using information obtained from the image 135 for artificial intelligence, and the artificial intelligence unit 250 ) of the deep learning image analysis result to control the operation of the device or to generate predetermined data.
  • the AI device 200 is an autonomous driving AI device such as a vehicle, a drone, or a robot, and the AI image 135 output from the image processing device 100 is a collision warning image.
  • a method for the driving artificial intelligence device 200 to control driving will be described with reference to the flowchart of FIG. 13 .
  • the image taken by the camera 230 is transmitted to the image confirmation unit 240 and the artificial intelligence unit 250 for artificial intelligence in real time, and the image confirmation unit 240 for artificial intelligence analyzes each frame of the captured image. It is checked whether there is a frame including the same pattern as the collision warning image 135 for artificial intelligence, and the artificial intelligence unit 250 starts analyzing the deep learning image for classification of the object included in the camera-captured image. (ST33, ST34)
  • the image confirmation unit 240 for artificial intelligence transmits the information to the artificial intelligence unit 250 when the collision warning image 135 for artificial intelligence is found in the frame of the camera shot image, and the artificial intelligence unit 250 provides artificial intelligence After considering the entire display 130 on which the collision warning image 135 is displayed as a fixed obstacle, deep learning image analysis is performed.
  • the artificial intelligence unit 250 performs deep learning image analysis on all objects included in the camera captured image. (ST36)
  • the artificial intelligence unit 250 controls the driving speed and/or direction by outputting a speed command and/or a direction command based on the deep learning image analysis result. (ST37)
  • the image processing method or the control method of an artificial intelligence device may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art related to computer software.
  • Computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magnetic media such as floppy disks. It may include at least one of optical media (Magneto-Optical Media), ROM, RAM, flash memory, and the like.
  • magnetic media such as hard disks, floppy disks and magnetic tapes
  • optical recording media such as CD-ROMs and DVDs
  • magnetic media such as floppy disks. It may include at least one of optical media (Magneto-Optical Media), ROM, RAM, flash memory, and the like.
  • program instructions may include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the operation mode of the image processing apparatus 100 is a first operation mode that outputs only the basic image 132 , a second operation mode that outputs only the image 135 for artificial intelligence, and the basic image 132 and artificial intelligence.
  • the image 135 for use may be divided into a third operation mode for outputting together in the manner described above, and an operation mode may be selected as necessary.
  • the processor 110 of the image processing apparatus 100 may select a specific operation mode according to whether a set condition is satisfied, or select an operation mode in response to a command from an administrator input through the input unit 140 or the communication unit 150 .
  • the operation mode may be selected in response to the request of the artificial intelligence device 200 received through the communication unit 150 .
  • the frame fa for artificial intelligence is in the idle period ⁇ t between the basic image frames fo.
  • the frame fo of the basic image may be output by overlapping the frame fa of the image for artificial intelligence. This method is useful when the idle period ⁇ t between the basic image frames fo is very short.
  • FIG. 15 exemplifies a state in which the artificial intelligence image 135 is overlapped with the basic image 132 and the artificial intelligence pattern 135a is periodically output through the display 130 .
  • the image frame fa for artificial intelligence is overlapped with the basic image frame fo, while the idle period ( ⁇ ) between the basic image frames fo t) can also be output by inserting an image frame fa for artificial intelligence.
  • the frame fa of the image for artificial intelligence is overlapped with the frame fo of the basic image, and the frame fa for artificial intelligence is set to fa1, fa2. , fa3, fa4, fa5, fa6, etc. are divided into multiple pieces and sequentially overlapped with the frame (fo) of the basic video to be output.
  • the artificial intelligence patterns 135a are not all displayed in one basic image 132 , but a plurality of divided artificial intelligence patterns 135a-1,,,,,135a-6 ) are sequentially overlapped and displayed on a plurality of basic images 132, so that a kind of animation effect can be obtained.
  • 16( a ) shows that a plurality of divided AI frames fa1 , fa2 , fa3 , fa4 , fa5 , and fa6 are continuously overlapped with the frame fo of the basic image, but is not limited thereto.
  • the frames fa1, fa2, fa3, fa4, fa5, and fa6 of the divided AI image are continuously overlapped while skipping the frames fo of the basic image one by one.
  • it can be overlapped in other ways, and through this, an image for artificial intelligence can be provided in various ways.
  • the specific method of outputting the image frame fa for artificial intelligence through the display 130 may be variously modified or modified as necessary.
  • the output period and/or duration of the image frame fa for artificial intelligence should be appropriately adjusted to such an extent that a person who watches the basic image cannot recognize it regardless of the output method.
  • the image confirmation unit 240 for artificial intelligence is installed separately from the artificial intelligence unit 250 , but is not limited thereto.
  • the image confirmation unit 240 for artificial intelligence may be implemented based on artificial intelligence.
  • the image confirmation unit 240 for artificial intelligence may be included in the artificial intelligence unit 250, or as a separate artificial intelligence model. may be implemented.
  • the present invention can be implemented with various modifications or variations, and if the modified or modified embodiment includes the technical idea of the present invention disclosed in the claims to be described later, it will be natural to fall within the scope of the present invention. .
  • control program 182 image output control unit

Abstract

본 발명은 사람을 위한 영상과 인공지능용 영상을 함께 출력할 수 있는 영상 처리 장치를 개시한다. 본 발명에 따른 영상 처리 장치는, 디스플레이; 디스플레이에서 영상으로 출력할 다수의 기본 영상 프레임과 적어도 하나의 인공지능용 영상 프레임을 저장하는 메모리; 기본 영상 프레임을 영상으로 출력하는 중에 설정 조건에 따라 인공지능용 영상 프레임을 영상으로 출력하도록 디스플레이를 제어하되, 인공지능용 영상 프레임을 기본 영상 프레임의 사이에 하나 이상 삽입하여 영상으로 출력하도록 디스플레이를 제어하는 프로세서를 포함한다. 본 발명에 따르면, 하나의 디스플레이에서 사람을 위한 영상과 인공지능이 인식할 수 있는 영상을 함께 제공할 수 있으므로 디스플레이가 사람은 물론이고 인공지능과의 커뮤니케이션 플랫폼으로 활용될 수 있다.

Description

인공지능용 영상을 제공하는 영상처리방법 및 장치와 인공지능 기기를 위한 정보제공시스템
본 발명은 영상처리기술에 관한 것으로서, 구체적으로는 하나의 디스플레이에서 사람을 위한 영상과 인공지능 기기만이 인식할 수 있는 영상을 함께 제공할 수 있는 영상처리 방법 및 장치에 관한 것이다.
최근 대부분의 공공장소나 유동인구가 많은 장소에는 사람들에게 뉴스, 정보, 광고 등을 제공하기 위한 디지털 정보 디스플레이(DID)가 설치되어 있으며, DID를 기반으로 네트워크 서비스, 인터랙티브 서비스 등을 제공하는 디지털 사이니지(Digital Signage)가 새로운 커뮤니케이션 플랫폼 산업으로 주목을 받고 있다.
그런데 기존의 디스플레이는 인간에게 시각 정보를 제공하는 것으로서 그 용도가 제한적이라는 한계가 있다.
예를 들어 4차 산업 혁명의 핵심 기술로 주목받고 있는 인공지능 기반의 자율주행 기기(자동차, 드론, 로봇 등)가 상용화되면 인공지능도 사람과 마찬가지로 디스플레이 영상을 통해 정보를 획득해야 할 필요가 있다.
그러나 현재의 디스플레이는 사람을 기준으로 영상을 출력하므로 인공지능을 위한 영상을 기존 방식대로 출력하면 사람들이 영상을 시청하는데 불편을 겪을 수밖에 없다.
이러한 경우를 대비하여 동일한 디스플레이를 통해 사람에게 필요한 정보와 인공지능 기기에게 필요한 정보를 함께 제공하되, 사람이 시청하는데 아무런 불편이나 문제가 없도록 영상을 제공하는 방법을 개발할 필요가 있다.
한편 인공지능 기기가 이동하는 경로 주변에 디스플레이가 많이 설치되면, 인공지능 기기가 카메라 영상을 분석하여 주변환경을 인식할 때 디스플레이 속의 이미지를 실제인 것으로 판단하는 인지 착오가 발생할 수 있으므로 이를 방지할 수 있는 방안을 마련할 필요도 있다.
예를 들어 최근 대부분의 자율주행 차량에서는 주변의 객체를 인지하고 분류하는 수단으로서 인공지능을 사용하고 있으며, 인공지능은 도 1에 예시한 바와 같이 카메라 영상으로부터 차량, 차선, 간판, 신호등, 보행자 등의 다양한 객체를 분류하고 객체의 속도, 방향 등을 확인한 후 주행전략을 결정하고 차량의 속도와 방향을 제어한다.
그런데 인공지능으로 영상분석을 하는 경우에는 카메라 영상에 포함된 디스플레이의 영상을 실제인 것으로 오인할 가능성이 있다.
일 예로서, 도 2에 예시한 바와 같이, 자율주행 드론(10)의 주행경로 주변에 설치된 대형 디스플레이(50)가 예를 들어 건물 이미지(52)와 하늘 이미지(54)를 포함하는 영상을 출력한다고 가정하면, 인공지능 영상분석 모델은 카메라 영상에서 디스플레이(50) 전체를 고정 장애물로 인식하고 이를 우회하는 경로를 설정해야만 한다.
그런데 만일 인공지능 영상분석 모델이 영상 속의 건물 이미지(52)를 고정 장애물로 인식하고 건물 이미지(52)와 건물 이미지(52) 사이의 하늘 이미지(54)를 주행가능한 자유공간으로 인식하면, 하늘 이미지(54)의 중앙 부분을 향하는 주행경로(화살표 방향)를 설정함으로써 드론(10)이 디스플레이(50)에 충돌하는 사고가 발생할 수 있다.
다른 예로서, 도 3에 예시한 바와 같이, 자율주행 자동차(20)의 주행 도로 주변에 설치된 대형 디스플레이(50)가 예를 들어 도로 이미지(56)를 출력한다고 가정하면, 인공지능 영상분석 모델은 카메라 영상에서 디스플레이(50) 전체를 고정 장애물로 인식하고 이를 우회하는 경로를 설정해야만 한다.
그런데 만일 인공지능 영상분석 모델이 화면 속의 도로 이미지(56)를 진짜 도로로 인식하면, 도로 이미지(56)를 향하는 주행경로(화살표 방향)를 설정함으로써 자동차(20)가 정상 도로를 벗어나거나 디스플레이(50)에 충돌하는 사고가 발생할 수 있다.
따라서 카메라 영상을 분석하여 주변 환경을 인지하는 인공지능 기반 자율주행 기기의 안전한 주행을 위해서는 주행 경로 주변에 설치된 디스플레이로 인해 발생할 수 있는 인지 착오를 방지할 수 있는 방안을 반드시 마련할 필요가 있다.
[선행기술문헌] 한국공개특허공보 제10-2019-0001668호(2019.01.07 공개)
본 발명은 이러한 배경에서 고안된 것으로서, 하나의 디스플레이에서 사람을 위한 영상과 인공지능 기기만이 인식할 수 있는 영상을 함께 제공할 수 있는 영상처리방법을 제공하는데 그 목적이 있다.
또한 본 발명은 인공지능 기기가 디스플레이의 영상에 포함된 객체를 실제인 것으로 오인하는 것을 방지하는데 그 목적이 있다.
또한 본 발명은 인공지능 기반의 자율주행 기기가 디스플레이의 영상에 포함된 객체를 실제로 오인하여 디스플레이에 충돌하거나 정상 경로에서 이탈하는 사고를 방지하는데 그 목적이 있다.
이러한 목적을 달성하기 위하여, 본 발명의 제1 양상은, 디스플레이; 디스플레이에서 영상으로 출력할 다수의 기본 영상 프레임과 적어도 하나의 인공지능용 영상 프레임을 저장하는 메모리; 기본 영상 프레임을 영상으로 출력하는 중에 설정 조건에 따라 인공지능용 영상 프레임을 영상으로 출력하도록 디스플레이를 제어하되, 인공지능용 영상 프레임을 기본 영상 프레임의 사이에 하나 이상 삽입하여 영상으로 출력하도록 디스플레이를 제어하는 프로세서를 포함하는 영상 처리 장치를 제공한다.
본 발명의 제1 양상에 따른 영상 처리 장치에서, 상기 인공지능용 영상 프레임은 상기 기본 영상 프레임에 비하여 지속시간이 짧을 수 있다.
또한 본 발명의 제1 양상에 따른 영상 처리 장치에서, 상기 프로세서는, 기본 영상 프레임에 적어도 하나의 인공지능용 영상 프레임이 오버랩 되도록 상기 디스플레이를 제어할 수 있다.
또한 본 발명의 제1 양상에 따른 영상 처리 장치에서, 상기 프로세서는, 인공지능용 영상 프레임을 다수 개로 분할하여 설정된 주기마다 다수의 분할된 인공지능용 영상 프레임이 다수의 기본 영상 프레임에 순차적으로 오버랩 되도록 상기 디스플레이를 제어할 수 있다.
또한 본 발명의 제1 양상에 따른 영상 처리 장치에서, 인공지능용 영상 프레임은 상기 디스플레이의 일부 영역에만 표시될 수 있다.
또한 본 발명의 제1 양상에 따른 영상 처리 장치는, 이동체 접근을 감지하는 접근감지부를 포함하고, 상기 프로세서는 이동체 접근이 감지된 경우에 한하여 인공지능용 영상 프레임을 출력하도록 제어할 수 있다.
또한 본 발명의 제1 양상에 따른 영상 처리 장치에서, 상기 프로세서는 접근하는 이동체가 자율주행 기기인지 여부를 확인하고, 자율주행 기기로 확인된 경우에 한하여 인공지능용 영상 프레임을 출력하도록 제어할 수 있다.
또한 본 발명의 제1 양상에 따른 영상 처리 장치는, 기본 영상 프레임만을 출력하는 제1 동작모드, 인공지능용 영상 프레임만을 출력하는 제2 동작모드, 기본 영상 프레임이 출력되는 중에 인공지능용 영상 프레임을 출력하는 제3 동작모드 중에서 하나의 동작모드를 결정하는 동작모드결정수단을 포함할 수 있다.
본 발명의 제2 양상은, 디스플레이에서 기본 영상 프레임을 영상으로 출력하는 단계; 기본 영상 프레임이 영상으로 출력되는 중에 설정 조건에 따라 인공지능용 영상 프레임을 영상으로 출력하되, 기본 영상 프레임의 사이에 인공지능용 영상 프레임을 하나 이상 삽입하여 영상으로 출력하는 인공지능용 영상 출력단계를 포함하는 영상 처리 방법을 제공한다.
본 발명의 제2 양상에 따른 영상 처리 방법에서, 상기 인공지능용 영상 프레임은 상기 기본 영상 프레임에 비하여 지속시간이 짧을 수 있다.
또한 본 발명의 제2 양상에 따른 영상 처리 방법에서, 상기 인공지능용 영상 프레임은 상기 디스플레이의 일부 영역에만 표시될 수 있다.
또한 본 발명의 제2 양상에 따른 영상 처리 방법에서, 상기 인공지능용 영상 출력단계에서는, 이동체 접근이 감지된 경우에 한하여 인공지능용 영상 프레임을 영상으로 출력할 수 있다.
본 발명의 제3 양상은, 디스플레이와, 다수의 기본 영상 프레임과 적어도 하나의 인공지능용 영상 프레임을 저장하는 메모리와, 기본 영상 프레임을 영상으로 출력하는 중에 설정 조건에 따라 인공지능용 영상 프레임을 영상으로 출력하도록 디스플레이를 제어하되 인공지능용 영상 프레임을 기본 영상 프레임의 사이에 삽입하여 영상으로 출력하도록 디스플레이를 제어하는 프로세서를 포함하는 영상 처리 장치; 카메라와, 카메라가 촬영한 영상에 상기 디스플레이를 통해 영상으로 출력된 인공 지능용 영상 프레임이 포함되었는지 여부를 확인하고 인공지능용 영상 프레임으로부터 인공지능용 정보를 획득하는 인공지능용 영상 확인부와, 카메라가 촬영한 영상을 분석하여 영상 속의 객체를 분류하고 제어 지령을 생성하는 인공지능부와, 인공지능용 영상 확인부에서 획득한 인공지능용 정보와 인공지능부에서 생성된 제어 지령을 처리하는 프로세서를 포함하는 인공지능 기기를 포함하는 인공지능 기기를 위한 정보 제공 시스템을 제공한다.
본 발명의 제3 양상에 따른 정보 제공 시스템에서, 상기 인공지능용 영상 프레임은 충돌 경고 영상을 포함하고, 상기 인공지능용 영상 확인부에서 충돌 경고 영상을 확인하면, 상기 인공지능부는 카메라의 촬영 영상에서 충돌 경고 영상이 표시된 영역을 고정 장애물로 간주하고 영상 분석을 수행할 수 있다.
또한 본 발명의 제3 양상에 따른 정보 제공 시스템에서, 상기 인공지능 기기는 거리감지센서를 더 포함하고, 상기 인공지능부는, 입력 노드에 카메라 촬영 영상, 거리감지센서의 측정값 및 인공지능용 영상 확인부에서 확인한 인공지능용 정보가 입력되는 딥러닝 알고리즘을 포함할 수 있다.
또한 본 발명의 제3 양상에 따른 정보 제공 시스템에서, 상기 인공지능 기기는 상기 영상 처리 장치로 자신의 식별정보를 무선으로 전송하는 통신부를 포함할 수 있다.
본 발명에 따르면, 하나의 디스플레이에서 사람을 위한 영상과 인공지능이 인식할 수 있는 영상을 함께 제공할 수 있으므로 디스플레이가 사람은 물론이고 인공지능과의 커뮤니케이션 플랫폼으로 활용될 수 있다.
또한 본 발명에 따르면, 영상분석용 인공지능이 디스플레이의 영상에 포함된 객체를 실제인 것으로 오인하는 인지 착오를 방지할 수 있고, 이를 통해 자율주행 기기 등이 디스플레이에 충돌하거나 정상 경로에서 이탈하는 사고를 예방할 수 있다.
또한 본 발명에 따르면, 영상분석용 인공지능이 영상분석을 수행할 때 카메라 영상에서 사전 등록된 패턴이 확인되면 디스플레이 전체를 고정 장애물로 간주하고 분석 대상에서 제외하는 것이 가능하므로 카메라 영상 중에서 인공지능이 분석할 객체의 수를 줄일 수 있고 이를 통해 인공지능의 연산속도 및 판단속도를 크게 향상시킬 수 있다.
도 1은 영상분석용 인공지능이 카메라 영상에서 객체를 분류하는 모습을 예시한 도면
도 2와 도 3은 자율주행 기기가 디스플레이에 충돌하는 여러 경우를 예시한 도면
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치의 블록도
도 5는 제어 프로그램의 기능 블록도
도 6은 본 발명의 일 실시예에 따른 영상 처리 장치가 인공지능용 영상을 출력하는 과정을 예시한 흐름도
도 7은 본 발명의 일 실시예에 따른 인공지능용 영상 표시방법을 나타낸 프레임 구성도
도 8은 본 발명의 일 실시예의 방법에 따라 디스플레이에 출력되는 영상을 예시한 도면
도 9a 내지 도 9c는 다양한 인공지능용 영상을 예시한 도면
도 10은 본 발명의 일 실시예에 따른 인공지능 기기의 블록도
도 11은 딥러닝 모델 아키텍처를 예시한 도면
도 12는 인공지능용 영상을 이용한 인공지능 기기의 제어방법을 예시한 흐름도
도 13은 충돌경고 영상을 이용한 자율주행 인공지능 기기의 주행제어방법을 예시한 흐름도
도 14는 인공지능용 영상 표시방법의 변형 예를 나타낸 프레임 구성도
도 15는 도 14의 프레임 구성을 적용한 출력 영상을 예시한 도면
도 16은 인공지능용 영상 표시방법의 다른 변형 예를 나타낸 프레임 구성도
도 17은 도 16의 프레임 구성을 적용한 출력 영상을 예시한 도면
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
참고로 본 명세서에서 어떤 부분이 어떤 구성요소를 포함 또는 구비하는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하거나 구비할 수 있는 것을 의미한다. 또한 하나의 구성요소(element)가 다른 구성요소와 연결, 결합, 또는 통신하는 경우는, 다른 구성요소와 직접적으로 연결, 결합, 또는 통신하는 경우만 아니라 중간에 다른 요소를 사이에 두고 간접적으로 연결, 결합, 또는 통신하는 경우도 포함한다. 또한 하나의 구성요소가 다른 구성요소와 직접 연결 또는 직접 결합되는 경우는 중간에 다른 요소가 개재되지 않는 것을 의미한다. 또한 본 명세서에 첨부된 도면은 발명의 요지를 이해하기 쉽도록 예시한 것에 불과하므로 이로 인해 본 발명의 권리범위가 제한되어서는 아니 됨을 미리 밝혀 둔다.
본 발명은, 사람이 인식할 수 있는 기본 영상과 인공지능만이 인식할 수 있는 인공지능용 영상을 모두 출력할 수 있는 영상 처리 장치와 이를 이용하는 인공지능 기기에 관한 것이다.
먼저 본 발명의 일 실시예에 따른 영상 처리 장치(100)는, 도 4의 블록도에 나타낸 바와 같이, 프로세서(110), 메모리(120), 디스플레이(130), 입력부(140), 통신부(150), 접근감지부(160), 버스(102) 등을 포함할 수 있다.
프로세서(110)는 메모리(120)에 저장된 컴퓨터 프로그램을 실행하여 소정의 연산이나 데이터 처리를 실행한다. 프로세서(110)는 CPU(Central Processing Unit)와 GPU(Graphics Processing Unit) 중에서 적어도 하나를 포함할 수 있다.
메모리(120)는 비휘발성 메모리(예: 플래시 메모리 등)와 휘발성 메모리(예: RAM(random access memory)를 포함할 수 있다. 또한 메모리(120)는 HDD, SSD, CD-ROM 등의 대용량 스토리지를 포함할 수 있다.
메모리(120)는 영상 처리 장치(100)의 동작을 위한 컴퓨터 프로그램, 디스플레이(130)를 통해 출력할 기본 영상 데이터 및 인공지능용 영상데이터를 저장할 수 있다. 컴퓨터 프로그램 및/또는 영상데이터는 비휘발성 메모리에 저장되고 휘발성 메모리로 로드되어 실행될 수 있다.
메모리(120)에 저장된 컴퓨터 프로그램은, 도 5의 블록도에 예시한 바와 같이, 디스플레이(150)의 출력을 제어하는 제어 프로그램(180)을 포함하며, 제어 프로그램(180)에는 영상출력제어부(182)가 포함될 수 있다.
영상출력제어부(182)는 사전 설정된 방법에 따라 디스플레이(130)를 제어하여 인공지능용 영상을 출력한다. 구체적인 인공지능용 영상 출력 방법에 대해서는 후술하기로 한다.
도면에는 영상출력제어부(182)가 메모리(120)에 저장된 프로그램 형태의 소프트웨어인 것으로 나타나 있으나, 이에 한정되는 것은 아니다. 예를 들어 영상출력 제어 기능 중에서 적어도 일부의 기능은 하드웨어로 구현될 수도 있고, 소프트웨어와 하드웨어의 조합으로 구현될 수도 있다. 이때 하드웨어는 주문형 반도체(ASIC, Application Specific Integrated Circuit) 일 수도 있다.
디스플레이(130)는 영상이 표시되는 패널과 패널의 각 화소에 전기적 신호를 인가하는 드라이버 IC를 포함할 수 있다. 패널의 종류는 특별히 한정되지 않으며 LCD, LED, OLED, PDP 등의 평판패널일 수도 있고, LED전광판일 수도 있고, 기타 다른 방식으로 영상을 표현하는 장치일 수도 있다. 또한 디스플레이(130)는 홀로그램을 표현하는 디스플레이일 수도 있다.
입력부(140)는 영상 처리 장치(100)의 관리자 또는 사용자를 위한 입력수단으로서, 키보드, 버튼, 터치패드, 터치스크린, 마우스, 조이스틱 중에서 적어도 하나를 포함할 수 있다. 통신부(150)에서 수신한 제어신호를 프로세서(110)로 전달하는 통신 인터페이스가 입력부(140)의 역할을 할 수도 있다.
통신부(150)는 유선 및/또는 무선 통신 모듈을 포함하며, 그 종류는 특별히 한정되지 않는다. 무선 통신 모듈은, 예를 들어, Wi-Fi, 블루투스(Bluetooth), 지웨이브(Z-wave), 지그비(Zigbee), BLE(Bluetooth Low Energy), UWB(Ultra-Wideband) 등의 근거리 무선 통신 모듈 중에서 적어도 하나를 포함할 수도 있고, LTE-M, NB-Iot(NarrowBand-Internet of Things), LoRa(Long Range Wide Area Network) 등의 저전력 광역(Low Power Wide-Area: LPWA) 통신 모듈 중에서 적어도 하나를 포함할 수도 있고, 이동통신망 접속을 위한 이동통신 모듈을 포함할 수도 있다.
또한 통신부(150)는 V2X 통신 인터페이스 중에서 적어도 하나를 포함할 수도 있다. V2X(Vehicle to Everything)는 예를 들어 차량 간의 통신(V2V), 차량과 인프라 간의 통신(V2I), 차량과 보행자 간의 통신(V2P), 차량과 네트워크 간의 통신(V2N) 등을 포함할 수 있다.
접근감지부(160)는 이동체 접근을 감지하기 위한 것으로서, 레이더센서, 적외선센서, 초음파 센서, 레이저센서 중에서 적어도 하나를 포함할 수 있다. 또한 접근감지부(160)는 카메라 영상을 분석하여 이동체의 접근여부를 판단하는 영상분석장치 또는 영상분석 소프트웨어일 수도 있다.
접근감지부(160)는 이동체가 접근할 때만 인공지능용 영상 및/또는 기본 영상을 출력하도록 제어하기 위한 것으로서, 자율주행 기기의 운행이 빈번하지 않은 지역에서 영상 출력으로 인한 전력 소비를 줄이는 용도로 활용될 수 있다.
접근감지부(160)는 생략될 수도 있다.
버스(102)는 영상 처리 장치(100)의 각 구성요소(110,120,130,140,150,160) 간에 전기적 신호를 전송하는 것으로서, 케이블, 회로패턴 등일 수 있다.
이하에서는 도 6을 참조하여 본 발명의 실시예에 따른 영상 처리 장치(100)가 인공지능용 영상을 출력하는 방법을 설명한다.
먼저, 영상 처리 장치(100)에서 출력할 기본 영상과 인공지능용 영상을 메모리(120)에 저장하는 한편, 경고출력 제어부(182)에서 인공지능용 영상을 출력할 때 참조할 파라미터(예, 인공지능용 영상의 출력조건, 지속시간, 출력주기, 출력방법 등)를 설정해야 한다.
인공지능용 영상의 출력조건은, 예를 들어, 항상 출력, 주기적 출력, 이동체 접근 시 출력 등으로 구분될 수 있다.
또한 인공지능용 영상의 출력 방법은, 기본 영상의 프레임 사이에 인공지능용 영상의 프레임을 삽입하는 방법, 기본 영상의 프레임에 인공지능용 영상의 프레임을 오버랩 시키는 방법, 기본 영상의 프레임에 분할된 인공지능용 영상의 프레임을 오버랩 시키는 방법 등으로 구분될 수 있다. (ST11)
영상 처리 장치(100)가 동작을 시작하면, 프로세서(110)는 설정된 조건에 따라 기본 영상을 디스플레이(130)를 통해 출력한다. 프로세서(110)는 인공지능용 영상의 출력조건을 확인하고, 출력조건이 '항상 출력' 또는 '주기적 출력'인 경우에는 설정된 방식에 따라 인공지능용 영상을 함께 출력할 수도 있다. (ST12)
만일 출력조건이 '이동체 접근 시 출력'인 경우에는, 프로세서(110)는 접근감지부(160)의 감지결과를 이용하여 이동체의 접근 여부를 판단한다. (ST13)
프로세서(110)는, 이동체가 접근하는 것으로 판단되면, 설정된 방식에 따라 디스플레이(130)를 통해 인공지능용 영상을 출력할 수도 있고, 도면에 나타낸 바와 같이 이동체가 인공지능 기기인지 여부를 다시 한번 확인할 수도 있다.
예를 들어 운전자가 직접 운전하는 차량이 접근하는 경우에는 굳이 인공지능용 영상을 출력하지 않아도 되기 때문이다.
접근하는 이동체가 인공지능 기기인지 여부는 인공지능 기기와의 무선 통신을 통해 획득한 기기 식별정보를 통해 확인할 수 있다. 예를 들어 자율주행 통신규격인 V2X 통신을 통해 자율주행 기기의 식별정보를 획득하고 이를 통해 자율주행 기기의 접근 여부를 확인할 수 있다. (ST14)
만일 접근하는 이동체가 인공지능 기기인 것으로 확인되면, 프로세서(110)는 설정된 방법에 따라 디스플레이(130)를 통해 인공지능용 영상을 출력한다. (ST15)
한편 접근했던 이동체가 지나갔거나 다른 이동체가 접근하지 않는 경우에는 인공지능용 영상의 출력을 중단할 수 있다. 이를 위해 프로세서(110)는 이동체의 접근 여부를 계속 감시하여 이동체가 접근하지 않는 경우에는 인공지능용 영상의 출력을 종료하고 기본 영상만을 출력할 수 있다. (ST16, ST17)
이하에서는 도 7을 참조하여 본 발명의 실시예에 따른 인공지능용 영상의 출력 방법을 설명한다.
일반적으로 디스플레이(130)가 기본 영상을 출력할 때는, 도 7(a)에 나타낸 바와 같이, 다수의 기본 영상의 프레임(fo)을 일정한 휴지기간(△t)을 두고 주기적으로 출력한다.
본 발명의 일 실시예에 따른 인공지능용 영상 출력 방법은 이러한 휴지기간(△t)을 활용하는 것으로서, 도 7(b)의 프레임 구성도에 나타낸 바와 같이, 기본 영상의 프레임(fo) 사이의 각 휴지기간(△t)에 인공지능용 영상 프레임(fa)을 삽입하는 방법이다. 이때 삽입되는 인공지능용 영상 프레임(fa)의 지속시간은 기본 영상 프레임(fo)의 지속시간에 비해 짧은 것이 바람직하지만 반드시 이에 한정되는 것은 아니다.
한편, 고속 카메라의 경우 보급형 수준이라도 최소 1,000fps(frame per second) 정도의 성능을 발휘하고, 인간의 시력은 대략 60Hz 정도까지 구분할 수 있으므로 인공지능 기기에 고속 카메라를 탑재하면 사람이 전혀 인식할 수 없을 정도로 빠르게 지나가는 영상이라도 인공지능 기기는 고속카메라를 통해 쉽게 확인할 수 있다.
따라서 도 7(b)에 나타낸 바와 같이, 기본 영상 프레임(fo) 사이의 짧은 휴지기간(△t)에 인공지능용 영상 프레임(fa)을 삽입하면 사람이 기본 영상을 시청하는데 아무런 방해를 주지 않으면서도 인공지능 기기를 대상으로 하는 다양한 영상을 제공할 수 있다.
한편 도 7(b)에는 기본 영상 프레임(fo) 사이의 휴지기간(△t)마다 각 3개씩의 인공지능용 영상 프레임(fa)이 삽입되는 것으로 나타나 있으나 이에 한정되는 것은 아니다. 예를 들어 도 7(c)에 나타낸 바와 같이, 기본 영상 프레임(fo) 사이의 휴지기간(△t)마다 삽입되는 인공지능용 영상 프레임(fa)의 개수가 일정하지 않을 수도 있고, 각 인공지능용 영상 프레임(fa)의 지속시간이 일정하지 않을 수도 있다.
또한 기본 영상 프레임(fo)을 통해서는 아무런 정보를 출력하지 않고, 인공지능용 영상 프레임(fa)을 통해서만 인공지능 기기를 위한 정보를 출력할 수도 있다.
또한 디스플레이(130)를 인공지능 전용 모드로 설정하여, 인공지능용 영상 프레임(fa)만을 고속으로 출력하여 인공지능 기기를 대상으로 대량의 정보를 전송할 수도 있다. 이 경우, 사람의 입장에서는 단순히 깜박이는 정도의 현상만을 인식할 수 있을 것이다.
도 8은 기본 영상(132)의 사이에 인공지능용 영상(135)이 삽입되어 디스플레이(130)를 통해 출력되는 모습을 예시한 것이다. 이때 인공지능용 영상(135)에 표시되는 이미지의 종류는 특별히 한정되지 않으며, 도 8(a)에 나타낸 바와 같이 줄무늬 형태의 인공지능용 패턴(135a)을 포함할 수도 있고, 도 8(b)에 나타낸 바와 같이 디스플레이(130)의 여러 위치에 사람이 인지할 수 없을 정도의 크기로 표시된 점 형태의 인공지능용 패턴(135a)을 포함할 수도 있다.
이 밖에 인공지능용 영상(135)을 구성하는 인공지능용 패턴(135a)은 매우 다양하게 구현될 수 있다.
일 예로서, 도 9a에 예시한 바와 같이, 인공지능용 패턴(135a)은 소정의 문자를 포함할 수도 있다.
다른 예로서, 도 9b에 예시한 바와 같이, 인공지능용 패턴(135a)은 도로표지판의 패턴일 수도 있다. 이 경우, 사람의 입장에서는 디스플레이(130)가 정보 또는 광고를 출력하는 것으로 인식하고, 인공지능 기기(200)의 입장에서는 디스플레이(130)가 도로표지판의 기능을 하는 것으로 인식할 수 있다.
또 다른 예로서, 도 9c에 나타낸 바와 같이, 디스플레이(130)의 전체 영역이 아니라 일부 영역을 특정하여 인공지능용 패턴(135a)을 표시할 수 있다.
한편 인공지능용 영상을 어떤 방법으로 출력하든 인공지능용 프레임(fa)의 프레임 레이트(fps)가 너무 높거나 프레임 지속시간이 너무 길면 사람의 눈에도 인공지능용 영상이 보여서 기본 영상을 시청하는데 방해가 될 수 있다. 따라서 사람의 눈에는 보이지 않을 정도로 인공지능용 프레임(fa)의 프레임 레이트 및/또는 지속시간을 적절히 선택하는 것이 바람직하다.
또한 인공지능용 프레임(fa)의 프레임 레이트가 너무 낮거나 지속시간이 너무 짧으면 인공지능 기기(200)에서 카메라 영상분석으로 인공지능용 영상을 인식하지 못하는 경우가 발생할 수 있다. 따라서 인공지능 기기(200)에 장착된 카메라의 fps 성능을 고려하여 인공지능용 프레임(fa)의 프레임 레이트 및/또는 지속시간을 적절히 선택하는 것이 바람직하다.
다음으로 본 발명의 일 실시예에 따른 인공지능 기기(200)를 설명한다.
인공지능 기기(200)는, 도 10의 블록도에 나타낸 바와 같이, 프로세서(210), 메모리(220), 카메라(230), 인공지능용 영상 확인부(240), 인공지능부(250), 동작조절부(260), 거리감지센서(270), 통신부(280), 버스(202) 등을 포함할 수 있다.
프로세서(210)는 메모리(220)에 저장된 컴퓨터 프로그램을 실행하여 소정의 연산이나 데이터 처리를 실행한다. 프로세서(210)는 CPU와 GPU중에서 적어도 하나를 포함할 수 있다.
메모리(220)는 비휘발성 메모리와 휘발성 메모리를 포함할 수 있다. 또한 메모리(220)는 HDD, SSD, CD-ROM 등의 대용량 스토리지를 포함할 수 있다. 메모리(220)는 인공지능 기기(200)의 동작을 위한 컴퓨터 프로그램, 제어 파라미터, 데이터 등을 저장할 수 있다. 컴퓨터 프로그램, 제어 파라미터, 데이터 등은 비휘발성 메모리에 저장되고 휘발성 메모리로 로드되어 실행될 수 있다.
카메라(230)는 기기 주변의 영상을 획득하기 위한 것으로서, 구체적인 종류는 한정되지 않는다. 다만, 영상 처리 장치(100)의 디스플레이(130)에서 짧은 시간 동안 출력되는 인공지능용 영상(135)을 촬영하기 위해서는 카메라(230)의 영상 생성 프레임 레이트(fps)는 디스플레이(130)의 영상 출력 프레임 레이트(fps)에 비해 충분히 큰 것이 바람직하다.
인공지능용 영상 확인부(240)는 카메라(230)에서 촬영한 영상에 인공지능용 영상(135)이 포함되어 있는지 여부를 판단한다. 구체적으로는, 카메라 촬영 영상에 포함된 디스플레이(130)의 영상에 인공지능용 영상(135)이 포함되어 있는지 여부를 판단한다.
인공지능용 영상 확인부(240)는 카메라 영상의 각 프레임을 모두 분석하여 사전에 등록된 인공지능용 영상(135) 또는 인공지능용 패턴(135a)이 포함된 프레임이 존재하는지 여부를 판단하는 것이 바람직하다.
인공지능용 영상 확인부(240)가 인공지능용 영상(135)을 확인하면, 프로세서(210)는 인공지능용 영상(135)에서 획득한 정보를 기초로 인공지능 기기(200)의 동작을 제어할 수 있다.
또한 인공지능용 영상 확인부(240)는 인공지능용 영상(135)을 확인한 후에 해당 정보를 인공지능부(250)로 전달할 수도 있다.
한편 디스플레이(130)에서 출력되는 인공지능용 영상(135)을 카메라(230)로 촬영하는 경우에는, 촬영 각도, 거리, 조도, 날씨 등에 따라 인공지능용 영상(135)의 패턴이 다양하게 변형되어 촬영될 수도 있다.
따라서 인공지능용 영상 확인부(240)는 인공지능용 영상(135)의 다양한 변형 패턴을 사전에 모두 저장해 두거나 머신러닝을 통해 미리 학습해 두는 것이 바람직하다. 인공지능용 영상(135)의 패턴에 대한 머신 러닝에는 지도 학습 방식의 알고리즘이 사용될 수도 있고, 딥러닝 영상 분석 알고리즘이 사용될 수도 있다.
인공지능부(250)는 카메라(230)에서 획득한 영상, 인공지능용 영상 확인부(240)에서 획득한 인공지능용 영상(135), 거리감지센서(270)에서 획득한 거리 정보 등을 이용하여 인공지능 기기(200)의 동작을 제어한다.
인공지능부(250)에서 실행되는 인공지능 알고리즘의 종류는 특별히 한정되지 않는다. 예를 들어, DNN(Deep Neural Network), CNN(convolutional Neural Network), RNN(Recurrent Neural Network) 등의 인공신경망(ANN, Artificial Neural Network)을 기반으로 하는 딥러닝 알고리즘을 이용하여 인공지능 기기(200)의 동작을 제어할 수 있다.
딥러닝 알고리즘의 인공신경망(ANN)은 도 11에 예시한 바와 같이 입력 레이어와 출력 레이어의 사이에 하나 이상의 히든 레이어(hidden layer)를 가지며, 딥러닝 알고리즘을 통한 학습은 임의의 제1 레이어의 노드(뉴런)와 제2 레이어의 노드(뉴런) 사이에 부여된 가중치([W]1,,,,[W]n)를 최적화하는 과정이다.
딥러닝 알고리즘은 학습주기마다 또는 설정된 주기마다 출력 노드의 출력값과 목표값 사이의 오차를 기초로 경사감소법(Gradient Descent Method) 등을 적용하여 각 가중치([W]1,,,,[W]n)를 갱신함으로써 출력값의 정확도를 지속적으로 향상시킬 수 있다.
인공지능 기기(200)가 자율주행 기기인 경우에는, 입력 레이어의 각 입력 노드에는 카메라(230)에서 획득한 영상과, 인공지능용 영상 확인부(240)에서 확인한 인공지능용 영상 정보와, 거리감지센서(270)의 측정값 등이 입력될 수 있고, 출력 레이어의 출력 노드는 입력된 정보에 대응하여 자율주행 기기를 제어하기 위한 속도지령 및/또는 방향지령을 출력할 수 있다.
속도지령은 가속, 감속, 정지 지령 등을 포함하고, 방향지령은 수평방향 이외에도 수직방향의 지령을 포함할 수도 있다.
인공지능부(250)는 별도의 프로세서, 메모리, 데이터 등을 구비하는 모듈 형태로 탑재될 수도 있고, 인공지능 기기(200)의 프로세서(210)와 메모리(220)를 활용하여 연산을 수행하는 소프트웨어 형태로 설치될 수도 있다. 또한 인공지능부(250)는 구성 요소 전부가 인공지능 기기(200)에 탑재될 수도 있고, 일부 기능이 통신부(280)와 통신이 가능한 원격에서 실행되는 분산형 시스템으로 구현될 수도 있다.
동작조절부(260)는 인공지능부(250)의 지령에 응하여 인공지능 기기(200)의 동작을 제어한다. 인공지능 기기(200)가 자율주행 기기인 경우에는, 동작조절부(260)는 속도지령에 응하여 엔진 속도, 모터 속도, 변속기어, 브레이크 등을 제어하는 속도조절부(262)와 방향지령에 응하여 주행방향을 제어하는 방향조절부(264)를 포함할 수 있다.
거리감지센서(270)는 인공지능 기기(200)가 주변 객체와의 거리 등을 측정하기 위한 것으로서, 레이더센서, 초음파센서, 적외선센서, 레이저센서, 라이다(LiDAR) 중에서 적어도 하나를 포함할 수 있다.
통신부(280)는 유선 및/또는 무선 통신 모듈을 포함하며, 그 종류는 특별히 한정되지 않는다. 무선 통신 모듈은, 예를 들어, Wi-Fi, 블루투스, 지웨이브, 지그비, BLE, UWB 등의 근거리 무선 통신 모듈 중에서 적어도 하나를 포함할 수도 있고, LTE-M, NB-Iot, 저전력 광역(LPWA) 통신 모듈 중에서 적어도 하나를 포함할 수도 있고, 이동통신망 접속을 위한 이동통신 모듈을 포함할 수도 있고, V2X 통신 인터페이스 중에서 적어도 하나를 포함할 수도 있다.
버스(202)는 인공지능 기기(200)의 각 구성요소 간에 전기적 신호를 전송하는 것으로서, 케이블, 회로패턴 등일 수 있다.
이하에서는 도 12를 참조하여 본 발명의 실시예에 따른 인공지능 기기(200)가 인공지능용 영상을 이용하여 기기의 동작을 제어하는 방법을 설명한다.
먼저, 영상 처리 장치(100)에서 출력되는 인공지능용 영상(135)에 대한 정보를 사전에 인공지능 기기(200)의 메모리(220)에 저장한다. (ST21)
이어서 인공지능 기기(200)가 카메라(230)를 이용하여 주변 환경을 촬영한다. (ST22)
카메라(230)에서 촬영된 영상은 인공지능용 영상 확인부(240)로 전달되며, 인공지능용 영상 확인부(240)는 촬영한 영상의 각 프레임을 분석하여 인공지능용 영상(135)이 포함되어 있는지 여부를 확인한다. (ST23, ST24)
인공지능용 영상 확인부(240)는 인공지능용 영상(135)이 발견되면, 인공지능용 영상(135)으로부터 소정의 정보를 획득할 수 있다. 인공지능용 영상(135)으로부터 획득할 수 있는 정보의 종류는 특별히 제한되지 않는다. 예를 들어 인공지능 기기(200)는 인공지능용 영상(135)에서 단순히 데이터를 인식할 수도 있고, 소정의 명령을 인식할 수도 있다. (ST25)
프로세서(210)는 인공지능용 영상 확인부(240)에서 획득한 정보를 사전 설정된 방법으로 처리할 수 있다. 예를 들어, 프로세서(210)는 인공지능용 영상 확인부(240)에서 획득한 정보를 가장 우선적으로 처리할 수도 있고, 별도로 설정된 순서대로 처리할 수도 있다. (ST26)
한편, 인공지능용 영상 확인부(240)가 카메라 촬영 영상에 인공지능용 영상이 포함되어 있는지 확인하는 중이거나 카메라 촬영 영상에 인공지능용 영상이 포함되어 있지 않은 경우에도 인공지능부(250)는 카메라 촬영 영상에 포함된 모든 객체를 대상으로 딥러닝 기반의 영상분석을 수행할 수 있다. (ST27)
따라서 본 발명의 실시예에 따른 인공지능 기기(200)는, 인공지능용 영상(135)에서 획득한 정보를 이용하여 기기의 동작을 제어하거나 소정의 데이터를 생성할 수도 있고, 인공지능부(250)의 딥러닝 영상 분석 결과를 이용하여 기기의 동작을 제어하거나 소정의 데이터를 생성할 수도 있다. (ST28)
이하에서는, 인공지능 기기(200)가 차량, 드론, 로봇 등의 자율주행 인공지능 기기이고 영상 처리 장치(100)에서 출력되는 인공지능용 영상(135)이 충돌 경고 영상인 경우를 가정하여, 자율주행 인공지능 기기(200)가 주행 제어하는 방법을 도 13의 흐름도를 참조하여 설명한다.
먼저, 영상 처리 장치(100)에서 출력되는 인공지능용 충돌 경고 영상(135)에 대한 정보를 자율주행 인공지능 기기(200)에 저장한다. (ST31)
이어서 자율주행 인공지능 기기(200)가 주행하면서 카메라(230)를 이용하여 주변 환경을 촬영한다. (ST32)
카메라(230)에서 촬영된 영상은 실시간으로 인공지능용 영상 확인부(240)와 인공지능부(250)로 전달되며, 인공지능용 영상 확인부(240)는 촬영한 영상의 각 프레임을 분석하여 인공지능용 충돌 경고 영상(135)과 동일한 패턴이 포함된 프레임이 있는지 여부를 확인하고, 인공지능부(250)는 카메라 촬영 영상에 포함된 객체의 분류 작업을 위하여 딥러닝 영상 분석을 시작한다. (ST33, ST34)
인공지능용 영상 확인부(240)는 카메라 촬영 영상의 프레임 중에서 인공지능용 충돌 경고 영상(135)이 발견되면 해당 정보를 인공지능부(250)로 전달하며, 인공지능부(250)는 인공지능용 충돌 경고 영상(135)이 표시된 디스플레이(130) 전체를 고정 장애물로 간주한 후 딥러닝 영상 분석을 수행한다.
이렇게 하면 인공지능부(250)는 디스플레이(130)와 디스플레이(130)에 표시된 이미지에 대해서는 딥러닝 분석을 수행할 필요가 없으므로 연산시간을 크게 단축시킬 수 있을 뿐만 아니라 디스플레이(130)에 표시된 이미지로 인한 인지 착오를 방지함으로써 주행 안전성을 개선할 수 있다. (ST35)
만일 카메라 촬영 영상의 프레임 중에서 인공지능용 충돌 경고 영상(135)이 발견되지 않으면, 인공지능부(250)는 카메라 촬영 영상에 포함된 모든 객체를 대상으로 딥러닝 영상분석을 수행한다. (ST36)
이어서 인공지능부(250)는 딥러닝 영상 분석 결과를 토대로 속도지령 및/또는 방향지령을 출력하여 주행 속도 및/또는 방향을 제어한다. (ST37)
한편 본 발명의 실시예에 따른 영상 처리 방법이나 인공지능 기기의 제어방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다.
이때, 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 관련 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 판독 가능한 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM), 램(RAM), 플래시 메모리 등에서 적어도 하나를 포함할 수 있다.
또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서는 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 앞서 설명한 실시예에 한정되지 않고 구체적인 적용 과정에서 다양하게 변형 또는 수정되어 실시될 수 있다.
첫째, 본 발명의 실시예에서는 영상 처리 장치(100)의 디스플레이(130)에서 사람을 위한 기본 영상(132)과 인공지능용 영상(135)을 함께 출력하는 것으로 설명하였으나 동작 방식이 이에 한정되는 것은 아니다.
예를 들어, 영상 처리 장치(100)의 동작모드를 기본 영상(132) 만을 출력하는 제1 동작모드, 인공지능용 영상(135) 만을 출력하는 제2 동작모드, 기본 영상(132)과 인공지능용 영상(135)을 앞서 설명한 방식으로 함께 출력하는 제3 동작모드 등으로 구분하여 필요에 따라 동작모드를 선택할 수도 있다.
이때 영상 처리 장치(100)의 프로세서(110)는 설정된 조건의 충족 여부에 따라 특정 동작모드를 선택할 수도 있고, 입력부(140) 또는 통신부(150)를 통해 입력된 관리자의 명령에 응하여 동작모드를 선택할 수도 있고, 통신부(150)를 통해 수신한 인공지능 기기(200)의 요청에 응하여 동작모드를 선택할 수도 있다.
둘째, 이상에서는 영상 처리 장치(100)의 디스플레이(130)에서 인공지능용 영상(135)을 출력할 때, 기본영상 프레임(fo) 사이의 휴지기간(△t)에 인공지능용 프레임(fa)이 삽입되는 것으로 설명하였으나 반드시 이에 한정되는 것은 아니다.
일 예로서, 도 14(a)의 프레임 구성도에 나타낸 바와 같이, 기본 영상의 프레임(fo)에 인공지능용 영상의 프레임(fa)을 오버랩 시켜서 출력할 수도 있다. 이 방법은 기본영상 프레임(fo) 사이의 휴지기간(△t)이 매우 짧은 경우에 유용한 방법이다.
도 15는 기본 영상(132)에 인공지능용 영상(135)이 오버랩 되면서 디스플레이(130)를 통해 인공지능용 패턴(135a)이 주기적으로 출력되는 모습을 예시한 것이다.
한편 도 14(a)에는 모든 기본 영상 프레임(fo)에 주기적으로 동일한 개수의 인공지능용 영상 프레임(fa)이 오버랩되는 것으로 나타나 있으나 이는 예시에 불과하다. 따라서 각 기본 영상 프레임(fo)에 오버랩되는 인공지능용 영상 프레임(fa)의 개수 및/또는 지속시간은 서로 다를 수 있다.
또한 필요한 경우에는, 도 14(b)의 프레임 구성도에 나타낸 바와 같이, 기본영상 프레임(fo)에 인공지능용 영상 프레임(fa)을 오버랩시키는 한편 기본영상 프레임(fo) 사이의 휴지기간(△t)에도 인공지능용 영상 프레임(fa)을 삽입하여 출력할 수도 있다.
또한 기본영상 프레임(fo)의 주기 및 휴지기간(△t)을 전혀 고려하지 않고 인공지능용 영상 프레임(fa)을 설정된 주기마다 기본 영상에 오버랩시켜서 출력하는 것도 가능하다.
다른 예로서, 도 16(a)의 프레임 구성도에 나타낸 바와 같이, 기본 영상의 프레임(fo)에 인공지능용 영상의 프레임(fa)을 오버랩 시키되, 인공지능용 프레임(fa)을 fa1, fa2, fa3, fa4, fa5, fa6 등과 같이 다수 개로 분할하여 기본 영상의 프레임(fo)에 순차적으로 오버랩 시켜서 출력하는 방법이다.
이렇게 하면 도 17에 나타낸 바와 같이, 인공지능용 패턴(135a)이 하나의 기본 영상(132)에 모두 표시되는 것이 아니라 다수의 분할된 인공지능용 패턴(135a-1,,,,,135a-6)이 다수의 기본 영상(132)에 하나씩 순차적으로 오버랩되어 표시되므로 일종의 애니메이션 효과를 얻을 수 있다.
도 16(a)에는 다수의 분할된 인공지능용 프레임(fa1, fa2, fa3, fa4, fa5, fa6)을 기본 영상의 프레임(fo)에 연속적으로 오버랩 시키는 것으로 나타나 있으나 이에 한정되는 것은 아니다. 예를 들어 도 16(b)에 나타낸 바와 같이, 기본 영상의 프레임(fo)을 하나씩 건너뛰면서 분할된 인공지능용 영상의 프레임(fa1, fa2, fa3, fa4, fa5, fa6)을 연속적으로 오버랩 시킬 수도 있고, 이와 다른 방식으로 오버랩 시킬 수도 있으며, 이를 통해 다양한 방식으로 인공지능용 영상을 제공할 수 있다.
이와 같이 디스플레이(130)를 통해 인공지능용 영상 프레임(fa)을 출력하는 구체적인 방법은 필요에 따라 다양하게 변형 또는 수정될 수 있다. 다만, 어떠한 방식으로 출력하든 기본 영상을 시청하는 사람이 인식할 수 없을 정도로 인공지능용 영상 프레임(fa)의 출력주기 및/또는 지속시간을 적절히 조절해야 함은 물론이다.
셋째, 도 10의 블록도에는 인공지능용 영상 확인부(240)가 인공지능부(250)와 별도로 설치되는 것으로 나타나 있으나 이에 한정되는 것은 아니다.
즉, 인공지능용 영상 확인부(240)는 인공지능 기반으로 구현될 수도 있으며, 이 경우 인공지능용 영상 확인부(240)는 인공지능부(250)에 포함될 수도 있고, 별도의 인공지능 모델로 구현될 수도 있다.
이와 같이 본 발명은 다양한 형태로 변형 또는 수정되어 실시될 수 있으며, 변형 또는 수정된 실시예도 후술하는 특허청구범위에 개시된 본 발명의 기술적 사상을 포함한다면 본 발명의 권리범위에 속함은 당연하다 할 것이다.
[부호의 설명]
100: 영상 처리 장치 110: 프로세서 120: 메모리
130: 디스플레이 132: 기본 영상 135: 인공지능용 영상
135a: 인공지능용 패턴 135a-1,,,,,135a-6: 분할된 인공지능용 패턴
140: 입력부 150: 통신부 160: 접근감지부
180: 제어프로그램 182: 영상출력제어부
200: 인공지능 기기 210: 프로세서 220: 메모리
230: 카메라 240: 인공지능용 영상 확인부 250: 인공지능부
260: 동작조절부 262: 속도조절부 264: 방향조절부
270: 거리감지센서 280: 통신부
fo: 기본 영상 프레임 fo: 인공지능용 영상 프레임

Claims (16)

  1. 디스플레이;
    디스플레이에서 영상으로 출력할 다수의 기본 영상 프레임과 적어도 하나의 인공지능용 영상 프레임을 저장하는 메모리;
    기본 영상 프레임을 영상으로 출력하는 중에 설정 조건에 따라 인공지능용 영상 프레임을 영상으로 출력하도록 디스플레이를 제어하되, 인공지능용 영상 프레임을 기본 영상 프레임의 사이에 하나 이상 삽입하여 영상으로 출력하도록 디스플레이를 제어하는 프로세서
    를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 인공지능용 영상 프레임은 상기 기본 영상 프레임에 비하여 지속시간이 짧은 것을 특징으로 하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 프로세서는, 기본 영상 프레임에 적어도 하나의 인공지능용 영상 프레임이 오버랩 되도록 상기 디스플레이를 제어하는 것을 특징으로 하는 영상 처리 장치.
  4. 제3항에 있어서,
    상기 프로세서는, 인공지능용 영상 프레임을 다수 개로 분할하여 설정된 주기마다 다수의 분할된 인공지능용 영상 프레임이 다수의 기본 영상 프레임에 순차적으로 오버랩 되도록 상기 디스플레이를 제어하는 것을 특징으로 하는 영상 처리 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    인공지능용 영상 프레임은 상기 디스플레이의 일부 영역에만 표시되는 것을 특징으로 하는 영상 처리 장치.
  6. 제1항 내지 제4항 중 어느 한 항에 있어서,
    이동체 접근을 감지하는 접근감지부를 포함하고, 상기 프로세서는 이동체 접근이 감지된 경우에 한하여 인공지능용 영상 프레임을 출력하도록 제어하는 것을 특징으로 하는 영상 처리 장치.
  7. 제6항에 있어서,
    상기 프로세서는 접근하는 이동체가 자율주행 기기인지 여부를 확인하고, 자율주행 기기로 확인된 경우에 한하여 인공지능용 영상 프레임을 출력하도록 제어하는 것을 특징으로 하는 영상 처리 장치.
  8. 제1항에 있어서,
    기본 영상 프레임만을 출력하는 제1 동작모드, 인공지능용 영상 프레임만을 출력하는 제2 동작모드, 기본 영상 프레임이 출력되는 중에 인공지능용 영상 프레임을 출력하는 제3 동작모드 중에서 하나의 동작모드를 결정하는 동작모드결정수단을 포함하는 것을 특징으로 하는 영상 처리 장치.
  9. 디스플레이에서 기본 영상 프레임을 영상으로 출력하는 단계;
    기본 영상 프레임이 영상으로 출력되는 중에 설정 조건에 따라 인공지능용 영상 프레임을 영상으로 출력하되, 기본 영상 프레임의 사이에 인공지능용 영상 프레임을 하나 이상 삽입하여 영상으로 출력하는 인공지능용 영상 출력단계
    를 포함하는 영상 처리 방법.
  10. 제9항에 있어서,
    상기 인공지능용 영상 프레임은 상기 기본 영상 프레임에 비하여 지속시간이 짧은 것을 특징으로 하는 영상 처리 방법.
  11. 제9항에 있어서,
    상기 인공지능용 영상 프레임은 상기 디스플레이의 일부 영역에만 표시되는 것을 특징으로 하는 영상 처리 방법.
  12. 제9항에 있어서,
    상기 인공지능용 영상 출력단계에서는, 이동체 접근이 감지된 경우에 한하여 인공지능용 영상 프레임을 영상으로 출력하는 것을 특징으로 하는 영상 처리 방법.
  13. 디스플레이와, 다수의 기본 영상 프레임과 적어도 하나의 인공지능용 영상 프레임을 저장하는 메모리와, 기본 영상 프레임을 영상으로 출력하는 중에 설정 조건에 따라 인공지능용 영상 프레임을 영상으로 출력하도록 디스플레이를 제어하되 인공지능용 영상 프레임을 기본 영상 프레임의 사이에 삽입하여 영상으로 출력하도록 디스플레이를 제어하는 프로세서를 포함하는 영상 처리 장치;
    카메라와, 카메라가 촬영한 영상에 상기 디스플레이를 통해 영상으로 출력된 인공 지능용 영상 프레임이 포함되었는지 여부를 확인하고 인공지능용 영상 프레임으로부터 인공지능용 정보를 획득하는 인공지능용 영상 확인부와, 카메라가 촬영한 영상을 분석하여 영상 속의 객체를 분류하고 제어 지령을 생성하는 인공지능부와, 인공지능용 영상 확인부에서 획득한 인공지능용 정보와 인공지능부에서 생성된 제어 지령을 처리하는 프로세서를 포함하는 인공지능 기기
    를 포함하는 인공지능 기기를 위한 정보 제공 시스템
  14. 제13항에 있어서,
    상기 인공지능용 영상 프레임은 충돌 경고 영상을 포함하고,
    상기 인공지능용 영상 확인부에서 충돌 경고 영상을 확인하면, 상기 인공지능부는 카메라의 촬영 영상에서 충돌 경고 영상이 표시된 영역을 고정 장애물로 간주하고 영상 분석을 수행하는 것을 특징으로 하는 인공지능 기기를 위한 정보 제공 시스템.
  15. 제13항에 있어서,
    상기 인공지능 기기는 거리감지센서를 더 포함하고,
    상기 인공지능부는, 입력 노드에 카메라 촬영 영상, 거리감지센서의 측정값 및 인공지능용 영상 확인부에서 확인한 인공지능용 정보가 입력되는 딥러닝 알고리즘을 포함하는 것을 특징으로 하는 인공지능 기기를 위한 정보 제공 시스템.
  16. 제13항에 있어서,
    상기 인공지능 기기는 상기 영상 처리 장치로 자신의 식별정보를 무선으로 전송하는 통신부를 포함하는 것을 특징으로 하는 인공지능 기기를 위한 정보 제공 시스템.
PCT/KR2021/004605 2020-04-16 2021-04-13 인공지능용 영상을 제공하는 영상처리방법 및 장치와 인공지능 기기를 위한 정보제공시스템 WO2021210874A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/918,943 US20230237808A1 (en) 2020-04-16 2021-04-13 Image processing method and device for providing image for artificial intelligence and information provision system for artificial intelligence vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0046060 2020-04-16
KR1020200046060A KR102330909B1 (ko) 2020-04-16 2020-04-16 인공지능용 영상을 제공하는 영상처리방법 및 장치와 인공지능 기기를 위한 정보제공시스템

Publications (1)

Publication Number Publication Date
WO2021210874A1 true WO2021210874A1 (ko) 2021-10-21

Family

ID=78084358

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/004605 WO2021210874A1 (ko) 2020-04-16 2021-04-13 인공지능용 영상을 제공하는 영상처리방법 및 장치와 인공지능 기기를 위한 정보제공시스템

Country Status (3)

Country Link
US (1) US20230237808A1 (ko)
KR (1) KR102330909B1 (ko)
WO (1) WO2021210874A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090060978A (ko) * 2009-05-21 2009-06-15 (주)테슬라시스템 다해상도 동영상 코덱 방법 및 장치
KR20100122386A (ko) * 2009-05-12 2010-11-22 삼성전자주식회사 영상 시퀀스에 인위적으로 삽입된 적어도 하나의 영상 프레임을 부호화/복호화하는 방법 및 장치
KR20180113149A (ko) * 2017-04-05 2018-10-15 삼성전자주식회사 다중 디스플레이 시스템을 구성하는 디스플레이 장치 및 그 제어 방법
KR20190000843A (ko) * 2017-06-23 2019-01-03 우버 테크놀로지스, 인크. 자율 주행 가능 차량용 충돌-회피 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102399130B1 (ko) 2017-06-28 2022-05-18 현대모비스 주식회사 차량의 주행 환경 인식 장치, 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100122386A (ko) * 2009-05-12 2010-11-22 삼성전자주식회사 영상 시퀀스에 인위적으로 삽입된 적어도 하나의 영상 프레임을 부호화/복호화하는 방법 및 장치
KR20090060978A (ko) * 2009-05-21 2009-06-15 (주)테슬라시스템 다해상도 동영상 코덱 방법 및 장치
KR20180113149A (ko) * 2017-04-05 2018-10-15 삼성전자주식회사 다중 디스플레이 시스템을 구성하는 디스플레이 장치 및 그 제어 방법
KR20190000843A (ko) * 2017-06-23 2019-01-03 우버 테크놀로지스, 인크. 자율 주행 가능 차량용 충돌-회피 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Fujitsu Streamlines AI Video Recognition with High-Quality Compression Technology", FUJITSU, 5 March 2020 (2020-03-05), XP055857836, Retrieved from the Internet <URL:https://www.fujitsu.com/global/about/resources/news/press-releases/2020/0305-01.html> *

Also Published As

Publication number Publication date
KR102330909B1 (ko) 2021-11-25
KR20210128183A (ko) 2021-10-26
US20230237808A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
WO2019168336A1 (en) Autonomous driving apparatus and method thereof
WO2020036419A1 (en) Method of assisting autonomous vehicle, and apparatus therefor
WO2015119439A1 (ko) 시공적 상황데이터를 이용한 경고 방법 및 시스템
WO2018070663A1 (ko) 공항용 로봇 및 그의 동작 방법
WO2019208950A1 (ko) 사용자에게 서비스를 제공하는 이동형 로봇 장치 및 방법
WO2018182153A1 (ko) 입력 영상에 포함된 객체를 인식하는 디바이스 및 방법
WO2018164377A1 (ko) 지도 데이터를 생성하는 전자 장치 및 그 동작 방법
WO2018117538A1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
WO2021002519A1 (ko) 차량용 광고 제공 장치 및 차량용 광고 제공 방법
WO2020189831A1 (ko) 자율주행 차량의 모니터링 및 제어 방법
WO2020046038A1 (ko) 로봇 및 그의 제어 방법
WO2019172645A1 (ko) 차량의 주행을 보조하는 전자 장치 및 방법
WO2020218644A1 (ko) 인공지능을 이용하여 로봇의 위치를 재정의하는 방법 및 로봇
WO2021002722A1 (ko) 이벤트 태깅 기반 상황인지 방법 및 그 시스템
WO2020209394A1 (ko) 인공지능을 이용하여 주행면 변경에 적응적으로 카트로봇의 이동을 제어하는 방법 및 카트로봇
WO2018117514A1 (ko) 공항용 로봇 및 그의 동작 방법
WO2024019342A1 (ko) 인공지능 기반 유해 가스 누출 탐지 시스템 및 이의 동작 방법
WO2021210874A1 (ko) 인공지능용 영상을 제공하는 영상처리방법 및 장치와 인공지능 기기를 위한 정보제공시스템
WO2013039273A1 (en) Driving apparatus and method using 3d sensor
JP3400669B2 (ja) 遠隔監視システム
WO2021201569A1 (ko) 강화학습 기반 신호 제어 장치 및 신호 제어 방법
WO2018186625A1 (ko) 전자 장치, 그의 경고 메시지 제공 방법 및 비일시적 컴퓨터 판독가능 기록매체
WO2021049730A1 (ko) 영상 인식 모델을 학습하는 전자 장치 및 그 동작 방법
WO2020096192A1 (ko) 전자 장치 및 그 제어 방법
WO2020230921A1 (ko) 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21788440

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21788440

Country of ref document: EP

Kind code of ref document: A1