KR102324920B1 - Data transmitting apparatus, method and apparatus for processing image based on optical camera communication - Google Patents

Data transmitting apparatus, method and apparatus for processing image based on optical camera communication Download PDF

Info

Publication number
KR102324920B1
KR102324920B1 KR1020210036653A KR20210036653A KR102324920B1 KR 102324920 B1 KR102324920 B1 KR 102324920B1 KR 1020210036653 A KR1020210036653 A KR 1020210036653A KR 20210036653 A KR20210036653 A KR 20210036653A KR 102324920 B1 KR102324920 B1 KR 102324920B1
Authority
KR
South Korea
Prior art keywords
light emitting
emitting device
optical camera
data
image processing
Prior art date
Application number
KR1020210036653A
Other languages
Korean (ko)
Inventor
장영민
엠디 파이살 아메드
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020210036653A priority Critical patent/KR102324920B1/en
Application granted granted Critical
Publication of KR102324920B1 publication Critical patent/KR102324920B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0017—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system transmitting optical signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/501—Structural aspects
    • H04B10/502—LED transmitters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Abstract

An image processing apparatus based on optical camera communication is disclosed. The apparatus includes an optical camera and a receiving controller. By providing the apparatus, data can be transmitted accurately and at a low bit error rate even when an optical transmitter is separated from an optical receiver by a predetermined distance.

Description

데이터 전송 장치, 광학 카메라 통신 기반의 영상 처리 방법 및 이를 위한 장치{DATA TRANSMITTING APPARATUS, METHOD AND APPARATUS FOR PROCESSING IMAGE BASED ON OPTICAL CAMERA COMMUNICATION}DATA TRANSMITTING APPARATUS, METHOD AND APPARATUS FOR PROCESSING IMAGE BASED ON OPTICAL CAMERA COMMUNICATION

본 개시는 발광 소자를 이용하여 데이터를 전송하는 장치와 광학 카메라 통신 기반으로 영상 데이터를 수신하여 영상 처리를 수행하는 방법 및 이를 위한 장치에 관한 것이다.The present disclosure relates to an apparatus for transmitting data using a light emitting device, a method for performing image processing by receiving image data based on optical camera communication, and an apparatus therefor.

대표적 조명통신 융합기술인 가시광 통신(VLC: Visible Light Communication)은 광원의 조명에 정보를 실어 무선통신하는 기술로서, 종래에서는 광원의 빛을 포토 다이오드(PD: Photo Diode)로 수신하여 광원의 온/오프에 따라 디지털 데이터 1 또는 0을 검출하여 이들의 조합으로 정보를 전달하는 기술이다.Visible Light Communication (VLC), a representative lighting communication convergence technology, is a technology for wireless communication by loading information on the lighting of a light source. It is a technology that detects digital data 1 or 0 according to the data and transmits information as a combination thereof.

종래에는 포토 다이오드 대신에 카메라를 이용하여 다수의 LED를 촬영하고 그 카메라의 프레임별로 획득된 LED의 온/오프에 대응하는 데이터를 추출하는 가시광 통신 시스템이 제시되고 있다. 이와 같이 카메라를 이용한 가시광 통신은 광수신기로서 포토 다이오드가 아니라 카메라를 이용한다는 점에서 광학 카메라 통신(OCC: Optical Camera Communication) 시스템으로도 불리며, IEEE 802.15.7a 연구 그룹에서 표준화를 위한 작업을 시도하고 있다.Conventionally, a visible light communication system has been proposed in which a plurality of LEDs are photographed using a camera instead of a photodiode, and data corresponding to on/off of the LEDs obtained for each frame of the camera is extracted. Visible light communication using a camera is also called an optical camera communication (OCC) system in that it uses a camera, not a photodiode, as an optical receiver. have.

광수신기로 카메라가 적용되더라도, OCC는 영상 촬영 수행 및 촬영 영상에 대한 프로세싱으로 인해, 느린 데이터 전송 속도, 레이턴시(Latency) 및 낮은 통신 레인지(Range) 등의 제약이 따르며, 이로 인해, 광송신기 및 광수신기의 이격 거리에도 제한이 필연적으로 따른다.Even if a camera is applied as an optical receiver, OCC is subject to limitations such as slow data transmission speed, latency, and low communication range due to image capturing and processing of captured images. The separation distance of the optical receiver is also limited inevitably.

이에, 광송신기(발광 소자) 및 광수신기(광학 카메라)가 종래 기술의 적용 예보다 긴 이격 거리로 배치되더라도, 정확도 높고 빠르게 데이터를 전송하는 방법이 필요하다. Accordingly, even if the optical transmitter (light emitting element) and the optical receiver (optical camera) are disposed at a longer distance than the application example of the prior art, there is a need for a method for transmitting data with high accuracy and speed.

한편, 상기와 같은 정보는 본 발명의 이해를 돕기 위한 백그라운드(Background) 정보로서만 제시될 뿐이다. 상기 내용 중 어느 것이라도 본 발명에 관한 종래 기술로서 적용 가능할지 여부에 관해, 어떤 결정도 이루어지지 않았고, 또한 어떤 주장도 이루어지지 않는다.On the other hand, the above information is only presented as background information to help the understanding of the present invention. No determination has been made, nor is any claim made as to whether any of the above is applicable as prior art to the present invention.

선행 기술 : 공개특허공보 제10-2013-0067489호(공개일: 2013,06.25)Prior art: Patent Publication No. 10-2013-0067489 (published date: 2013,06.25)

본 발명이 해결하고자 하는 과제는 양자 신경망 알고리즘을 이용하여, 데이터 전송 속도를 높이며 비트 에러율(BER, Bit Error Rate)을 개선하는 광학 카메라 통신 기반의 영상 처리 장치를 제공하는 데에 있다.An object of the present invention is to provide an optical camera communication-based image processing apparatus that uses a quantum neural network algorithm to increase data transmission speed and improve bit error rate (BER).

본 발명의 또 다른 과제는, 광수신기 및 광송신 사이의 이격 거리가 수십 미터에 달하더라도, 광학 카메라 통신이 가능한 시스템을 제공하는 데에 있다.Another object of the present invention is to provide a system capable of optical camera communication even when the distance between the optical receiver and the optical transmitter reaches several tens of meters.

본 발명의 또 다른 과제는, 양자 신경망 알고리즘을 이용하여, 런타임 복잡도를 줄이는 영상 처리 장치를 제공하는 데에 있다.Another object of the present invention is to provide an image processing apparatus that reduces runtime complexity by using a quantum neural network algorithm.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. will be able

상기 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따른 광학 카메라 통신 기반의 영상 처리 장치는 데이터가 인코딩되어 하나 이상의 발광 소자를 통해 전송되면, 촬영 범위 내의 상기 발광 소자를 촬영하는 광학 카메라; 및 상기 광학 카메라의 촬영 영상에 대해, 양자 필터(Quantum Filter)에 기초하여 연산을 수행하는 기 학습된 발광 소자 인식 모델에 상기 촬영 영상을 입력하는 수신 컨트롤러를 포함할 수 있다.In order to achieve the above object, an optical camera communication-based image processing apparatus according to an embodiment of the present invention includes: an optical camera for photographing the light emitting device within a shooting range when data is encoded and transmitted through one or more light emitting devices; and a receiving controller that inputs the captured image to a pre-learned light emitting device recognition model that performs an operation on the captured image of the optical camera based on a quantum filter.

상기 발광 소자 인식 모델은, 상기 촬영 영상에서 발광소자가 위치한 외곽 영역을 특정하며, 특정된 외곽 영역 내 발광 소자를 인식하고, 인식된 발광 소자의 위치 정보를 산출할 수 있다.The light emitting device recognition model may specify an outer region in which a light emitting device is located in the captured image, recognize a light emitting device within the specified outer region, and calculate position information of the recognized light emitting device.

본 발명의 일 실시 예에 따른 광학 카메라 통신 기반의 영상 처리 방법은 데이터가 인코딩되어 하나 이상의 발광 소자를 통해 전송되면, 광학 카메라에 의해, 촬영 범위 내의 상기 발광 소자를 촬영하는 단계; 상기 광학 카메라의 촬영 영상에 대해, 양자 필터(Quantum Filter)에 기초하여 연산을 수행하는 기 학습된 발광 소자 인식 모델에 상기 촬영 영상을 입력하는 단계; 및 상기 발광 소자 인식 모델을 이용하여, 상기 촬영 영상에서 발광소자가 위치한 외곽 영역을 특정하며, 특정된 외곽 영역 내 발광 소자를 인식하고, 인식된 발광 소자의 위치 정보를 산출하는 단계를 포함할 수 있다.An optical camera communication-based image processing method according to an embodiment of the present invention includes: when data is encoded and transmitted through one or more light emitting devices, photographing the light emitting devices within a shooting range by an optical camera; inputting the captured image to a pre-learned light emitting device recognition model that performs an operation on the captured image of the optical camera based on a quantum filter; and specifying an outer region where the light emitting device is located in the captured image using the light emitting device recognition model, recognizing the light emitting device within the specified outer region, and calculating position information of the recognized light emitting device. have.

본 발명의 일 실시 예에 따른 광학 통신 기반의 데이터 전송 장치는 차량의 전방 또는 후방에 배치된 하나 이상의 발광 소자; 및 탑승자의 생체 데이터를 센싱하는 하나 이상의 센서로부터 상기 생체 데이터를 수신하는 송신 컨트롤러를 포함할 수 있다.An optical communication-based data transmission device according to an embodiment of the present invention includes one or more light emitting devices disposed in the front or rear of a vehicle; and a transmission controller configured to receive the biometric data from one or more sensors sensing the passenger's biometric data.

상기 송신 컨트롤러는, 수신된 상기 탑승자의 생체 데이터에 기초하여 긴급 상황을 인식하고, 인식된 긴급 상황에 대한 정보를 상기 발광 소자를 통해 출력하도록 구성될 수 있다.The transmission controller may be configured to recognize an emergency situation based on the received biometric data of the passenger and output information about the recognized emergency situation through the light emitting device.

본 발명에서 이루고자 하는 기술적 과제들의 해결 수단은 이상에서 언급한 해결 수단들로 제한되지 않으며, 언급하지 않은 또 다른 해결 수단들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The solutions to the technical problems to be achieved in the present invention are not limited to the solutions mentioned above, and other solutions not mentioned are clear to those of ordinary skill in the art to which the present invention belongs from the description below. will be able to be understood

본 발명의 다양한 실시 예에 의해, 광학 카메라 통신의 데이터 전송 속도가 향상될 수 있으며, 비트 에러율이 개선될 수 있고, 런타임 복잡도가 개선될 수 있다.According to various embodiments of the present disclosure, data transmission speed of optical camera communication may be improved, bit error rate may be improved, and runtime complexity may be improved.

본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description.

도 1은 본 발명의 일 실시 예에 따른 광학 카메라 통신 시스템을 설명하기 위한 도면,
도 2는 본 발명의 일 실시 예에 따른 데이터 전송 장치 및 광학 카메라 통신 기반 영상 처리 장치의 구성들을 나타내는 상대 블록도,
도 3 및 도 4는 본 발명의 일 실시 예에 따른 광학 카메라 통신 기반 영상 처리 장치의 동작 프로세스를 설명하기 위한 도면들이며, 그리고,
도 5는 본 발명의 일 실시 예에 따른 광학 카메라 통신 기반 영상 처리 방법을 나타내는 시퀀스도이다.1 is a view for explaining an optical camera communication system according to an embodiment of the present invention;
2 is a relative block diagram showing the configurations of a data transmission apparatus and an optical camera communication-based image processing apparatus according to an embodiment of the present invention;
3 and 4 are diagrams for explaining an operation process of an optical camera communication-based image processing apparatus according to an embodiment of the present invention;
5 is a sequence diagram illustrating an image processing method based on optical camera communication according to an embodiment of the present invention.

이하, 첨부된 도면들을 참조하여 본 발명의 예시적인 실시예들에 대하여 설명한다. 본 발명은 서로 다른 다양한 형태들로 구현될 수 있으며, 본 명세서에 설명된 실시예들로 한정되는 것으로 해석되어서는 안 된다. 도면에서 구성요소들, 계층들 및 영역들의 상대적인 크기는 설명의 명확성을 위해 과장될 수 있다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings. The present invention may be embodied in various different forms and should not be construed as being limited to the embodiments described herein. The relative sizes of components, layers, and regions in the drawings may be exaggerated for clarity of description.

도 1은 본 발명의 일 실시 예에 따른 광학 카메라 통신 시스템(1000)을 설명하기 위한 도면이다.1 is a diagram for explaining an optical camera communication system 1000 according to an embodiment of the present invention.

광학 카메라 통신 시스템(1000)은 하나 이상의 발광 소자(Ls, 210)(L1a, L1b, L2a, L2b)를 이용하여 광학적으로 데이터를 전송하는 데이터 전송 장치(200) 및 광학 카메라를 이용하여 광학적으로 데이터를 수신 및 처리하는 영상 처리 장치(100)를 포함할 수 있다.The optical camera communication system 1000 includes a data transmission device 200 for optically transmitting data using one or more light emitting elements Ls and 210 (L1a, L1b, L2a, L2b) and optically using an optical camera. It may include an image processing apparatus 100 for receiving and processing.

일 실시 예에서, 데이터 전송 장치(200)는 제1 차량(CA1)에 배치될 수 있으며, 데이터 전송 장치(200)는 제1 차량(CA1)의 제어 모듈(가령, ECU)에 의해 제어될 수 있다. 발광 소자(Ls, 210)는 차량(CA1)의 후방(후미)에 배치된 브레이크등(L1a, L1b), 비상등(L2a, L2b)에 배치되어, 뒤에 배치된 제2 차량(CA2)에 광학적으로 정보를 제공할 수 있다.In an embodiment, the data transmission device 200 may be disposed in the first vehicle CA1 , and the data transmission device 200 may be controlled by a control module (eg, ECU) of the first vehicle CA1 . have. The light emitting devices Ls and 210 are disposed on the brake lights L1a and L1b and the emergency lights L2a and L2b disposed at the rear (rear) of the vehicle CA1, and optically to the second vehicle CA2 disposed behind. information can be provided.

여기서, 발광 소자(Ls, 210)는 LED(Light Emitting Diode), OLED(Organic Light Emitting Diode) 등을 포함하여 다양한 발광 소자로 구현될 수 있다. 발광 소자(Ls, 210) 각각의 구성은 M by N(M, N은 정수) 형상으로 배치될 수 있으나, 실시 예가 이에 국한되지는 않는다.Here, the light emitting devices Ls and 210 may be implemented as various light emitting devices including a light emitting diode (LED), an organic light emitting diode (OLED), and the like. Each of the light emitting devices Ls and 210 may be arranged in an M by N shape (M and N are integers), but the embodiment is not limited thereto.

데이터 전송 장치(200)는 데이터를 다양한 방식으로 인코딩하여, 발광 소자(Ls, 200)를 통해 출력할 수 있다. 데이터 전송 장치(200)는 발광 소자(Ls, 210)의 일 그룹을 특정 데이터에 매핑하여 전송할 수 있다. 예를 들면, 데이터 전송 장치(200)는 제1 데이터를 발광 소자(Ls, 210)의 제1 그룹(L1a)을 통해, 제2 데이터를 발광 소자(Ls, 210)의 제2 그룹(L1b)을 통해, 제3 데이터를 발광 소자(Ls, 210)의 제3 그룹(L2a)을 통해, 제4 데이터를 발광 소자(Ls, 210)의 제4 그룹(L2b)을 통해 전송할 수 있다.The data transmission device 200 may encode data in various ways and output it through the light emitting device Ls and 200 . The data transmission device 200 may map a group of the light emitting devices Ls and 210 to specific data and transmit it. For example, the data transmission device 200 transmits the first data through the first group L1a of the light emitting devices Ls and 210, and transmits the second data to the second group L1b of the light emitting devices Ls and 210. Through , the third data may be transmitted through the third group L2a of the light emitting devices Ls and 210 , and fourth data may be transmitted through the fourth group L2b of the light emitting devices Ls and 210 .

데이터 전송 장치(200)는 차량 자체 또는 차량 탑승자에게 발생된 이벤트 정보를 발광 소자(Ls, 210)를 통해 광학적으로 전송할 수 있으며, 특히, 데이터 전송 장치(200)는 차량 탑승자가 긴급 상황에 처한 경우, 자동으로 긴급 상황 정보를 발광 소자(Ls, 210)를 통해 외부로 전송할 수 있다. The data transmission device 200 may optically transmit event information generated to the vehicle itself or to the vehicle occupant through the light emitting element Ls 210 , and in particular, the data transmission device 200 may be used when a vehicle occupant is in an emergency situation. , it is possible to automatically transmit emergency information to the outside through the light emitting device (Ls, 210).

가령, 데이터 전송 장치(200)는 차량 탑승자가 착용한 생체 데이터를 측정하는 센서로부터 정보를 획득하여, 획득한 정보에 기초하여 긴급 상황 발생 여부를 인식할 수 있다. 데이터 전송 장치(200)는 차량 탑승자가 긴급 상황에 처한 경우, 이를 발광 소자(Ls, 210)를 통해 전송하여, 후방에서 주행하는 제2 차량(CA2)에 광학적으로 제공할 수 있다.For example, the data transmission apparatus 200 may obtain information from a sensor that measures biometric data worn by a vehicle occupant, and recognize whether an emergency has occurred based on the obtained information. When a vehicle occupant is in an emergency situation, the data transmission device 200 may transmit it through the light emitting device Ls 210 and optically provide it to the second vehicle CA2 driving from the rear.

여기서, 광학 카메라 기반의 영상 처리 장치(100)는 이미지 센서를 구비한 광학 카메라(110)를 포함할 수 있으며, 발광 소자(Ls, 210)를 포함하는 영상을 촬영하고, 촬영 영상에서 발광 소자(Ls, 210)를 정확하고 빠르게 특정한 후, 발광 소자 별로 전송된 데이터를 디코딩하여, 디코딩된 데이터를 분석 및 이용할 수 있다. 실시 예에서, 광학 카메라(110)의 위치는 도 1의 도시된 것에 국한되지 않는다.Here, the optical camera-based image processing apparatus 100 may include an optical camera 110 having an image sensor, and photograph an image including the light emitting elements Ls and 210, and in the captured image, the light emitting element ( Ls, 210) is accurately and quickly specified, the data transmitted for each light emitting device is decoded, and the decoded data can be analyzed and used. In an embodiment, the position of the optical camera 110 is not limited to that shown in FIG. 1 .

도 2는 본 발명의 일 실시 예에 따른 광학 통신 기반의 데이터 전송 장치 및 광학 카메라 통신 기반 영상 처리 장치의 구성을 나타내는 상대 블록도이다.2 is a relative block diagram illustrating the configuration of an optical communication-based data transmission apparatus and an optical camera communication-based image processing apparatus according to an embodiment of the present invention.

우선, 데이터 전송 장치(200)는 하나 이상의 발광 소자(210), 측정 센서(220), 메모리(240) 및 송신 컨트롤러(290)를 포함할 수 있다. 도 1과 중복되는 설명은 생략하기로 한다.First, the data transmission apparatus 200 may include one or more light emitting devices 210 , a measurement sensor 220 , a memory 240 , and a transmission controller 290 . A description overlapping with FIG. 1 will be omitted.

측정 센서(220)는 사용자 가령, 차량 탑승자의 생체 데이터를 측정할 수 있다. 측정 센서(220)는 혈압 정보, 혈당 정보, 심박수 정보, 산호 포화도 정보 등을 포함하여 다양한 생체 데이터를 측정할 수 있다.The measurement sensor 220 may measure biometric data of a user, for example, a vehicle occupant. The measurement sensor 220 may measure various biometric data including blood pressure information, blood sugar information, heart rate information, coral saturation information, and the like.

송신 컨트롤러(290)는 다양한 데이터를 인코딩 모듈 또는 자체 모듈을 이용하여 인코딩할 수 있다. 인코딩 기법은 PWM(Pulse Width Modulation) 기법, 펄스 폭의 오프셋이 가변 가능한 VPWM(Variable Pulse Width Modulation) 기법, 컬러에 기반한 컬러 기반의 변조 기법 등이 적용될 수 있으나, 실시 예가 이에 한정되는 것은 아니다.The transmission controller 290 may encode various data using an encoding module or its own module. As the encoding technique, a pulse width modulation (PWM) technique, a variable pulse width modulation (VPWM) technique in which an offset of a pulse width is variable, a color-based modulation technique based on color, etc. may be applied, but the embodiment is not limited thereto.

만약, 데이터 전송 장치(200)가 차량에 탑재되는 경우, 송신 컨트롤러(290)는 탑승자의 생체 데이터를 센싱하는 하나 이상의 센서로부터 상기 생체 데이터를 수신하고, 수신된 탑승자의 생체 데이터에 기초하여 긴급 상황을 인식하고, 인식된 긴급 상황에 대한 정보를 차량의 전방 또는 후방에 배치된 발광 소자를 통해 출력할 수 있다.If the data transmission device 200 is mounted on a vehicle, the transmission controller 290 receives the biometric data from one or more sensors sensing the occupant's biometric data, and an emergency situation occurs based on the received biometric data of the occupant may be recognized, and information about the recognized emergency may be output through a light emitting device disposed in the front or rear of the vehicle.

광학 카메라 통신 기반의 영상 처리 장치(100)는 광학 카메라(110), 디스플레이(120), 발광 소자 인식 모델(M)을 저장한 메모리(140) 및 수신 컨트롤러(190)를 포함할 수 있다.The optical camera communication-based image processing apparatus 100 may include an optical camera 110 , a display 120 , a memory 140 storing a light emitting element recognition model M, and a reception controller 190 .

이미지 센서를 구비한 광학 카메라(110)는 데이터가 인코딩되어 하나 이상의 발광 소자(210)를 통해 전송되면, 촬영 범위 내의 발광 소자(210)를 촬영할 수 있다. 광학 카메라(110)는 소정의 프레임 속도(가령, 30 fps)로 구동될 수 있다.The optical camera 110 having an image sensor may photograph the light emitting device 210 within a shooting range when data is encoded and transmitted through one or more light emitting devices 210 . The optical camera 110 may be driven at a predetermined frame rate (eg, 30 fps).

디스플레이(120)는 전송된 데이터를 디코딩하여 출력할 수 있는 모듈로, 백라이트를 포함하는 디스플레이 또는 자발광 디스플레이로 구현될 수 있다. 수신 컨트롤러(190)는 발광 소자의 각 그룹 별로 전송된 데이터를 디코딩하여 디스플레이(120)에 출력할 수 있다.The display 120 is a module capable of decoding and outputting transmitted data, and may be implemented as a display including a backlight or a self-luminous display. The reception controller 190 may decode data transmitted for each group of light emitting devices and output the decoded data to the display 120 .

수신 컨트롤러(190)는 다양한 이벤트 정보에 기초하여, 다양한 정보를 디스플레이(120)에 출력할 수 있다. 여기서, 출력 모듈이 디스플레이에 한정되는 것은 아니다.The reception controller 190 may output various information to the display 120 based on various event information. Here, the output module is not limited to the display.

수신 컨트롤러(190)는 광학 카메라(110)가 촬영한 촬영 영상을 분석 및 가공할 수 있는데, 메모리(140)에 저장된 기 학습된 발광 소자 인식 모델(M)을 이용하여 영상 내 발광 소자(110)의 위치를 기존 기술 방식보다 몇 배 이상 빠르고 정확하게 특정할 수 있다. The reception controller 190 may analyze and process the captured image captured by the optical camera 110 , and the light emitting element 110 in the image using the pre-learned light emitting element recognition model M stored in the memory 140 . location can be specified several times faster and more accurately than the existing technology method.

이에 따라, 광학 카메라(110)와 발광 소자(210)가 수십 미터가 이격되어 배치되더라도, 정확하게 발광 소자(210)의 위치가 특정될 수 있으며, 결국에는 데이터 전송 속도가 더 빨라질 수 있으며, 비트 에러율(BER)이 종래 기술 대비 개선될 수 있다.Accordingly, even if the optical camera 110 and the light emitting element 210 are arranged to be spaced apart by several tens of meters, the position of the light emitting element 210 can be precisely specified, and consequently the data transmission speed can be faster, and the bit error rate (BER) can be improved compared to the prior art.

한편, 만약, 차량에 영상 처리 장치(100)가 탑재되는 경우, 광학 카메라는 상기 제2 차량의 전방 또는 후방에 배치될 수 있으며, 수신 컨트롤러(190)는 긴급 상황 정보에 대응하는 동작이 차량에서 수행되게 할 수 있다.On the other hand, if the image processing apparatus 100 is mounted on a vehicle, the optical camera may be disposed in front or rear of the second vehicle, and the reception controller 190 performs an operation corresponding to the emergency information in the vehicle. can be done

가령, 영상 처리 장치(100)는 전방의 차량이 급정거하는 경우, 이에 대응하여 사고가 발생하지 않도록 브레이크 기능을 활성화하여 사고가 발생되지 않게 할 수 있다.For example, the image processing apparatus 100 may prevent an accident by activating a brake function to prevent an accident from occurring in response to a sudden stop of the vehicle in front.

도 3 및 도 4는 본 발명의 일 실시 예에 따른 광학 카메라 통신 기반 영상 처리 장치(100)의 동작 프로세스를 설명하기 위한 도면들이다. 도 3은 본 발명의 일 실시 예에 따른 광학 카메라 통신 기반의 영상 처리 장치의 동작 절차를 개념적으로 설명한 것을 나타내고, 도 4는 도 3의 동작 절차를 보다 구체적으로 도시한 도면이다. 도 4는 설명의 편의를 위해, S310 단계를 2 단계(제1 구체화 및 제2 구체화)로 설명하며, S320 단계도 구체화하여 설명하기로 한다. 도면 부호는 도 2를 함께 참고하기로 한다.3 and 4 are diagrams for explaining an operation process of the optical camera communication-based image processing apparatus 100 according to an embodiment of the present invention. FIG. 3 conceptually illustrates an operation procedure of an image processing apparatus based on optical camera communication according to an embodiment of the present invention, and FIG. 4 is a diagram illustrating the operation procedure of FIG. 3 in more detail. 4, for convenience of explanation, the step S310 is described as two steps (the first realization and the second realization), and the step S320 will also be described in detail. Reference numerals refer to FIG. 2 together.

수신 컨트롤러(190)는 광학 카메라(110)를 이용하여 촬영한 촬영 영상을 미리 학습된 발광 소자 인식 모델(M)에 입력할 수 있다.The reception controller 190 may input a photographed image photographed by using the optical camera 110 to the light emitting element recognition model M learned in advance.

발광 소자 인식 모델(M)은 신경망 기반의 모델로, 레이블(Label)을 이용하여 미리 학습된 모델일 수 있다. 기 학습된 발광 소자 인식 모델(M)은 The light emitting device recognition model M is a neural network-based model, and may be a pre-trained model using a label. The pre-trained light emitting device recognition model (M) is

입력된 촬영 영상에서 발광소자가 위치한 외곽 영역을 특정하며, 특정된 외곽 영역 내 발광 소자를 인식하고, 인식된 발광 소자의 위치(좌표) 정보를 산출할 수 있다. 발광 소자 인식 모델(M)은 학습 단계에서, 레이블을 이용하여 신경망 파라미터를 업데이트하며, 적용 단계에서, 완성된 발광 소자 인식 모델(M)을 이용할 수 있다.In the input captured image, an outer region in which the light emitting element is located may be specified, the light emitting element within the specified outer area may be recognized, and position (coordinate) information of the recognized light emitting element may be calculated. The light emitting device recognition model M updates neural network parameters using labels in the learning step, and the completed light emitting device recognition model M may be used in the application step.

기 학습된 발광 소자 인식 모델(M, S300 과정 수행)은 촬영 영상을 입력받아서, 영상 데이터 양자화 및 특징 추출하는 과정(S310) 및 분류(Classification) 과정(S320)을 수행할 수 있다.The pre-learned light emitting device recognition model (performed in steps M and S300) may receive a captured image and perform a process of quantizing and feature extraction of image data (S310) and a classification process (S320).

S310 단계를 살펴보면, 발광 소자 인식 모델(M)은 양자 필터(S311 과정)를 이용하여, 상기 촬영 영상의 데이터를 양자화하고, 양자화된 데이터에 기초하여 촬영 영상의 특징을 추출할 수 있다.Referring to step S310, the light emitting device recognition model M may use a quantum filter (step S311) to quantize the data of the captured image, and extract features of the captured image based on the quantized data.

발광 소자 인식 모델(M)은 상기 양자 필터(S311 과정)를 이용하여, 상기 촬영 영상의 데이터를 양자화하고 양자화된 데이터를 복수의 컨볼루션 레이어(S313 과정) 각각에 매핑시키며, 매핑된 복수의 컨볼루션 레이어 각각에 대한 풀링 연산(가령, 맥시멈 풀링 연산)을 수행하여(315 과정), 양자화된 데이터에 대응하는 특징을 추출할 수 있다(S310 과정). The light emitting device recognition model M uses the quantum filter (step S311) to quantize the data of the captured image, and maps the quantized data to each of a plurality of convolution layers (step S313), and a plurality of mapped convolutions By performing a pooling operation (eg, a maximum pooling operation) for each solution layer (step 315), a feature corresponding to the quantized data may be extracted (step S310).

양자 필터(S311)는 디지털 비트를 큐비트로 변환하여 양자화하고, 복수의 매트릭스 연산을 여러 스텝에 걸쳐서 수행하지 않고, 에러율을 줄이기 위해 멀티플(Multiple) 레이어에 기초하여, 연산을 수행할 수 있다.The quantum filter S311 converts digital bits into qubits and quantizes them, and without performing a plurality of matrix operations over several steps, may perform an operation based on a multiple layer in order to reduce an error rate.

실시 예에서, 양자 필터(S311)는 촬영 영상의 각 픽셀을 이루는 각각의 데이터의 비트에 대해서, 4 개의 큐비트 입력으로 변환하고, 4 개의 큐비트를 출력할 수 있다. 이를 위해, 출력을 위해 최소 255 파라미터가 필요하며, 입력 큐비트가 m 이고, 출력 큐비트가 n 인 경우, 파라미터는

Figure 112021033362217-pat00001
가 필요하며, 입력 큐비트가 m+n 이고, 출력 큐비트가 m + n 인 경우, 파라미터는
Figure 112021033362217-pat00002
가 필요할 수 있다.In an embodiment, the quantum filter S311 may convert each bit of data constituting each pixel of the captured image into 4 qubit inputs and output 4 qubits. For this, we need at least 255 parameters for the output, if the input qubits are m and the output qubits are n, then the parameters are
Figure 112021033362217-pat00001
is required, if the input qubits are m+n and the output qubits are m + n, then the parameters are
Figure 112021033362217-pat00002
may be needed

양자 필터(S311 과정)는 0 및 1의 상태를 함께 가질 수 있도록 중첩 연산(Hadamard)을 수행할 수 있으며, 컨볼루션 레이어(S313 과정)에 매핑되기 전에 0 또는 1의 값으로 확정되는 측정(Measurement) 연산을 수행할 수 있다.The quantum filter (process S311) may perform a superposition operation (Hadamard) to have states of 0 and 1 together, and a measurement that is determined as a value of 0 or 1 before being mapped to a convolution layer (process S313) ) can be calculated.

양자 필터(S311)는 양자 상태(Quantum Status)를 계산하고(S3111a 과정), 임의의 상태(Arbitrary State)로 변경하기 위한 싱글 큐비트 게이트 연산을 수행하고(S3111b 과정), Kronecker product 에 의해 투 큐비트 게이트 연산을 수행한 후(S3111c 과정), 측정(Measurement) 연산(S311Z 과정)을 수행할 수 있다. The quantum filter S311 calculates a quantum state (process S3111a), performs a single-qubit gate operation to change to an arbitrary state (process S3111b), and two-queue by Kronecker product After performing the bit gate operation (process S3111c), a measurement operation (process S311Z) may be performed.

즉, 양자 필터는 양자 인코딩(S3111a) 과정을 통해 위상(Phase)에 대한 변환을 수행하고, 싱글 큐비트 게이트 연산(S3111b)을 수행하며, 다시 투 큐비트 게이트 연산(S3111b)을 수행하여, 최종적으로 측정 연산(S311Z)을 수행할 수 있다. 양자 변환 및 연산을 통해 0 및 1의 상태가 모두 한번에 연산될 수 있으므로, 컨볼루션 레이어를 형성할 때, 연산수를 줄일 수 있고, 결국에는 데이터 전송 속도의 개선, 비트 에러율의 개선, 런타임 복잡도가 개선될 수 있다. 또한, 이에 따라, 광수신기 및 광송신기의 거리가 종래에 비해 몇 배 내지 수십 배이더라도 촬영 영상의 발광 소자들이 수월하게 특정될 수 있다.That is, the quantum filter performs a phase transformation through a quantum encoding (S3111a) process, performs a single-qubit gate operation (S3111b), and again performs a two-qubit gate operation (S3111b), and finally to perform the measurement operation (S311Z). Since both states of 0 and 1 can be computed at once through quantum transformation and operation, the number of operations can be reduced when forming a convolution layer, and eventually data transmission speed, bit error rate, and runtime complexity are reduced. can be improved. In addition, even if the distance between the light receiver and the light transmitter is several to several tens of times compared to the conventional one, the light emitting elements of the photographed image can be easily specified.

구체적으로, 양자 필터(S311)는 4 개의 입력 큐비트에 대해, 데이터 인코딩(R)을 수행할 수 있는데, 데이터 인코딩(R)은 아래와 같이 표현될 수 있다(Φ는 위상 변화를 나타내는 라디언일 수 있으며, Ψ는 양자 상태를 나타낼 때 이용됨).Specifically, the quantum filter S311 may perform data encoding (R) on four input qubits, and the data encoding (R) may be expressed as follows (Φ may be radians indicating a phase change) and Ψ is used to represent the quantum state).

Figure 112021033362217-pat00003
Figure 112021033362217-pat00003

실시 예에서, R은 1 내지 4의 값을 갖는 a11~aN1 요소를 출력할 수 있다. 가령, a11이 2인 경우, 아래와 같이 표현될 수 있다.In an embodiment, R may output a 11 to a N1 element having a value of 1 to 4. For example, when a 11 is 2, it can be expressed as follows.

Figure 112021033362217-pat00004
Figure 112021033362217-pat00004

여기서, 아래 식이 만족되는 경우, Here, if the following expression is satisfied,

Figure 112021033362217-pat00005
Figure 112021033362217-pat00005

싱글 큐비트 게이트에 의한 연산은 아래와 같이 표현될 수 있다.The operation by a single qubit gate can be expressed as follows.

Figure 112021033362217-pat00006
Figure 112021033362217-pat00006

또한, Kronecker product 는 아래와 같이 표현될 수 있다.Also, the Kronecker product can be expressed as follows.

Figure 112021033362217-pat00007
Figure 112021033362217-pat00007

S320 단계를 살펴보면, 발광 소자 인식 모델(M)은 풀링 연산이 완료된 데이터에 대해, 신경망 알고리즘에 기반하여, 촬영 영상에서 발광소자가 위치한 외곽 영역을 특정하며, 특정된 외곽 영역 내 발광 소자를 인식하고, 인식된 발광 소자의 위치 정보를 산출할 수 있다.Looking at step S320, the light emitting device recognition model M specifies the outer region where the light emitting device is located in the captured image based on the neural network algorithm for the data on which the pooling operation is completed, and recognizes the light emitting device within the specified outer region, , it is possible to calculate the position information of the recognized light emitting device.

구체적으로, 발광 소자 인식 모델(M, S320)은 신경망 알고리즘(가령, DNN)을 이용하여, 분류 작업을 수행할 수 있다. 여기서, L1 은 탐지된 레이어에 대응하는 픽셀값 정보를 산출하기 위한 레이어일 수 있으며, L2는 레이어의 에지 식별 레이어의 조합을 위한 레이어일 수 있고, L3은 식별된 레이어의 특징 조합을 위한 레이어일 수 있다. Specifically, the light emitting device recognition models M and S320 may perform classification tasks using a neural network algorithm (eg, DNN). Here, L1 may be a layer for calculating pixel value information corresponding to the detected layer, L2 may be a layer for combining the edge identification layers of the layers, and L3 may be a layer for combining features of the identified layers. can

L1 내지 L3(더 많은 레이어가 더 포함될 수 있음)을 수행하면, 촬영 영상에서 발광소자가 위치한 외곽 영역을 특정된 특정 정보(Localization 정보), 특정된 외곽 영역 내 발광 소자를 인식한 정보(Detection 정보), 인식된 발광 소자의 위치 정보(좌표 정보)를 출력할 수 있다.When L1 to L3 (more layers may be included) are performed, specific information (Localization information) specifying the outer region where the light emitting element is located in the captured image, and information for recognizing the light emitting element in the specified outer region (Detection information) ), position information (coordinate information) of the recognized light emitting device may be output.

수신 컨트롤러(190)는 인코딩되어 발광 소자를 통해 전송된 데이터를 디코딩하고(S410), 디코딩된 데이터를 이용할 수 있다(S420). 수신 컨트롤러(190)는 디코딩된 데이터를 가공하여, 디스플레이(120)에 출력할 수 있다. 여기서 디코딩 방식은 인코딩 방식에 대응하여 수행될 수 있다.The reception controller 190 may decode the encoded data transmitted through the light emitting device (S410) and use the decoded data (S420). The reception controller 190 may process the decoded data and output it to the display 120 . Here, the decoding method may be performed corresponding to the encoding method.

도 5는 본 발명의 일 실시 예에 따른 광학 카메라 통신 기반의 영상 처리 방법을 나타내는 시퀀스도이다.5 is a sequence diagram illustrating an image processing method based on optical camera communication according to an embodiment of the present invention.

영상 처리 장치(100)는 데이터가 인코딩되어 하나 이상의 발광 소자를 통해 전송되면(S510), 촬영 범위 내의 상기 발광 소자를 촬영한다(S520). 만약, 데이터가 전송되지 않는 경우(S510), 대기할 수 있다(S530).When data is encoded and transmitted through one or more light emitting devices ( S510 ), the image processing apparatus 100 photographs the light emitting devices within a shooting range ( S520 ). If data is not transmitted (S510), it may wait (S530).

만약, 영상 처리 장치(100)는 인코딩된 데이터가 정상적으로 수신되면, 광학 카메라의 촬영 영상에 대해, 양자 필터(Quantum Filter)에 기초하여 연산을 수행하는 기 학습된 발광 소자 인식 모델에 촬영 영상을 입력한다(S540).If the encoded data is normally received, the image processing apparatus 100 inputs the captured image to a pre-learned light emitting element recognition model that performs an operation based on a quantum filter on the captured image of the optical camera. do (S540).

그 후에, 영상 처리 장치(100)는 기 학습된 발광 소자 인식 모델을 이용하여, 상기 촬영 영상에서 발광소자가 위치한 외곽 영역을 특정하며, 특정된 외곽 영역 내 발광 소자를 인식하고, 인식된 발광 소자의 위치 정보를 산출할 수 있다(S550).Thereafter, the image processing apparatus 100 specifies an outer region in which the light emitting element is located in the captured image by using the pre-learned light emitting element recognition model, recognizes the light emitting element within the specified outer region, and recognizes the recognized light emitting element It is possible to calculate the location information of (S550).

상기 발광 소자 인식 모델은 학습(훈련) 단계에서도 상술한 단계로 수행될 것이나, 정답(Label)에 기초하여 신경망 알고리즘의 파라미터들을 최적화할 수 있다.The light emitting device recognition model may be performed in the above-described steps even in the learning (training) step, but parameters of the neural network algorithm may be optimized based on the correct answer (Label).

상기 영상 처리 방법은 상기 발광 소자가 출력한 인코딩된 데이터를 디코딩하는 단계 및 디코딩된 데이터를 가공하여 디스플레이에 출력하는 단계를 더 포함할 수 있다.The image processing method may further include decoding the encoded data output by the light emitting device and processing the decoded data and outputting the decoded data to a display.

상기 발광 소자 인식 모델은, 양자 필터를 이용하여, 촬영 영상의 데이터를 양자화하고 양자화된 데이터를 복수의 컨볼루션 레이어 각각에 매핑시키며, 매핑된 복수의 컨볼루션 레이어 각각에 대한 풀링 연산을 수행하여, 양자화된 데이터에 대응하는 특징을 추출하도록 학습될 수 있다.The light emitting device recognition model uses a quantum filter to quantize data of a captured image, map the quantized data to each of a plurality of convolutional layers, and perform a pooling operation on each of the mapped convolutional layers, It can be learned to extract features corresponding to the quantized data.

발광 소자 인식 모델은, 상기 풀링 연산이 완료된 데이터에 대해, 신경망 알고리즘에 기반하여, 상기 촬영 영상에서 발광소자가 위치한 외곽 영역을 특정하며, 특정된 외곽 영역 내 발광 소자를 인식하고, 인식된 발광 소자의 위치 정보를 산출하도록 학습될 수 있다.The light emitting device recognition model specifies, based on a neural network algorithm, an outer region in which a light emitting device is located in the captured image, recognizes a light emitting device in the specified outer region, and recognizes a light emitting device based on a neural network algorithm for the data on which the pooling operation is completed. It can be learned to calculate the location information of

앞에서, 본 발명의 특정한 실시예가 설명되고 도시되었지만 본 발명은 기재된 실시예에 한정되는 것이 아니고, 이 기술 분야에서 통상의 지식을 가진 자는 본 발명의 사상 및 범위를 벗어나지 않고서 다른 구체적인 실시예로 다양하게 수정 및 변형할 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 설명된 실시예에 의하여 정하여 질 것이 아니고 청구범위에 기재된 기술적 사상에 의해 정하여져야 할 것이다.In the foregoing, specific embodiments of the present invention have been described and illustrated, but the present invention is not limited to the described embodiments, and those skilled in the art may make various changes to other specific embodiments without departing from the spirit and scope of the present invention. It will be appreciated that modifications and variations are possible. Accordingly, the scope of the present invention should not be defined by the described embodiments, but should be defined by the technical idea described in the claims.

Claims (10)

광학 카메라 통신 기반의 영상 처리 장치로서,
데이터가 인코딩되어 하나 이상의 발광 소자를 통해 전송되면, 촬영 범위 내의 상기 발광 소자를 촬영하는 광학 카메라; 및
상기 광학 카메라의 촬영 영상에 대해, 양자 필터(Quantum Filter)에 기초하여 연산을 수행하는 기 학습된 발광 소자 인식 모델에 상기 촬영 영상을 입력하는 수신 컨트롤러를 포함하며,
상기 발광 소자 인식 모델은,
상기 촬영 영상에서 발광소자가 위치한 외곽 영역을 특정하며, 특정된 외곽 영역 내 발광 소자를 인식하고, 인식된 발광 소자의 위치 정보를 산출하며,
상기 발광 소자 인식 모델은,
상기 양자 필터를 이용하여, 상기 촬영 영상의 데이터를 양자화하고 양자화된 데이터를 복수의 컨볼루션 레이어 각각에 매핑시키며, 매핑된 복수의 컨볼루션 레이어 각각에 대한 풀링 연산을 수행하여, 양자화된 데이터에 대응하는 특징을 추출하도록 학습된, 광학 카메라 통신 기반의 영상 처리 장치.As an image processing device based on optical camera communication,
an optical camera that, when data is encoded and transmitted through one or more light emitting devices, takes pictures of the light emitting devices within a shooting range; and
A receiving controller for inputting the captured image to a pre-learned light emitting element recognition model that performs an operation based on a quantum filter with respect to the captured image of the optical camera,
The light emitting device recognition model,
specifying an outer region in which a light emitting element is located in the captured image, recognizing a light emitting element within the specified outer region, calculating position information of the recognized light emitting element,
The light emitting device recognition model,
By using the quantum filter, the data of the captured image is quantized, the quantized data is mapped to each of a plurality of convolutional layers, and a pooling operation is performed on each of the mapped convolutional layers to correspond to the quantized data. An image processing device based on optical camera communication that has been trained to extract features. 삭제delete 제1항에 있어서,
상기 발광 소자 인식 모델은,
상기 풀링 연산이 완료된 데이터에 대해, 신경망 알고리즘에 기반하여, 상기 촬영 영상에서 발광소자가 위치한 외곽 영역을 특정하며, 특정된 외곽 영역 내 발광 소자를 인식하고, 인식된 발광 소자의 위치 정보를 산출하도록 학습된, 광학 카메라 통신 기반의 영상 처리 장치.According to claim 1,
The light emitting device recognition model,
For the data on which the pooling operation has been completed, based on a neural network algorithm, an outer region where a light emitting device is located in the captured image is specified, a light emitting device within the specified outer region is recognized, and position information of the recognized light emitting device is calculated. A learned, optical camera communication-based image processing device. 제1항에 있어서,
디스플레이를 더 포함하며,
상기 수신 컨트롤러는,
인코딩된 데이터를 디코딩하고, 디코딩된 데이터를 가공하여, 상기 디스플레이에 출력하도록 구성되는, 광학 카메라 통신 기반의 영상 처리 장치.According to claim 1,
further comprising a display,
The receiving controller is
An optical camera communication-based image processing apparatus, configured to decode encoded data, process the decoded data, and output to the display. 제1항에 있어서,
상기 발광 소자는 제1 차량의 전방 또는 후방에 배치되어, 제1 차량의 긴급 상황 정보를 출력하며,
상기 영상 처리 장치는 제2 차량에 배치되며, 상기 광학 카메라는 상기 제2 차량의 전방 또는 후방에 배치되며,
상기 수신 컨트롤러는,
상기 긴급 상황 정보에 대응하는 동작이 상기 제2 차량에서 수행되게 하는, 광학 카메라 통신 기반의 영상 처리 장치.According to claim 1,
The light emitting device is disposed at the front or rear of the first vehicle, and outputs emergency situation information of the first vehicle,
The image processing device is disposed in a second vehicle, and the optical camera is disposed in front or rear of the second vehicle,
The receiving controller is
An optical camera communication-based image processing device that causes an operation corresponding to the emergency situation information to be performed in the second vehicle. 광학 카메라 통신 기반의 영상 처리 방법으로서,
데이터가 인코딩되어 하나 이상의 발광 소자를 통해 전송되면, 광학 카메라에 의해, 촬영 범위 내의 상기 발광 소자를 촬영하는 단계;
상기 광학 카메라의 촬영 영상에 대해, 양자 필터(Quantum Filter)에 기초하여 연산을 수행하는 기 학습된 발광 소자 인식 모델에 상기 촬영 영상을 입력하는 단계; 및
상기 발광 소자 인식 모델을 이용하여, 상기 촬영 영상에서 발광소자가 위치한 외곽 영역을 특정하며, 특정된 외곽 영역 내 발광 소자를 인식하고, 인식된 발광 소자의 위치 정보를 산출하는 단계를 포함하며,
상기 발광 소자 인식 모델은,
상기 양자 필터를 이용하여, 상기 촬영 영상의 데이터를 양자화하고 양자화된 데이터를 복수의 컨볼루션 레이어 각각에 매핑시키며, 매핑된 복수의 컨볼루션 레이어 각각에 대한 풀링 연산을 수행하여, 양자화된 데이터에 대응하는 특징을 추출하도록 학습된, 광학 카메라 통신 기반의 영상 처리 방법.As an image processing method based on optical camera communication,
when data is encoded and transmitted through one or more light emitting elements, photographing, by an optical camera, the light emitting elements within a shooting range;
inputting the captured image to a pre-learned light emitting device recognition model that performs an operation on the captured image of the optical camera based on a quantum filter; and
Using the light emitting device recognition model, specifying an outer region where the light emitting device is located in the captured image, recognizing the light emitting device within the specified outer region, and calculating position information of the recognized light emitting device,
The light emitting device recognition model,
By using the quantum filter, the data of the captured image is quantized, the quantized data is mapped to each of a plurality of convolutional layers, and a pooling operation is performed on each of the mapped convolutional layers to correspond to the quantized data. An image processing method based on optical camera communication that has been trained to extract features. 제6항에 있어서,
상기 발광 소자가 출력한 인코딩된 데이터를 디코딩하는 단계; 및
디코딩된 데이터를 가공하여 디스플레이에 출력하는 단계를 더 포함하는, 광학 카메라 통신 기반의 영상 처리 방법.7. The method of claim 6,
decoding the encoded data output by the light emitting device; and
Further comprising the step of processing the decoded data to output to the display, optical camera communication-based image processing method. 삭제delete 제6항에 있어서,
상기 발광 소자 인식 모델은,
상기 풀링 연산이 완료된 데이터에 대해, 신경망 알고리즘에 기반하여, 상기 촬영 영상에서 발광소자가 위치한 외곽 영역을 특정하며, 특정된 외곽 영역 내 발광 소자를 인식하고, 인식된 발광 소자의 위치 정보를 산출하도록 학습된, 광학 카메라 통신 기반의 영상 처리 방법.

7. The method of claim 6,
The light emitting device recognition model,
For the data on which the pooling operation has been completed, based on a neural network algorithm, an outer region where a light emitting device is located in the captured image is specified, a light emitting device within the specified outer region is recognized, and position information of the recognized light emitting device is calculated. A learned, optical camera communication-based image processing method.

 삭제delete
KR1020210036653A 2021-03-22 2021-03-22 Data transmitting apparatus, method and apparatus for processing image based on optical camera communication KR102324920B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210036653A KR102324920B1 (en) 2021-03-22 2021-03-22 Data transmitting apparatus, method and apparatus for processing image based on optical camera communication

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210036653A KR102324920B1 (en) 2021-03-22 2021-03-22 Data transmitting apparatus, method and apparatus for processing image based on optical camera communication

Publications (1)

Publication Number Publication Date
KR102324920B1 true KR102324920B1 (en) 2021-11-11

Family

ID=78516339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210036653A KR102324920B1 (en) 2021-03-22 2021-03-22 Data transmitting apparatus, method and apparatus for processing image based on optical camera communication

Country Status (1)

Country Link
KR (1) KR102324920B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130067489A (en) 2010-05-17 2013-06-25 지멘스 악티엔게젤샤프트 Method and arrangement for stabilizing a colour coding method for optical transmission of data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130067489A (en) 2010-05-17 2013-06-25 지멘스 악티엔게젤샤프트 Method and arrangement for stabilizing a colour coding method for optical transmission of data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Rachim, et.al., "RGB-LED-based Optical Camera Communication using Multilevel Variable Pulse Position Modulation for Healthcare Applications," J. Sensor Sci. and Tech., Vol. 27, No. 1, p. 6, (2018.1.3)* *

Similar Documents

Publication Publication Date Title
US11455793B2 (en) Robust object detection and classification using static-based cameras and events-based cameras
JP7460044B2 (en) Autonomous vehicle, and apparatus, program, and computer-readable medium relating to an autonomous vehicle system
JP7428993B2 (en) Vehicle door unlocking method and device, system, vehicle, electronic device, and storage medium
WO2019097749A1 (en) Computer-based system and computer-based method
KR102061445B1 (en) Method and apparatus for object recognition based on visible light and infrared fusion image
US20160325680A1 (en) System and method of vehicle sensor management
US20230237792A1 (en) Object detection apparatus using an image preprocessing artificial neural network model
CN113168541A (en) Deep learning inference system and method for imaging system
KR102246659B1 (en) Artificial device and method for collecting image of the same
KR102092496B1 (en) S2-PSK optical wireless communication method and apparatus
US11140334B1 (en) 940nm LED flash synchronization for DMS and OMS
US11144796B2 (en) Method and apparatus for distributed edge learning
KR102345777B1 (en) Method and apparatus for determining location of a vehicle based on optical camera communication
CN113093726A (en) Target detection and tracking method based on Yolo _ v4 algorithm
CN111382670A (en) Semantic segmentation using driver attention information
US20150042802A1 (en) Vehicle safety control apparatus and method using cameras
Farooq et al. Object detection in thermal spectrum for advanced driver-assistance systems (ADAS)
KR20170085953A (en) Method and apparatus for 2D Color Code optical wireless communication
US20190280770A1 (en) Method and apparatus for free-space optical transmission
KR102324920B1 (en) Data transmitting apparatus, method and apparatus for processing image based on optical camera communication
WO2022121629A1 (en) Display method for images and electronic device
CN115687911B (en) Signal lamp detection method, device and system based on pulse signals
JP2020129369A (en) System and method for image processing using mobile device
CN114766030A (en) Method and apparatus for improved object detection
US11776319B2 (en) Methods and systems to predict activity in a sequence of images

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant