KR20220028940A - Method and apparatus for processing a plurality of images obtained from vehicle 's cameras - Google Patents

Method and apparatus for processing a plurality of images obtained from vehicle 's cameras Download PDF

Info

Publication number
KR20220028940A
KR20220028940A KR1020200110594A KR20200110594A KR20220028940A KR 20220028940 A KR20220028940 A KR 20220028940A KR 1020200110594 A KR1020200110594 A KR 1020200110594A KR 20200110594 A KR20200110594 A KR 20200110594A KR 20220028940 A KR20220028940 A KR 20220028940A
Authority
KR
South Korea
Prior art keywords
image
vehicle
cameras
camera
processing
Prior art date
Application number
KR1020200110594A
Other languages
Korean (ko)
Other versions
KR102389728B1 (en
Inventor
안민환
Original Assignee
주식회사대성엘텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사대성엘텍 filed Critical 주식회사대성엘텍
Priority to KR1020200110594A priority Critical patent/KR102389728B1/en
Publication of KR20220028940A publication Critical patent/KR20220028940A/en
Application granted granted Critical
Publication of KR102389728B1 publication Critical patent/KR102389728B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

According to one embodiment of the present invention, a method for processing an image obtained from multiple cameras of a vehicle comprises: a step of obtaining images including time stamps from multiple cameras linked to a vehicle terminal; a step of extracting a feature point of each image; a step of encrypting a second image obtained from a second camera using a first feature point of a first image obtained from a first camera; and a step of encrypting the first image acquired from the first camera using a second feature point of a second image acquired from the second camera.

Description

차량의 복수의 카메라로부터 획득된 영상처리방법 및 장치{Method and apparatus for processing a plurality of images obtained from vehicle 's cameras}Method and apparatus for processing a plurality of images obtained from vehicle's cameras

실시 예는 차량의 복수의 카메라로부터 획득된 영상처리방법 및 장치에 관한 것이다. The embodiment relates to an image processing method and apparatus obtained from a plurality of cameras of a vehicle.

차량용 블랙박스는 차량에 설치되어 차량 주변을 실시간으로 촬영하고 이를 저장하는 주행 자료 자동 기록 장치로서, 이렇게 기록되는 주행 자료는 사고가 났을 때 그 원인을 밝히는 데 중요한 구실을 한다.A vehicle black box is an automatic driving data recording device that is installed in a vehicle to record and store the surroundings of the vehicle in real time.

이러한 차량용 블랙박스는 미국, 유럽 등의 일부 국가에서 상용차를 중심으로 설치를 의무화하는 법안이 진행중이며, 국내에도 일부 영업용 차량에 대해 블랙박스 설치를 의무화하고 있다. 현재 국내에서도 차량용 블랙박스의 개발이 활발하게 진행되고 있는데, 블랙박스는 통상적으로 탑재 카메라, 디스플레이 부 및 메모리를 포함하여 구성되고 있다. 최근에는, 이러한 차량용 블랙박스의 기능을 더 발전시켜, 다양한 영상 데이터, 예를 들면 전방, 후방, AVM(Around View Monitor) 영상과, 다양한 센서 데이터, 예를 들면 레이더, 라이다, 포즈 추정, V2X, 디지털 맵 데이터와, 차량 데이터를 함께 수집하여 사고 발생 데이터를 저장하는 장치로 발전하고 있다. 즉, 오작동, 기능저하, 고장원인을 식별하기 위해서는 사고발생 데이터가 저장되어야 하며, 테스트와 사건 재구성에 필요한 차량의 운행기록 및 사고기록을 차량의 내외부에서 복원 가능한 데이터 형태로 저장될 수 있도록 하는 장치를 의미한다. In some countries, such as the United States and Europe, a bill to obligate the installation of black boxes for vehicles is underway, focusing on commercial vehicles, and the installation of black boxes for some commercial vehicles is also mandatory in Korea. Currently, the development of a vehicle black box is actively progressing in Korea, and the black box typically includes an on-board camera, a display unit, and a memory. Recently, by further developing the function of such a vehicle black box, various image data, for example, front, rear, AVM (Around View Monitor) images, and various sensor data, for example, radar, lidar, pose estimation, V2X , is developing into a device for storing accident occurrence data by collecting digital map data and vehicle data together. In other words, in order to identify the cause of malfunction, deterioration, or failure, accident occurrence data must be stored, and the vehicle driving record and accident record necessary for testing and event reconstruction are stored in the form of data that can be restored inside and outside the vehicle. means

일 실시 예들은 차량의 복수의 카메라로부터 획득된 영상처리방법 및 장치이다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.One embodiment is an image processing method and apparatus obtained from a plurality of cameras of a vehicle. Another object of the present invention is to provide a computer-readable recording medium in which a program for executing the method in a computer is recorded. The technical problem to be solved is not limited to the technical problems as described above, and other technical problems may exist.

일 실시 예에 따른 차량의 복수의 카메라로부터 획득된 영상처리방법은 차량 단말과 연동된 복수의 카메라로부터 각각의 타임 스탬프가 포함된 영상들을 획득하는 단계; 각각의 영상의 특징점을 추출하는 단계; 및 제1 카메라로부터 획득된 제1 영상의 제1 특징점을 이용하여 제2 카메라로부터 획득된 제2 영상을 암호화하고, 상기 제2 카메라로부터 획득된 제2 영상의 제2 특징점을 이용하여 상기 제1 카메라로부터 획득된 제1 영상을 암호화하는 단계를 포함한다.An image processing method obtained from a plurality of cameras of a vehicle according to an embodiment includes: obtaining images each including time stamps from a plurality of cameras linked to a vehicle terminal; extracting feature points of each image; and encrypting the second image obtained from the second camera using the first feature points of the first image obtained from the first camera, and using the second feature points of the second image obtained from the second camera and encrypting the first image obtained from the camera.

상기 차량 단말은 블랙박스인 것을 특징으로 한다.The vehicle terminal is characterized in that it is a black box.

상기 암호화 단계는, 소정의 기준시간을 기초로 상기 제1 영상에 상응하는 영상프레임 번호, 상기영상프레임 번호에 상응하는 제1 영상 데이터, 상기 제1 영상으로부터 추출된 제1 특징점 및 상기 제2 영상으로부터 추출된 제2 특징점을 기초로 생성된 해시 데이터를 포함하는 제1 처리 블록에서 수행되는 것을 특징으로 한다.The encryption may include an image frame number corresponding to the first image, first image data corresponding to the image frame number, a first feature point extracted from the first image, and the second image based on a predetermined reference time. It is characterized in that it is performed in the first processing block including the hash data generated based on the second feature point extracted from.

상기 암호화 단계는, 상기 소정의 기준시간을 기초로 상기 제1 영상 다음에 입력된 제2 영상에 상응하는 영상프레임 번호, 상기 영상프레임 번호에 상응하는 제2 영상 데이터, 상기 영상 데이터로부터 추출된 제1 특징점 및 상기 제2 영상으로부터 추출된 제2 특징점을 기초로 생성된 해시 데이터를 포함하는 제2 처리 블록에서 수행되는 것을 특징으로 한다.In the encryption step, an image frame number corresponding to a second image input after the first image, second image data corresponding to the image frame number, and a second image extracted from the image data based on the predetermined reference time It is characterized in that it is performed in the second processing block including the first key point and the hash data generated based on the second key point extracted from the second image.

상기 제1 처리 블록 및 상기 제2 처리 블록 각각은, 상기 복수의 카메라로부터 획득된 영상이 입력된 순서대로 암호화 처리를 수행하는 것을 특징으로 한다.Each of the first processing block and the second processing block performs encryption processing in the order in which the images obtained from the plurality of cameras are input.

다른 실시 예에 따른 차량의 복수의 카메라로부터 획득된 영상을 처리하는 방법으로 암호화된 영상을 검증하는 방법으로서, 상기 검증 방법은, 상기 제1 및 제2 특징점을 이용하여 상기 암호화된 영상을 복호화하고, 상기 각각의 영상에 포함된 타임스탬프 및 시간에 따른 영상 변화를 기초로 촬영된 영상의 조작유무를 판단하는 것을 특징으로 한다.A method of verifying an encrypted image as a method of processing images obtained from a plurality of cameras of a vehicle according to another embodiment, wherein the verification method decrypts the encrypted image using the first and second feature points, , characterized in that it is determined whether or not the captured image is manipulated based on a timestamp included in each image and an image change according to time.

또 다른 실시 예에 따른 차량의 복수의 카메라로부터 획득된 영상을 처리하는 장치는 차량 단말과 연동된 복수의 카메라; 및 프로세서를 포함하고,According to another embodiment, an apparatus for processing images obtained from a plurality of cameras of a vehicle includes: a plurality of cameras interlocked with a vehicle terminal; and a processor;

상기 프로세서는, 상기 복수의 카메라차량 단말과 연동된 복수의 카메라로부터 각각의 타임 스탬프가 포함된 영상들을 획득하고, 각각의 영상의 특징점을 추출하고, 제1 카메라로부터 획득된 제1 영상의 제1 특징점을 이용하여 제2 카메라로부터 획득된 제2 영상을 암호화하고, 상기 제2 카메라로부터 획득된 제2 영상의 제2 특징점을 이용하여 상기 제1 카메라로부터 획득된 제1 영상을 암호화한다.The processor obtains images including respective time stamps from a plurality of cameras linked with the plurality of camera vehicle terminals, extracts feature points of each image, and first The second image acquired from the second camera is encrypted using the feature point, and the first image acquired from the first camera is encrypted using the second feature point of the second image acquired from the second camera.

상기 차량 단말은 블랙박스인 것을 특징으로 한다.The vehicle terminal is characterized in that it is a black box.

상기 프로세서는, 소정의 기준시간을 기초로 상기 제1 영상에 상응하는 영상프레임 번호, 상기영상프레임 번호에 상응하는 제1 영상 데이터, 상기 제1 영상으로부터 추출된 제1 특징점 및 상기 제2 영상으로부터 추출된 제2 특징점을 기초로 생성된 해시 데이터를 포함하는 제1 처리 블록에서 수행되는 것을 특징으로 한다.The processor, based on a predetermined reference time, from an image frame number corresponding to the first image, first image data corresponding to the image frame number, a first feature point extracted from the first image, and the second image It is characterized in that it is performed in the first processing block including the hash data generated based on the extracted second feature point.

상기 프로세서는, 상기 소정의 기준시간을 기초로 상기 제1 영상 다음에 입력된 제2 영상에 상응하는 영상프레임 번호, 상기 영상프레임 번호에 상응하는 제2 영상 데이터, 상기 영상 데이터로부터 추출된 제1 특징점 및 상기 제2 영상으로부터 추출된 제2 특징점을 기초로 생성된 해시 데이터를 포함하는 제2 처리 블록에서 수행되는 것을 특징으로 한다.The processor is configured to: an image frame number corresponding to a second image input after the first image, second image data corresponding to the image frame number, and a first image data extracted from the image data based on the predetermined reference time It is characterized in that the second processing block including the key point and hash data generated based on the second key point extracted from the second image is performed.

상기 제1 처리 블록 및 상기 제2 처리 블록 각각은, 상기 복수의 카메라로부터 획득된 영상이 입력된 순서대로 암호화 처리를 수행하는 것을 특징으로 한다.Each of the first processing block and the second processing block performs encryption processing in the order in which the images obtained from the plurality of cameras are input.

또 다른 실시 예에 따른 차량의 복수의 카메라로부터 획득된 영상을 처리하는 장치를 통해 암호화된 영상을 검증하는 장치로서, 상기 검증 장치는,An apparatus for verifying an encrypted image through an apparatus for processing images obtained from a plurality of cameras of a vehicle according to another embodiment, the apparatus comprising:

상기 제1 및 제2 특징점을 이용하여 상기 암호화된 영상을 복호화하고, 상기 각각의 영상에 포함된 타임스탬프 및 시간에 따른 영상 변화를 기초로 촬영된 영상의 조작유무를 판단하는 것을 특징으로 한다. Decrypting the encrypted image using the first and second feature points, and determining whether the captured image is manipulated based on a timestamp included in each image and an image change over time is determined.

도 1은 차량의 내부 블록 도이다.
도 2는 도 1에 도시된 차량 운전 보조 시스템(ADAS)의 블록 도이다.
도 3은 일 실시 예에 따른 차량의 복수의 카메라로부터 획득된 영상처리장치(300)의 개략 도이다.
도 4는 차량에 구비된 복수의 카메라들의 예시 도들이다.
도 5 및 6은 다른 실시 예에 따른 차량의 복수의 카메라로부터 획득된 영상처리방법을 설명하기 위한 예시 도들이다.
도 7은 차량의 복수의 카메라로부터 획득된 영상처리방법을 설명하기 위한 흐름 도이다.
1 is an internal block diagram of a vehicle;
FIG. 2 is a block diagram of the vehicle driving assistance system (ADAS) shown in FIG. 1 .
3 is a schematic diagram of an image processing apparatus 300 obtained from a plurality of cameras of a vehicle according to an exemplary embodiment.
4 is an exemplary view of a plurality of cameras provided in a vehicle.
5 and 6 are exemplary views for explaining an image processing method obtained from a plurality of cameras of a vehicle according to another embodiment.
7 is a flowchart for explaining an image processing method obtained from a plurality of cameras of a vehicle.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다. Terms used in this specification will be briefly described, and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 해당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, but this may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.In the entire specification, when a part "includes" a certain element, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, terms such as "...unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software. .

이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.Hereinafter, the present disclosure will be described in detail with reference to the accompanying drawings.

도 1은 일 실시 예에 따른 차량의 내부 블록도이다. 1 is an internal block diagram of a vehicle according to an exemplary embodiment.

도 1을 참조하면, 차량(100)은, 통신부(110), 입력부(120), 센싱부(125) 메모리(130), 출력부(140), 차량 구동부(150), 차량 운전 보조 시스템(ADAS, 160), 제어부(170), 인터페이스부(180) 및 전원 공급부(190)를 포함할 수 있다.Referring to FIG. 1 , a vehicle 100 includes a communication unit 110 , an input unit 120 , a sensing unit 125 , a memory 130 , an output unit 140 , a vehicle driving unit 150 , and a vehicle driving assistance system (ADAS). , 160 ), a control unit 170 , an interface unit 180 , and a power supply unit 190 .

통신부(110)는, 근거리 통신 모듈, 위치 정보 모듈, 광통신 모듈 및 V2X 통신 모듈을 포함할 수 있다.The communication unit 110 may include a short-range communication module, a location information module, an optical communication module, and a V2X communication module.

입력부(120)는, 운전 조작 수단, 카메라, 마이크로폰 및 사용자 입력부를 포함할 수 있다.The input unit 120 may include a driving operation means, a camera, a microphone, and a user input unit.

운전 조작 수단은, 차량(100) 운전을 위한 사용자 입력을 수신한다. 운전 조작 수단은 조향 입력 수단, 쉬프트 입력 수단, 가속 입력 수단, 브레이크 입력 수단을 포함할 수 있다.The driving operation means receives a user input for driving the vehicle 100 . The driving operation means may include a steering input means, a shift input means, an acceleration input means, and a brake input means.

가속 입력 수단은, 사용자로부터 차량(100)의 가속을 위한 입력을 수신한다. 브레이크 입력 수단은, 사용자로부터 차량(100)의 감속을 위한 입력을 수신한다.The acceleration input means receives an input for acceleration of the vehicle 100 from a user. The brake input means receives an input for decelerating the vehicle 100 from a user.

카메라는, 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 제어부(170)에 전달할 수 있다.The camera may include an image sensor and an image processing module. The camera may process still images or moving images obtained by an image sensor (eg, CMOS or CCD). The image processing module may process a still image or a moving image obtained through the image sensor, extract necessary information, and transmit the extracted information to the controller 170 .

한편, 차량(100)은 차량 전방 영상을 촬영하는 전방 카메라, 차량 주변 영상을 촬영하는 어라운드 뷰 카메라 및 차량 후방 영상을 촬영하는 후방카메라를 포함할 수 있다. 각각의 카메라는 렌즈, 이미지 센서 및 프로세서를 포함할 수 있다. 프로세서는, 촬영되는 영상을 컴퓨터 처리하여, 데이터 또는 정보를 생성하고, 생성된 데이터 또는 정보를 제어부(170)에 전달할 수 있다. 카메라에 포함되는 프로세서는, 제어부(170)의 제어를 받을 수 있다.Meanwhile, the vehicle 100 may include a front camera for photographing an image of the front of the vehicle, an around-view camera for photographing an image around the vehicle, and a rear camera for photographing an image of the rear of the vehicle. Each camera may include a lens, an image sensor and a processor. The processor may computer-process the captured image to generate data or information, and transmit the generated data or information to the controller 170 . The processor included in the camera may be controlled by the controller 170 .

카메라는 스테레오 카메라를 포함할 수 있다. 이 경우, 카메라의 프로세서는, 스테레오 영상에서 검출된 디스페리티(disparity) 차이를 이용하여, 오브젝트와의 거리, 영상에서 검출된 오브젝트와의 상대 속도, 복수의 오브젝트 간의 거리를 검출할 수 있다.The camera may include a stereo camera. In this case, the processor of the camera may detect a distance to an object, a relative speed to an object detected in the image, and a distance between a plurality of objects by using a disparity difference detected in the stereo image.

카메라는 TOF(Time of Flight) 카메라를 포함할 수 있다. 이 경우, 카메라는, 광원(예를 들면, 적외선 또는 레이저) 및 수신부를 포함할 수 있다. 이 경우, 카메라의 프로세서는, 광원에서 발신되는 적외선 또는 레이저가 오브젝트에 반사되어 수신될 때까지의 시간(TOF)에 기초하여 오브젝트와의 거리, 오브젝트와의 상대 속도, 복수의 오브젝트 간의 거리를 검출할 수 있다.The camera may include a Time of Flight (TOF) camera. In this case, the camera may include a light source (eg, infrared or laser) and a receiver. In this case, the processor of the camera detects the distance to the object, the relative speed to the object, and the distance between the plurality of objects based on the time (TOF) until the infrared or laser emitted from the light source is reflected by the object and received. can do.

한편, 후방 카메라는, 후방 번호판 또는 트렁크 또는 테일 게이트 스위치 부근에 배치될 수 있으나, 후방 카메라가 배치되는 위치는 이에 제한되지 않는다.Meanwhile, the rear camera may be disposed in the vicinity of the rear license plate or the trunk or tailgate switch, but the position where the rear camera is disposed is not limited thereto.

복수의 카메라에서 촬영된 각각의 이미지는, 카메라의 프로세서에 전달되고, 프로세서는 상기 각각의 이미지를 합성하여, 차량 주변 영상을 생성할 수 있다. 이때, 차량 주변 영상은 탑뷰 이미지 또는 버드 아이 이미지로 디스플레이부를 통해 표시될 수 있다.Each image captured by the plurality of cameras may be transmitted to a processor of the camera, and the processor may synthesize the respective images to generate an image around the vehicle. In this case, the image around the vehicle may be displayed through the display unit as a top view image or a bird's eye image.

센싱부(125)는, 차량(100)의 각종 상황을 센싱한다. 이를 위해, 센싱부(125)는, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 레이더, 라이더 등을 포함할 수 있다.The sensing unit 125 senses various situations of the vehicle 100 . To this end, the sensing unit 125 includes a collision sensor, a wheel sensor, a speed sensor, an inclination sensor, a weight sensor, a heading sensor, a yaw sensor, and a gyro sensor. , position module, vehicle forward/reverse sensor, battery sensor, fuel sensor, tire sensor, steering sensor by steering wheel rotation, vehicle interior temperature sensor, vehicle interior humidity sensor, ultrasonic sensor, illuminance sensor, radar, lidar, etc. may include

이에 의해, 센싱부(125)는, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도 등에 대한 센싱 신호를 획득할 수 있다.Accordingly, the sensing unit 125 may include vehicle collision information, vehicle direction information, vehicle location information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle inclination information, vehicle forward/reverse information, and battery information. , fuel information, tire information, vehicle lamp information, vehicle internal temperature information, vehicle internal humidity information, steering wheel rotation angle, and sensing signals for external illumination of the vehicle may be acquired.

메모리(130)는, 제어부(170)와 전기적으로 연결된다. 메모리(130)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(130)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(130)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.The memory 130 is electrically connected to the control unit 170 . The memory 130 may store basic data for the unit, control data for operation control of the unit, and input/output data. The memory 130 may be various storage devices such as ROM, RAM, EPROM, flash drive, hard drive, etc. in terms of hardware. The memory 130 may store various data for the overall operation of the vehicle 100 , such as a program for processing or controlling the controller 170 .

출력부(140)는, 제어부(170)에서 처리된 정보를 출력하기 위한 것으로, 디스플레이부, 음향 출력부 및 햅틱 출력부를 포함할 수 있다.The output unit 140 is for outputting information processed by the control unit 170 , and may include a display unit, a sound output unit, and a haptic output unit.

디스플레이부는 제어부(170)에서 처리되는 정보를 표시할 수 있다. 예를 들면, 디스플레이부는 차량 관련 정보를 표시할 수 있다. 여기서, 차량 관련 정보는, 현재 차량의 상태를 알려주는 차량 상태 정보 또는 차량의 운행과 관련되는 차량 운행 정보를 포함할 수 있다. 예를 들어, 디스플레이부는 현재 차량의 속도(또는 속력), 주변차량의 속도(또는 속력) 및 현재 차량과 주변차량 간의 거리 정보를 표시할 수 있다.The display unit may display information processed by the control unit 170 . For example, the display unit may display vehicle-related information. Here, the vehicle-related information may include vehicle state information indicating the current state of the vehicle or vehicle operation information related to the operation of the vehicle. For example, the display unit may display the current speed (or speed) of the vehicle, the speed (or speed) of the surrounding vehicle, and distance information between the current vehicle and the surrounding vehicle.

한편, 디스플레이부는 운전자가 운전을 함과 동시에 차량 상태 정보 또는 차량 운행 정보를 확인할 수 있도록 클러스터(cluster)를 포함할 수 있다. 클러스터는 대시보드 위에 위치할 수 있다. 이 경우, 운전자는, 시선을 차량 전방에 유지한 채로 클러스터에 표시되는 정보를 확인할 수 있다.Meanwhile, the display unit may include a cluster so that the driver can check vehicle state information or vehicle operation information while driving. The cluster may be located above the dashboard. In this case, the driver may check the information displayed on the cluster while maintaining the gaze in front of the vehicle.

음향 출력부는 제어부(170)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부는 스피커 등을 구비할 수 있다.The sound output unit converts the electric signal from the controller 170 into an audio signal and outputs the converted signal. To this end, the sound output unit may include a speaker or the like.

차량 구동부(150)는, 차량 각종 장치의 동작을 제어할 수 있다. 차량 구동부(150)는 동력원 구동부, 조향 구동부, 브레이크 구동부, 램프 구동부, 공조 구동부, 윈도우 구동부, 에어백 구동부, 썬루프 구동부 및 서스펜션 구동부를 포함할 수 있다.The vehicle driving unit 150 may control operations of various devices of the vehicle. The vehicle driving unit 150 may include a power source driving unit, a steering driving unit, a brake driving unit, a lamp driving unit, an air conditioning driving unit, a window driving unit, an airbag driving unit, a sunroof driving unit, and a suspension driving unit.

동력원 구동부는, 차량(100) 내의 동력원에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 화석 연료 기반의 엔진(미도시)이 동력원인 경우, 동력원 구동부는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부가 엔진인 경우, 제어부(170)의 제어에 따라, 엔진 출력 토크를 제한하여 차량의 속도를 제한할 수 있다.The power source driving unit may perform electronic control of the power source in the vehicle 100 . For example, when a fossil fuel-based engine (not shown) is a power source, the power source driving unit may electronically control the engine. Thereby, the output torque of an engine, etc. can be controlled. When the power source driving unit is the engine, the speed of the vehicle may be limited by limiting the engine output torque under the control of the controller 170 .

브레이크 구동부는, 차량(100) 내의 브레이크 장치(brake apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다. 다른 예로, 좌측 바퀴와 우측 바퀴에 각각 배치되는 브레이크의 동작을 달리하여, 차량(100)의 진행 방향을 좌측, 또는 우측으로 조정할 수 있다.The brake driving unit may electronically control a brake apparatus (not shown) in the vehicle 100 . For example, the speed of the vehicle 100 may be reduced by controlling the operation of a brake disposed on the wheel. As another example, the moving direction of the vehicle 100 may be adjusted to the left or right by changing the operation of the brakes respectively disposed on the left wheel and the right wheel.

램프 구동부는, 차량 내, 외부에 배치되는 램프의 턴 온/턴 오프를 제어할 수 있다. 또한, 램프의 빛의 세기, 방향 등을 제어할 수 있다. 예를 들면, 방향 지시 램프, 브레이크 램프 등의 대한 제어를 수행할 수 있다.The lamp driver may control turning on/off of a lamp disposed inside or outside the vehicle. In addition, it is possible to control the intensity and direction of the light of the lamp. For example, control of a direction indicator lamp, a brake lamp, and the like may be performed.

제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다. 상술한 사고 유무 판단 장치는 제어부(170)에 의해 구동될 수 있다.The controller 170 may control the overall operation of each unit in the vehicle 100 . The control unit 170 may be referred to as an Electronic Control Unit (ECU). The above-described accident determination apparatus may be driven by the control unit 170 .

제어부(170)는, 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.The control unit 170, in hardware, ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays), processors ( processors), controllers, micro-controllers, microprocessors, and other electrical units for performing other functions may be implemented using at least one.

일 실시 예에서 제어부(170)는 차량 내의 복수의 카메라에 의해 촬영 가능한 영역을 설정하고, 설정된 촬영 가능한 영역 내에 소정의 객체가 존재하는지 판단하고, 차량이 주행 또는 주차 상태인지 여부와, 존재한 객체의 유형을 기초로 사고 유무를 판단하고, 판단결과에 따라 소정의 장면을 촬영한 영상을 메모리에 기록할 수 있다. 실시 예에 따른 사고 판단 내지 사고 영상 저장은 충격 감지 센서에 의해 기록할 영상을 선택하는 것이 아니라, 영상만을 이용하고, 영상 분석 내지 객체 인식과 사고 판단 알고리즘을 적용함으로써, 센서 오작동에 의해 오인식, 잘못된 사고 영상의 저장의 단점을 극복할 수 있다.In an embodiment, the controller 170 sets an area that can be photographed by a plurality of cameras in the vehicle, determines whether a predetermined object exists within the set photographable area, determines whether the vehicle is in a driving or parked state, and an object that exists It is possible to determine the presence or absence of an accident based on the type of , and record an image obtained by photographing a predetermined scene in the memory according to the determination result. Accident determination or accident image storage according to an embodiment does not select an image to be recorded by the impact sensor, but uses only the image, and applies image analysis or object recognition and accident determination algorithm, so that the sensor malfunctions It is possible to overcome the shortcomings of the storage of the accident video.

인터페이스부(180)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(180)는 이동 단말기(미도시)와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기(미도시)와 연결할 수 있다. 이 경우, 인터페이스부(180)는 이동 단말기와 데이터를 교환할 수 있다.The interface unit 180 may serve as a passage with various types of external devices connected to the vehicle 100 . For example, the interface unit 180 may have a port connectable to a mobile terminal (not shown), and may connect to a mobile terminal (not shown) through the port. In this case, the interface unit 180 may exchange data with the mobile terminal.

전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리(미도시) 등으로부터 전원을 공급받을 수 있다.The power supply unit 190 may supply power required for operation of each component under the control of the control unit 170 . In particular, the power supply unit 190 may receive power from a battery (not shown) inside the vehicle.

도 2는 도 1에 도시된 차량 운전 보조 시스템(ADAS)의 블록 도이다.FIG. 2 is a block diagram of the vehicle driving assistance system (ADAS) shown in FIG. 1 .

ADAS(200)는, 편의, 안전 제공을 위해 운전자를 보조 하는 차량 운전 보조 시스템이다.The ADAS 200 is a vehicle driving assistance system that assists the driver to provide convenience and safety.

ADAS(200)는, 자동 비상 제동 모듈(이하, AEB: Autonomous Emergency Braking)(210), 전방 충돌 회피 모듈 (이하, FCW: Foward Collision Warning)(211), 차선 이탈 경고 모듈 (이하, LDW: Lane Departure Warning)(212), 차선 유지 보조 모듈 (이하, LKA: Lane Keeping Assist)(213), 속도 지원 시스템 모듈 (이하, SAS: Speed Assist System)(214), 교통 신호 검출 모듈 (TSR: Traffic Sign Recognition)(215), 적응형 상향등 제어 모듈 (이하, HBA: High Beam Assist)(216), 사각 지대 감시 모듈 (이하, BSD: Blind Spot Detection)(217), 자동 비상 조향 모듈 (이하, AES: Autonomous Emergency Steering)(218), 커브 속도 경고 시스템 모듈 (이하, CSWS: Curve Speed Warning System)(219), 적응 순향 제어 모듈 (이하, ACC: Adaptive Cruise Control)(220), 스마트 주차 시스템 모듈 (이하, SPAS: Smart Parking Assist System)(221), 교통 정체 지원 모듈 (이하, TJA: Traffic Jam Assist)(222) 및 어라운드 뷰 모니터 모듈 (이하, AVM: Around View Monitor)(223)을 포함할 수 있다.The ADAS 200 includes an automatic emergency braking module (hereinafter, AEB: Autonomous Emergency Braking) 210, a forward collision avoidance module (hereinafter, FCW: Forward Collision Warning) 211, and a lane departure warning module (hereinafter, LDW: Lane). Departure Warning) (212), Lane Keeping Assist Module (LKA: Lane Keeping Assist) (213), Speed Assist System Module (SAS: Speed Assist System) (214), Traffic Signal Detection Module (TSR: Traffic Sign) Recognition) (215), Adaptive High Beam Control Module (hereinafter, HBA: High Beam Assist) (216), Blind Spot Monitoring Module (hereinafter, BSD: Blind Spot Detection) (217), Automatic Emergency Steering Module (hereinafter, AES: Autonomous Emergency Steering) (218), Curve Speed Warning System Module (hereinafter, CSWS: Curve Speed Warning System) (219), Adaptive Cruise Control (hereinafter, ACC: Adaptive Cruise Control) (220), Smart Parking System Module (hereinafter) , SPAS: Smart Parking Assist System) 221 , a traffic jam support module (hereinafter, TJA: Traffic Jam Assist) 222 , and an around view monitor module (hereinafter, AVM: Around View Monitor) 223 . .

상기 각각의 ADAS 모듈(210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223)들은 차량 운전 보조 기능 제어를 위한 프로세서를 포함할 수 있다.Each of the ADAS modules 210 , 211 , 212 , 213 , 214 , 215 , 216 , 217 , 218 , 219 , 220 , 221 , 222 , 223 may include a processor for controlling a vehicle driving assistance function.

상기 각각의 ADAS 모듈(210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223)에 포함되는 프로세서는, 제어부(270)의 제어를 받을 수 있다.A processor included in each of the ADAS modules 210 , 211 , 212 , 213 , 214 , 215 , 216 , 217 , 218 , 219 , 220 , 221 , 222 , 223 may be controlled by the controller 270 . .

상기 각각의 ADAS 모듈(210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223) 프로세서는, 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.Each of the ADAS modules 210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223 processor is, in hardware, ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays), processors, controllers, micro-controllers, microprocessors ( microprocessors) and may be implemented using at least one of electrical units for performing other functions.

AEB(210)는, 검출된 오브젝트와의 충돌을 방지하기 위해, 자동 제동을 제어하는 모듈이다. FCW(211)는, 차량 전방 오브젝트와의 충돌을 방지하기 위해, 경고가 출력되도록 제어하는 모듈이다. LDW(212)는, 주행 중 차선 이탈 방지를 위해, 경고가 출력되도록 제어하는 모듈이다. LKA(213)는, 주행 중 주행 차선 유지하도록 제어하는 모듈이다. SAS(214)는, 설정된 속도 이하로 주행하도록 제어하는 모듈이다. TSR(215)은, 주행 중 교통 신호를 감지하여 감지된 교통 신호를 기초로 정보를 제공하는 모듈이다. HBA(216)는, 주행 상황에 따라 상향등의 조사 범위 또는 조사량을 제어하는 모듈이다. BSD(217)는, 주행 중, 운전자 시야 밖의 오브젝트를 검출하고, 검출 정보를 제공하는 모듈이다. AES(218)는, 비상시 조향을 자동으로 수행하는 모듈이다. CSWS(219)는, 커브 주행시 기 설정 속도 이상으로 주행하는 경우 경로를 출력하도록 제어하는 모듈이다. ACC(220)는, 선행 차량을 추종하여 주행하도록 제어하는 모듈이다. SPAS(221)는, 주차 공간을 검출하고, 주차 공간에 주차하도록 제어하는 모듈이다. TJA(222)는, 교통 정체시 자동 운행하도록 제어하는 모듈이다. AVM(223)은, 차량 주변 영상을 제공하고, 차량 주변을 모니터링하도록 제어하는 모듈이다. The AEB 210 is a module for controlling automatic braking in order to prevent a collision with a detected object. The FCW 211 is a module that controls to output a warning in order to prevent a collision with an object in front of the vehicle. The LDW 212 is a module that controls to output a warning to prevent lane departure while driving. The LKA 213 is a module that controls to maintain a driving lane while driving. The SAS 214 is a module that controls the vehicle to travel at a set speed or less. The TSR 215 is a module that detects a traffic signal while driving and provides information based on the detected traffic signal. The HBA 216 is a module that controls the irradiation range or irradiation amount of the high beam according to the driving situation. The BSD 217 is a module that detects an object outside the driver's field of view while driving and provides detection information. The AES 218 is a module that automatically performs steering in an emergency. The CSWS 219 is a module that controls to output a route when driving at a speed higher than a preset speed during curve driving. The ACC 220 is a module that controls to follow and drive a preceding vehicle. The SPAS 221 is a module that detects a parking space and controls to park in the parking space. The TJA 222 is a module that controls to automatically operate in case of traffic jam. The AVM 223 is a module that provides an image around the vehicle and controls to monitor the surroundings of the vehicle.

ADAS(200)는, 입력부(230) 또는 센싱부(235)에서 획득한 데이터를 기초로, 각각의 차량 운전 보조 기능을 수행하기 위한 제어 신호를 출력부(250) 또는 차량 구동부(260)에 제공할 수 있다. ADAS(200)는, 상기 제어 신호를, 출력부(250) 또는 차량 구동부(260)에 차량 내부 네트워크 통신(예를 들면, CAN)을 통해, 직접 출력할 수 있다. 또는, ADAS(200)는, 상기 제어 신호를, 제어부(270)를 거쳐, 출력부(250) 또는 차량 구동부(260)에 출력할 수 있다.The ADAS 200 provides a control signal for performing each vehicle driving assistance function to the output unit 250 or the vehicle driving unit 260 based on the data obtained from the input unit 230 or the sensing unit 235 . can do. The ADAS 200 may directly output the control signal to the output unit 250 or the vehicle driving unit 260 through in-vehicle network communication (eg, CAN). Alternatively, the ADAS 200 may output the control signal to the output unit 250 or the vehicle driving unit 260 via the control unit 270 .

도 3은 일 실시 예에 따른 차량의 복수의 카메라로부터 획득된 영상처리장치(300)의 개략 도이다.3 is a schematic diagram of an image processing apparatus 300 obtained from a plurality of cameras of a vehicle according to an exemplary embodiment.

도 3을 참조하면, 영상처리장치(300)는 차량 단말과 연동된 복수의 카메라로부터 각각의 타임 스탬프가 포함된 영상들을 획득하고, 각각의 영상의 특징점을 추출하고, 제1 카메라로부터 획득된 제1 영상의 제1 특징점을 이용하여 제2 카메라로부터 획득된 제2 영상을 암호화하고, 제2 카메라로부터 획득된 제2 영상의 제2 특징점을 이용하여 제1 카메라로부터 획득된 제1 영상을 암호화한다. 실시 예에 따른 영상처리장치(300)는 차량에 설치된 다중의 카메라로부터 각자 고유의 타임스탬프(Time stamp)가 포함된 영상을 입력 받아, 설치된 다중 카메라 순간 영상의 특징값 또는 특징점을 취득한 후, 서로의 영상 암호화에 사용한다. 이후, 영상의 복호화에 다중 영상이 서로의 키로 작용하여 동기화 및 무결성 확보할 수 있다. 즉, 영상이 암호화 키로 사용되기에 각 영상 입력의 이상을 time stamp 유무 및 시간 변화에 따른 영상 변화량을 확인하여 즉시 확인 및 경고하는 보조적인 기능 수행할 수도 있다. 실시 예에서, 영상처리장치(300)는 암호화를 수행하고, 별도의 검증장치 또는 복호화 장치(미도시)가 복호화 및 검증 기능을 수행한다. 또한, 영상처리장치(300)가 암호화 및 복호화 기능을 같이 수행할 수도 있다. Referring to FIG. 3 , the image processing apparatus 300 obtains images including respective time stamps from a plurality of cameras interlocked with a vehicle terminal, extracts feature points of each image, and obtains first images obtained from the first camera. Encrypts the second image acquired from the second camera using the first feature point of the first image, and encrypts the first image acquired from the first camera using the second feature point of the second image acquired from the second camera . The image processing apparatus 300 according to an embodiment receives an image including a unique time stamp from multiple cameras installed in a vehicle, acquires a feature value or a feature point of an instantaneous image of the installed multi-camera, and then used for video encryption of Thereafter, multiple images act as each other's keys for image decoding, so that synchronization and integrity can be secured. That is, since an image is used as an encryption key, it is also possible to perform an auxiliary function of immediately confirming and warning the abnormality of each image input by checking the presence or absence of time stamp and the amount of image change according to time change. In an embodiment, the image processing apparatus 300 performs encryption, and a separate verification device or a decryption device (not shown) performs decryption and verification functions. Also, the image processing apparatus 300 may perform encryption and decryption functions together.

따라서, 다중 카메라를 사용하여 운전자 보조 및 운전 당시 상황을 기록하여 법적인 자료로 활용하는 경우가 증가함에 카메라간 영상에 대한 동기화 상태 및 영상 조작에 대한 무결성을 확보할 수 있다. Therefore, as the number of cases of using multiple cameras to assist drivers and record driving conditions and use them as legal data increases, it is possible to secure the synchronization status of images between cameras and the integrity of image manipulation.

다시 도 3을 참조하면, 영상처리장치(300)는 도 1 및 2를 참조하여 설명한 ADAS일 수 있으나, 그 명칭에 한정되지 않고, 블랙박스, 내비게이션 장치, IVI 기기, 텔레매틱스 단말기일 수 있다. Referring back to FIG. 3 , the image processing apparatus 300 may be the ADAS described with reference to FIGS. 1 and 2 , but is not limited thereto, and may be a black box, a navigation device, an IVI device, or a telematics terminal.

영상처리장치(300)는 영상입력부(310), 특징값 획득부(320) 및 영상암호화부(330)를 포함한다. 영상입력부(310)은 차량 단말과 연동된 복수의 카메라로부터 각각의 타임 스탬프가 포함된 영상들을 획득한다. 도 4에 도시된 것처럼, 차량에 설치된 전방카메라(1, 2), 좌우측 카메라(3,5) 및 후방카메라(4)가 있는 경우, 각각의 카메라(1 내지 5)로부터 영상을 입력받을 수 있다.The image processing apparatus 300 includes an image input unit 310 , a feature value acquisition unit 320 , and an image encryption unit 330 . The image input unit 310 acquires images including time stamps from a plurality of cameras linked to the vehicle terminal. As shown in FIG. 4 , when there are front cameras 1 and 2 , left and right cameras 3 , 5 and rear camera 4 installed in the vehicle, images can be received from each of the cameras 1 to 5 . .

특징값 획득부(320)는 입력된 각각의 영상의 특징점을 추출한다. 여기서, 영상의 특징점 또는 특징값은 keypoint 또는 interesting point이며, 물체의 형태나 크기, 위치가 변해도 쉽게 식별이 가능한 값들이다. 예를 들면, 카메라의 시점, 조명이 변해도 영상에서 해당 지점을 쉽게 찾아낼 수 있는 값을 의미한다. 예를 들면, 영상의 코너점(corner point)인 경우, 코너점 추출 알고리즘을 이용하여 특징점을 추출한다. 여기서, 코너점을 예로서 설명하였지만, 이에 한정되지 않고, 다양한 특징점 또는 특징값을 사용할 수 있음은 물론이다.The feature value acquisition unit 320 extracts a feature point of each input image. Here, the feature points or feature values of the image are keypoints or interesting points, and are values that can be easily identified even if the shape, size, or position of an object changes. For example, it means a value that can easily find a corresponding point in an image even if the camera's viewpoint and lighting change. For example, in the case of a corner point of an image, a feature point is extracted using a corner point extraction algorithm. Here, although the corner point has been described as an example, the present invention is not limited thereto, and various feature points or feature values may be used.

영상암호화부(330)는 처리 블록단위로 복수의 카메라에서 입력된 영상의 순서대로 암호화처리를 수행한다. 제1 처리블록은 소정의 기준시간을 기초로 제1 영상에 상응하는 영상프레임 번호, 영상프레임 번호에 상응하는 제1 영상 데이터, 제1 영상으로부터 추출된 제1 특징점 및 제2 영상으로부터 추출된 제2 특징점을 기초로 생성된 해시 데이터를 포함시켜 암호화한다. The image encryption unit 330 performs encryption processing in order of images input from a plurality of cameras in units of processing blocks. The first processing block includes an image frame number corresponding to the first image, first image data corresponding to the image frame number, a first feature point extracted from the first image, and a second image extracted from the second image based on a predetermined reference time. 2 It is encrypted by including the hash data generated based on the feature point.

또한, 제2 처리 블록은 상기 제1 영상 다음에 입력된 제2 영상에 상응하는 영상프레임 번호, 영상프레임 번호에 상응하는 제2 영상 데이터, 영상 데이터로부터 추출된 제1 특징점 및 제2 영상으로부터 추출된 제2 특징점을 기초로 생성된 해시 데이터를 포함시켜 암호화한다.In addition, the second processing block extracts an image frame number corresponding to a second image input after the first image, second image data corresponding to the image frame number, a first feature point extracted from the image data, and a second image The hash data generated based on the second feature point is included and encrypted.

도 5 및 6은 다른 실시 예에 따른 차량의 복수의 카메라로부터 획득된 영상처리방법을 설명하기 위한 예시 도들이다.5 and 6 are exemplary views for explaining an image processing method obtained from a plurality of cameras of a vehicle according to another embodiment.

도 5를 참조하면, 도 4에 도시된 5대의 카메라(1 내지 5)로부터 촬영된 영상이 도시되어 있다. 각각의 카메라는 30fps(frame per second)으로 촬영되고, 카메라의 영상순서는 -X로 표시되어 있다. 시간 0은 시스템에서 녹화가 가능한 시점을 의미한다. 또한, 시간 0 이후에 모든 카메라로부터 촬영된 영상이 프로세서에 전달되는 시점은 0 내지 66.6ms라고 가정한다.Referring to FIG. 5 , images captured by the five cameras 1 to 5 shown in FIG. 4 are shown. Each camera is photographed at 30 fps (frame per second), and the image order of the cameras is indicated by -X. Time 0 means a point in time when recording is possible in the system. Also, it is assumed that the time point at which images captured from all cameras are transmitted to the processor after time 0 is 0 to 66.6 ms.

카메라(1)에서 촬영된 영상이 1*3, 1*4, 1*5로 순차적으로 입력되고, 카메라(2) 내지 카메라(5)에서 촬영된 영상들도 순차적으로 입력된다.The images captured by the camera 1 are sequentially input as 1*3, 1*4, and 1*5, and images captured by the cameras 2 to 5 are also sequentially input.

기준시간 0에서, 카메라(1)에서 촬영된 3번 영상, 카메라(3)에서 촬영된 3번 영상, 카메라(2)에서 촬영된 3번 영상, 카메라(5)에서 촬영된 3번 영상, 카메라(4)에서 촬영된 4번 영상이 입력된다. 5대의 카메라에서 촬영된 영상은 모두 66.6ms 안에 처리된다.At reference time 0, the 3rd image taken by the camera 1, the 3rd image taken by the camera 3, the 3rd image taken by the camera 2, the 3rd image taken by the camera 5, the camera The 4th image taken in (4) is input. All images captured by 5 cameras are processed within 66.6ms.

도 6을 참조하면, 암호화처리블록은 BLOCK #N 내지 BLOCK #N+5로 도시되어 있다.Referring to FIG. 6, encryption processing blocks are shown as BLOCK #N to BLOCK #N+5.

먼저, BLOCK #N은 차량 고유번호 해시와, 카메라(1)의 영상번호(3, 3번째 프레임), 3번째 프레임의 영상 데이터를 암호화한다.First, BLOCK #N encrypts the vehicle identification number hash, the image number (3rd, 3rd frame) of the camera 1, and the image data of the 3rd frame.

다음, BLOCK #N+1은 도 5에 도시된 것처럼, 두번째 입력된 카메라(3)에서 촬영된 3번 영상을 암호화한다. 즉, 카메라(3)에서 촬영된 3번째 영상의 특징점, 이전 블록, 즉 BLOCK #N의 해시(즉, 카메라(1)의 3번째 프레임의 영상 데이터로부터 추출된 특징점일 수 있음), 카메라(3)의 영상번호(3), 카메라(3)에서 촬영된 3번재 프레임의 영상 데이터를 암호화한다. 여기서, 암호화키는 카메라(1)의 3번째 프레임의 영상 데이터로부터 추출된 특징점을 이용할 수 있다. 여기서,암호화 키 방식을 설명하였지만, 이에 한정되지 않고, 워터마크로서 삽입할 수 있음은 물론이다.Next, BLOCK #N+1 encrypts the third image captured by the second input camera 3 as shown in FIG. 5 . That is, the feature point of the third image captured by the camera 3, the hash of the previous block, that is, BLOCK #N (that is, it may be a feature point extracted from the image data of the third frame of the camera 1), the camera 3 ) of the image number (3), and the image data of the third frame captured by the camera (3) are encrypted. Here, the encryption key may use a feature point extracted from the image data of the third frame of the camera 1 . Here, the encryption key method has been described, but the present invention is not limited thereto, and it goes without saying that it can be inserted as a watermark.

다음, BLOCK #N+2는 도 5에 도시된 것처럼, 세번째 입력된 카메라(2)에서 촬영된 3번 영상을 암호화한다. 즉, 카메라(2)에서 촬영된 3번째 영상의 특징점, 이전 블록, 즉 BLOCK #N+1의 해시(즉, 카메라(3)의 3번째 프레임의 영상 데이터로부터 추출된 특징점일 수 있음), 카메라(2)의 영상번호(3), 카메라(2)에서 촬영된 3번재 프레임의 영상 데이터를 암호화한다. d여기서, 암호화키는 BLOCK #N+1의 해시를 이용한다.Next, BLOCK #N+2 encrypts the third image captured by the third input camera 2 as shown in FIG. 5 . That is, the feature point of the third image captured by the camera 2, the hash of the previous block, that is, BLOCK #N+1 (that is, it may be a feature point extracted from the image data of the third frame of the camera 3), the camera The video number (3) of (2) and the video data of the third frame captured by the camera (2) are encrypted. d Here, the encryption key uses the hash of BLOCK #N+1.

BLOCK #N+3 내지 BLOCK #N+5에서도, 전술한 방식과 동일하게, 이전 블록의 해시(즉, 다른 카메라에서 촬영된 영상 데이터의 특징점)를 이용함으로써, 특정 카메라의 영상의 위변조 내지 조작을 용이하게 확인할 수 있다.In BLOCK #N+3 to BLOCK #N+5, in the same manner as described above, by using the hash of the previous block (that is, the feature points of image data captured by another camera), forgery or manipulation of the image of a specific camera is prevented. can be checked easily.

실시 예에서, 전술한 암호화 방법을 통해 암호화된 영상을 복호화하여, 각각의 영상에 포함된 타임스탬프 및 시간에 따른 영상 변화, 즉 처리블록에 입력된 영상 순서와 각각의 카메라에서 촬영된 영상 순서를 기초로 촬영된 영상의 조작유무를 용이하게 검증 내지 판단할 수 있다.In an embodiment, by decrypting an image encrypted through the above-described encryption method, a timestamp included in each image and image change according to time, that is, the order of images input to the processing block and the order of images captured by each camera It is possible to easily verify or determine whether the image taken based on the manipulation has been performed.

도 8은 차량의 복수의 카메라로부터 획득된 영상처리방법을 설명하기 위한 흐름 도이다.8 is a flowchart for explaining an image processing method obtained from a plurality of cameras of a vehicle.

도 8을 참조하면, 단계 800에서, 차량 단말과 연동된 복수의 카메라로부터 각각의 타임 스탬프가 포함된 영상들을 획득한다.Referring to FIG. 8 , in step 800 , images including respective time stamps are obtained from a plurality of cameras linked to a vehicle terminal.

단계 702에서, 각각의 영상의 특징점을 추출한다.In step 702, feature points of each image are extracted.

단계 704에서, 제1 카메라로부터 획득된 제1 영상의 제1 특징점을 이용하여 제2 카메라로부터 획득된 제2 영상을 암호화한다.In step 704, the second image acquired from the second camera is encrypted using the first feature points of the first image acquired from the first camera.

단계 706에서, 제2 카메라로부터 획득된 제2 영상의 제2 특징점을 이용하여 제1 카메라로부터 획득된 제1 영상을 암호화한다.In step 706, the first image acquired from the first camera is encrypted using the second feature point of the second image acquired from the second camera.

일 실시 예에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독 가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다. A device according to an embodiment includes a processor, a memory for storing and executing program data, a permanent storage such as a disk drive, a communication port for communicating with an external device, a user such as a touch panel, a key, a button, etc. It may include an interface device and the like. Methods implemented as software modules or algorithms may be stored on a computer-readable recording medium as computer-readable codes or program instructions executable on the processor. Here, the computer-readable recording medium includes a magnetic storage medium (eg, read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and an optically readable medium (eg, CD-ROM). ) and DVD (Digital Versatile Disc)). The computer-readable recording medium may be distributed among network-connected computer systems, so that the computer-readable code may be stored and executed in a distributed manner. The medium may be readable by a computer, stored in a memory, and executed on a processor.

도면에 도시된 실시 예들에서 참조 부호를 기재하였으며, 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 실시 예는 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다. Reference signs have been described in the embodiments shown in the drawings, and specific terms are used to describe the embodiments, but the present invention is not limited by the specific terms, and the embodiments are all configurations commonly conceivable by those skilled in the art. It may contain elements.

실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.An embodiment may be represented by functional block configurations and various processing steps. These functional blocks may be implemented in any number of hardware and/or software configurations that perform specific functions. For example, an embodiment may be an integrated circuit configuration, such as memory, processing, logic, look-up table, etc., capable of executing various functions by the control of one or more microprocessors or other control devices. can be hired Similar to how the components of the present invention may be implemented as software programming or software components, embodiments may include various algorithms implemented as data structures, processes, routines, or combinations of other programming constructs, including C, C++ , Java, assembler, etc. may be implemented in a programming or scripting language. Functional aspects may be implemented in an algorithm running on one or more processors. In addition, the embodiment may employ the prior art for electronic environment setting, signal processing, and/or data processing, and the like. Terms such as “mechanism”, “element”, “means” and “configuration” may be used broadly and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in association with a processor or the like.

실시 예에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 실시 예의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific implementations described in the embodiment are only embodiments, and do not limit the scope of the embodiment in any way. For brevity of the specification, descriptions of conventional electronic components, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection or connection members of lines between the components shown in the drawings illustratively represent functional connections and/or physical or circuit connections, and in an actual device, various functional connections, physical connections that are replaceable or additional may be referred to as connections, or circuit connections. In addition, unless there is a specific reference such as "essential" or "importantly", it may not be a necessary component for the application of the present invention.

실시 예의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 실시 예에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 실시 예에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 실시 예들이 한정되는 것은 아니다. 실시 예에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 실시 예를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 실시 예의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.In the specification of embodiments (especially in the claims), the use of the term “the” and similar referential terms may correspond to both the singular and the plural. In addition, when a range is described in the embodiment, it includes the invention to which individual values belonging to the range are applied (unless there is a description to the contrary), and each individual value constituting the range is described in the detailed description. . Finally, the steps constituting the method according to the embodiment may be performed in an appropriate order unless the order is explicitly stated or there is no description to the contrary. The embodiments are not necessarily limited according to the order of description of the above steps. The use of all examples or exemplary terms (eg, etc.) in the embodiment is merely for describing the embodiment in detail, and unless it is limited by the claims, the scope of the embodiment is limited by the examples or exemplary terminology. it is not In addition, those skilled in the art will recognize that various modifications, combinations, and changes can be made in accordance with design conditions and factors within the scope of the appended claims or their equivalents.

Claims (13)

차량 단말과 연동된 복수의 카메라로부터 각각의 타임 스탬프가 포함된 영상들을 획득하는 단계;
각각의 영상의 특징점을 추출하는 단계; 및
제1 카메라로부터 획득된 제1 영상의 제1 특징점을 이용하여 제2 카메라로부터 획득된 제2 영상을 암호화하고, 상기 제2 카메라로부터 획득된 제2 영상의 제2 특징점을 이용하여 상기 제1 카메라로부터 획득된 제1 영상을 암호화하는 단계를 포함하는 차량의 복수의 카메라로부터 획득된 영상을 처리하는 방법.
acquiring images including time stamps from a plurality of cameras linked to a vehicle terminal;
extracting feature points of each image; and
Encrypting a second image obtained from a second camera using a first feature point of a first image obtained from the first camera, and using a second feature point of a second image obtained from the second camera, the first camera A method of processing images obtained from a plurality of cameras of a vehicle, comprising the step of encrypting a first image obtained from
제 1 항에 있어서,
상기 차량 단말은 블랙박스인 것을 특징으로 하는 차량의 복수의 카메라로부터 획득된 영상을 처리하는 방법.
The method of claim 1,
The vehicle terminal is a method of processing images obtained from a plurality of cameras of the vehicle, characterized in that the black box.
제 1 항에 있어서,
상기 암호화 단계는,
소정의 기준시간을 기초로 상기 제1 영상에 상응하는 영상프레임 번호, 상기영상프레임 번호에 상응하는 제1 영상 데이터, 상기 제1 영상으로부터 추출된 제1 특징점 및 상기 제2 영상으로부터 추출된 제2 특징점을 기초로 생성된 해시 데이터를 포함하는 제1 처리 블록에서 수행되는 것을 특징으로 하는 차량의 복수의 카메라로부터 획득된 영상을 처리하는 방법.
The method of claim 1,
The encryption step is
Based on a predetermined reference time, an image frame number corresponding to the first image, first image data corresponding to the image frame number, a first feature point extracted from the first image, and a second image extracted from the second image A method of processing images obtained from a plurality of cameras of a vehicle, characterized in that it is performed in a first processing block including hash data generated based on the feature points.
제 3 항에 있어서,
상기 암호화 단계는,
상기 소정의 기준시간을 기초로 상기 제1 영상 다음에 입력된 제2 영상에 상응하는 영상프레임 번호, 상기 영상프레임 번호에 상응하는 제2 영상 데이터, 상기 영상 데이터로부터 추출된 제1 특징점 및 상기 제2 영상으로부터 추출된 제2 특징점을 기초로 생성된 해시 데이터를 포함하는 제2 처리 블록에서 수행되는 것을 특징으로 하는 차량의 복수의 카메라로부터 획득된 영상을 처리하는 방법.
4. The method of claim 3,
The encryption step is
Based on the predetermined reference time, an image frame number corresponding to a second image input after the first image, second image data corresponding to the image frame number, a first feature point extracted from the image data, and the first image data 2 A method of processing images obtained from a plurality of cameras of a vehicle, characterized in that the second processing block includes hash data generated based on the second feature points extracted from the images.
제 4 항에 있어서,
상기 제1 처리 블록 및 상기 제2 처리 블록 각각은,
상기 복수의 카메라로부터 획득된 영상이 입력된 순서대로 암호화 처리를 수행하는 것을 특징으로 하는 차량의 복수의 카메라로부터 획득된 영상을 처리하는 방법.
5. The method of claim 4,
Each of the first processing block and the second processing block,
The method of processing images acquired from a plurality of cameras of a vehicle, characterized in that the encryption processing is performed in the order in which the images acquired from the plurality of cameras are input.
제 1 항 내지 제 5 항 중 어느 한 항에 따른 방법으로 암호화된 영상을 검증하는 방법으로서,
상기 검증 방법은,
상기 제1 및 제2 특징점을 이용하여 상기 암호화된 영상을 복호화하고,
상기 각각의 영상에 포함된 타임스탬프 및 시간에 따른 영상 변화를 기초로 촬영된 영상의 조작유무를 판단하는 것을 특징으로 하는 검증 방법.
A method of verifying an image encrypted by the method according to any one of claims 1 to 5, comprising:
The verification method is
Decrypting the encrypted image using the first and second feature points,
A verification method, characterized in that it is determined whether or not the captured image is manipulated based on a timestamp included in each image and an image change according to time.
제 1 항 내지 제 5 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.A recording medium recording a program for executing the method according to any one of claims 1 to 5 in a computer. 차량 단말과 연동된 복수의 카메라; 및
프로세서를 포함하고,
상기 프로세서는,
상기 복수의 카메라차량 단말과 연동된 복수의 카메라로부터 각각의 타임 스탬프가 포함된 영상들을 획득하고, 각각의 영상의 특징점을 추출하고, 제1 카메라로부터 획득된 제1 영상의 제1 특징점을 이용하여 제2 카메라로부터 획득된 제2 영상을 암호화하고, 상기 제2 카메라로부터 획득된 제2 영상의 제2 특징점을 이용하여 상기 제1 카메라로부터 획득된 제1 영상을 암호화하는 차량의 복수의 카메라로부터 획득된 영상을 처리하는 장치.
a plurality of cameras interlocked with the vehicle terminal; and
including a processor;
The processor is
Obtaining images including respective time stamps from a plurality of cameras linked with the plurality of camera vehicle terminals, extracting feature points of each image, and using the first feature points of the first image obtained from the first camera Obtaining from a plurality of cameras of a vehicle that encrypts a second image obtained from a second camera and encrypts a first image obtained from the first camera using a second feature point of the second image obtained from the second camera A device that processes the image.
제 8 항에 있어서,
상기 차량 단말은 블랙박스인 것을 특징으로 하는 차량의 복수의 카메라로부터 획득된 영상을 처리하는 방법.
9. The method of claim 8,
The vehicle terminal is a method of processing images obtained from a plurality of cameras of the vehicle, characterized in that the black box.
제 8 항에 있어서,
상기 프로세서는,
소정의 기준시간을 기초로 상기 제1 영상에 상응하는 영상프레임 번호, 상기영상프레임 번호에 상응하는 제1 영상 데이터, 상기 제1 영상으로부터 추출된 제1 특징점 및 상기 제2 영상으로부터 추출된 제2 특징점을 기초로 생성된 해시 데이터를 포함하는 제1 처리 블록에서 수행되는 것을 특징으로 하는 차량의 복수의 카메라로부터 획득된 영상을 처리하는 장치.
9. The method of claim 8,
The processor is
Based on a predetermined reference time, an image frame number corresponding to the first image, first image data corresponding to the image frame number, a first feature point extracted from the first image, and a second image extracted from the second image An apparatus for processing images obtained from a plurality of cameras of a vehicle, characterized in that it is performed in a first processing block including hash data generated based on the feature point.
제 10 항에 있어서,
상기 프로세서는,
상기 소정의 기준시간을 기초로 상기 제1 영상 다음에 입력된 제2 영상에 상응하는 영상프레임 번호, 상기 영상프레임 번호에 상응하는 제2 영상 데이터, 상기 영상 데이터로부터 추출된 제1 특징점 및 상기 제2 영상으로부터 추출된 제2 특징점을 기초로 생성된 해시 데이터를 포함하는 제2 처리 블록에서 수행되는 것을 특징으로 하는 차량의 복수의 카메라로부터 획득된 영상을 처리하는 장치.
11. The method of claim 10,
The processor is
Based on the predetermined reference time, an image frame number corresponding to a second image input after the first image, second image data corresponding to the image frame number, a first feature point extracted from the image data, and the first image data 2 An apparatus for processing images obtained from a plurality of cameras of a vehicle, characterized in that the second processing block is performed in a second processing block including hash data generated based on second feature points extracted from the images.
제 11 항에 있어서,
상기 제1 처리 블록 및 상기 제2 처리 블록 각각은,
상기 복수의 카메라로부터 획득된 영상이 입력된 순서대로 암호화 처리를 수행하는 것을 특징으로 하는 차량의 복수의 카메라로부터 획득된 영상을 처리하는 장치.
12. The method of claim 11,
Each of the first processing block and the second processing block,
An apparatus for processing images acquired from a plurality of cameras of a vehicle, characterized in that encryption processing is performed in the order in which the images acquired from the plurality of cameras are input.
제 8 항 내지 제 12 항 중 어느 한 항에 따른 장치를 통해 암호화된 영상을 검증하는 장치로서,
상기 검증 장치는,
상기 제1 및 제2 특징점을 이용하여 상기 암호화된 영상을 복호화하고,
상기 각각의 영상에 포함된 타임스탬프 및 시간에 따른 영상 변화를 기초로 촬영된 영상의 조작유무를 판단하는 것을 특징으로 하는 검증 장치.

13. An apparatus for verifying an encrypted image through the apparatus according to any one of claims 8 to 12, comprising:
The verification device is
Decrypting the encrypted image using the first and second feature points,
Verification apparatus, characterized in that it is determined whether the captured image is manipulated based on a timestamp included in each image and an image change according to time.

KR1020200110594A 2020-08-31 2020-08-31 Method and apparatus for processing a plurality of images obtained from vehicle 's cameras KR102389728B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200110594A KR102389728B1 (en) 2020-08-31 2020-08-31 Method and apparatus for processing a plurality of images obtained from vehicle 's cameras

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200110594A KR102389728B1 (en) 2020-08-31 2020-08-31 Method and apparatus for processing a plurality of images obtained from vehicle 's cameras

Publications (2)

Publication Number Publication Date
KR20220028940A true KR20220028940A (en) 2022-03-08
KR102389728B1 KR102389728B1 (en) 2022-04-25

Family

ID=80813039

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200110594A KR102389728B1 (en) 2020-08-31 2020-08-31 Method and apparatus for processing a plurality of images obtained from vehicle 's cameras

Country Status (1)

Country Link
KR (1) KR102389728B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540637B1 (en) * 2022-10-27 2023-06-13 주식회사 모빌테크 Method for synchronize multiple sensor, and computer program recorded on record-medium for executing method therefor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060019368A (en) * 2004-08-27 2006-03-03 국방과학연구소 Video conference method using encryption
KR20080053236A (en) * 2006-12-08 2008-06-12 가부시키가이샤 히타치 디스프레이즈 Display device and display system
KR20190004239A (en) * 2017-07-03 2019-01-11 주식회사 케이티 Method, Electronic Apparatus and System for Creating of Black Box Data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060019368A (en) * 2004-08-27 2006-03-03 국방과학연구소 Video conference method using encryption
KR20080053236A (en) * 2006-12-08 2008-06-12 가부시키가이샤 히타치 디스프레이즈 Display device and display system
KR20190004239A (en) * 2017-07-03 2019-01-11 주식회사 케이티 Method, Electronic Apparatus and System for Creating of Black Box Data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540637B1 (en) * 2022-10-27 2023-06-13 주식회사 모빌테크 Method for synchronize multiple sensor, and computer program recorded on record-medium for executing method therefor

Also Published As

Publication number Publication date
KR102389728B1 (en) 2022-04-25

Similar Documents

Publication Publication Date Title
CN107914713B (en) Display device for vehicle and vehicle including same
CN109843676B (en) Automatic parking assist device and vehicle comprising same
EP3184365B1 (en) Display device for vehicle and control method thereof
CN109789778B (en) Automatic parking assist device and vehicle comprising same
EP3211616A2 (en) Driver assistance apparatus
JP7242531B2 (en) Around view providing device
EP2955915A1 (en) Around view provision apparatus and vehicle including the same
US9592764B2 (en) Redundant object detection for driver assistance systems
KR20180080939A (en) Driving assistance apparatus and vehicle having the same
WO2022005478A1 (en) Systems and methods for detecting projection attacks on object identification systems
KR102389728B1 (en) Method and apparatus for processing a plurality of images obtained from vehicle 's cameras
KR102094405B1 (en) Method and apparatus for determining an accident using an image
KR102331882B1 (en) Method and apparatus for controlling an vehicle based on voice recognition
KR20200082457A (en) Method and apparatus for controlling an alarm output of ADAS
KR20190090138A (en) Method for checking operation of winker and apparatus thereof
KR102559534B1 (en) Method and apparatus for supporting driving lines of vehicle in bad weather
KR102244026B1 (en) Image processing apparatus and image processing method
KR102244027B1 (en) Vehicle information sharing system comprising vehicle terminal and server
KR20230046799A (en) Method and apparatus for displaying an image on handle display of vehicle
KR102541416B1 (en) Method and apparatus for displaying a HUD image based on realtime traffic information
KR102124998B1 (en) Method and apparatus for correcting a position of ADAS camera during driving
KR20220028939A (en) Method and apparatus for recoding an image using sound detection
KR102296213B1 (en) Video recording apparatus and operating method thereof
KR102175793B1 (en) Method and apparatus for outputting an alarm for congitive impairment of driver
KR102217973B1 (en) Lane guide apparatus and method for guiding lane

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant