KR102417902B1 - 영상 처리 장치 및 그의 영상 압축 방법 - Google Patents

영상 처리 장치 및 그의 영상 압축 방법 Download PDF

Info

Publication number
KR102417902B1
KR102417902B1 KR1020170161503A KR20170161503A KR102417902B1 KR 102417902 B1 KR102417902 B1 KR 102417902B1 KR 1020170161503 A KR1020170161503 A KR 1020170161503A KR 20170161503 A KR20170161503 A KR 20170161503A KR 102417902 B1 KR102417902 B1 KR 102417902B1
Authority
KR
South Korea
Prior art keywords
image
pixel
vehicle
pixel importance
view
Prior art date
Application number
KR1020170161503A
Other languages
English (en)
Other versions
KR20190062876A (ko
Inventor
성갑제
이중렬
이대호
김경원
서덕영
Original Assignee
현대자동차주식회사
기아 주식회사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사, 경희대학교 산학협력단 filed Critical 현대자동차주식회사
Priority to KR1020170161503A priority Critical patent/KR102417902B1/ko
Publication of KR20190062876A publication Critical patent/KR20190062876A/ko
Application granted granted Critical
Publication of KR102417902B1 publication Critical patent/KR102417902B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects

Abstract

본 발명은 영상 처리 장치 및 그의 영상 압축 방법에 관한 것으로, 차량에 장착된 적어도 하나 이상의 카메라를 통해 영상을 획득하는 영상 획득부, 상기 차량과 차량 주변의 장애물 간의 거리를 검출하는 거리 측정부, 기어 정보를 획득하는 기어 위치 센서, 조향각을 측정하는 조향각 센서, 및 상기 거리 측정부를 통해 상기 장애물의 위치를 감지하며 상기 기어 정보와 상기 조향각에 근거하여 상기 차량의 예상 궤적을 생성하고 상기 장애물의 위치와 상기 예상 궤적을 이용하여 픽셀 중요도 맵을 생성한 후 상기 픽셀 중요도 맵을 토대로 픽셀별 압축률을 조정하여 상기 영상을 압축하는 처리기를 포함한다.

Description

영상 처리 장치 및 그의 영상 압축 방법{IMAGE PROCESSING APPARATUS AND IMAGE COMPRESSION METHOD THEREOF}
본 발명은 영상 내 관심영역에 대한 해상도 품질을 저해하지 않으며 효율적으로 영상을 압축할 수 있는 영상 처리 장치 및 그의 영상 압축 방법에 관한 것이다.
최근에는 운전자의 안전한 주행을 돕기 위한 다양한 시스템들이 차량에 적용되고 있다. 자동주차 시스템, 차선유지보조 시스템 및 충돌회피 시스템 등과 같은 운전자 보조 시스템은 카메라를 통해 획득한 차량 주변의 영상을 분석하여 차량의 주변환경을 인식한다.
이러한 운전자 보조 시스템은 차량의 주행 및 주차 시 카메라를 통해 획득한 차량의 주변 영상을 기록하거나 외부기기로 전송할 수 있다. 이때, 운전자 보조 시스템은 많은 양의 영상 데이터를 저장하고 통신 부하를 줄이기 위해 영상 압축 기술을 이용하여 영상 압축을 실시한다.
종래의 영상 압축 기술은 입력 영상에서 모션 벡터를 추출하여 동적 객체를 식별하고 동적 객체의 일부 영역을 관심영역으로 설정한 후 관심영역에 대한 압축률과 동적 객체에 대한 압축률을 서로 다르도록 영상을 압축한다.
그러나, 종래의 영상 압축 기술은 차량 이동 시 획득한 원영상의 모든 영역에서 모션 벡터가 추출되므로 실제 동적 객체를 찾아내기 어려워 AVM(Around View Monitor) 및/또는 SVM(Surrounding View Monitor) 등과 같은 차량 주변 모니터링 시스템에 적용하기 어렵다. 특히, 차량 주변 모니터링 시스템이 획득한 영상에서의 관심영역은 차량 주변 및 예상 경로이기 때문에 동적 객체를 인식하여 인식된 동적 객체에 대한 압축률을 가변하는 종래의 영상 압축 기술로는 한계가 있다.
[문헌] KR 101704775 B1
본 발명은 영상 내 관심영역에 대한 해상도 품질을 저해하지 않으며 효율적으로 영상을 압축할 수 있는 영상 처리 장치 및 그의 영상 압축 방법을 제공하고자 한다.
상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 영상 처리 장치는, 차량에 장착된 적어도 하나 이상의 카메라를 통해 영상을 획득하는 영상 획득부, 상기 차량과 차량 주변의 장애물 간의 거리를 검출하는 거리 측정부, 기어 정보를 획득하는 기어 위치 센서, 조향각을 측정하는 조향각 센서, 및 상기 거리 측정부를 통해 상기 장애물의 위치를 감지하며 상기 기어 정보와 상기 조향각에 근거하여 상기 차량의 예상 궤적을 생성하고 상기 장애물의 위치와 상기 예상 궤적을 이용하여 픽셀 중요도 맵을 생성한 후 상기 픽셀 중요도 맵을 토대로 픽셀별 압축률을 조정하여 상기 영상을 압축하는 처리기를 포함하는 것을 특징으로 한다.
상기 처리기는, 상기 영상 획득부를 통해 획득한 영상을 뷰 변환하여 뷰 변환 영상을 생성하는 것을 특징으로 한다.
상기 뷰 변환 영상은, 탑 뷰 영상, 전방 뷰 영상, 후방 뷰 영상 및 사이드 뷰 영상 중 어느 하나의 영상인 것을 특징으로 한다.
상기 처리기는, 상기 픽셀별 압축률에 따라 상기 뷰 변환 영상을 압축하는 것을 특징으로 한다.
상기 픽셀 중요도 맵은, 상기 영상의 모든 픽셀 각각에 대한 픽셀 중요도를 포함하는 것을 특징으로 한다.
상기 픽셀 중요도는, 하한 픽셀 중요도부터 상한 픽셀 중요도 사이의 값인 것을 특징으로 한다.
상기 영상 처리 장치는 상기 처리기의 제어에 따라 압축 영상을 전송하며 데이터 통신 속도를 체크하는 통신부를 더 포함하는 것을 특징으로 한다.
상기 처리기는, 상기 통신부로부터 피드백받은 데이터 통신 속도에 따라 상기 하한 픽셀 중요도 및 상기 상한 픽셀 중요도를 조정하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 영상 처리 장치의 영상 압축 방법은 차량에 장착된 적어도 하나 이상의 카메라를 통해 영상을 획득하는 단계, 상기 차량의 기어 정보 및 조향각에 근거하여 예상 궤적을 생성하는 단계, 차량 주변의 장애물 위치를 산출하는 단계, 상기 예상 궤적과 상기 장애물 위치에 근거하여 픽셀 중요도 맵을 생성하는 단계, 및 상기 픽셀 중요도 맵을 토대로 픽셀별 압축률을 조정하여 상기 영상을 압축하는 단계를 포함하는 것을 특징으로 한다.
상기 영상을 획득하는 단계 이후, 상기 영상을 뷰 변환하여 탑 뷰 영상, 전방 뷰 영상, 후방 뷰 영상 및 사이드 뷰 영상 중 적어도 하나 이상의 뷰 변환 영상을 생성하는 단계를 더 포함하는 것을 특징으로 한다.
상기 영상을 압축하는 단계 이후, 압축된 영상을 통신 채널을 통해 전송하는 단계, 상기 통신 채널의 데이터 통신 속도를 체크하는 단계, 및 상기 데이터 통신 속도에 따라 상기 픽셀 중요도 맵을 조정하는 단계를 더 포함하는 것을 특징으로 한다.
상기 픽셀 중요도 맵은, 상기 영상의 모든 픽셀 각각에 대한 픽셀 중요도를 포함하는 것을 특징으로 한다.
상기 픽셀 중요도 맵을 조정하는 단계는, 상기 픽셀 중요도의 하한 픽셀 중요도와 상한 픽셀 중요도를 조정하는 것을 특징으로 한다.
상기 픽셀 중요도 맵을 조정하는 단계는, 상기 데이터 통신 속도가 이전 압축 영상 전송 시의 데이터 통신 속도에 대비하여 기준 이상의 차이가 발생하면 상기 픽셀 중요도 맵을 조정하는 것을 특징으로 한다.
상기 픽셀 중요도는, 양자화 인덱스를 결정하는데 사용되는 것을 특징으로 한다.
본 발명은 차량 상황(예상 경로 및 주변 장애물 위치 등)에 따라 영상 내 관심영역의 픽셀별 압축률을 가변하여 영상 압축을 수행하므로, 영상 내 관심영역에 대한 해상도 품질을 저해하지 않으며 효율적으로 영상을 압축할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 블록구성도.
도 2는 본 발명과 관련된 픽셀 중요도 맵을 설명하기 위한 도면.
도 3 내지 도 6은 본 발명과 관련된 차량의 상황별 픽셀 중요도 맵을 생성한 예시도.
도 7은 본 발명의 일 실시예에 따른 영상 처리 장치의 영상 압축 방법을 도시한 흐름도.
도 8은 본 발명에 따른 영상 압축을 도시한 예시도.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명은 차량에서 차량 주변 모니터링(AVM 또는 SVM) 영상을 저장하거나 또는 스마트폰 등의 외부기기로 전송하는 경우 영상 내 관심영역의 해상도 품질을 저해하지 않으며 효율적으로 영상을 압축하는 기술에 관한 것이다. 여기서, 관심 영역은 차량의 주변 및 예상 경로를 의미한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 도시한 블록구성도이다.
도 1에 도시된 바와 같이, 영상 처리 장치는 영상 획득부(110), 거리 측정부(120), 기어 위치 센서(130), 조향각 센서(140), 통신부(150), 저장부(160), 및 처리기(170)를 포함한다.
영상 획득부(110)는 차량에 장착되어 차량의 주변 영상을 획득한다. 영상 획득부(110)는 제1카메라(111), 제2카메라(112), 제3카메라(113) 및 제4카메라(114) 중 적어도 하나 이상의 카메라를 포함할 수 있다. 제1카메라(111) 내지 제4카메라(114)는 차량의 전후좌우에 각각 설치된다. 본 실시예에서는 4개의 카메라들(111 내지 114)을 통해 주변 영상을 획득하는 것을 개시하고 있으나, 이에 한정되지 않고 차량에 5개 이상의 카메라들을 설치하고 그 카메라들을 통해 주변 영상을 획득하도록 구현할 수도 있다.
카메라(111, 112, 113, 또는 114)는 CCD(charge coupled device) 이미지 센서(image sensor), CMOS(complementary metal oxide semi-conductor) 이미지 센서, CPD(charge priming device) 이미지 센서 및 CID(charge injection device) 이미지 센서 등과 같은 이미지 센서들 중 적어도 하나 이상의 이미지 센서로 구현될 수 있다. 카메라(111, 112, 113, 또는 114)는 표준 렌즈, 초광각 렌즈, 광각 렌즈, 줌 렌즈, 접사 렌즈, 망원 렌즈, 어안 렌즈 및 준어안 렌즈 등의 렌즈들 중 적어도 하나 이상의 렌즈를 구비할 수 있다. 카메라(111, 112, 113, 또는 114)는 이미지 센서를 통해 획득한 영상에 대한 노이즈(noise) 제거, 컬러재현, 화질 및 채도 조절, 및 파일 압축 등의 이미지 처리를 수행하는 이미지 처리기를 포함할 수 있다.
거리 측정부(120)는 차량과 주변 객체(차량, 장애물, 및 사람 등) 간의 거리를 측정한다. 거리 측정부(120)는 레이더(Radio Detecting And Ranging,radar)(121) 및 초음파 센서(122) 등의 거리 센서들 중 적어도 하나 이상을 포함할 수 있다.
레이더(121)는 전자기파를 주변으로 발생시키고 주변 객체에서 반사되는 전자기파를 수신하여 주변 객체와의 거리, 방향, 및 고도 등을 확인할 수 있다.
초음파 센서(122)는 초음파를 발생시켜 주변 객체를 감지하고 차량과 주변 객체 간의 거리를 측정한다.
기어 위치 센서(130)는 운전자의 조작에 따른 변속레버(selector lever)의 위치(기어 정보)를 검출한다. 변속레버의 위치는 주차(P단), 전진(D단), 중립(N단) 또는 후진(R단) 등으로 구분될 수 있다. 기어 위치 센서(130)는 차량의 주행 상태를 검출한다.
조향각 센서(140)는 차량의 조향각을 측정한다. 조향각 센서(140)는 스티어링 칼럼 스위치 클러스터(steering column switch cluster)에 설치되며 스티어링 휠(steering wheel)의 회전각을 측정한다.
본 실시예에서는 차량에 장착된 센서들을 통해 변속레버의 위치 및/또는 조향각을 센싱하는 것을 개시하고 있으나, 이에 한정되지 않고 차량에 장착된 전자제어장치로부터 변속레버의 위치(기어 정보) 및 조향각 정보를 획득하도록 구현할 수도 있다.
통신부(150)는 영상 처리 장치가 차량에 탑재된 전자제어장치(ECU: Electric Control Unit), 차량 단말기(예: 네비게이션 및 AVN 등), 및 이동단말기(예: 스마트폰, 컴퓨터, 노트북, 및 태블릿 등) 등의 기기들과 통신을 수행하게 한다. 통신부(150)는 통신 채널의 데이터 통신 속도(통신 속도)를 측정하고 그 측정한 통신 속도를 처리기(170)의 압축부(174)로 피드백한다.
통신부(150)는 차량 네트워크 및/또는 무선 네트워크 등을 이용할 수 있다. 차량 네트워크는 CAN(Controller Area Network), MOST(Media Oriented Systems Transport) 네트워크, LIN(Local Interconnect Network), 또는 X-by-Wire(Flexray) 등으로 구현된다. 무선 네트워크는 무선 인터넷(예: wi-fi), 근거리 통신(예: 블루투스, 지그비 및 적외선 통신), 및 이동 통신 등의 통신 기술 중 적어도 하나 이상으로 구현될 수 있다.
저장부(160)는 처리기(170)가 기정해진 동작을 수행하도록 프로그래밍된 소프트웨어를 저장할 수 있다. 저장부(160)는 처리기(170)의 입/출력 데이터를 임시 저장할 수도 있다. 저장부(160)는 영상 획득부(110)를 통해 획득한 영상 데이터를 저장할 수 있다.
저장부(160)는 처리기(170)의 내부 및/또는 외부에 설치될 수 있다. 저장부(160)는 플래시 메모리(flash memory), 하드디스크(hard disk), SD 카드(Secure Digital Card), 램(Random Access Memory, RAM), 롬(Read Only Memory, ROM), 및 웹 스토리지(web storage) 등의 저장매체 중 적어도 하나 이상의 저장매체로 구현될 수 있다.
처리기(170)는 영상 처리 장치의 전반적인 동작을 제어한다. 처리기(170)는 ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), PLD(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), CPU(Central Processing unit), 마이크로 컨트롤러(microcontrollers) 및 마이크로 프로세서(microprocessors) 중 적어도 하나 이상을 포함할 수 있다.
처리기(170)는 뷰 변환부(171), 장애물 감지부(172), 궤적 생성부(173) 및 압축부(174)를 포함한다.
뷰 변환부(171)는 영상 획득부(110)로부터 원영상을 입력받아 뷰 변환한다. 뷰 변환부(171)는 제1카메라(111) 내지 제4카메라(114)를 통해 획득한 영상들에 대해 뷰 변환을 수행하여 탑 뷰(top-view) 영상, 전방 뷰 영상, 후방 뷰 영상 및 사이드 뷰 영상 중 적어도 하나 이상의 뷰 변환 영상을 생성한다. 즉, 뷰 변환부(171)는 뷰 변환을 통해 제1카메라(111) 내지 제4카메라(114)를 통해 획득한 4개의 영상들을 이용하여 하나의 뷰 변환 영상을 생성한다.
장애물 감지부(172)는 영상 인식 기술을 이용하여 영상 획득부(110)를 통해 획득한 원영상 또는 뷰 변환부(171)로부터 출력되는 뷰 변환 영상을 분석하여 주변 장애물(주변 객체)의 위치를 산출한다. 또는, 장애물 감지부(172)는 거리 측정부(120)를 이용하여 주변 장애물의 위치를 산출한다. 즉, 장애물 감지부(172)는 레이더(121) 및/또는 초음파 센서(122)를 통해 차량으로부터 주변 장애물까지의 거리를 측정한다.
궤적 생성부(173)는 기어 위치 센서(130) 및 조향각 센서(140)를 통해 획득한 기어 정보 및 조향각 정보를 이용하여 차량의 예상 궤적을 생성한다.
압축부(174)는 장애물 감지부(172)로부터 제공받은 주변 장애물의 위치 정보와 궤적 생성부(173)로부터 제공받은 예상 궤적 정보를 활용하여 픽셀 중요도 맵을 생성한다. 픽셀 중요도 맵은 영상 프레임(frame)을 구성하는 각 픽셀의 중요도 S(x, y)를 포함한다. 픽셀 중요도는 하한 픽셀 중요도(하한값) Smin 내지 상한 픽셀 중요도(상한값) Smax 범위 내 값이다.
압축부(174)는 픽셀 중요도 맵을 토대로 픽셀별 압축률을 결정한다. 압축부(174)는 결정된 픽셀별 압축률에 따라 입력 영상을 압축한다. 이때, 입력 영상은 뷰 변환부(171)로부터 출력되는 뷰 변환 영상이거나 또는 영상 획득부(110)로부터 출력되는 원영상일 수 있다.
압축부(174)는 MPEG 표준에 따라 영상 압축을 수행하는 경우 픽셀 중요도를 양자화 인덱스(quantization index, Q)를 결정하는데 사용할 수 있다.
압축부(174)는 압축된 영상(영상 데이터)을 저장부(160)에 저장할 수 있다. 또한, 압축부(174)는 압축 영상을 통신부(150)를 통해 전송(송신)할 수도 있다.
압축부(174)는 압축 영상을 전송한 후 통신부(150)로부터 피드백받은 통신 속도에 근거하여 픽셀 중요도 범위를 조정한다. 압축부(174)는 통신부(150)로부터 피드백받은 통신 속도가 이전 프레임을 압축하여 전송할 때의 통신 속도와 기준(예: ±5%) 이상 차이가 발생하면 픽셀 중요도 범위를 조정한다. 여기서, 픽셀 중요도 범위가 조정됨에 따라 픽셀별 압축률도 조정된다.
압축부(174)는 피드백된 통신 속도가 이전 프레임의 통신 속도와 기준 미만으로 차이가 발생하면 이전의 픽셀별 압축률을 유지한다.
본 실시예에서는 통신부(150)가 처리기(170)의 외부에 설치되어 통신 속도를 측정하여 처리기(170)로 피드백하고 압축부(174)가 피드백받은 통신 속도에 근거하여 압축률 기준(픽셀 중요도 범위)을 조정하는 것을 개시하고 있다. 그러나, 이에 한정되지 않고, 처리기(170) 내부에 영상 데이터 전송용 통신부를 탑재하고 그 탑재한 통신부가 통신 속도에 따른 압축률 기준을 압축부(174)로 피드백하도록 구현할 수도 있다.
도 2는 본 발명과 관련된 픽셀 중요도 맵을 설명하기 위한 도면이고, 도 3 내지 도 6은 본 발명과 관련된 차량의 상황별 픽셀 중요도 맵을 생성한 예시도이다.
영상(예: 탑 뷰 영상)의 모든 픽셀은 각각의 픽셀 중요도 값(픽셀 중요도) S(x, y)을 갖는다. 픽셀 중요도 맵은 영상의 픽셀별 중요도 값들의 집합이다. 앞서 언급한 바와 같이, 픽셀 중요도 S(x, y)는 MPEG 표준에 따른 영상 압축 시 양자화 인덱스를 결정하는데 사용될 수 있다.
픽셀 중요도 S(x, y)는 하한값 Smin과 상한값 Smax 사이의 값을 갖는다. 영상 처리 장치의 처리기(170)는 통신 속도에 따라 픽셀 중요도 S(x, y)의 하한값 Smin과 상한값 Smax을 조정하여 픽셀별 압축률을 제어하여 영상 손실이 없도록 한다.
영상 처리 장치의 처리기(170)는 차량의 상황에 따라 상황별 픽셀 중요도 맵을 설정할 수 있다. 처리기(170)는 기어 정보 및 장애물 위치 정보에 근거하여 픽셀 중요도 맵을 생성(설정)한다.
도 2에 도시된 바와 같이, 차량의 변속레버가 P단에 위치하는 경우, 차량으로부터 일정 거리 미만으로 떨어진 위치(픽셀)까지의 픽셀 중요도 S(x, y)는 상한값 Smax이고, 차량으로부터 일정 거리 떨어진 위치부터 그 이상 떨어진 위치의 픽셀 중요도 S(x, y)는 점차적으로 부드럽게 상한값 Smax에서 하한값 Smin까지 작아진다.
처리기(170)는 도 3에 도시된 바와 같이 차량이 직진 주행(D단) 상태이며 조향각이 0도인 경우, 직진으로 d 만큼 이동하는 예상 궤적에 따라 픽셀 중요도 맵을 생성한다.
한편, 처리기(170)는 차량이 직진 주행 상태이며 조향각이 -30도이면 그에 따른 예상 궤적에 근거하여 픽셀 중요도 맵을 생성한다.
처리기(170)는 도 4에서와 같이 차량의 변속레버의 위치가 후진(R단)이며 조향 조작이 없는 경우, 후진으로 d만큼 이동하는 예상 궤적에 근거하여 픽셀 중요도 맵을 설정한다.
한편, 처리기(170)는 차량이 후진 기어 상태이며 조향각이 +30도인 경우 그에 따른 예상 궤적을 고려하여 픽셀 중요도 맵을 확장한다.
처리기(170)는 카메라(111 내지 114), 레이더(121) 및 초음파 센서(122) 중 적어도 하나 이상을 이용하여 차량 주변의 장애물을 감지하는 경우 장애물 위치를 고려하여 픽셀 중요도 맵을 생성한다. 이때, 장애물이 위치하는 지점(픽셀)의 픽셀 중요도 값을 크게 한다.
도 5에서와 같이 차량의 후방에 장애물이 위치하는 경우, 처리기(170)는 영상 내 해당 장애물이 위치하는 영역의 픽셀에 대한 중요도 값을 높게 설정한다.
도 6에서와 같이, 차량의 후방에 장애물이 위치하며 차량이 후진을 시도할 예정이면, 처리기(170)는 장애물 위치 및 차량의 예상 궤적을 고려하여 픽셀 중요도 맵을 생성한다.
도 7은 본 발명의 일 실시예에 따른 영상 처리 장치의 영상 압축 방법을 도시한 흐름도이다.
먼저, 처리기(170)는 영상 획득부(110)를 통해 차량 주변의 영상을 획득한다(S110). 처리기(170)는 제1카메라(111) 내지 제4카메라(114) 각각을 통해 동시에 영상을 획득한다.
처리기(170)는 획득한 영상을 뷰 변환한다(S120). 처리기(170)의 뷰 변환부(171)는 제1카메라(111) 내지 제4카메라(114)로부터 입력되는 4개의 영상 프레임들을 뷰 변환 처리를 통해 뷰 변환 영상을 생성한다. 뷰 변환부(171)는 뷰 변환을 통해 탑 뷰 영상, 전방 뷰 영상, 후방 뷰 영상 및 사이드 뷰 영상 중 적어도 하나 이상의 영상을 생성할 수 있다.
처리기(170)는 기어 정보와 조향각 정보를 이용하여 차량의 예상 궤적을 생성한다(S130). 처리기(170)는 기어 위치 센서(130)로부터 출력되는 변속레버의 위치 정보와 조향각 센서(140)에 의해 센싱된 조향각에 근거하여 차량의 예상 궤적을 생성한다.
처리기(170)는 차량 주변의 장애물 위치를 산출한다(S140). 처리기(170)는 영상 획득부(110)를 통해 획득한 영상(원영상) 또는 뷰 변환된 영상의 영상 처리를 통해 장애물의 위치를 산출한다. 또한, 처리기(170)는 레이더(121) 또는 초음파 센서(122)를 이용하여 장애물 위치를 산출할 수도 있다. 여기서, 처리기(170)는 카메라(111 내지 114)를 이용한 장애물 위치 산출 방법과 거리 센서(121 및/또는 122)를 이용한 장애물 위치 산출 방법을 통합하여 장애물 위치를 산출할 수도 있다.
처리기(170)는 예상 궤적과 장애물 위치 정보를 종합하여 뷰 변환 영상의 픽셀 중요도 맵을 생성한다(S150). 픽셀 중요도 맵은 영상 내 픽셀별 압축률을 결정하는데 사용된다.
처리기(170)는 픽셀 중요도 맵을 토대로 픽셀별 압축률을 가변하여 뷰 변환된 영상을 압축한다(S160). 처리기(170)는 픽셀별 압축률에 따라 뷰 변환된 영상을 압축한다.
처리기(170)는 압축된 영상(영상 데이터)을 통신 채널을 통해 송신한다(S170). 처리기(170)는 통신부(150)를 통해 압축 영상을 전송한다. 그리고, 처리기(170)는 통신부(150)로부터 압축 영상 전송 시 통신 속도를 피드백 받는다.
처리기(170)는 압축된 영상을 송신한 후 통신 속도를 체크하여 이전 프레임(frame) 전송 시 대비 통신 속도가 변경되었는지를 확인한다(S180). 처리기(170)는 통신부(150)로부터 피드백받은 통신 속도가 압축된 이전 영상을 전송할 때의 통신 속도에 대비하여 변경되었는지를 확인한다.
처리기(170)는 이전 영상 프레임 전송 시에 대비하여 통신 속도가 변경된 경우 픽셀 중요도 범위를 조정한다(S190). 예를 들어, 처리기(170)는 통신 속도가 기준 속도보다 낮아지면 Smax와 Smin을 낮게 조정하여 압축률이 높아지도록 하여 영상 전송에 문제가 없도록 한다. 한편, 처리기(170)는 통신 속도가 다시 높아지면 Smax와 Smin을 높게 조정하여 압축률이 낮아지도록 하여 화질이 좋아지도록 한다.
본 실시예에서 처리기(170)는 하나의 영상 프레임이 입력될 때마다 S110 내지 S190을 수행한다.
상기한 실시예에서는 영상을 뷰 변환하여 압축하는 것을 개시하고 있으나, 이에 한정되지 않으며 카메라를 통해 획득한 원영상을 뷰 변환 없이 압축하도록 구현할 수도 있다.
도 8은 본 발명에 따른 영상 압축을 도시한 예시도이다.
도 8에 도시된 바와 같이, 본 발명에서 제안한 압축 기술을 적용하여 가변 압축을 수행한 경우, 무압축 대비 데이터 크기가 많이 줄어드는 것을 확인할 수 있다.
또한, 영상 프레임의 전체 영역을 균일하게 압축했을 때와 비교하면 데이터 크기에 있어서 차이가 미비하지만 예상 경로 영역이 선명하게 보이는 효과를 보여준다. 즉, 본 발명의 압축 기술에 따른 압축 영상은 균일 압축한 압축 영상에 대비하여 데이터 크기에 있어 큰 차이가 없으나 해상도 품질이 개선되었다.
본 발명은 영상 내 관심영역의 픽셀별 압축률을 가변하여 압축하므로 데이터 용량을 줄일 수 있다. 예를 들어, 원격 자동 주차 기능이나 발렛 파킹 기능을 사용할 때 운전자가 차량 주변을 실시간으로 확인할 수 있도록 운전자의 이동단말기로 영상을 전송해 줄 수도 있다. 이때, 영상을 압축하여 전송되는 데이터 용량을 줄여 통신 부하를 줄여 줄 수 있다.
또한, 블랙박스와 같이 저장공간이 제한된 경우, 영상을 저장할 때 압축을 통해 저장 가능 시간을 늘릴 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 영상 획득부
111 내지 114: 카메라
120: 거리 측정부
121: 레이더
122: 초음파 센서
130: 기어 위치 센서
140: 조향각 센서
150: 통신부
160: 저장부
170: 처리기
171: 뷰 변환부
172: 장애물 감지부
173: 궤적 생성부
174: 압축부

Claims (17)

  1. 차량에 장착된 적어도 하나 이상의 카메라를 통해 영상을 획득하는 영상 획득부,
    상기 차량과 차량 주변의 장애물 간의 거리를 검출하는 거리 측정부,
    기어 정보를 획득하는 기어 위치 센서,
    조향각을 측정하는 조향각 센서, 및
    상기 거리 측정부를 통해 상기 장애물의 위치를 감지하며 상기 기어 정보와 상기 조향각에 근거하여 상기 차량의 예상 궤적을 생성하고 상기 장애물의 위치와 상기 예상 궤적을 이용하여 상기 영상을 압축하는 처리기를 포함하는 것을 특징으로 하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 처리기는,
    상기 장애물의 위치와 상기 예상 궤적을 이용하여 픽셀 중요도 맵을 생성한 후 상기 픽셀 중요도 맵을 토대로 픽셀별 압축률을 조정하여 상기 영상을 압축하는 것을 특징으로 하는 영상 처리 장치.
  3. 제2항에 있어서,
    상기 처리기는,
    상기 영상 획득부를 통해 획득한 영상을 뷰 변환하여 뷰 변환 영상을 생성하는 것을 특징으로 하는 영상 처리 장치.
  4. 제3항에 있어서,
    상기 뷰 변환 영상은,
    탑 뷰 영상, 전방 뷰 영상, 후방 뷰 영상 및 사이드 뷰 영상 중 어느 하나의 영상인 것을 특징으로 하는 영상 처리 장치.
  5. 제3항에 있어서,
    상기 처리기는,
    상기 픽셀별 압축률에 따라 상기 뷰 변환 영상을 압축하는 것을 특징으로 하는 영상 처리 장치.
  6. 제2항에 있어서,
    상기 픽셀 중요도 맵은,
    상기 영상의 모든 픽셀 각각에 대한 픽셀 중요도를 포함하는 것을 특징으로 하는 영상 처리 장치.
  7. 제6항에 있어서,
    상기 픽셀 중요도는,
    하한 픽셀 중요도부터 상한 픽셀 중요도 사이의 값인 것을 특징으로 하는 영상 처리 장치.
  8. 제7항에 있어서,
    상기 처리기의 제어에 따라 압축 영상을 전송하며 데이터 통신 속도를 체크하는 통신부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  9. 제8항에 있어서,
    상기 처리기는,
    상기 통신부로부터 피드백받은 데이터 통신 속도에 따라 상기 하한 픽셀 중요도 및 상기 상한 픽셀 중요도를 조정하는 것을 특징으로 하는 영상 처리 장치.
  10. 차량에 장착된 적어도 하나 이상의 카메라를 통해 영상을 획득하는 단계,
    상기 차량의 기어 정보 및 조향각에 근거하여 예상 궤적을 생성하는 단계,
    차량 주변의 장애물 위치를 산출하는 단계, 및
    상기 예상 궤적과 상기 장애물 위치에 근거하여 상기 영상을 압축하는 단계를 포함하는 것을 특징으로 하는 영상 처리 장치의 영상 압축 방법.
  11. 제10항에 있어서,
    상기 영상을 획득하는 단계 이후,
    상기 영상을 뷰 변환하여 탑 뷰 영상, 전방 뷰 영상, 후방 뷰 영상 및 사이드 뷰 영상 중 적어도 하나 이상의 뷰 변환 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 장치의 영상 압축 방법.
  12. 제10항에 있어서,
    상기 영상을 압축하는 단계는,
    상기 예상 궤적과 상기 장애물 위치에 근거하여 픽셀 중요도 맵을 생성하는 단계, 및
    상기 픽셀 중요도 맵을 토대로 픽셀별 압축률을 조정하여 상기 영상을 압축하는 단계를 포함하는 것을 특징으로 하는 영상 처리 장치의 영상 압축 방법.
  13. 제12항에 있어서,
    상기 영상을 압축하는 단계 이후,
    압축된 영상을 통신 채널을 통해 전송하는 단계,
    상기 통신 채널의 데이터 통신 속도를 체크하는 단계, 및
    상기 데이터 통신 속도에 따라 상기 픽셀 중요도 맵을 조정하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 장치의 영상 압축 방법.
  14. 제13항에 있어서,
    상기 픽셀 중요도 맵은,
    상기 영상의 모든 픽셀 각각에 대한 픽셀 중요도를 포함하는 것을 특징으로 하는 영상 처리 장치의 영상 압축 방법.
  15. 제14항에 있어서,
    상기 픽셀 중요도 맵을 조정하는 단계는,
    상기 픽셀 중요도의 하한 픽셀 중요도와 상한 픽셀 중요도를 조정하는 것을 특징으로 하는 영상 처리 장치의 영상 압축 방법.
  16. 제14항에 있어서,
    상기 픽셀 중요도 맵을 조정하는 단계는,
    상기 데이터 통신 속도가 이전 압축 영상 전송 시의 데이터 통신 속도에 대비하여 기준 이상의 차이가 발생하면 상기 픽셀 중요도 맵을 조정하는 것을 특징으로 하는 영상 처리 장치의 영상 압축 방법.
  17. 제14항에 있어서,
    상기 픽셀 중요도는,
    양자화 인덱스를 결정하는데 사용되는 것을 특징으로 하는 영상 처리 장치의 영상 압축 방법.
KR1020170161503A 2017-11-29 2017-11-29 영상 처리 장치 및 그의 영상 압축 방법 KR102417902B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170161503A KR102417902B1 (ko) 2017-11-29 2017-11-29 영상 처리 장치 및 그의 영상 압축 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170161503A KR102417902B1 (ko) 2017-11-29 2017-11-29 영상 처리 장치 및 그의 영상 압축 방법

Publications (2)

Publication Number Publication Date
KR20190062876A KR20190062876A (ko) 2019-06-07
KR102417902B1 true KR102417902B1 (ko) 2022-07-07

Family

ID=66849619

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170161503A KR102417902B1 (ko) 2017-11-29 2017-11-29 영상 처리 장치 및 그의 영상 압축 방법

Country Status (1)

Country Link
KR (1) KR102417902B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220011825A (ko) 2020-07-21 2022-02-03 현대자동차주식회사 차량 및 그 제어방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101382798B1 (ko) 2012-11-09 2014-04-08 현대자동차주식회사 차량의 카메라를 이용한 지도 생성 장치 및 방법
KR101704775B1 (ko) 2016-02-03 2017-02-08 (주)비상정보통신 다중해상도 영상 처리 장치 및 영상 처리 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130056943A (ko) * 2011-11-23 2013-05-31 인포뱅크 주식회사 차량용 정보처리 장치와 이를 위한 기록매체
KR102300651B1 (ko) * 2014-12-18 2021-09-10 현대모비스 주식회사 차량 및 그 제어 방법
KR101824982B1 (ko) * 2015-10-07 2018-02-02 엘지전자 주식회사 차량 및 그 제어방법
KR102457264B1 (ko) * 2016-05-02 2022-10-20 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101382798B1 (ko) 2012-11-09 2014-04-08 현대자동차주식회사 차량의 카메라를 이용한 지도 생성 장치 및 방법
KR101704775B1 (ko) 2016-02-03 2017-02-08 (주)비상정보통신 다중해상도 영상 처리 장치 및 영상 처리 방법

Also Published As

Publication number Publication date
KR20190062876A (ko) 2019-06-07

Similar Documents

Publication Publication Date Title
JP6937443B2 (ja) 撮像装置及び撮像装置の制御方法
CN107807632B (zh) 从融合的传感器数据感知道路状况
US20160162743A1 (en) Vehicle vision system with situational fusion of sensor data
US9747524B2 (en) Disparity value deriving device, equipment control system, movable apparatus, and robot
US9813694B2 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value deriving method
JP6789010B2 (ja) 走行支援装置、走行支援方法、撮像装置、及び車両
US11427195B1 (en) Automatic collision detection, warning, avoidance and prevention in parked cars
CN111034182B (zh) 图像处理装置
US20200324781A1 (en) Systems and methods for estimating velocity of an autonomous vehicle and state information of a surrounding vehicle
CN114868148A (zh) 信息处理装置、信息处理系统、信息处理程序及信息处理方法
KR102417902B1 (ko) 영상 처리 장치 및 그의 영상 압축 방법
Chan et al. The data conundrum: compression of automotive imaging data and deep neural network based perception
CN111034195A (zh) 图像处理装置
US11325588B2 (en) Vehicle control system and vehicle control method
KR102164702B1 (ko) 자동 주차 장치 및 자동 주차 방법
CN113119993A (zh) 车辆及其控制方法
KR20130053605A (ko) 차량의 주변영상 표시 장치 및 그 방법
CN113071498B (zh) 车辆控制方法、装置、系统、计算机设备及存储介质
WO2017212722A1 (ja) 制御装置及び制御方法
EP2642759B1 (en) Multi-lens camera system
US10701369B2 (en) Data transfer circuit and data transfer method
CN113126072A (zh) 深度相机及控制方法
US10951811B2 (en) Control device, control method, and program
CN113661700A (zh) 成像装置与成像方法
KR102327734B1 (ko) 차량용 카메라 시스템 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right