KR102600203B1 - 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법 - Google Patents

영상 처리 장치, 그를 가지는 차량 및 그 제어 방법 Download PDF

Info

Publication number
KR102600203B1
KR102600203B1 KR1020180105292A KR20180105292A KR102600203B1 KR 102600203 B1 KR102600203 B1 KR 102600203B1 KR 1020180105292 A KR1020180105292 A KR 1020180105292A KR 20180105292 A KR20180105292 A KR 20180105292A KR 102600203 B1 KR102600203 B1 KR 102600203B1
Authority
KR
South Korea
Prior art keywords
image
stored
storage unit
information
vehicle
Prior art date
Application number
KR1020180105292A
Other languages
English (en)
Other versions
KR20200027235A (ko
Inventor
박대선
최영록
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180105292A priority Critical patent/KR102600203B1/ko
Publication of KR20200027235A publication Critical patent/KR20200027235A/ko
Application granted granted Critical
Publication of KR102600203B1 publication Critical patent/KR102600203B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명의 차량은 주변의 영상을 획득하고, 획득된 영상을 저장부에 저장하고, 획득된 영상에서 물체를 인식하고, 인식된 물체의 정보를 획득하고, 획득된 물체의 정보를 저장부에 저장하고, 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하면 저장부에 저장된 영상의 스냅샷을 획득하여 획득된 스냅샷을 외부의 디바이스에 전송하고, 저장된 영상을 저장된 영상의 화질보다 낮은 화질로 변경하고, 저장부에 저장된 영상을 삭제하고, 변경된 화질의 영상을 저장부에 저장한다.

Description

영상 처리 장치, 그를 가지는 차량 및 그 제어 방법 {Video processor, Vehicle having the video processor and method for controlling the vehicle}
본 발명은 외부의 영상을 획득하고 획득된 영상을 저장하기 위한 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법에 관한 것이다.
차량은 사람 또는 화물을 운송할 목적으로 차륜을 구동시켜 주행하는 기계로, 도로 위를 이동한다.
이러한 차량은 기본적인 주행 기능 외에도 라디오 기능, 오디오 기능, 비디오 기능, 길 안내 기능(내비게이션 기능), 공조 기능, 시트 열선 기능, 외부 촬영 기능(블랙박스 기능, 후방 인식 기능), 외부의 사용자용 단말기와의 통신 기능 등 사용자 편의를 위한 부가적인 기능을 더 수행한다.
또한 차량은 외부의 서버 또는 사용자용 단말기와의 통신을 통해 컨텐츠 재생 기능, 인터넷 검색 기능, 통화 기능, 및 위치 검색 기능 등을 수행하고, 외부의 서버 또는 방송국에서 송신되는 교통 정보, 뉴스 등의 각종 정보나 음악 등을 출력한다.
또한 차량은 사용자가 인식하기 쉽도록 수행 중인 기능의 각종 정보를 영상으로 표시한다.
일 측면은 외부의 영상을 저장하고 영상이 저장된 시간에 기초하여 저장된 영상의 스냅샷을 획득하고, 획득된 스냅샷을 외부의 디바이스에 전송하고, 저장된 영상의 화질을 낮추어 저장하는 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법을 제공한다.
다른 측면은 화질이 낮은 영상을 재생할 때 외부 디바이스로부터 스냅샷을 수신하고 수신된 스냅샷을 이용하여 화질이 높아진 영상을 표시하도록 하는 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법을 제공한다.
또 다른 측면은 복수 개의 방향에서 획득된 영상 내에서 물체를 인식하고 인식된 물체와 인식된 물체의 정보를 탑뷰 영상으로 출력하도록 하는 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법을 제공한다.
일 측면에 따른 영상 처리 장치는 적어도 하나의 영상획득부의 영상이 수신되면 수신된 영상을 저장부에 저장하도록 하고, 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하면 저장부에 저장된 영상을 저장된 영상의 화질보다 낮은 화질로 변경하고 저장부에 저장된 영상을 삭제하고 변경된 화질의 영상을 저장부에 저장하도록 하는 제어부를 포함한다.
영상 처리 장치는 외부의 디바이스와 통신을 수행하는 통신부를 더 포함하고, 제어부는 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하면 저장부에 저장된 영상의 스냅샷을 획득하고 획득된 스냅샷을 외부의 디바이스에 전송하도록 통신부를 제어한다.
영상 처리 장치의 제어부는, 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과한 시점에 영상 재생 명령이 수신되면 외부의 디바이스에 스냅샷의 제공을 요청하고 스냅샷이 수신되면 저장부에 저장된 영상과 스냅샷을 이용하여 저장부에 저장된 영상의 화질을 복원시킨다.
영상 처리 장치의 제어부는, 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하기 전에 영상 재생 명령이 수신되면 저장부에 저장된 영상이 재생되도록 저장부에 저장된 영상을 표시부에 전송하도록 한다.
미리 설정된 시간은, 제1시간과 제2시간을 포함하고, 제어부는 저장부에 영상을 저장한 시점으로부터 제1시간이 경과하면 저장부에 저장된 영상의 화질을 제1레벨의 화질로 감소시키고, 저장부에 영상을 저장한 시점으로부터 제2시간이 경과하면 저장부에 저장된 영상의 화질을 제2레벨의 화질로 감소시킨다.
영상 처리 장치의 제어부는, 수신된 영상에서 물체를 인식하고 인식된 물체의 정보를 획득하고, 획득된 물체의 정보를 저장부에 저장하도록 한다.
영상 처리 장치의 제어부는, 영상 재생 명령이 수신되면 저장부에 저장된 영상과 저장된 물체의 정보를 출력하도록 한다.
다른 측면에 따른 차량은 주변의 영상을 획득하는 영상획득부; 저장부; 및 영상획득부의 영상이 수신되면 수신된 영상을 저장부에 저장하고, 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하면 저장된 영상을 저장된 영상의 화질보다 낮은 화질로 변경하고 저장부에 저장된 영상을 삭제하고 변경된 화질의 영상을 저장부에 저장하는 영상 처리 장치를 포함한다.
차량은 외부의 디바이스와 통신을 수행하는 통신부를 더 포함하고, 영상 처리 장치는 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하면 저장부에 저장된 영상의 스냅샷을 획득하고 획득된 스냅샷을 외부의 디바이스에 전송하도록 한다.
차량의 영상 처리 장치는, 수신된 영상에서 물체를 인식하고 인식된 물체의 정보를 획득하고, 획득된 물체의 정보를 저장부에 저장하도록 한다.
차량은 입력부 및 표시부를 더 포함하고, 영상 처리 장치는 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과한 시점에 입력부를 통해 영상 재생 명령이 입력되면 외부의 디바이스에 스냅샷의 제공을 요청하고 스냅샷이 수신되면 저장부에 저장된 영상과 스냅샷을 이용하여 저장부에 저장된 영상의 화질을 복원시키고 화질이 복원된 영상과 저장된 물체의 정보를 매칭시켜 표시부를 통해 표시하도록 한다.
차량은 입력부 및 표시부를 더 포함하고, 영상 처리 장치는 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하기 전에 입력부를 통해 영상 재생 명령이 수신되면 저장부에 저장된 영상과 저장된 물체의 정보를 매칭시켜 표시부를 통해 표시하도록 한다.
차량은 입력부 및 표시부를 더 포함하고, 영상 처리 장치는 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과한 시점에 입력부를 통해 저화질의 영상 재생 명령이 입력되면 저장부에 저장된 화질이 변경된 영상과 저장된 물체의 정보를 매칭시켜 표시부를 통해 표시하도록 한다.
차량은 입력부 및 표시부를 더 포함하고, 영상 처리 장치는, 입력부를 통해 탑뷰 영상 재생 명령이 입력되면 저장부에 저장된 영상과 물체의 정보에 기초하여 탑뷰 영상을 생성하고 생성된 탑뷰 영상을 표시부를 통해 표시하도록 한다. 탑뷰 영상은 차량의 영상을 기준으로 전후좌우 방향의 영역에 저장된 물체의 정보를 영상으로 표시하는 가상 영상이다.
차량은 영상의 화질 변경을 위한 시간을 입력받는 입력부를 더 포함하고, 영상 처리 장치는 입력부에 입력된 시간을 영상의 화질 변경을 위한 미리 설정된 시간으로 저장한다.
차량은 내비게이션 모드를 수행하는 차량용 단말기를 더 포함하고, 영상 처리 장치는 차량용 단말기로부터 내비게이션 정보를 수신하고 수신된 내비게이션 정보 중 현재 위치 정보와 주행 정보를 획득하고 획득된 현재 위치 정보와 주행 정보를 수신된 영상과 매칭시켜 저장부에 저장하도록 한다.
차량의 영상 처리 장치는, 수신된 영상에서 차선을 인식하고 인식된 차선의 영상과 저장부에 저장된 영상을 매칭시켜 차량용 단말기에 표시하도록 한다.
또 다른 측면에 따른 차량의 제어 방법은, 차량의 주변의 영상을 획득하고, 획득된 영상을 저장부에 저장하고, 획득된 영상에서 물체를 인식하고, 인식된 물체의 정보를 획득하고, 획득된 물체의 정보를 저장부에 저장하고, 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하면 저장부에 저장된 영상의 스냅샷을 획득하여 획득된 스냅샷을 외부의 디바이스에 전송하고, 저장된 영상을 저장된 영상의 화질보다 낮은 화질로 변경하고, 저장부에 저장된 영상을 삭제하고, 변경된 화질의 영상을 저장부에 저장한다.
차량의 제어 방법은 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과한 시점에 입력부를 통해 영상 재생 명령이 입력되면 외부의 디바이스에 스냅샷의 제공을 요청하고, 스냅샷이 수신되면 저장부에 저장된 영상과 수신된 스냅샷을 이용하여 저장부에 저장된 영상의 화질을 복원시키고, 복원된 영상에 저장된 물체의 정보를 매칭시켜 표시하는 것을 더 포함한다.
차량의 제어 방법은 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하기 전에 입력부를 통해 영상 재생 명령이 수신되면 저장부에 저장된 영상과 저장된 물체의 정보를 매칭시켜 표시하는 것을 더 포함한다.
차량의 제어 방법은 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과한 시점에 입력부를 통해 저화질의 영상 재생 명령이 입력되면 저장부에 저장된 화질이 변경된 영상에서 차선을 인식하고, 화질이 변경된 영상, 차선 및 저장된 물체의 정보를 매칭시켜 표시하는 것을 더 포함한다.
차량의 제어 방법은 입력부를 통해 탑뷰 영상 재생 명령이 입력되면 저장부에 저장된 영상에서 차선을 인식하고, 저장부에 저장된 영상과 물체의 정보에 기초하여 탑뷰 영상을 생성하고, 생성된 탑뷰 영상과 인식된 차선을 매칭시켜 표시하는 것을 더 포함하고, 탑뷰 영상은 차량의 영상을 기준으로 전후좌우 방향의 영역에 저장된 물체의 정보를 영상으로 표시하는 가상 영상이다.
차량의 제어 방법은 차량의 현재 위치 정보를 확인하고, 차량의 주행 정보를 획득하고, 획득된 현재 위치 정보와 주행 정보를 획득된 영상과 매칭시켜 저장부에 저장하는 것을 더 포함한다.
미리 설정된 시간은, 제1시간과 제2시간을 포함하고, 저장된 영상을 저장된 영상의 화질보다 낮은 화질로 변경하는 것은, 저장부에 영상을 저장한 시점으로부터 제1시간이 경과하면 저장부에 저장된 영상의 화질을 제1레벨의 화질로 감소시키고, 저장부에 저장된 영상을 삭제한 후 제1레벨의 화질의 영상을 저장부에 저장하고, 저장부에 영상을 저장한 시점으로부터 제2시간이 경과하면 제1레벨의 화질로 변경된 영상의 화질을 제2레벨의 화질로 감소시키고 제1레벨의 화질의 영상을 삭제한 후 제2레벨의 화질의 영상을 저장부에 저장하는 것을 포함한다.
본 발명은 차량의 주행 정보 및 물체의 정보를 탑 뷰 영상으로 표시함으로써 사용자가 차량의 주변 상황을 용이하게 인식하도록 수 있다.
본 발명은 시간 경과에 따라 저장부에 저장된 영상의 화질을 낮춰 저장함으로써 영상이 저장될 저장 공간을 확보할 수 있고, 저장 공간 확보에 따라 저장된 영상을 장기간 보관할 수 있다.
본 발명은 하드웨어적인 구성이 추가되지 않은 상태에서 정해진 용량의 메모리(즉, 저장부)에 장기간 영상을 저장할 수 있어 제품(영상 처리 장치 및 차량)의 원가 상승을 방지할 수 있다.
또한 본 발명은 저장부에 저장된 저화질의 영상과 외부의 디바이스에서 제공된 스냅샷을 조합하여 고화질의 영상으로 복원하여 고화질의 영상을 표시함으로써 사용자가 용이하게 인식하도록 할 수 있다.
또한 본 발명은 저장부에 저장된 영상에서 과거의 어느 한 시점의 영상을 검색할 때 차량의 주행 정보 및 물체의 정보를 함께 표시함으로써 어느 한 시점에서의 차량의 주변 상황을 사용자가 용이하고 정확하게 인식하도록 수 있다.
본 발명은 사용자에게 큰 편의를 제공할 수 있으며, 영상 처리 장치 및 차량의 상품성을 향상시킬 수 있고, 나아가 사용자의 만족도를 높일 수 있으며 사용자의 편리성, 신뢰성을 향상시킬 수 있고 제품의 경쟁력을 확보할 수 있다.
도 1은 실시 예에 따른 영상 처리 장치를 포함한 차량의 제어 구성도이다.
도 2는 도 1에 도시된 영상 처리 장치의 상세 구성도이다.
도 3은 실시 예에 따른 차량의 제어 순서도로, 영상획득부를 통해 획득된 영상을 저장하는 방법의 순서도이다.
도 4는 실시 예에 따른 차량의 영상 획득 방향의 예시도이다.
도 5a는 실시 예에 따른 차량의 영상 획득부에서 획득된 전방 영상의 예시도이다.
도 5b는 실시 예에 따른 차량의 영상 획득부에서 획득된 후방 영상의 예시도이다.
도 6은 실시 예에 따른 차량의 주행 정보 및 물체의 정보의 획득 예시도이다.
도 7a 및 7b 는 실시 예에 따른 차량의 저장부에 저장된 영상의 화질 변경 예시도이다.
도 8은 실시 예에 따른 차량의 제어 순서도로, 저장부에 저장된 영상을 재생하는 방법의 순서도이다.
도 9는 실시 예에 따른 차량의 저장부에 저장된 저화질의 영상을 복원하는 예시도이다.
도 10은 실시 예에 따른 차량의 탑뷰 영상 표시의 예시도이다.
도 11은 실시 예에 따른 차량의 저화질의 영상 표시 예시도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 장치'라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부, 장치'가 하나의 구성요소로 구현되거나, 하나의 '부, 장치'가 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를"포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시 예들에 대해 설명한다.
도 1은 실시 예에 따른 영상 처리 장치를 포함한 차량의 제어 구성도이고 도 2는 도 1에 도시된 영상 처리 장치의 상세 구성도이다.
도 1에 도시된 바와 같이, 차량(100)은 입력부(111), 표시부(112), 검출부(120), 영상획득부(130), 영상 처리 장치(140), 위치 수신부(150) 및 제2제어부(160)를 포함한다.
입력부(111)는 차량에서 수행 가능한 각종 기능의 동작 명령을 입력받는다.
입력부(111)는 영상 검색 및 영상 재생 명령을 입력받는다.
입력부(111)는 고화질 영상 재생 명령, 저화질 영상 재생 명령 및 탑뷰 영상 재생 명령 중 적어도 하나를 입력받는다.
입력부(111)는 영상 검색 및 영상 재생 시 영상이 저장된 시간의 정보를 입력받는 것도 가능하다.
입력부(111)는 저장부(142)에 저장된 영상을 제1레벨의 화질로 낮추어 저장하기 위한 제1시간의 정보를 입력받는 것도 가능하고, 저장부(142)에 저장된 영상을 제2레벨의 화질로 낮추어 저장하기 위한 제2시간의 정보를 입력받는 것도 가능하다.
입력부(111)는 영상 삭제 명령을 입력받는 것도 가능하다.
입력부(111)는 내비게이션 모드의 온 명령 및 오프 명령을 입력받고, 목적지의 정보를 입력받는 것도 가능하다.
입력부(111)는 헤드 유닛 및 센터페시아에 마련될 수 있다.
이러한 입력부(111)는 복수 개의 버튼을 포함할 수 있다.
또한 입력부(111)는 스티어링 휠에 마련된 복수 개의 버튼을 포함할 수 있으며, 스티어링 휠 주변의 조작 레버(미도시)에 마련된 버튼을 포함할 수 있다.
입력부(111)는 표시부(112)에 표시된 커서의 이동 명령 및 선택 명령 등을 입력하기 위한 조그 다이얼(미도시) 또는 터치 패드(미도시)를 더 포함하는 것도 가능하다. 여기서 조그 다이얼 또는 터치 패드는 센터페시아 등에 마련될 수 있다.
입력부(111)는 제1레벨의 화질을 입력받는 것도 가능하고, 제2레벨의 화질을 입력받는 것도 가능하다.
입력부(111)는 서버에 전송하기 위한 스탭샷의 개수도 입력받을 수 있다.
표시부(112)는 차량에서 수행 가능한 각종 기능의 정보, 차량에서 수행 중인 각종 기능의 정보를 표시하며, 사용자에 의해 입력된 정보를 표시할 수 있다.
표시부(112)는 저장부(142)에 저장된 영상을 표시한다.
표시부(112)는 저장부(142)에 저장된 영상 표시 시에 고화질 영상, 저화질 영상 또는 탑뷰 영상으로 표시할 수 있다. 여기서 탑뷰 영상은 어라운드 뷰 형태의 탑뷰 영상일 수 있다.
표시부(112)는 내비게이션 모드가 수행되면 차량의 현재 위치부터 일정 범위 내의 지도 영상을 표시하고, 목적지 정보가 입력되면 현재 위치부터 목적지까지의 경로 정보가 매치된 지도 정보를 표시하고, 길 안내 정보를 표시한다.
표시부(112)는 맵 표시 모드가 선택되면 차량의 현재 위치를 표시하고, 차량의 현재 위치부터 일정 범위 내의 지도 영상을 표시한다.
이러한 표시부(112)는 헤드 유닛에 마련될 수 있다.
입력부(111)와 표시부(112)는 하나의 장치로 마련될 수 있다.
즉, 입력부(111)와 표시부(112)는 일체화되어 차량용 단말기로 마련될 수 있다.
차량용 단말기(110)는 오디오 기능, 비디오 기능, 내비게이션 기능, 방송 기능(DMB 기능), 라디오 기능, 컨텐츠 재생 기능, 인터넷 검색 기능 중 사용자에 의해 선택된 적어도 하나의 기능에 대한 영상을 표시한다.
차량용 단말기(110)는 대시 보드 상에 매립식 또는 거치식으로 설치될 수 있다.
차량용 단말기(110)는 표시부(112)로 디스플레이 패널을 포함할 수 있고, 입력부(111)로 터치 패널을 더 포함할 수 있다. 즉 차량용 단말기(110)는디스플레이 패널에 터치 패널이 일체화된 터치 스크린을 포함할 수도 있다.
검출부(120)는 차량의 주행 정보를 검출한다.
검출부(120)는 차량의 주행 속도를 검출하는 속도 검출부를 더 포함할 수 있다.
속도 검출부는 차량의 복수 개의 휠에 각각 마련된 복수 개의 휠 속도 센서를 포함할 수 있고, 차량의 가속도를 검출하는 가속도 센서를 포함할 수 있다.
검출부(120)는 차량 주변의 물체를 검출하는 것도 가능하다.
이러한 검출부(120)는 차량 주변의 물체와의 거리를 검출하는 거리 검출부를 포함할 수 있다.
거리 검출부는 차량의 외장의 전후좌우에 각각 마련될 수 있다.
이러한 거리 검출부는 라이더 센서를 포함한다.
라이다(LiDAR: Light Detection And Ranging)센서는 레이저 레이다(Laser Radar) 원리를 이용한 비접촉식 거리 검출 센서이다.
거리 검출부는 초음파 센서 또는 레이더 센서를 포함할 수도 있다.
영상 획득부(130)는 차량 주변의 도로 영상을 실시간으로 획득한다.
영상 획득부(130)는 차량의 전후좌우 방향의 도로 영상을 획득하는 적어도 하나의 카메라를 포함할 수 있다.
즉 영상 획득부(130)는 카메라로, CCD 또는 CMOS 이미지 센서를 포함할 수 있고, KINECT(RGB-D 센서), TOF(Structured Light Sensor), 스테레오 카메라(Stereo Camera) 등과 같은 3차원 공간 인식 센서를 포함할 수도 있다.
이러한 영상 획득부(130)는 회전 가능한 카메라를 포함할 수 도 있다.
본 실시 예서는 4개의 카메라를 포함하는 영상 획득부를 예를 들어 설명한다.
영상 획득부(130)는 차량의 전방 방향의 영상을 획득하는 제1카메라(131), 차량의 후방 방향의 영상을 획득하는 제2카메라(132), 차량의 좌측 방향의 영상을 획득하는 제3카메라(133), 차량의 우측 방향의 영상을 획득하는 제4카메라(134)를 포함할 수 있다.
이러한 영상 획득부(130)는 블랙박스에 마련된 카메라일 수 있고, 자율 주행을 위한 자율 주행 제어 장치의 카메라일 수도 있으며, 장애물 검출을 위한 카메라일 수도 있다.
영상 획득부(130)는 주변 모니터링 장치(SVM: Surround View Monitor, 또는 AVM)의 카메라, 사각 지대 감지 장치(BSD: Blind Spot Detection)의 카메라 또는 후방 감지 장치의 카메라를 포함할 수 있다.
이러한 제1카메라(131)는 차량의 전면의 프런트 윈도우 글래스에 마련되되 차량 내부의 창문에 마련되어 차량의 외부를 향하도록 마련될 수도 있고, 차량 내부의 룸미러에 마련되되 차량의 외부를 향하도록 마련될 수도 있으며, 번호판, 그릴, 엠블럼, 프런트 패널 또는 루프 패널의 마련되되 외부로 노출되도록 마련될 수도 있다.
제2카메라(132)는 차량의 후면의 리어 윈도우 글래스에 마련되되 차량 내부의 창문에 마련되어 차량의 외부를 향하도록 마련될 수도 있고, 테일 게이트에 마련될 수도 있으며, 번호판, 루프 패널, 리어 패널 또는 엠블럼에 마련되되 외부로 노출되도록 마련될 수도 있다.
제3 카메라(133)는 좌측 사이드 미러, 좌측 도어 또는 좌측 펜더(Fender)에 마련될 수 있다.
제4 카메라(134)는 우측 사이드 미러, 우측 도어 또는 우측 펜더에 마련될 수 있다. 아울러 제4 카메라는 리어 패널 주변, 엠블럼 주변 또는 번호판 주변에 마련될 수도 있다.
이러한 영상 획득부(130)는 차량 주변의 물체에 대한 형상 정보를 전기적인 영상 신호로 변환하는 것으로, 자 차량의 현재 위치에서 자 차량 외부의 환경, 특히 차량이 주행하는 도로 및 그 주변의 자 차량의 전방, 후방, 좌우의 측방의 물체의 형상 정보에 대응하는 영상 신호를 영상 처리 장치(140)로 전송한다.
영상 처리 장치(140)는 복수의 카메라(131-134)에서 획득된 복수 개의 영상과 차량의 주변 정보를 합성하여 합성된 영상 정보를 표시부에 전송함으로써 사용자가 차량의 주변 상황에 대한 정보를 영상을 통해 용이하게 인식하도록 할 수 있다. 여기서 차량의 주변 정보는 차량 주변의 물체의 정보 및 차량의 주행 정보를 포함할 수 있다.
영상 처리 장치(140)는 저장된 영상의 저장 시간의 경과에 따라 저장된 영상의 용량을 감소시키고, 저장된 영상(즉, 오리지널 영상)을 삭제한 후 용량이 감소된 영상을 다시 저장함으로써 저장부에 장기간 동안 영상이 저장되도록 할 수 있다.
여기서 저장된 영상의 용량을 감소시키는 것은, 저장된 영상의 화질을 저장된 영상의 화질보다 낮은 화질로 변경하는 것을 포함할 수 있다.
이러한 영상 처리 장치(140)는 제1제어부(141), 저장부(142) 및 통신부(143)를 포함한다.
영상 처리 장치(140) 내의 저장부(142)와 통신부(143)는, 영상 처리 장치(140)의 외부에 마련된 것으로, 차량에 마련된 저장부(142)와 통신부(143)일 수도 있다.
제1제어부(141)는 영상 획득부(130)의 영상이 수신되면 수신된 영상을 저장부(142)에 저장한다.
제1제어부(141)는 영상 획득부(130)에서 획득된 영상이 수신되면 수신된 영상에서 물체를 인식하고 인식된 물체의 정보를 획득하며 획득된 물체의 정보를 저장부(142)에 저장한다. 여기서 물체의 정보는 물체의 종류, 속도 정보, 번호 정보 및 위치 정보 중 적어도 하나를 포함할 수 있다.
제1제어부(141)는 인식된 물체의 종류가 타 차량이면 타 차량의 정보를 인식한다. 즉 제1제어부(141)는 타 차량의 번호판의 번호, 타 차량의 속도 및 위치를 인식하며 인식된 타 차량의 번호, 속도 및 위치를 저장부(142)에 저장한다.
타 차량은 자동차, 오토바이, 자전거, 퍼스널 모빌리티 등을 포함할 수 있다.
제1제어부(141)는 인식된 물체의 종류가 사람이면 사람의 위치를 인식하고 인식된 사람의 위치를 저장부(142)에 저장한다.
제1제어부(141)는 영상 획득부(130)에서 획득된 영상에서 차선을 인식하고 인식된 차선의 위치 정보를 저장부(142)에 저장한다.
제1제어부(141)는 차량의 현재 위치 정보와 주행 정보를 확인하고 확인된 차량의 현재 위치 정보와 주행 정보를 저장부(142)에 저장한다. 여기서 주행 정보는 차량의 주행 속도를 포함할 수 있다.
여기서 차량의 현재 위치 정보와 주행 정보는 제2제어부(160)로부터 수신된 정보일 수도 있고, 위치 수신부(150)로부터 직접 수신한 정보일 수도 있으며, 검출부(120)로부터 직접 수신한 정보일 수도 있다.
즉 제1제어부(141)는 영상 획득부에서 획득된 영상, 물체의 정보, 차선의 위치 정보, 차량의 위치 정보 및 주행 정보를 영상이 획득된 시간 정보와 매칭시켜 저장부(142)에 저장한다.
영상이 획득된 시간 정보와 획득된 영상이 저장된 시간 정보는, 동일하거나, 미소한 차이가 있을 수 있다. 여기서 미소한 차이는 획득된 영상이 저장부에 저장되기 까지 소요되는 일정 시간일 수 있다.
제1제어부(141)는 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하면 저장부(142)에 저장된 영상을 저장된 영상의 화질보다 낮은 화질로 변경하고 저장부(142)에 저장된 영상을 삭제하고 화질이 변경된 영상을 저장부(142)에 저장한다.
제1제어부(141)는 저장부(142)에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하면 저장부(142)에 저장된 영상의 스냅샷을 획득하고 획득된 스냅샷에 대응하는 영상 정보를 서버(200)에 전송한다.
제1제어부(141)는 서버와의 통신이 불가능하면, 서버와 주기적으로 통신을 시도하고, 서버와 통신이 가능하면 영상 정보를 다시 전송하는 것도 가능하다.
제1제어부(141)는 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과한 시점에 입력부(111)를 통해 고화질의 영상 재생 명령과 시간 정보가 입력되면 서버(200)에 스냅샷의 제공을 요청하고, 서버(200)로부터 스냅샷에 대응하는 영상 정보가 수신되면 수신된 영상 정보를 디코딩하여 스냅샷을 획득하고 획득된 스냅샷과 저장부에 저장된 영상을 조합하여 저장부에 저장된 영상의 화질을 복원시키고 화질이 복원된 영상과 저장된 물체의 정보를 매칭시켜 표시부를 통해 표시하도록 한다.
제1제어부(141)는 서버(200)에 스냅샷의 제공을 요청할 때 시간 정보와 함께 제공 요청 신호를 서버(200)에 전송할 수 있다.
제1제어부(141)는 저장부(142)에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하기 전에 입력부(111)를 통해 영상 재생 명령이 수신되면 저장부(142)에 저장된 영상과 저장된 물체의 정보를 매칭시켜 표시부(112)를 통해 표시하도록 한다.
여기서 물체의 정보는 태그를 이용하여 영상으로 표시하도록 한다.
제1제어부(141)는 저장부(142)에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과한 시점에 입력부(111)를 통해 저화질의 영상 재생 명령이 입력되면 저장부(111)에 저장된 화질이 변경된 영상과 저장된 물체의 정보를 매칭시켜 표시부(112)를 통해 표시하도록 한다.
제1제어부(141)는 입력부(111)를 통해 탑뷰 영상 재생 명령이 입력되면 저장부(142)에 저장된 영상, 주행 정보, 자 차량의 위치 정보, 차선의 위치 정보 및 물체의 정보를 이용하여 탑뷰 영상을 생성하고 생성된 탑뷰 영상을 표시부(112)를 통해 표시하도록 한다.
여기서 탑뷰 영상은 자 차량의 영상을 기준으로 전후좌우 방향의 영역에 저장된 물체의 정보를 영상으로 표시하는 가상 영상이다.
물체의 정보를 탑뷰 영상으로 생성하는 것은, 물체의 종류에 대응하는 심볼 영상을 생성하고 물체의 위치 정보에 기초하여 자 차량의 영상 주변에 생성된 심볼 영상을 배치시키고, 심볼 영상의 주변에 물체의 속도 및 번호 등의 정보를 태그 영상으로 매칭시켜 표시하는 것을 포함할 수 있다.
물체의 정보를 탑뷰 영상으로 생성하는 것은, 재생 바를 더 표시하는 것을 포함한다.
제1제어부(141)는 탑뷰 영상 생성 시, 저화질의 영상을 이용하여 탑뷰 영상을 생성하는 것도 가능하고, 복원된 고화질의 영상을 이용하여 탑뷰 영상을 생성하는 것도 가능하며, 오리지널 영상인 고화질의 영상을 이용하여 탑뷰 영상을 생성하는 것도 가능하다.
또한 제1제어부(141)는 저화질의 영상에 물체의 정보와 주행 정보를 오버랩시켜 표시하는 것도 가능하고, 복원된 고화질의 영상에 물체의 정보와 주행 정보를 오버랩시켜 표시하는 것도 가능하며, 오리지널 영상인 고화질의 영상에 물체의 정보와 주행 정보를 오버랩시켜 표시하는 것도 가능하다.
제1제어부(141)는 저장부(142)에 영상을 저장한 시점으로부터 제1시간이 경과하면 저장부에 저장된 영상의 화질을 제1레벨의 화질로 감소시키고, 저장부에 저장된 오리지널 영상(즉, 고화질 영상)을 삭제하고, 제1레벨로 화질이 감소한 영상을 저장부에 다시 저장하며, 저장부에 영상을 저장한 시점으로부터 제2시간이 경과하면 저장부에 저장된 제1레벨의 화질을 가진 영상의 화질을 제2레벨의 화질로 감소시키고, 저장부에 저장된 제1레벨의 화질을 가진 영상을 삭제하고, 제2레벨로 화질이 감소한 영상을 저장부에 다시 저장하는 것도 가능하다.
오리지널 영상은 기본 레벨의 화질을 가진 영상일 수 있다.
오리지널 영상의 화질은 제1레벨의 화질보다 높은 화질이다. 즉 기본 레벨의 화질을 가진 오리지널 영상의 용량은, 제1레벨의 화질을 가진 영상의 용량보다 크다.
아울러 제2레벨의 화질은 제1레벨의 화질보다 낮은 화질이다. 즉 제2레벨의 화질을 가진 영상의 용량은 제1레벨의 화질을 가진 영상보다 용량이 작다.
제1제어부(141)는 저장부(142)에 제1레벨로 화질이 감소한 영상을 저장한 시점부터 제3시간이 경과하면 저장부에 저장된 제1레벨의 화질을 가진 영상의 화질을 제2레벨의 화질로 감소시키고, 저장부에 저장된 제1레벨의 화질을 가진 영상을 삭제하고, 제2레벨로 화질이 감소한 영상을 저장부에 다시 저장하는 것도 가능하다.
제1제어부(141)는 저장부의 저장 공간이 부족하면 저장 기간이 가장 오래된 영상부터 삭제함으로써 저장부의 저장 공간을 확보한다.
제1제어부(141)는 영상 획득 시 입력부를 통해 중요 명령이 수신되면 중요 명령이 수신된 시점에 획득된 영상을 중요 영상으로 저장하고, 저장부의 저장 공간이 부족하여 저장 기간이 가장 오래된 영상부터 삭제할 때, 가장 오래된 영상이 중요 영상이면 중요 영상의 저장을 유지시키고, 중요 영상의 다음에 저장된 영상부터 삭제함으로써 저장부의 저장 공간을 확보한다.
제1제어부(141)는 저장부에 저장된 영상의 저장 기간이 미리 설정된 저장 기간이면 저장부에 저장된 영상을 삭제하도록 하는 것도 가능하다.
도 2a에 도시된 바와 같이, 제1제어부(141)는 전방 인식부(141a), 후방 인식부(141b), 제1사이드 인식부(141c), 제2사이드 인식부(141d), 물체 정보 획득부 (141e), 주행정보 수신부(141f), 탑뷰 영상 생성부(141g), 화질 변경부(141h), 스냅샷 획득부(141i) 및 화질 복원부(141j)를 포함할 수 있다.
전방 인식부(141a)는 영상 획득부의 제1카메라(131)에서 획득된 차량의 전방의 영상에서 물체를 인식하고 인식된 물체의 정보를 인식하며 차선을 인식한다.
후방 인식부(141b)는 영상 획득부의 제2카메라(132)에서 획득된 차량의 후방의 영상에서 물체를 인식하고 인식된 물체의 정보를 인식하며 차선을 인식한다.
제1사이드 인식부(141c)는 영상 획득부의 제3카메라(133)에서 획득된 차량의 좌측 방향의 영상에서 물체를 인식하고 인식된 물체의 정보를 인식하며 차선을 인식한다.
제2사이드 인식부(141d)는 영상 획득부의 제4카메라에서 획득된 차량의 우측 방향의 영상에서 물체를 인식하고 인식된 물체의 정보를 인식하며 차선을 인식한다.
물체 정보 획득부(141e)는 전방 인식부(141a), 후방 인식부(141b), 제1사이드 인식부(141c), 제2사이드 인식부(141d)에서 각각 인식된 물체 및 물체의 정보로부터 자 차량 주변의 물체 정보를 획득한다. 여기서 물체 정보는 물체의 종류, 속도 정보, 번호 정보 및 위치 정보 중 적어도 하나를 포함할 수 있다. 물체의 종류는 사람, 타 차량, 도로의 차선 등을 포함할 수 있다.
물체 정보 획득부(141e)는 거리 검출부에서 검출된 물체와의 거리 변화와 자 차량의 주행 속도에 기초하여 물체의 속도를 획득할 수 있다.
물체 정보 획득부(141e)는 각 물체의 영상이 획득된 카메라로부터 물체의 위치를 획득할 수 있다.
물체 정보 획득부(141e)는 전방 영상 인식부에서 인식된 영상과 후방 영상 인식부에서 인식된 영상으로부터 자 차량의 전방과 후방에 위치한 타 차량의 번호판의 번호를 획득할 수 있다.
주행 정보 획득부(141f)는 통신부를 통해 수신된 주행 정보를 획득한다. 여기서 주행 정보는 자 차량의 위치와 주행 속도를 포함할 수 있다.
주행 정보 획득부(141f)는 영상 내에서 타 차량과의 거리 변화를 획득하고 거리 변화와 자 차량의 주행 속도에 기초하여 타 차량의 속도를 획득하는 것도 가능하다.
탑뷰 영상 생성부(141g)는 제1, 2, 3, 4 카메라에서 획득된 영상을 합성하여 사용자가 보기 편한 탑뷰 영상을 생성한다. 여기서 합성되는 영상은, 제1, 2, 3, 4 카메라에서 동일한 시점에 획득된 영상들일 수 있다.
탑뷰 영상은 자 차량의 심볼 영상과, 자 차량의 심볼 영상 주변에 표시된 자 차량의 주행 정보를 지시하는 태그 영상을 포함할 수 있다.
또한 탑뷰 영상은 자 차량의 심볼 영상을 기준으로 전후좌우 영역에 물체의 정보와 대응하는 영상이 매칭된 영상일 수 있다. 여기서 물체의 정보와 대응하는 영상은, 물체의 종류에 대응하는 물체의 심볼 영상을 포함할 수 있고, 물체의 심볼 영상 주변에 물체의 부가 정보를 지시하는 태그 영상을 더 포함할 수 있다.
여기서 부가 정보는 물체의 속도 정보, 위치 정보, 번호 정보 중 적어도 하나를 포함할 수 있다.
탑뷰 영상 생성부(141g)는 저장부에 저장된 영상 중 입력된 시간 정보를 갖는 전방 영상, 후방 영상, 좌측 방향 영상 및 우측 방향 영상을 획득하고, 입력된 시간 정보를 갖는 물체의 정보와 주행 정보를 획득하며 획득된 각 방향의 영상, 물체의 정보 및 주행 정보에 기초하여 탑뷰 영상을 생성할 수 있다.
저장부에 저장된 영상은 저화질의 영상일 수도 있고, 고화질의 영상일 수도 있다. 여기서 저화질의 영상은 영상이 저장된 시점으로부터 미리 설정된 시간이 경과한 영상이고, 고화질의 영상은 영상이 저장된 시점으로부터 미리 설정된 시간이 경과하기 전의 영상이다.
탑뷰 영상 생성부(141g)는 화질 복원부에서 복원된 전방 영상, 후방 영상, 좌측 방향 영상 및 우측 방향 영상을 획득하고, 입력된 시간 정보를 갖는 물체의 정보와 주행 정보를 획득하며, 획득된 각 방향의 영상, 물체의 정보 및 주행 정보에 기초하여 탑뷰 영상을 생성할 수 있다.
화질 변경부(141h)는 저장부(142)에 저장된 영상의 저장 용량을 감소시키기 위한 영상을 생성하는 것으로, 저장부(142)에 저장된 영상의 저장 시간이 제1시간을 경과하면 화질을 제1레벨의 화질로 감소시키고, 화질이 감소된 영상을 저장부(142)에 다시 저장하며, 제2시간이 경과하면 제1레벨의 화질을 제2레벨의 화질로 감소시키고, 화질이 감소된 영상을 저장부(142)에 다시 저장한다.
도 2a에 도시된 바와 같이, 저장부(142)는 제1카메라에서 획득된 차량의 전방의 영상을 저장하는 제1영상 저장부(142a), 제2카메라에서 획득된 차량의 후방의 영상을 저장하는 제2영상 저장부(142b), 제3카메라에서 획득된 차량의 좌측 방향의 영상을 저장하는 제3영상 저장부(142c) 및 제4카메라에서 획득된 차량의 우측 방향의 영상을 저장하는 제4영상 저장부(142d)를 포함할 수 있다.
즉 화질 변경부(141h)는 제1영상 저장부(142a)에 저장된 영상의 화질을 제1레벨의 화질로 변경하고, 제1영상 저장부(142a)에 저장된 영상을 삭제한 후 제1레벨의 화질의 영상을 제1영상 저장부(142a)에 다시 저장한다.
화질 변경부(141h)는 제2영상 저장부(142b)에 저장된 영상의 화질을 제1레벨의 화질로 변경하고, 제2영상 저장부(142b)에 저장된 영상을 삭제한 후 제1레벨의 화질의 영상을 제2영상 저장부(142b)에 다시 저장한다.
여기서 제1레벨의 화질의 영상과, 제2레벨의 화질의 영상은, 저화질의 영상일 수 있다.
화질 변경부(141h)는 제3영상 저장부(142c)에 저장된 영상의 화질을 제1레벨의 화질로 변경하고, 제3영상 저장부(142c)에 저장된 영상을 삭제한 후 제1레벨의 화질의 영상을 제3영상 저장부(142c)에 다시 저장한다.
화질 변경부(141h)는 제4영상 저장부(142d)에 저장된 영상의 화질을 제1레벨의 화질로 변경하고, 제4영상 저장부(142d)에 저장된 영상을 삭제한 후 제1레벨의 화질의 영상을 제4영상 저장부(142d)에 다시 저장한다.
화질 변경부(141h)는 제1영상 저장부(142a)에 저장된 영상의 제1레벨의 화질을 제2레벨의 화질로 변경하고, 제1영상 저장부(142a)에 저장된 제1레벨의 화질을 가진 영상을 삭제한 후 제2레벨의 화질의 영상을 제1영상 저장부(142a)에 다시 저장한다.
화질 변경부(141h)는 제2영상 저장부(142b)에 저장된 영상의 제1레벨의 화질을 제2레벨의 화질로 변경하고, 제2영상 저장부(142b)에 저장된 제1레벨을 가진 영상을 삭제한 후 제2레벨의 화질의 영상을 제2영상 저장부(142b)에 다시 저장한다.
화질 변경부(141h)는 제3영상 저장부(142c)에 저장된 영상의 제1레벨의 화질을 제2레벨의 화질로 변경하고, 제3영상 저장부(142c)에 저장된 제1레벨의 화질을 가진 영상을 삭제한 후 제2레벨의 화질의 영상을 제3영상 저장부(142c)에 다시 저장한다.
화질 변경부(141h)는 제4영상 저장부(142d)에 저장된 영상의 제1레벨의 화질을 제2레벨의 화질로 변경하고, 제4영상 저장부(142d)에 저장된 제1레벨의 화질을 가진 영상을 삭제한 후 제2레벨의 화질의 영상을 제4영상 저장부(142d)에 다시 저장한다.
스냅샷 획득부(141i)는 화질이 감소된 영상의 화질을 다시 복원할 수 있도록 오리지널 영상의 화질을 감소시키기 전에 오리지널 영상에서 스냅샷을 획득한다. 여기서 스냅샷은 복수 개일 수 있다.
아울러 저장부(142)에 저장된 영상은 동영상으로, 스냅샷 획득부(141i)는 저장부에 저장된 동영상에서 복수 개의 스냅샷을 획득할 수 있다.
예를 들어, 스냅샷 획득부(141i)는 초당 30개의 프레임의 영상 중 5개의 프레임의 영상을 스냅샷으로 획득할 수 있다.
스냅샷 획득부(141j)는 제1영상 저장부(142a)에 저장된 영상에서 복수 개의 스냅 샷을 획득하고, 제2영상 저장부(142b)에 저장된 영상에서 복수 개의 스냅 샷을 획득하, 제3영상 저장부(142c)에 저장된 영상에서 복수 개의 스냅 샷을 획득하고, 제4영상 저장부(142d)에 저장된 영상에서 복수 개의 스냅 샷을 획득할 수 있다.
화질 복원부(141j)는 저장부(142)에 저장된 저화질의 영상과 서버로부터 수신된 스냅샷을 합성하여 저장부에 저장된 저화질의 영상을 고화질의 영상으로 복원시킨다.
여기서 복원은, 오리지널 영상의 기본 레벨로 화질을 복원시키는 것을 포함하고, 기본 레벨보다 낮지만 제1레벨의 화질보다 높은 화질의 영상으로 복원시키는 것을 포함할 수 있다.
좀 더 구체적으로, 화질 복원부(141j)는 제1영상 저장부(142a)에 저장된 저화질의 전방의 영상과 서버(200)로부터 전송된 전방의 스냅샷을 합성하여 제1영상 저장부(142a)에 저장된 저화질의 전방의 영상을 고화질의 전방의 영상으로 복원시킨다.
화질 복원부(141j)는 제2영상 저장부(142b)에 저장된 저화질의 후방의 영상과 서버(200)로부터 전송된 후방의 스냅샷을 합성하여 제2영상 저장부(142b)에 저장된 저화질의 후방의 영상을 고화질의 후방의 영상으로 복원시킨다.
화질 복원부(141j)는 제3영상 저장부(142c)에 저장된 저화질의 좌측 방향의 영상과 서버(200)로부터 전송된 좌측 방향의 스냅샷을 합성하여 제3영상 저장부(142c)에 저장된 저화질의 좌측 방향의 영상을 고화질의 좌측 방향의 영상으로 복원시킨다.
화질 복원부(141j)는 제4영상 저장부(142d)에 저장된 저화질의 우측 방향의 영상과 서버(200)로부터 전송된 우측 방향의 스냅샷을 합성하여 제4영상 저장부(142d)에 저장된 저화질의 우측 방향의 영상을 고화질의 우측 방향의 영상으로 복원시킨다.
제1제어부(141)는 영상 처리 장치 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
저장부(142)는 영상 획득부에서 획득된 영상을 저장한다.
도 2a에 도시된 바와 같이, 저장부(142)는 제1카메라에서 획득된 차량의 전방의 영상을 저장하는 제1영상 저장부(142a), 제2카메라에서 획득된 차량의 후방의 영상을 저장하는 제2영상 저장부(142b), 제3카메라에서 획득된 차량의 좌측 방향의 영상을 저장하는 제3영상 저장부(142c), 제4카메라에서 획득된 차량의 우측 방향의 영상을 저장하는 제4영상 저장부(142d), 물체의 정보를 저장하는 물체 정보 저장부(142e) 밀 자 차량의 위치와 주행 속도를 주행 정보로 저장하는 주행 정보 저장부(142f)를 포함할 수 있다.
저장부(142)의 제1영상 저장부(142a), 제2영상 저장부(142b), 제3영상 저장부(142c), 제4영상 저장부(142d)는, 화질이 감소된 각 방향에서의 영상을 각각 다시 저장할 수 있다.
저장부(142)에 저장되는 영상은, 동영상일 수 있고, 이 동영상은 차량의 시온 온 시점과 시동 오프 시점을 기준으로 구분되어 저장될 수 있다.
또한 저장부(142)에 저장되는 동영상은 날짜 별로 구분되어 저장될 수 있다. 즉 저장부(142)에는 날짜 단위로 동영상이 저장되는 것도 가능하다.
저장부(142)는 제1제어부(141)의 제어 명령에 따라 저장된 영상을 삭제하고, 삭제된 영상 대신 화질이 저하된 영상을 다시 저장한다.
저장부(142)는 영상이 획득된 시간의 시간 정보를 매칭시켜 저장하고, 획득된 영상 내에서 인식된 물체의 정보를 매칭시켜 저장하며, 차량의 주행 정보 및 위치 정보를 매칭시켜 저장한다.
여기서 물체의 정보는, 물체의 종류, 속도 정보, 번호 정보 및 위치 정보 중 적어도 하나를 포함할 수 있다.
저장부(142)는 획득된 영상과 차선의 위치 정보를 매칭시켜 저장한다.
저장부(142)는 화질이 저하된 영상 저장 시에 화질이 저하된 영상에 대응하는 오리지널 영상의 획득 시의 시간 정보를 매칭시켜 저장한다.
저장부(142)는 저장된 영상의 화질을 변경하는 시점을 판단하기 위한 미리 설정된 시간을 저장한다. 여기서 미리 설정된 시간은 제1시간과 제2시간을 포함할 수 있다.
저장부(142)는 저장된 영상을 영구 삭제하기 위한 영상의 저장 기간을 저장하는 것도 가능하다.
저장부(142)는 제1제어부(141)와 전기적으로 연결된다.
저장부(142)는 영상 처리 장치의 영상 처리에 대한 기본 데이터, 동작 제어를 위한 제어 데이터, 입출력되는 데이터를 저장할 수 있다.
저장부(142)는 제1제어부(141)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
저장부(142)는 제1제어부(141)와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
저장부(142)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다.
통신부(143)는 차량 내부의 각종 전자 장치들 사이의 통신과, 외부 디바이스와의 통신과, 사용자용 단말기와의 통신 및 저장 매체와의 통신을 수행한다.
외부의 디바이스는, 서버(200)일 수 있다. 여기서 서버(200)는 차량 제조사의 텔레매틱스 서버, 차량 서비스 센터의 서버, 클라우드 서버 및 웹하드 서버일 수 있다.
이러한 서버(200)는 차량(100)으로부터 스냅 샷에 대응하는 영상 정보와 시간 정보가 수신되면 수신된 영상 정보와 시간 정보를 사용자 정보와 매칭시켜 저장하고, 차량(100)으로부터 시간 정보와 스냅샷의 제공 요청의 신호가 수신되면 수신된 시간 정보를 가지는 영상 정보를 획득하고 획득된 영상 정보를 차량(100)에 전송한다.
통신부(143)는 제1제어부(141)와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 직비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 캔(Controller Area Network; CAN) 통신 모듈, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 LIN(Local Interconnect Network)를 더 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
위치 수신부(150)는 GPS(Global Positioning System) 신호 수신부와, GPS 신호 수신부에서 획득한 GPS 신호를 신호 처리하는 신호 처리부를 포함한다.
여기서 GPS(Global Positioning System) 신호 수신부는 복수의 GPS 위성의 신호를 수신하는 안테나를 포함한다. 이 안테나는 차량의 외장에 마련될 수 있다.
위치 수신부(150)의 신호 처리부는 복수의 GPS위성의 위치 신호에 대응하는 거리 및 시간 정보를 이용하여 현재의 위치를 획득하는 소프트웨어와, 획득된 차량의 위치 정보를 출력하는 출력부를 포함한다.
위치 수신부(150)는 현재의 위치에 대한 위치 정보를 제2제어부(160)에 전송한다. 아울러 위치 수신부(150)는 현재의 위치에 대한 위치 정보를 제1제어부(141)에 전송하는 것도 가능하다.
제2제어부(160)는 입력부(111)를 통해 내비게이션 모드의 온 명령이 수신되고 목적지 정보가 수신되면 현재 위치를 확인하고, 현재 위치 정보와 목적지 정보에 기초하여 현재 위치에서 목적지까지의 경로 정보를 생성하고, 지도 정보에 생성된 경로 정보를 매칭시키며 매칭된 지도 정보와 경로 정보의 출력을 제어하고 길 안내 정보의 출력을 제어한다.
제2제어부(160)는 경로 정보 생성 시 복수 개의 경로 정보를 생성 및 출력할 수 있고, 복수 개의 경로 정보 중 사용자에 의해 선택된 어느 하나의 경로 정보를 저장하고 저장된 경로 정보에 기초하여 내비게이션 기능을 수행할 수 있다.
제2제어부(160)는 차량의 주행 속도를 실시간으로 확인하고 확인된 주행 속도와 현재 위치를 내비게이션 정보로 표시하도록 표시부(112)를 제어할 수 있다.
제2제어부(160)는 확인된 주행 속도와 현재 위치 정보를 제1제어부(141)에 전송한다. 이때 제2제어부(160)는 시간의 정보를 함께 제1제어부(141)에 전송할 수 있다.
제2제어부(160)는 내비게이션 모드를 수행하는 차량용 단말기의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
아울러 제2제어부(160)는 제1제어부(141)와 통합되어 마련될 수 있다.
차량은 표시부에 표시되는 영상의 소리를 출력하는 사운드 출력부(미도시)를 더 포함할 수 있다.
이러한 사운드 출력부는 스피커를 포함할 수 있다.
스피커는 증폭된 저주파의 음성 신호를 오리지널의 음파로 변환시키고 공기에 소밀파를 발생시켜 음파를 복사함으로써 오디오 데이터들을 사용자가 들을 수 있는 사운드로 출력한다.
도 1에 도시된 차량 및 도 2에 도시된 영상 처리 장치의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 3은 실시 예에 따른 차량의 제어 순서도로, 영상획득부를 통해 획득된 영상을 저장하는 방법의 순서도이다. 이를 도 4 내지 7을 참조하여 설명한다.
차량은 시동이 온되면 입력부(111), 표시부(112), 검출부(120), 영상획득부(130), 영상 처리 장치(140), 위치 수신부(150) 및 내비게이션 모드 수행을 위한 차량용 단말기 등 각종 장치의 동작을 활성화시킨다.
차량은 내비게이션 모드가 선택되고 목적지의 정보가 입력되면 현재 위치를 확인하고 현재 위치인 출발지부터 목적지까지 경로를 탐색하며 탐색된 경로를 지도 정보에 매칭시켜 내비게이션 정보를 생성하고, 경로가 매칭된 지도 정보를 표시부를 통해 표시하며, 길 안내 정보를 표시부 및 사운드 출력부를 통해 출력한다.
차량은 주행 중 현재 위치를 표시부를 통해 표시하고, 주행 중 주행 속도를 획득하며 획득된 주행 속도를 표시부를 통해 표시하고, 주변의 장애물을 검출하며, 검출된 장애물과의 거리를 획득하고 획득된 장애물과의 거리가 기준 거리 미만이면 경고 정보를 표시부 및 사운드 출력부 중 적어도 하나를 통해 출력한다.
또한 차량은 주행 중 영상 획득부에 마련된 복수 개의 카메라를 통해 차량의 주변의 영상을 획득(401)하고, 획득된 영상을 저장하되, 현재 시간의 시간 정보와 함께 저장부에 저장(402)한다. 이때 저장부에 저장되는 영상은 기본 레벨의 화질을 가진 영상일 수 있다. 여기서 기본 레벨의 화질은 고화질일 수 있다.
도 4에 도시된 바와 같이, 차량(100)은 차량의 전방(A1)의 영상, 차량의 후방(A2)의 영상, 차량의 좌측 방향(A3)의 영상 및 차량의 우측 방향(A4)의 영상을 획득하고, 획득된 전방 영상, 차량의 후방 영상, 차량의 좌측 방향의 영상 및 차량의 우측 방향의 영상을 시간 정보와 매칭시켜 저장부에 저장할 수 있다.
도 5a에 도시된 바와 같이, 차량은 전방의 영상을 획득하여 저장할 수 있고 도5b 에 도시된 바와 같이, 차량은 후방의 영상을 획득하여 저장할 수 있다.
차량은 획득된 영상을 영상 처리하여 영상의 밝기, 선명도 및 색상 등을 튜닝하고 노이즈를 제거한다. 그리고 차량은 영상 처리된 영상을 분석하여 차선, 타 차량, 표지판, 신호등, 보행자(즉, 사람), 가로수 등과 같은 물체를 인식(403)하고 인식된 물체의 정보를 획득한다.
여기서 물체의 정보를 획득하는 것은, 물체의 종류와, 자 차를 기준으로 물체의 위치를 획득하는 것을 포함하고, 물체의 속도를 획득하는 것을 더 포함하며, 물체가 타 차량일 때 물체의 번호판의 번호를 획득하는 것을 포함한다.
차량은 영상이 획득된 시점에 위치 수신부로부터 차량의 현재 위치를 수신하고 검출부로부터 차량의 주행 속도를 수신함으로써 차량의 주행 정보를 획득(404)한다.
아울러 차량은 내비게이션 모드를 수행하는 차량용 단말기로부터 차량의 주행 정보를 수신하는 것도 가능하다.
차량은 획득된 물체의 정보와 주행 정보를 영상이 획득된 시간의 시간 정보와 매칭시켜 저장부에 저장(405)한다. 여기서 시간 정보는, 영상이 획득된 날짜 정보로, 년, 월, 일, 시각을 포함할 수 있다. 아울러 영상이 획득된 시간의 시간 정보는 영상이 저장된 시간의 시간 정보와 동일할 수 있다.
도 6에 도시된 바와 같이, 차량은 자 차량의 주행 정보(b1)와 함께, 자 차량의 전후좌우의 영역에 위치한 물체의 정보(b2)를 저장한다. 여기서 물체의 정보는 자 차량의 위치를 기준으로 하는 차선의 위치 정보(b3)를 포함할 수 있다.
즉 차량은 자 차량의 위치 정보와 주행 속도 정보(b1)를 저장하고, 자 차량의 주변의 타 차량의 위치 정보, 속도 정보, 번호 정보 등 움직이는 물체의 정보(b2)를 저장하며, 사람의 위치 정보를 저장하고, 가로수와 같은 움직이지 않는 물체의 위치 정보를 더 저장할 수 있고, 자 차량의 위치를 기준으로 하는 차선의 위치 정보(b3)를 더 저장할 수 있다.
여기서 자 차량의 위치 정보는 GPS 좌표를 기반으로 하는 도로명, 주소 정보 등일 수 있고, 타 차량의 위치 정보는 자 차량의 위치를 기준으로 전후좌우 방향 정보와 자 차량과의 거리 정보일 수 있다.
차량은 현재 시간 정보와 영상이 저장된 시간 정보를 확인하고, 영상이 저장된 시간 정보와 현재 시간 정보에 기초하여 영상이 저장된 시점으로부터 미리 설정된 시간 중 제1시간이 경과하였는지 판단(406)한다.
차량은 영상이 저장된 시점으로부터 제1시간이 경과하였다고 판단되면 저장부에 저장된 영상에서 적어도 하나의 스냅샷을 획득하고 획득된 적어도 하나의 스냅샷을 서버에 전송(407)한다.
여기서 스냅 샷은 저화질의 영상을 고화질의 영상으로 재생할 때 이용되는 영상일 수 있다.
아울러 저장부(142)에 저장된 영상은 동영상으로, 차량은 저장부에 저장된 동영상에서 복수 개의 스냅샷을 획득할 수 있다. 예를 들어, 차량은 초당 30개의 프레임의 영상 중 5개의 프레임의 영상을 스냅샷으로 획득하고 획득된 초당 5개의 프레임을 서버에 전송할 수 있다.
도 7a 및 도 7b에 도시된 바와 같이, 차량은 영상이 저장된 시점으로부터 제1시간이 경과하였다고 판단되면 저장부(142)에 저장된 영상(즉, 오리지널 영상)의 화질을 제1레벨의 화질로 감소시켜 저장부에 저장된 영상의 화질을 변경하고, 저장부에 저장된 영상을 삭제하고, 제1레벨의 화질로 화질이 변경된 영상을 저장부(142)에 저장(408)한다.
여기서 오리지널 영상은 기본 레벨의 화질을 갖는 영상으로, 고화질의 영상일 수 있다.
제1레벨의 화질을 갖는 영상은, 저화질의 영상일 수 있다.
도 7a 및 도 7b에 도시된 바와 같이, 차량은 영상이 저장된 시점으로부터 제2시간이 경과하였다고 판단(409)되면 저장부(142)에 저장된 제1레벨의 화질을 가진 영상의 화질을 제2레벨의 화질로 감소시켜 저장부에 저장된 영상의 화질을 다시 한번 더 변경하고, 저장부에 저장된 제1레벨의 화질을 가진 영상을 삭제하고, 제2레벨의 화질로 화질이 변경된 영상을 저장부(142)에 저장(410)한다.
여기서 제2시간은 제1시간보다 긴 시간일 수 있다.
제2레벨의 화질을 갖는 영상은, 저 화질의 영상일 수 있다. 그리고 제2레벨의 화질은 제1레벨의 화질보다 낮은 화질일 수 있다.
기본 레벨의 화질은 UHD(Ultra High Definition)이고 제1레벨의 화질은 HD(High Definition)이며, 제2레벨의 화질은 SD(Standard Definition)일 수 있다.
본 실시 예에서 제1, 2 시간에 기초하여 오리지널 영상의 화질을 두 번 감소시키는 예에 대해 설명하였지만, 제1시간에 기초하여 오리지널 영상의 화질을 한 번 감소시키는 것도 가능하다.
이때 기본 레벨의 화질은 UHD(Ultra High Definition)이고 제1레벨의 화질은 HD(High Definition)일 수 있다. 또한 기본 레벨의 화질은 HD(High Definition)이고 제1레벨의 화질은 SD(Standard Definition)인 것도 가능하다. 또한 기본 레벨의 화질은 UHD(Ultra High Definition)이고1레벨의 화질은 SD(Standard Definition)인 것도 가능하다.
본 실시 예에서 화질은 해상도, 색온도(화이트 밸런스) 및 플레이(Flare) 정보를 포함하며, 화질 변경은, 이 중 적어도 하나를 변경하는 것을 포함할 수 있다.
이와 같이, 차량은 저장부에 저장된 영상 중 오래된 영상을 삭제하고 오래된 영상의 용량이 감소되도록 오래된 영상의 화질을 감소시켜 저장부에 다시 저장함으로써, 오래된 영상이 차지하는 저장부의 저장 공간을 줄일 수 있어 상대적으로 저장부의 빈 저장 공간을 늘릴 수 있으며, 저장부의 저장공간 확보에 따라 영상의 저장 기간을 늘릴 수 있다.
차량은 저장부에 저장된 영상 중 저장 기간이 미리 설정된 저장 기간을 경과한 영상들이 저장되어 있는지 판단하고, 저장 기간이 미리 설정된 저장 기간을 경과한 영상들이 존재한다고 판단되면 저장 기간이 미리 설정된 저장 기간을 경과한 영상들을 영구 삭제하는 것도 가능하다.
여기서 영구 삭제되는 영상은 제2레벨의 화질로 변경된 영상일 수 있다.
차량은 중요 명령이 수신되었을 때 저장된 영상을 중요 영상으로 저장하고, 저장된 중요 영상의 저장 기간이 미리 설정된 저장 기간을 경과하여도 저장을 유지하도록 하는 것도 가능하다.
도 8은 실시 예에 따른 차량의 제어 순서도로, 저장부에 저장된 영상을 재생하는 방법의 순서도이다. 이를 도 9 내지 11을 참조하여 설명한다.
차량은 입력부를 통해 재생 명령이 입력(411)되면 입력부를 통해 입력된 시간 정보를 확인(412)한다. 즉 차량은 입력부를 통해 재생 명령과 시간 정보를 함께 입력받을 수 있다.
차량은 입력된 시간 정보를 갖는 영상을 검색하고 검색된 영상이 저장된 시간 정보를 확인하며 현재 시간의 시간 정보와 영상이 저장된 시간 정보에 기초하여 영상이 저장된 시간이 제1시간을 경과하였는지 판단(413)한다.
차량은 영상이 저장된 시간이 제1시간을 경과하지 않았다고 판단되면 검색된 영상이 고화질의 영상이라고 판단하고 고화질의 영상을 재생(414)한다.
차량은 영상이 저장된 시간이 제1시간을 경과하였다고 판단되면 검색된 영상이 저화질의 영상이라고 판단하고 서버에 스냅샷 제공을 요청(415)한다. 이때 차량은 입력된 시간 정보와 제공 요청 신호를 함께 서버에 전송한다.
여기서 검색된 저화질의 영상은, 제1레벨의 화질을 가진 영상일 수도 있고, 제2레벨의 화질을 가진 영상일 수도 있다.
차량은 서버로부터 스냅 샷이 수신되면 수신된 스냅샷 영상과 검색된 저화질의 영상을 합성하여 검색된 영상의 화질을 증가시킨다. 즉 차량은 검색된 저화질의 영상을 고화질의 영상으로 변경(417)한다.
아울러 차량은 입력된 시간 정보를 갖는 영상 검색 시에 전후좌우 영상을 모두 검색하고, 스냅샷 수신 시에 검색된 전후좌우 영상에 대응하는 전후좌우의 스냅샷을 모두 수신할 수 있으며, 고화질의 영상으로 변경 시에 검색된 전후좌우 영상과 전후좌우의 스냅샷을 이용하여 검색된 전후좌우 영상을 모두 고화질의 영상으로 변경할 수 있다.
도 9를 참조하여 설명하면, 차량은 저화질의 후방의 동영상을 이루는 복수 개의 프레임(D1, D2) 사이에 복수 개의 스냅샷(S1, S2)을 각각 배치시킴으로써 저화질의 후방 영상을 고화질로 변경할 수 있다.
복수 개의 프레임과 복수 개의 스냅샷은 시간 정보를 포함하고, 시간 정보에 기초하여 복수 개의 프레임 사이에 복수 개의 스냅샷이 배치될 수 있다.
차량은 탑뷰 영상 재생 명령이 입력되었다고 판단(418)되면 저장부에 저장된 정보 중 입력된 시간 정보를 갖는 물체 정보와 주행 정보를 획득(419)하고 전후좌우 영상을 조합하여 하나의 탑뷰 영상을 생성(420)한다. 이때 차량은 탑뷰 영상에 물체 정보와 주행 정보를 매칭시킨다.
다음 차량은 자 차량의 정보, 물체 정보가 매칭된 탑뷰 영상을 표시부를 통해 표시(421)한다.
도 10에 도시된 바와 같이, 차량은 탑뷰 영상 표시 시에 자 차량의 심볼 영상(c1)을 표시하고, 자 차량의 심볼 영상 주변에 자 차량의 주행 정보를 지시하는 태그 영상(c2)을 표시하며, 자 차량의 위치를 기준으로 전후좌우의 영역에 존재하는 물체의 심볼 영상(c3)을 표시하고 물체의 심볼 영상 주변에 물체의 정보를 지시하는 태그 영상(c4)을 표시한다.
차량은 탑뷰 영상 표시 시, 물체의 종류가 사람이라면 사람의 존재하는 위치에 사람의 심볼 영상(c5)만을 표시하는 것도 가능하다.
차량은 탑뷰 영상 표시 시, 차선의 위치 정보에 기초하여 차선 영상(c5)을 표시한다. 아울러 물체의 심볼 영상은, 자 차량의 심볼 영상과 차선 영상의 위치를 기준으로 배치되어 표시될 수 있다.
차량은 탑뷰 영상 표시 시, 탑뷰 영상을 재생할 수 있는 재생 바(c7)를 더 표시할 수 있다. 재생 바는 재생 버튼, 정지 버튼, 이전 재생 버튼, 다음 재생 버튼, 빠른 이전 재생 버튼, 빠른 다음 재생 버튼을 포함할 수 있다.
아울러 차량은, 저화질 영상 재생 명령이 수신되면 입력된 시간 정보를 갖는 영상과 물체 정보와 주행 정보를 검색하고 검색된 영상에 물체의 정보와 주행 정보를 매칭시켜 표시하는 것도 가능하다.
도 11에 도시된 바와 같이, 차량은 저화질의 영상 중 상단에 차량의 주행 정보를 지시하는 태그 영상(d1)을 표시하고, 저화질의 영상 내의 물체 영상 주변에 물체의 정보를 태그 영상(d2)으로 표시할 수 있으며, 차선의 위치 정보에 기초하여 저화질의 영상에 차선 영상(d3)을 오버랩시켜 표시할 수 있고 저화질의 영상을 재생할 수 있는 재생 바(d4)를 더 표시할 수 있다. 여기서 재생 바는 재생 버튼, 정지 버튼, 이전 재생 버튼, 다음 재생 버튼, 빠른 이전 재생 버튼, 빠른 다음 재생 버튼을 포함할 수 있다.
아울러 차량은 고화질의 영상에 물체 정보와 주행 정보를 표시하는 것도 가능하다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다.본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100: 차량 110: 차량용 단말기
111: 입력부 112: 표시부
120: 검출부 130: 영상 획득부
140: 영상 처리 장치 150: 위치 수신부

Claims (24)

  1. 외부의 디바이스와 통신을 수행하는 통신부;
    저장부; 및
    적어도 하나의 영상획득부의 영상이 수신되면 수신된 영상을 상기 저장부에 저장하도록 하고, 상기 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하면 상기 저장부에 저장된 영상의 스냅샷을 획득하고 상기 획득된 스냅샷을 상기 외부의 디바이스에 전송하도록 상기 통신부를 제어하고, 상기 저장부에 저장된 영상을 저장된 영상의 화질보다 낮은 화질로 변경하고 상기 저장부에 저장된 영상을 삭제하고 상기 변경된 화질의 영상을 상기 저장부에 저장하도록 하는 제어부를 포함하고,
    상기 제어부는, 상기 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과한 시점에 영상 재생 명령이 수신되면 상기 외부의 디바이스에 상기 스냅샷의 제공을 요청하고 상기 스냅샷이 수신되면 상기 저장부에 저장된 영상과 상기 스냅샷을 이용하여 상기 저장부에 저장된 영상의 화질을 복원시키는 영상 처리 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 제어부는,
    상기 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하기 전에 영상 재생 명령이 수신되면 상기 저장부에 저장된 영상이 재생되도록 상기 저장부에 저장된 영상을 표시부에 전송하도록 하는 것을 포함하는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 미리 설정된 시간은, 제1시간과 제2시간을 포함하고,
    상기 제어부는, 상기 저장부에 영상을 저장한 시점으로부터 상기 제1시간이 경과하면 상기 저장부에 저장된 영상의 화질을 제1레벨의 화질로 감소시키고, 상기 저장부에 영상을 저장한 시점으로부터 상기 제2시간이 경과하면 상기 저장부에 저장된 영상의 화질을 제2레벨의 화질로 감소시키는 것을 포함하는 영상 처리 장치.
  6. 제1항에 있어서, 상기 제어부는,
    상기 수신된 영상에서 물체를 인식하고 상기 인식된 물체의 정보를 획득하고, 획득된 물체의 정보를 상기 저장부에 저장하도록 하는 것을 포함하는 영상 처리 장치.
  7. 제6항에 있어서, 상기 제어부는,
    영상 재생 명령이 수신되면 상기 저장부에 저장된 영상과 상기 저장된 물체의 정보를 출력하도록 하는 것을 포함하는 영상 처리 장치.
  8. 외부의 디바이스와 통신을 수행하는 통신부;
    입력부;
    표시부;
    주변의 영상을 획득하는 영상획득부;
    저장부; 및
    상기 영상획득부의 영상이 수신되면 수신된 영상을 상기 저장부에 저장하고, 상기 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하면 상기 저장부에 저장된 영상의 스냅샷을 획득하고 상기 획득된 스냅샷을 상기 외부의 디바이스에 전송하도록 하고, 상기 저장된 영상을 저장된 영상의 화질보다 낮은 화질로 변경하고 상기 저장부에 저장된 영상을 삭제하고 상기 변경된 화질의 영상을 상기 저장부에 저장하는 영상 처리 장치를 포함하고,
    상기 영상 처리 장치는, 상기 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과한 시점에 상기 입력부를 통해 영상 재생 명령이 입력되면 상기 외부의 디바이스에 상기 스냅샷의 제공을 요청하고 상기 스냅샷이 수신되면 상기 저장부에 저장된 영상과 상기 스냅샷을 이용하여 상기 저장부에 저장된 영상의 화질을 복원시키고 화질이 복원된 영상과 상기 저장된 물체의 정보를 매칭시켜 상기 표시부를 통해 표시하도록 하는 차량.
  9. 삭제
  10. 제8항에 있어서, 상기 영상 처리 장치는,
    상기 수신된 영상에서 물체를 인식하고 상기 인식된 물체의 정보를 획득하고, 획득된 물체의 정보를 상기 저장부에 저장하도록 하는 차량.
  11. 삭제
  12. 제10항에 있어서,
    상기 영상 처리 장치는, 상기 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하기 전에 상기 입력부를 통해 영상 재생 명령이 수신되면 상기 저장부에 저장된 영상과 상기 저장된 물체의 정보를 매칭시켜 상기 표시부를 통해 표시하도록 하는 것을 포함하는 차량.
  13. 제10항에 있어서,
    상기 영상 처리 장치는, 상기 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과한 시점에 상기 입력부를 통해 저화질의 영상 재생 명령이 입력되면 상기 저장부에 저장된 화질이 변경된 영상과 상기 저장된 물체의 정보를 매칭시켜 상기 표시부를 통해 표시하도록 하는 것을 포함하는 차량.
  14. 제10항에 있어서,
    상기 영상 처리 장치는, 상기 입력부를 통해 탑뷰 영상 재생 명령이 입력되면 상기 저장부에 저장된 영상과 물체의 정보에 기초하여 탑뷰 영상을 생성하고 생성된 탑뷰 영상을 상기 표시부를 통해 표시하도록 하고,
    상기 탑뷰 영상은 차량의 영상을 기준으로 전후좌우 방향의 영역에 상기 저장된 물체의 정보를 영상으로 표시하는 가상 영상인 것을 포함하는 차량.
  15. 제8항에 있어서,
    상기 영상 처리 장치는, 상기 입력부를 통해 입력된 시간을 영상의 화질 변경을 위한 미리 설정된 시간으로 저장하는 것을 포함하는 차량.
  16. 제8항에 있어서,
    내비게이션 모드를 수행하는 차량용 단말기를 더 포함하고,
    상기 영상 처리 장치는, 상기 차량용 단말기로부터 내비게이션 정보를 수신하고 상기 수신된 내비게이션 정보 중 현재 위치 정보와 주행 정보를 획득하고 상기 획득된 현재 위치 정보와 주행 정보를 상기 수신된 영상과 매칭시켜 상기 저장부에 저장하도록 하는 것을 포함하는 차량.
  17. 제16항에 있어서, 상기 영상 처리 장치는,
    상기 수신된 영상에서 차선을 인식하고 인식된 차선의 영상과 상기 저장부에 저장된 영상을 매칭시켜 상기 차량용 단말기에 표시하도록 하는 것을 포함하는 차량.
  18. 차량의 주변의 영상을 획득하고,
    상기 획득된 영상을 저장부에 저장하고,
    상기 획득된 영상에서 물체를 인식하고,
    상기 인식된 물체의 정보를 획득하고,
    상기 획득된 물체의 정보를 상기 저장부에 저장하고,
    상기 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하면 상기 저장부에 저장된 영상의 스냅샷을 획득하여 상기 획득된 스냅샷을 외부의 디바이스에 전송하고,
    상기 저장된 영상을 저장된 영상의 화질보다 낮은 화질로 변경하고,
    상기 저장부에 저장된 영상을 삭제하고,
    상기 변경된 화질의 영상을 상기 저장부에 저장하고,
    상기 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과한 시점에 입력부를 통해 영상 재생 명령이 입력되면 상기 외부의 디바이스에 상기 스냅샷의 제공을 요청하고, 상기 스냅샷이 수신되면 상기 저장부에 저장된 영상과 상기 스냅샷을 이용하여 상기 저장부에 저장된 영상의 화질을 복원시키고 화질이 복원된 영상과 상기 저장된 물체의 정보를 매칭시켜 표시부를 통해 표시하는 차량의 제어 방법.
  19. 삭제
  20. 제18항에 있어서,
    상기 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과하기 전에 입력부를 통해 영상 재생 명령이 수신되면 상기 저장부에 저장된 영상과 상기 저장된 물체의 정보를 매칭시켜 표시하는 것을 더 포함하는 차량의 제어 방법.
  21. 제18항에 있어서,
    상기 저장부에 영상을 저장한 시점으로부터 미리 설정된 시간이 경과한 시점에 상기 입력부를 통해 저화질의 영상 재생 명령이 입력되면 상기 저장부에 저장된 화질이 변경된 영상에서 차선을 인식하고,
    상기 화질이 변경된 영상, 차선 및 상기 저장된 물체의 정보를 매칭시켜 표시하는 것을 더 포함하는 차량의 제어 방법.
  22. 제18항에 있어서,
    입력부를 통해 탑뷰 영상 재생 명령이 입력되면 상기 저장부에 저장된 영상에서 차선을 인식하고,
    상기 저장부에 저장된 영상과 물체의 정보에 기초하여 탑뷰 영상을 생성하고,
    상기 생성된 탑뷰 영상과 상기 인식된 차선을 매칭시켜 표시하는 것을 더 포함하고,
    상기 탑뷰 영상은 차량의 영상을 기준으로 전후좌우 방향의 영역에 상기 저장된 물체의 정보를 영상으로 표시하는 가상 영상인 것을 포함하는 차량의 제어 방법.
  23. 제18항에 있어서,
    상기 차량의 현재 위치 정보를 확인하고,
    상기 차량의 주행 정보를 획득하고,
    상기 획득된 현재 위치 정보와 주행 정보를 상기 획득된 영상과 매칭시켜 상기 저장부에 저장하는 것을 더 포함하는 차량의 제어 방법.
  24. 제18항에 있어서,
    상기 미리 설정된 시간은, 제1시간과 제2시간을 포함하고,
    상기 저장된 영상을 저장된 영상의 화질보다 낮은 화질로 변경하는 것은, 상기 저장부에 영상을 저장한 시점으로부터 상기 제1시간이 경과하면 상기 저장부에 저장된 영상의 화질을 제1레벨의 화질로 감소시키고, 상기 저장부에 저장된 영상을 삭제한 후 상기 제1레벨의 화질의 영상을 상기 저장부에 저장하고,
    상기 저장부에 영상을 저장한 시점으로부터 상기 제2시간이 경과하면 상기 제1레벨의 화질로 변경된 영상의 화질을 제2레벨의 화질로 감소시키고 상기 제1레벨의 화질의 영상을 삭제한 후 상기 제2레벨의 화질의 영상을 상기 저장부에 저장하는 것을 포함하는 차량의 제어 방법.
KR1020180105292A 2018-09-04 2018-09-04 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법 KR102600203B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180105292A KR102600203B1 (ko) 2018-09-04 2018-09-04 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180105292A KR102600203B1 (ko) 2018-09-04 2018-09-04 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20200027235A KR20200027235A (ko) 2020-03-12
KR102600203B1 true KR102600203B1 (ko) 2023-11-10

Family

ID=69803243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180105292A KR102600203B1 (ko) 2018-09-04 2018-09-04 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR102600203B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102445798B1 (ko) * 2020-06-04 2022-09-21 주식회사 엠티오메가 멀티미디어 데이터 저장 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101370912B1 (ko) * 2007-12-07 2014-03-10 엘지전자 주식회사 영상 데이터 처리 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
KR101987992B1 (ko) * 2012-10-24 2019-06-11 현대모비스 주식회사 충격 감지 기능을 이용한 차량용 영상 녹화 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101370912B1 (ko) * 2007-12-07 2014-03-10 엘지전자 주식회사 영상 데이터 처리 방법 및 장치

Also Published As

Publication number Publication date
KR20200027235A (ko) 2020-03-12

Similar Documents

Publication Publication Date Title
CN109725634B (zh) 用于自动驾驶车辆的使用分色镜的3d lidar系统
US10496892B2 (en) Apparatus for providing around view image, and vehicle
US10753757B2 (en) Information processing apparatus and information processing method
US9840197B2 (en) Apparatus for providing around view and vehicle including the same
US11631326B2 (en) Information providing system, server, onboard device, vehicle, storage medium, and information providing method
US20210323574A1 (en) Advanced driver assistance system, vehicle having the same and method for controlling the vehicle
US20220080829A1 (en) Vehicle image processing device and method for displaying visual information on display included in vehicle
WO2020137755A1 (ja) 測距装置及び測距方法
JP2019109707A (ja) 表示制御装置、表示制御方法および車両
JP6345572B2 (ja) 走行映像記録システムおよびこれに用いるドライブレコーダ、並びに記録走行映像のアップロード方法
US11689797B2 (en) Camera, method, non-transitory computer-readable medium, and system
US20210279477A1 (en) Image processing apparatus, image processing method, and image processing system
JPWO2018131514A1 (ja) 信号処理装置、信号処理方法、およびプログラム
KR102600203B1 (ko) 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법
JP2024052899A (ja) 通信装置及び通信方法
KR20210152221A (ko) 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법
US10801851B2 (en) Navigation apparatus, vehicle including the same, and method of controlling the vehicle
US20220116724A1 (en) Three-dimensional (3d) audio notification for vehicle
KR20210030523A (ko) 차량 및 그 제어 방법
WO2017179174A1 (ja) 移動体周囲表示方法及び移動体周囲表示装置
KR102443843B1 (ko) 차량 및 그 제어 방법
US11438720B2 (en) Three-dimensional (3D) audio interaction for vehicles
US20230232107A1 (en) Infrastructure and Vehicle for Communicating with the Same
WO2023139943A1 (ja) 情報処理装置、情報処理システム、コンピュータ読み取り可能な記録媒体及び情報処理方法
KR102531869B1 (ko) 데이터 처리 장치, 그를 가지는 차량 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant