KR20210152221A - 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법 - Google Patents

영상 처리 장치, 그를 가지는 차량 및 그 제어 방법 Download PDF

Info

Publication number
KR20210152221A
KR20210152221A KR1020200069046A KR20200069046A KR20210152221A KR 20210152221 A KR20210152221 A KR 20210152221A KR 1020200069046 A KR1020200069046 A KR 1020200069046A KR 20200069046 A KR20200069046 A KR 20200069046A KR 20210152221 A KR20210152221 A KR 20210152221A
Authority
KR
South Korea
Prior art keywords
frame
delta
frames
pixels
received
Prior art date
Application number
KR1020200069046A
Other languages
English (en)
Inventor
주영성
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200069046A priority Critical patent/KR20210152221A/ko
Priority to US17/102,991 priority patent/US11651592B2/en
Priority to CN202011396949.XA priority patent/CN113840111A/zh
Publication of KR20210152221A publication Critical patent/KR20210152221A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명의 차량은 영상 획득부; 주차 상태이면 영상 획득부에 의해 획득된 영상에 대한 오리지널 프레임을 설정 시간 간격으로 수신하고, 설정 시간 간격으로 수신된 복수 개의 오리지널 프레임들을 비교하여 서로 동일한 픽셀을 가진 키 프레임을 획득하고, 복수 개의 프레임들 중 기준 오리지널 프레임과 나머지 오리지널 프레임들을 각각 비교하여 나머지 오리지널 프레임들에서 기준 오리지널 프레임과 상이한 픽셀을 가진 복수 개의 델타 프레임을 획득하고, 키 프레임과 복수 개의 델타 프레임을 각각 압축하는 영상 처리 장치; 및 영상 처리 장치에서 압축된 키 프레임과 복수 개의 델타 프레임을 저장하는 저장 장치를 포함한다.

Description

영상 처리 장치, 그를 가지는 차량 및 그 제어 방법 {Video processor, Vehicle having the video processor and method for controlling the video processor}
본 발명은 외부의 영상을 획득하고 획득된 영상을 저장 및 표시하기 위한 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법에 관한 것이다.
차량은 기본적인 주행 기능 외에도 라디오 기능, 오디오 기능, 비디오 기능, 길 안내 기능(내비게이션 기능), 공조 기능, 시트 열선 기능, 외부 영상 획득 기능(블랙박스 기능), 외부의 사용자용 단말기와의 통신 기능 등 사용자 편의를 위한 부가적인 기능을 더 수행한다.
이 중 외부 영상 획득 기능은, 주차 중 후방의 영상을 획득하는 기능과, 주행 중 차량 전방의 영상을 획득하는 기능을 포함할 수 있다.
즉 차량은 주차 중 후방의 영상을 획득하고 획득된 영상을 디스플레이함으로써 주차 보조 기능을 수행하고, 정자 또는 주행 중 주변의 영상을 획득하고 획득된 영상을 저장 및 표시함으로써 사고 발생 시 사고의 원인 분석에 이용할 수 있도록 한다. 또한, 차량이 자율 주행 기능을 가진 차량일 때, 차량은 획득된 주방의 영상을 자율 주행을 위한 정보로 이용한다.
이러한 외부 영상 획득 기능을 수행할 때, 차량은 실시간으로 영상을 획득하여 저장할 수 있어야 한다. 이를 위해, 차량에는 영상의 획득, 저장 및 표시를 위한 영상 처리 장치가 마련되어 있어야 하며, 큰 저장 용량을 가진 저장 장치가 마련되어 있어야 한다. 이로 인해 차량이나, 영상 처리 장치의 제품의 단가가 상승하는 문제가 있었다.
또한 사용자가 저장된 영상 중 이벤트 발생 시점에 대한 영상을 검색할 때 저장 장치에 저장된 많은 영상을 하나하나 보면서 검색해야 하는 불편함이 있었고, 이로 인해 영상 검색에 많은 시간이 소요되는 문제가 있었다.
또한 장 시간 주차 시 저장 장치의 저장 용량의 부족으로 오래된 영상이 삭제되는 문제가 있었다.
일 측면은 복수 개의 영상 중 동일한 픽셀을 하나로 압축하여 저장하고, 상이한 픽셀을 별도로 압축하여 저장하며, 영상 표시 시 하나로 압축된 영상을 복원하여 하나의 영상으로 표시하고, 하나의 영상 내에 상이한 픽셀을 가진 영상을 표시하는 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법을 제공한다.
다른 측면은 복수 개의 영상 중 상이한 픽셀을 가진 영상을 획득된 시간 정보와 매칭시켜 표시하는 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법을 제공한다.
일 측면에 따른 영상 처리 장치는, 차량과 통신을 수행하고, 영상 획득부에 의해 획득된 영상에 대한 제1, 2 오리지널 프레임을 설정 시간 간격으로 수신하는 통신부; 및 수신된 제1오리지널 프레임과 제2오리지널 프레임 사이에 동일한 픽셀들을 확인하고, 확인된 동일한 픽셀들을 포함하는 키 프레임을 획득하고, 수신된 제2오리지널 프레임의 픽셀들 중에서 수신된 제1오리지널 프레임의 픽셀들과 상이한 픽셀들을 확인하고 확인된 상이한 픽셀들을 포함하는 델타 프레임을 획득하고, 키 프레임과 델타 프레임을 각각 압축 및 저장하는 제어부를 포함한다.
영상 처리 장치의 제어부는, 통신부를 통해 표시 명령이 수신되면 저장된 키 프레임과 델타 프레임을 복원하고, 복원된 키 프레임과 델타 프레임을 합성하고 합성된 키 프레임과 델타 프레임을 표시부에 전송한다.
영상 처리 장치의 제어부는, 복원을 수행할 때 선형 보간법을 이용하여 복원한다.
영상 처리 장치의 제어부는, 복수 개의 델타 프레임이 저장된 상태에서 통신부를 통해 표시 명령이 수신되면, 저장된 키 프레임과 복수 개의 델타 프레임을 각각 복원하고, 복원된 키프레임에 복원된 복수 개의 델타 프레임을 오버랩시킨다.
영상 처리 장치의 제어부는, 복수 개의 델타 프레임의 픽셀들의 위치 정보를 확인하고, 확인된 복수 개의 델타 프레임의 각각에 대한 픽셀들의 위치 정보에 기초하여 오버랩을 위한 위치를 결정한다.
영상 처리 장치의 제어부는, 통신부를 통해 어느 하나의 델타 프레임의 선택 신호가 수신되면 복수 개의 델타 프레임 중 어느 하나의 델타 프레임을 나머지 델타 프레임과 다르게 표시하도록 한다.
영상 처리 장치의 제어부는, 통신부를 통해 어느 하나의 델타 프레임의 선택 신호가 수신되면 복수 개의 델타 프레임 중 어느 하나의 델타 프레임만을 키 프레임과 합성시켜 표시하도록 한다.
영상 처리 장치의 제어부는, 수신된 제2오리지널 프레임이 획득된 시간 정보를 델타 프레임과 매치시켜 저장한다.
영상 처리 장치의 제어부는, 통신부를 통해 환경 정보가 수신되면 수신된 환경 정보에 기초하여 제1, 제2오리지널 프레임의 휘도, 색상 중 적어도 하나를 조절한다. 환경 정보는, 현재의 시간 정보, 날씨 정보, 계절 정보, 조도 정보 중 적어도 하나를 포함한다.
다른 측면에 따른 영상 처리 장치의 제어 방법은, 영상 획득부에 의해 획득된 영상에 대한 오리지널 프레임을 설정 시간 간격으로 수신하고, 설정 시간 간격으로 수신된 복수 개의 오리지널 프레임들을 비교하여 서로 동일한 픽셀을 가진 키 프레임을 획득하고, 복수 개의 프레임들 중 기준 오리지널 프레임과 나머지 오리지널 프레임들을 각각 비교하여 나머지 오리지널 프레임들에서 기준 오리지널 프레임과 상이한 픽셀을 가진 복수 개의 델타 프레임을 획득하고, 키 프레임과 복수 개의 델타 프레임을 각각 압축하여 저장하고, 사용자 입력으로 표시 명령이 수신되면 저장된 키 프레임과 저장된 복수 개의 델타 프레임을 복원하고, 복원된 키프레임과 복원된 복수 개의 델타 프레임을 합성하여 표시부를 통해 표시하도록 한다.
복수 개의 델타 프레임을 압축하여 저장하는 것은, 복수 개의 델타 프레임과 각각 대응하는 오리지널 프레임들을 확인하고, 확인된 오리지널 프레임들이 획득된 시간 정보를 각각 확인하고, 복수 개의 델타 프레임과 각각 확인된 시간 정보를 매칭시켜 저장하는 것을 포함한다.
복원된 키프레임과 복원된 복수 개의 델타 프레임을 합성하는 것은, 복수 개의 델타 프레임과 매칭되어 저장된 시간 정보를 함께 표시하는 것을 포함한다.
영상 처리 장치의 제어 방법은 사용자 입력으로 어느 하나의 시간 정보가 선택되면 선택된 시간 정보를 가지는 델타 프레임을 나머지 델타 프레임과 다르게 표시하도록 하는 것을 더 포함한다.
영상 처리 장치의 제어 방법은 사용자 입력으로 어느 하나의 시간 정보가 선택되면 선택된 시간 정보를 가지는 델타 프레임만을 표시하도록 하는 것을 더 포함한다.
복수 개의 델타 프레임을 압축하여 저장하는 것은, 복수 개의 델타 프레임의 픽셀들의 위치 정보를 각각 확인하고, 복수 개의 델타 프레임 각각에 대한 픽셀들의 위치 정보를 저장하는 것을 포함한다.
복원된 키프레임과 복원된 복수 개의 델타 프레임을 합성하는 것은, 복수 개의 델타 프레임의 각각에 대한 픽셀들의 위치 정보에 기초하여 복수 개의 델타 프레임을 키 프레임에 합성시키는 것을 포함한다.
영상 처리 장치의 제어 방법은 통신부를 통해 환경 정보가 수신되면 수신된 환경 정보에 기초하여 복수 개의 오리지널 프레임들의 휘도, 색상 중 적어도 하나를 조절하는 것을 더 포함하고, 환경 정보는, 현재의 시간 정보, 날씨 정보, 계절 정보, 조도 정보 중 적어도 하나를 포함한다.
또 다른 측면에 따른 차량은, 영상 획득부; 주차 상태이면 영상 획득부에 의해 획득된 영상에 대한 오리지널 프레임을 설정 시간 간격으로 수신하고, 설정 시간 간격으로 수신된 복수 개의 오리지널 프레임들을 비교하여 서로 동일한 픽셀을 가진 키 프레임을 획득하고, 복수 개의 프레임들 중 기준 오리지널 프레임과 나머지 오리지널 프레임들을 각각 비교하여 나머지 오리지널 프레임들에서 기준 오리지널 프레임과 상이한 픽셀을 가진 복수 개의 델타 프레임을 획득하고, 키 프레임과 복수 개의 델타 프레임을 각각 압축하는 영상 처리 장치; 및 영상 처리 장치에서 압축된 키 프레임과 복수 개의 델타 프레임을 저장하는 저장 장치를 포함한다.
차량은 입력부 및 표시부를 더 포함하고, 영상 처리 장치는, 입력부를 통해 표시 명령이 수신되면 저장 장치에 저장된 키 프레임과 복수 개의 델타 프레임을 복원하고, 복원된 키프레임과 복원된 복수 개의 델타 프레임을 합성하여 표시부를 통해 표시하도록 한다.
차량의 영상 처리 장치는, 복수 개의 델타 프레임과 각각 대응하는 오리지널 프레임들을 확인하고, 확인된 오리지널 프레임들이 획득된 시간 정보를 각각 확인하고, 복수 개의 델타 프레임과 각각 확인된 시간 정보를 매칭시켜 저장하고, 표시 명령이 수신되면, 복수 개의 델타 프레임과 대응하는 시간 정보를 복원된 키프레임 및 복원된 복수 개의 델타 프레임과 함께 표시하도록 한다.
차량은 조도를 검출하는 조도 검출부를 더 포함하고, 차량의 영상 처리 장치는, 조도 검출부에 의해 검출된 조도에 기초하여 복수 개의 오리지널 프레임들의 휘도 및 색상 중 적어도 하나를 조절한다.
차량은 외부의 충격을 검출하는 충격 검출부를 더 포함하고, 제어부는, 충격 검출부에 의해 검출된 충격 정보에 기초하여 이벤트 발생 여부를 판단하고, 이벤트 발생으로 판단되면 이벤트 발생의 시점에 획득한 델타 프레임에 대한 정보를 저장하도록 한다.
또 다른 측면에 따른 영상 처리 장치는, 차량과 통신을 수행하고, 영상 획득부에 의해 획득된 영상에 대한 제1, 2 오리지널 프레임을 설정 시간 간격으로 수신하는 통신부; 및 수신된 제1오리지널 프레임과 제2오리지널 프레임 사이에 동일한 픽셀들을 확인하고, 확인된 동일한 픽셀들을 포함하는 키 프레임을 획득하고, 수신된 제2오리지널 프레임의 픽셀들 중에서 수신된 제1오리지널 프레임의 픽셀들과 상이한 픽셀들을 확인하고 확인된 상이한 픽셀들을 포함하는 델타 프레임을 획득하고, 키 프레임과 델타 프레임을 각각 압축 및 저장하는 제어부를 포함하고, 제어부는, 복수 개의 델타 프레임이 저장된 상태에서 통신부를 통해 재생 명령이 수신되면, 저장된 키 프레임과 복수 개의 델타 프레임을 각각 복원하고, 복원된 키프레임에 복원된 복수 개의 델타 프레임을 동시에 재생하도록 제어한다.
또 다른 측면에 따른 영상 처리 장치의 복수 개의 델타 프레임은, 서로 동일한 시간에 영상 획득부에 의해 획득된 영상에서 획득한 픽셀을 포함한다.
또 다른 측면에 따른 영상 처리 장치의 복수 개의 델타 프레임은, 서로 상이한 시간에 영상 획득부에 의해 획득된 영상에서 획득한 픽셀을 포함한다.
또 다른 측면에 따른 영상 처리 장치는, 차량과 통신을 수행하고, 영상 획득부에 의해 획득된 영상에 대한 제1, 2 오리지널 프레임을 설정 시간 간격으로 수신하고, 차량의 이벤트 정보를 수신하는 통신부; 및 수신된 제1오리지널 프레임과 제2오리지널 프레임 사이에 동일한 픽셀들을 확인하고, 확인된 동일한 픽셀들을 포함하는 키 프레임을 획득하고, 수신된 제2오리지널 프레임의 픽셀들 중에서 수신된 제1오리지널 프레임의 픽셀들과 상이한 픽셀들을 확인하고 확인된 상이한 픽셀들을 포함하는 델타 프레임을 획득하고, 키 프레임과 델타 프레임을 각각 압축 및 저장하는 제어부를 포함하고, 제어부는, 복수 개의 델타 프레임이 저장된 상태에서 통신부를 통해 표시 명령이 수신되면, 저장된 키 프레임과 복수 개의 델타 프레임을 각각 복원하고, 복원된 키프레임에 복원된 복수 개의 델타 프레임을 동시에 표시하도록 제어하되, 복수 개의 델타 프레임 중 이벤트 정보가 수신된 시점에 획득한 제1델타 프레임을 확인하고, 제1 델타 프레임의 일부 영역이 나머지 델타 프레임 중 일부의 제2델타 프레임의 일부 영역과 중첩되면, 제1 델타 프레임의 전체 영역이 표시되도록 제어한다.
또 다른 측면에 따른 영상 처리 장치의 제어부는, 제1 델타 프레임의 일부 영역에 중첩된 제2 델타 프레임의 일부 영역에 대한 비표시를 제어한다.
또 다른 측면에 따른 영상 처리 장치는 차량과 통신을 수행하고, 영상 획득부에 의해 획득된 영상에 대한 제1, 2 오리지널 프레임을 설정 시간 간격으로 수신하고, 차량의 이벤트 정보를 수신하는 통신부; 및 수신된 제1오리지널 프레임과 제2오리지널 프레임 사이에 동일한 픽셀들을 확인하고, 확인된 동일한 픽셀들을 포함하는 키 프레임을 획득하고, 수신된 제2오리지널 프레임의 픽셀들 중에서 수신된 제1오리지널 프레임의 픽셀들과 상이한 픽셀들을 확인하고 확인된 상이한 픽셀들을 포함하는 델타 프레임을 획득하고, 키 프레임과 델타 프레임을 각각 압축 및 저장하는 제어부를 포함하고, 제어부는, 복수 개의 델타 프레임이 저장된 상태에서 통신부를 통해 재생 명령이 수신되면, 저장된 키 프레임과 복수 개의 델타 프레임을 각각 복원하고, 복원된 키프레임에 복원된 복수 개의 델타 프레임을 동시에 재생하도록 제어하되, 복수 개의 델타 프레임 중 이벤트 정보가 수신된 시점으로부터 제1일정 시간 이전의 제1시점에 획득한 제1델타 프레임을 확인하고, 이벤트 정보가 수신된 시점으로부터 제2일정 시간 이후의 제2시점에 획득한 제2델타 프레임을 확인하고, 제1시점과 제2시점 사이의 시간 동안 획득한 제1 델타 프레임과 제2델타 프레임의 동시 재생을 제어한다.
본 발명은 복수 개의 프레임 중 동일한 픽셀을 하나로 압축하여 저장하고, 이벤트에 대응하는 픽셀을 별도로 압축하여 저장함으로써 영상 처리 시간을 단축할 수 있고, 저장 장치에 저장되는 데이터의 양을 줄일 수 있고, 저장 장치에 저장되는 데이터의 양이 감소함에 따라 저장 장치에 저장되는 영상을 장기간 보관할 수 있다.
본 발명은 기존에 비해 긴 시간 동안 획득된 영상을 저장할 수 있다. 즉 본 발명은 저장된 영상을 장기간 보관할 수 있다.
본 발명은 기존과 동일한 저장 용량을 가진 저장 장치를 이용하여도, 기존 대비 저장 장치 내에 이벤트에 대한 영상을 더 많이 저장할 수 있다.
기존 대비 저장 용량이 작아서 더 저렴한 저장 장치를 이용하여도, 본 발명은 기존과 동일 또는 기존보다 더 많은 기간 동안 획득된 영상을 저장할 수 있다. 즉 본 발명은 제품의 단가를 줄일 수 있다.
본 발명은 각각의 이벤트에 대응하는 복수 개의 영상을 동시에 표시할 수 있다. 이를 통해 사용자는 영상을 쉽고 빠르게 확인할 수 있다.
본 발명은 각각의 이벤트에 대응하는 복수 개의 영상과 시간에 대한 정보를 함께 표시함으로써 사용자가 필요로 하는 영상을 용이하고 정확하게 검색하도록 할 수 있다. 즉 본 발명은 사용자에 의한 영상 검색의 시간을 단축시킬 수 있다.
이와 같이 본 발명은 영상 처리 장치, 차량의 품질 및 상품성을 향상시킬 수 있고 나아가 사용자의 만족도를 높일 수 있으며 사용자의 편리성 및 차량의 안전성을 향상시킬 수 있고 차량의 경쟁력을 확보할 수 있다.
도 1은 일 실시 예에 따른 영상 처리 장치를 포함한 차량의 제어 구성도이다.
도 2는 도 1에 도시된 영상 처리 장치의 키 프레임과 델타 프레임의 획득 예시도이다.
도 3은 도 1에 도시된 영상 처리 장치의 키 프레임과 델타 프레임의 복원을 설명하기 위한 도면이다.
도 4는 다른 실시 예에 따른 영상 처리 장치를 포함한 차량의 제어 구성도이다.
도 5는 일 실시 예에 따른 영상 처리 장치의 제어 순서도이다.
도 6a, 도 6b, 도 6c, 도 6d, 도 6e 및 도 6f는 영상 처리 장치에 수신된 프레임의 예시도이다.
도 7 은 영상 처리 장치에 의해 영상 처리된 키프레임의 예시도이다.
도 8은 영상 처리 장치에 의해 영상 처리된 대표 델타 프레임의 예시도이다.
도 9 내지 도 13은 영상 처리 장치에 의해 영상 처리된 영상의 표시 예시도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 장치'라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부, 모듈, 장치'가 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 장치'가 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를"포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시 예들에 대해 설명한다.
차량(1)은 외장과 내장을 갖는 차체(Body)와, 차체를 제외한 나머지 부분으로 주행에 필요한 기계 장치가 설치되는 차대(Chassis)를 포함한다.
차체의 외장은 프론트 패널, 본네트, 루프 패널, 리어 패널, 전후좌우의 도어, 전후좌우의 도어에 개폐 가능하게 마련되고, 차량의 정면과 후면에 고정 설치된 창문을 포함한다.
차체의 외장은 전후좌우 도어의 윈도우 글래스 사이의 경계에 마련된 필러와, 운전자에게 차랑(1) 후방의 시야를 제공하는 사이드 미러를 포함한다.
차체의 내장은 탑승자가 앉는 시트와, 대시 보드와, 계기판(즉 클러스터)과, 공기조화기의 송풍구와 조절판이 배치된 센터 페시아와, 센터 페시아에 마련되고 오디오 기기와 공기 조화기의 동작 명령을 입력받는 헤드 유닛을 포함한다.
차량은 센터페시아에 마련되고 조작 위치를 입력받는 변속 레버와, 변속 레버의 주변 또는 헤드 유닛에 위치하고 전자식 주차 브레이크 장치(미도시)의 동작 명령을 입력받는 주차 버튼(EPB 버튼)을 더 포함한다.
차량의 차대는 차체를 지지하는 틀로, 전후좌우에 각 배치된 차륜과, 전후좌우의 차륜에 구동력을 인가하기 위한 동력 장치, 조향 장치, 전후좌우의 차륜에 제동력을 인가하기 위한 제동 장치 및 차량의 서스펜션을 조절하기 위한 현가 장치가 마련될 수 있다.
차량(1)에는 사용자의 안전 및 편의를 위해 차량의 주변 상황에 대한 정보를 영상으로 획득하고 획득된 영상을 저장 및 출력하도록 하는 영상 처리 장치(230)가 마련될 수 있다.
이러한 차량의 제어 구성을 도 1을 참조하여 설명한다.
도 1은 일 실시 예에 따른 영상 처리 장치가 마련된 차량의 제어 구성도이다.
차량(1)은 입력부(111), 표시부(112), 검출부(120), 영상획득부(130), 영상 처리 장치(230)를 가지는 제어부(140), 저장 장치(150), 통신부(160), 사운드 입력부(170) 및 사운드 출력부(180)를 포함한다.
입력부(111)는 사용자 입력을 수신한다.
입력부(111)는 차량에서 수행 가능한 각종 기능의 동작 명령을 입력받는다.
입력부(111)는 영상 획득, 영상 검색 및 영상 재생 명령을 입력받는다.
입력부(111)는 영상 검색 및 영상 재생 시 영상이 저장된 시간의 정보를 입력받는 것도 가능하다.
입력부(111)는 복수 개의 이벤트 영상 중 적어도 하나를 선택하기 위해, 복수 개의 이벤트 영상과 매칭된 시간 정보를 선택받는 것도 가능하다.
입력부(111)는 저장된 영상의 삭제 명령을 입력받는 것도 가능하다.
입력부(111)는 헤드 유닛 및 센터페시아에 마련될 수 있다.
이러한 입력부(111)는 복수 개의 버튼을 포함할 수 있다.
또한 입력부(111)는 스티어링 휠에 마련된 복수 개의 버튼을 포함할 수 있으며, 스티어링 휠 주변의 조작 레버(미도시)에 마련된 버튼을 포함할 수 있다.
입력부(111)는 표시부(112)에 표시된 커서의 이동 명령 및 선택 명령 등을 입력하기 위한 조그 다이얼(미도시) 또는 터치 패드(미도시)를 더 포함하는 것도 가능하다. 여기서 조그 다이얼 또는 터치 패드는 센터페시아 등에 마련될 수 있다.
표시부(112)는 차량에서 수행 가능한 각종 기능의 정보, 차량에서 수행 중인 각종 기능의 정보를 표시하며, 사용자에 의해 입력된 정보를 표시할 수 있다.
표시부(112)는 저장 장치(150)에 저장된 영상을 표시한다.
표시부(112)는 저장 장치(150)에 저장된 영상 표시 시에 복수 개의 이벤트 영상을 하나의 화면에 동시에 표시할 수 있다.
이러한 표시부(112)는 헤드 유닛에 마련될 수 있다.
입력부(111)와 표시부(112)는 하나의 장치로 마련될 수 있다.
즉, 입력부(111)와 표시부(112)는 일체화되어 차량용 단말기로 마련될 수 있다.
차량용 단말기(110)는 오디오 기능, 비디오 기능, 내비게이션 기능, 방송 기능(DMB 기능), 라디오 기능, 컨텐츠 재생 기능, 인터넷 검색 기능 중 사용자에 의해 선택된 적어도 하나의 기능에 대한 영상을 표시한다.
차량용 단말기(110)는 대시 보드 상에 매립식 또는 거치식으로 설치될 수 있다.
차량용 단말기(110)는 표시부(112)로 디스플레이 패널을 포함할 수 있고, 입력부(111)로 터치 패널을 더 포함할 수 있다. 즉 차량용 단말기(110)는디스플레이 패널에 터치 패널이 일체화된 터치 스크린을 포함할 수도 있다.
검출부(120)는 차량의 주행 정보를 검출한다.
검출부(120)는 차량의 주행 속도를 검출하는 속도 검출부를 더 포함할 수 있다.
속도 검출부는 차량의 복수 개의 휠에 각각 마련된 복수 개의 휠 속도 센서를 포함할 수 있고, 차량의 가속도를 검출하는 가속도 센서를 포함할 수 있다.
검출부(120)는 변속 레버의 위치를 검출하는 것도 가능하고, 전자식 주차 브레이크의 조작 상태를 검출하는 것도 가능하다.
검출부(120)는 시동 온오프 신호를 검출하는 것도 가능하다.
검출부(120)는 외부 충격을 검출하는 충격 검출부나, 일정 이상 크기의 소리를 검출하는 소리 검출부를 더 포함할 수 있다.영상 획득부(130)는 차량 주변의 영상을 실시간으로 획득한다.
영상 획득부(130)는 차량의 전후좌우 방향의 도로 영상을 획득하는 적어도 하나 또는 복수 개의 카메라를 포함할 수 있다.
즉 영상 획득부(130)는 카메라로, CCD 또는 CMOS 이미지 센서를 포함할 수 있고, KINECT(RGB-D 센서), TOF(Structured Light Sensor), 스테레오 카메라(Stereo Camera) 등과 같은 3차원 공간 인식 센서를 포함할 수도 있다.
이러한 영상 획득부(130)는 회전 가능한 카메라를 포함할 수 도 있다.
본 실시 예서는 4개의 카메라를 포함하는 영상 획득부를 예를 들어 설명한다.
영상 획득부(130)는 차량의 전방 방향의 영상을 획득하는 제1카메라, 차량의 후방 방향의 영상을 획득하는 제2카메라, 차량의 좌측 방향의 영상을 획득하는 제3카메라, 차량의 우측 방향의 영상을 획득하는 제4카메라를 포함할 수 있다.
이러한 영상 획득부(130)는 블랙박스에 마련된 카메라일 수 있고, 자율 주행을 위한 자율 주행 제어 장치의 카메라일 수도 있으며, 장애물 검출을 위한 카메라일 수도 있다.
영상 획득부(130)는 주변 모니터링 장치(SVM: Surround View Monitor, 또는AVM)의 카메라, 사각 지대 감지 장치(BSD: Blind Spot Detection)의 카메라 또는 후방 감지 장치의 카메라를 포함할 수 있다.
제1카메라는 차량의 전면의 프런트 윈도우 글래스에 마련되되 차량 내부의 창문에 마련되어 차량의 외부를 향하도록 마련될 수도 있고, 차량 내부의 룸미러에 마련되되 차량의 외부를 향하도록 마련될 수도 있으며, 번호판, 그릴, 엠블럼, 프런트 패널 또는 루프 패널의 마련되되 외부로 노출되도록 마련될 수도 있다.
제2카메라는 차량의 후면의 리어 윈도우 글래스에 마련되되 차량 내부의 창문에 마련되어 차량의 외부를 향하도록 마련될 수도 있고, 테일 게이트에 마련될 수도 있으며, 번호판, 루프 패널, 리어 패널 또는 엠블럼에 마련되되 외부로 노출되도록 마련될 수도 있다.
제3 카메라는 좌측 사이드 미러, 좌측 도어 또는 좌측 펜더(Fender)에 마련될 수 있다.
제4 카메라는 우측 사이드 미러, 우측 도어 또는 우측 펜더에 마련될 수 있다. 아울러 제4 카메라는 리어 패널 주변, 엠블럼 주변 또는 번호판 주변에 마련될 수도 있다.
이러한 영상 획득부(130)는 차량 주변의 물체에 대한 형상 정보를 전기적인 영상 신호로 변환하는 것으로, 자 차량의 현재 위치에서 자 차량 외부의 환경, 특히 차량이 주행하는 도로 및 그 주변의 자 차량의 전방, 후방, 좌우의 측방의 물체의 형상 정보에 대응하는 영상 신호를 제어부(140)에 전송하고, 정차 또는 주차 시에도 그 주변의 물체의 형상 정보에 대응하는 영상 신호를 제어부(140)에 전송한다.
영상 획득부(130)는 영상을 실시간으로 획득할 수 있다. 즉 영상 획득부(130)는 동영상의 영상을 획득할 수 있다.
제어부(140)는 검출부(120)에 의해 검출된 검출 정보에 기초하여 차량이 주행 상태인지, 정차 상태인지, 주차 상태인지를 판단하고, 판단된 차량의 상태에 대한 상태 정보를 영상 처리 장치(230)에 전송한다.
제어부(140)는 검출부(120)에 의해 획득된 주행 속도 정보, 가속도 정보, 요레이트 정보, 전자식 주차 브레이크의 조작 상태에 대응하는 정보, 변속 레버의 위치에 대한 정보, 시동 온오프 신호 중 적어도 하나의 기초하여 차량의 상태 정보를 획득할 수 있다.
예를 들어, 제어부(140)는 시동 온 신호가 수신된 상태에서 주행 속도가 영이 아니면 주행 상태라고 판단하고, 시동 온 신호가 수신된 상태에서 주행 속도가 영이면 정차 상태라고 판단하고, 변속 레버의 위치에 대한 정보가 파킹 단에 대응하는 정보이면 정차 상태라고 판단하며, 시동 오프 신호가 수신되면 주차 상태라고 판단할 수 있다.
제어부(140)는 충격 검출부에 의해 검출된 충격 정보에 기초하여 이벤트 발생 여부를 판단하고, 이벤트 발생으로 판단되면 이벤트 발생의 시점에 대한 이벤트 시간 정보를 저장하도록 하고, 이벤트 발생의 시점에 획득한 델타 프레임에 대한 식별 정보를 저장하도록 한다.
제어부(140)는 소리 검출부에 의해 검출된 소리의 크기가 일정 크기 이상의 소리라고 판단되면 주변의 이벤트 발생으로 판단하고 판단한 이벤트 발생의 시점에 대한 이벤트 시간 정보를 저장하도록 하고, 이벤트 발생의 시점에 획득한 델타 프레임에 대한 식별 정보를 저장하도록 하는 것도 가능하다.
제어부(140)는 이벤트 발생에 대한 이벤트 정보를 영상 처리 장치(230)에 전소할 수 있다.
제어부(140)는 차량의 상태 정보에 기초하여 영상 획득부(130)에 의해 획득된 영상을 압축 및 저장할 수 있도록 영상 처리 장치(230)를 동작시킬 수 있다.
제어부(140)는 영상 처리 장치(230)의 기능을 수행할 수도 있다.
제어부(140)는 차량을 제어하기 위한 제어 장치와, 영상 처리 장치(230)를 각각 포함하는 것도 가능하다.
제어부(140)는 영상 처리 장치(230)와 별도로 마련될 수 있다. 이 경우 제어부(140)는 영상 처리 장치(230)와 통신을 수행할 수도 있다.
본 실시 예는 제어부 내에 영상 처리 장치가 마련된 예에 대해서 설명한다.
영상 처리 장치(230)는 수신된 차량의 상태 정보에 기초하여 압축 알고리즘을 선택하고 선택된 압축 알고리즘에 기초하여 영상 획득부(130)에 의해 획득된 영상의 압축을 제어하고, 압축된 영상 정보를 시간 정보와 함께 저장 장치(150)에 저장하도록 한다.
좀 더 구체적으로, 영상 처리 장치(230)는 차량이 주행 상태이면 주행 상태에 대응하는 압축 알고리즘을 선택하고 선택된 압축 알고리즘을 이용하여 영상 획득부(130)에 의해 획득된 영상의 압축을 제어한다.
영상 처리 장치(230)는 차량이 정차 상태이면 정차 상태에 대응하는 압축 알고리즘을 선택하고 선택된 압축 알고리즘을 이용하여 영상 획득부(130)에 의해 획득된 영상의 압축을 제어한다.
영상 처리 장치(230)는 차량이 주차 상태이면 주차 상태에 대응하는 압축 알고리즘을 선택하고 선택된 압축 알고리즘을 이용하여 영상 획득부(130)에 의해 획득된 영상의 압축을 제어한다.
주행 상태에 대응하는 압축 알고리즘과, 정차 상태에 대응하는 압축 알고리즘과, 주차 상태에 대응하는 압축 알고리즘은 서로 다를 수 있다.
주행 상태에 대응하는 압축 알고리즘과, 정차 상태에 대응하는 압축 알고리즘은 서로 동일할 수도 있다.
정차 상태에 대응하는 압축 알고리즘과, 주차 상태에 대응하는 압축 알고리즘은 서로 동일할 수도 있다.
영상 처리 장치(230)는 영상을 압축하기 전에 날씨, 시간, 계절 등의 환경 정보에 기초하여 획득된 영상을 영상 처리하는 것도 가능하다.
영상 처리 장치(230)는 영상을 압축하기 전에 조도 정보에 기초하여 획득된 영상을 영상 처리하는 것도 가능하다.
주차 상태에서 획득된 영상을 압축할 때, 영상 처리 장치(230)의 동작을 도 2 및 도 3을 참조하여 설명한다.
도 2는 도 1에 도시된 영상 처리 장치의 키 프레임과 델타 프레임의 획득 예시도이고 도 3은 도 1에 도시된 영상 처리 장치의 키 프레임과 델타 프레임의 복원을 설명하기 위한 도면이다.
영상 처리 장치(230)는 영상 획득부(130)로부터 영상을 수신할 때, 기준 시간 동안 미리 설정된 개수의 프레임을 수신할 수 있다. 여기서 미리 설정된 개수는 15, 24 또는 30일 수 있고, 이는 차량의 제조사 또는 사용자에 의해 선택되거나 변경될 수 있다.
예를 들어, 영상 처리 장치(230)는 1초에 15 프레임, 1초에 24프레임, 1초에 30프레임을 수신할 수 있다. 여기서 각 프레임은 한 장면의 정지 영상일 수 있다.
영상 처리 장치(230)는 실시간으로 프레임들이 수신될 때 수신되는 순서대로 두 프레임씩 연속적으로 비교한다.
영상 처리 장치(230)는 실시간으로 프레임들이 수신될 때, 일정 시간 간격으로 수신된 두 프레임을 선택하고, 선택된 두 프레임을 비교하는 것도 가능하다.
예를 들어, 일정 시간이 2초일 때, 영상 처리 장치(230)는 2초 전의 시점에 수신된 프레임과 현재 시점에 수신된 프레임을 비교하고, 현재 시점에 수신된 프레임과 2초 후의 시점에 수신된 프레임을 비교할 수 있다.
영상 처리 장치(230)는 수신된 프레임들 중 서로 이웃한 두 프레임을 비교하는 것도 가능하다. 예를 들어, 영상 처리 장치(230)는 현재 시점에 수신된 프레임과 다음에 수신된 프레임을 비교할 수 있다.
본 실시 예에서 비교되는 프레임을, 시간 순서에 따라 제1프레임, 제2프레임, 제3프레임 및 제4프레임으로 기재하도록 한다. 제1프레임, 제2프레임, 제3프레임 및 제4프레임은 오리지널 프레임일 수 있다.
영상 처리 장치(230)는 제1프레임과 제2 프레임을 비교하고 제1, 2 프레임 간에 동일한 픽셀들(즉 제1픽셀들)을 확인하며, 제2프레임의 픽셀들 중 제1프레임의 픽셀들과 상이한 픽셀들(제2픽셀들)을 확인하며, 확인된 제1픽셀들을 압축하여 저장하고, 확인된 제2픽셀들을 압축하여 저장한다.
영상 처리 장치(230)는 제2픽셀들을 압축하여 저장할 때, 제1픽셀들과 별도로 압축하여 저장하되 제2프레임이 획득된 시간에 대한 시간 정보를 함께 저장할 수 있다.
제1픽셀들은 이벤트 발생이 없는 부분에 해당하는 픽셀들이고, 제2픽셀들은 이벤트 발생이 있는 부분에 해당하는 픽셀들일 수 있다.
영상 처리 장치(230)는 차량이 주차 상태일 때 시간적 압축 알고리즘을 이용하여 프레임들을 압축하는 장치로, 제1픽셀들이 포함된 프레임을 키 프레임으로 획득하여 압축하고, 제2픽셀들이 포함된 프레임을 델타 프레임으로 획득하여 압축한다.
영상 처리 장치(230)는 델타 프레임이 획득된 시간 정보와, 델타 프레임을 이루는 픽셀들에 대한 위치 정보를 함께 저장할 수 있다.
영상 처리 장치(230)는 실시간으로 프레임들이 수신될 때 수신되는 순서대로 두 프레임씩 비교하고, 두 프레임의 비교 결과에 기초하여 키 프레임과 델타 프레임을 획득하고 획득된 키 프레임과 델타 프레임의 압축 및 저장을 제어한다.
즉, 영상 처리 장치(230)는 실시간으로 수신된 복수 개의 프레임을 두 프레임씩 비교하는 것에 의해 하나의 키 프레임과 복수 개의 델타 프레임을 획득할 수 있고, 획득된 하나의 키 프레임과 복수 개의 델타 프레임을 압축 및 저장할 수 있다.
영상 처리 장치(230)는 각각의 델타 프레임이 획득된 시간 정보와 각각의 델타 프레임을 이루는 픽셀들에 대한 위치 정보를 함께 저장할 수 있다.
도 2를 참조하면, 영상 처리 장치(230)는 일정 시간 간격으로 제1프레임(P1), 제2프레임(P2), 제3프레임(P3), 제4프레임(P4)이 수신되면, 제1프레임(P1)과 제2프레임(P2)을 비교하여 제1키프레임과 제1델타 프레임(Del1)을 획득하고, 제1프레임(P1)과 제3프레임(P3)을 비교하여 제2키프레임과 제2델타 프레임(Del2)을 획득하며, 제1프레임(P1)과 제4프레임(P4)을 비교하여 제3키프레임과 제3델타 프레임을 획득할 수 있다. 두 프레임을 비교하였을 때 모든 픽셀이 동일하면 키 프레임만 획득되고 델타 프레임은 획득되지 않을 수 있다. 즉 제1프레임(P1)과 제4프레임(P4)을 비교하였을 때 제3키프레임만이 획득될 수 있다.
여기서 최초 획득된 제1프레임이 비교 대상이 되는 기준 프레임이 될 수 있다.
제2키프레임은 제1키프레임과 동일 또는 유사할 수 있다.
제3키프레임은 제2키프레임과 동일 또는 유사할 수 있다.
제1델타 프레임은 제2델타 프레임과 상이할 수 있다.
영상 처리 장치(230)는 제1, 2, 3 키프레임을 비교하여 동일한 픽셀들을 확인하고 확인된 픽셀들을 최종 키프레임으로 획득할 수 있다.
압축 및 저장하기 위한 키 프레임은 하나일 수 있고, 델타 프레임은 적어도 하나 또는 복수 개일 수 있다.
영상 처리 장치(230)는 제1프레임의 픽셀들 중에서 제1델타 프레임에 대응하는 픽셀들과 제2델타 프레임에 대응하는 픽셀들을 제외한 픽셀들로 이루어진 최종 키 프레임을 획득하고 획득된 최종 키 프레임을 압축 및 저장하고, 제1델타 프레임을 압축 및 저장하며, 제2델타 프레임을 압축 및 저장할 수 있다.
여기서 제1, 2 델타 프레임은 제1키 프레임에서 변경된 픽셀들의 정보만을 담고 있다.
영상 처리 장치(230)는 제1 델타 프레임과 대응하는 제2 프레임이 획득된 시간에 대한 시간 정보와, 제1 델타 프레임을 이루는 픽셀에 대한 위치 정보를 저장하고, 제2 델타 프레임과 대응하는 제3 프레임이 획득된 시간에 대한 시간 정보와, 제2 델타 프레임을 이루는 픽셀에 대한 위치 정보를 저장할 수 있다.
아울러, 영상 처리 장치(230)는 일정 시간 간격으로 제1프레임(P1), 제2프레임(P2), 제3프레임(P3), 제4프레임(P4)이 획득되면, 제1프레임(P1)과 제2프레임(P2)을 비교하여 제1키프레임과 제1델타 프레임을 획득하고, 제2프레임(P2)과 제3프레임(P3)을 비교하여 제2키프레임과 제2델타 프레임을 획득하며, 제3프레임(P3)과 제4프레임(P4)을 비교하여 제3키프레임과 제3델타 프레임을 획득할 수 있다.
제1키프레임은, 제2프레임(P2)에서 제1델타 프레임(Del1)에 대응하는 픽셀들을 제외한 픽셀들로 이루어질 수 있다.
제2키프레임은, 제3프레임(P3)에서 제2델타 프레임(Del2)에 대응하는 픽셀들과 제1델타 프레임에 대응하는 픽셀들을 제외한 픽셀들로 이루어질 수 있다.
제3키프레임은, 제4프레임(P4)에서 제2델타 프레임(Del2)에 대응하는 픽셀들을 제외한 픽셀들로 이루어질 수 있다.
제2델타 프레임은, 제2프레임과 제3프레임 사이의 상이한 픽셀들을 포함할 수 있다. 제3델타 프레임은, 제3프레임과 제4프레임 사이의 상이한 픽셀들을 포함할 수 있다. 도 2를 예를 들어 설명하면, 제2델타 프레임은 제2프레임(P2)의 Del1 픽셀들을 포함하고, 제3델타 프레임은 제2프레임(P2)의 Del1 픽셀들과 제3프레임(P3)의 Del2 픽셀들을 포함할 수 있다.
영상 처리 장치(230)는 복 수개의 키 프레임들을 비교하여 복수 개의 키 프레임 간에 모두 동일한 픽셀들을 확인하고 확인된 동일한 픽셀들을 이용하여 최종 키 프레임을 획득하고 획득된 최종 키 프레임을 압축 및 저장하고, 제1, 2, 3 델타 프레임을 각각 압축 및 저장한다.
영상 처리 장치(230)는 키 프레임을 압축할 때, 보간법에 의해 복원 가능한 부분까지 픽셀을 최소화한다. 즉 영상 처리 장치(230)는 키 프레임의 해상도를 미리 정해진 최저 해상도로 압축한다.
영상 처리 장치(230)는 복수 개의 델타 프레임을 저장할 때, 복수 개의 델타 프레임 내의 물체를 인식하고, 인식된 물체가 동일한지 판단하고, 동일한 물체에 대한 영상을 가지는 복수 개의 델타 프레임들 중 어느 하나를 대표 델타 프레임으로 저장하는 것도 가능하고, 대표 델타 프레임에 대응하는 원본의 프레임이 획득된 시간을 확인하고 확인된 시간에 대한 시간 정보를 함께 저장하는 것도 가능하다.
영상 처리 장치(230)는 사용자 입력에 의한 표시 명령이 수신되면 키 프레임과 복수 개의 델타 프레임을 복원시키고, 복원된 키 프레임과 복수 개의 델타 프레임을 합쳐 하나의 영상을 생성하며, 생성된 하나의 영상을 표시하도록 표시부(112)를 제어한다. 여기서 키 프레임은 최종 키 프레임일 수 있다.
영상 처리 장치(230)는 키 프레임의 픽셀에 대한 위치 정보와 각 델타 프레임의 픽셀에 대한 위치 정보에 기초하여 각 델타 프레임이 오버랩될 위치를 결정하고 결정된 위치에 기초하여 키 프레임 내에 복수 개의 델타 프레임을 오버랩시켜 표시할 수 있다.
키 프레임에 합쳐지는 델타 프레임은 하나 또는 복수 개일 수 있다.
영상 처리 장치(230)는 키 프레임과 복수 개의 델타 프레임을 복원할 때, 보간법을 이용하여 키 프레임과 복수 개의 델타 프레임을 복원할 수 있다. 여기서 보간법은 선형 보간법일 수 있다.
도 3을 참조하면, P점의 픽셀과 Q점의 픽셀이 선형성을 가진다 가정하였을 때, 영상 처리 장치(230)는 P의 픽셀값과 Q의 픽셀값 및 거리비에 기초하여 R의 픽셀값을 획득할 수 있다.
영상 처리 장치(230)는 사용자 입력에 의한 표시 명령이 수신되면 키 프레임과 복수 개의 델타 프레임을 복원시키되, 동일한 물체에 대한 영상을 가지는 복수 개의 델타 프레임들 중 대표 델타 프레임을 선택하고 선택된 대표 델타 프레임만을 표시하도록 한다.
영상 처리 장치(230)는 저장 정보에 기초하여 대표 델타 프레임을 확인하고 확인된 대표 델타 프레임이 표시되도록 하는 것도 가능하다.
영상 처리 장치(230)는 영상 처리된 영상을 분석하여 타 차량, 보행자(즉, 사람), 동물, 기둥, 가로수, 신호등, 자전거, 모터사이클 등과 같은 물체를 인식하고 인식된 물체의 정보를 획득한다. 여기서 물체의 정보를 획득하는 것은, 물체의 형상 크기 및 물체의 종류를 획득하는 것을 포함한다.
영상 처리 장치(230)는 복수 개의 델타 프레임 내 인식된 물체들의 동일 여부를 판단하는 것도 가능하다.
영상 처리 장치(230)는 동일 물체에 대한 영상을 가지는 델타 프레임들 중 어느 하나를 대표 델타 프레임으로 선택하는 것도 가능하다.
여기서 대표 델타 프레임은, 인식된 물체에 대한 최초 영상을 가지는 델타 프레임 또는 인식된 물체에 대한 마지막 영상을 가지는 델타 프레임일 수 있다. 아울러 대표 델타 프레임은 인식된 물체에 대한 설정 개수 번째 영상을 가지는 델타 프레임일 수 있다.
영상 처리 장치(230)는 표시 명령이 수신되면 합성된 영상을 표시하도록 하되, 대표 델타 프레임별 시간 정보를 획득하고 획득된 시간 정보를 함께 표시할 수 있다. 여기서 대표 델타 프레임별 시간 정보는, 각 델타 프레임의 원본이 되는 프레임이 획득된 시간에 대한 시간 정보일 수 있다.
영상 처리 장치(230)는 미리 설정된 영역에 시간 정보를 표시할 수 있다.
영상 처리 장치(230)는 사용자에 의해 선택된 어느 하나의 시간 정보에 대한 선택 신호와 재생 명령이 수신되면 수신된 선택 신호에 대응하는 시간 정보를 가지는 대표 델타 프레임을 확인하고, 대표 델타 프레임 내의 물체에 대한 영상과 동일한 물체에 대한 영상을 가지는 복수 개의 델타 프레임을 확인하며, 키프레임 상에서 확인된 복수 개의 델타 프레임이 표시되도록 한다.
즉 영상 처리 장치(230)는 동일한 물체에 대한 영상이 키 프레임 상에서 동영상으로 재생되도록 할 수 있다.
영상 처리 장치(230)는 사용자에 의해 선택된 어느 하나의 시간 정보에 대한 선택 신호가 수신되면 수신된 선택 신호에 대응하는 시간 정보를 가지는 대표 델타 프레임을 확인하고, 확인된 대표 델타 프레임만을 키 프레임과 함께 표시하되, 확인된 대표 델타 프레임이 나머지 대표 델타 프레임보다 부각되어 표시되도록 할 수 있다.
예를 들어, 영상 처리 장치(230)는 나머지 대표 델타 프레임을 삭제하여 키 프레임 상에서 표시되지 않도록 하고, 확인된 대표 델타 프레임만이 표시되도록 할 수 있다.
다른 예로, 영상 처리 장치(230)는 확인된 대표 델타 프레임이 부각되도록 나머지 대표 델타 프레임보다 진한 영상으로 표시되도록 할 수 있다.
또 다른 예로, 영상 처리 장치(230)는 확인된 대표 델타 프레임의 테두리에 강조 선이 표시되도록 하거나, 확인된 대표 델타 프레임의 색상이 변경되어 표시되도록 할 수 있다.
영상 처리 장치(230)는 수신된 선택 신호에 대응하는 시간 정보를 가지는 대표 델타 프레임을 확인하고, 확인된 대표 델타 프레임의 픽셀들의 일부가 나머지 대표 델타 프레임의 픽셀들과 동일할 때 확인된 대표 델타 프레임이 나머지 대표 델타 프레임 보다 앞에 표시되도록 할 수 있다.
확인된 대표 델타 프레임이 나머지 대표 델타 프레임 보다 앞에 표시되도록 하는 것은, 확인된 대표 델타 프레임의 모든 픽셀이 모두 표시되도록 하는 것을 포함한다.
영상 처리 장치(230)는 키 프레임의 제1픽셀들의 수가 기준 개수를 미만이면 키 프레임을 변경하는 것도 가능하고, 키 프레임이 변경된 시점부터 델타 프레임을 다시 획득할 수 있다.
영상 처리 장치(230)는 키 프레임과 델타 프레임을 획득할 때, 날씨, 시간, 계절, 조도 중 적어도 하나에 기초하여 획득된 프레임에 대한 휘도를 조정하고 조정된 휘도에 기초하여 키 프레임과 델타 프레임을 획득할 수 있다.
영상 처리 장치(230)는 저장 시간이 기준 시간을 경과한 키 프레임과 델타 프레임을 삭제하는 것도 가능하다.
영상 처리 장치(230)는 저장 장치(150)의 저장 공간을 확인하고 저장 장치(150)의 저장 공간이 부족하면 저장 기간이 가장 오래된 키 프레임과 델타 프레임부터 삭제함으로써 저장 장치(150)의 저장 공간을 확보한다.
영상 처리 장치(230)는, 복수 개의 델타 프레임이 저장된 상태에서 재생 명령이 수신되면, 저장된 키 프레임과 복수 개의 델타 프레임을 각각 복원하고, 복원된 키프레임에 복원된 복수 개의 델타 프레임을 동시에 재생하도록 제어할 수 있다.
여기서 복수 개의 델타 프레임은, 서로 동일한 시간에 영상 획득부에 의해 획득된 영상에서 획득한 픽셀을 포함할 수 있고, 서로 상이한 시간에 영상 획득부에 의해 획득된 영상에서 획득한 픽셀을 포함할 수 있다.
영상 처리 장치(230)는 복원된 복수 개의 델타 프레임을 동시에 재생하도록 제어하되, 상기 복수 개의 델타 프레임 중 이벤트 정보가 수신된 시점으로부터 제1일정 시간 이전의 제1시점에 획득한 제1델타 프레임을 확인하고, 이벤트 정보가 수신된 시점으로부터 제2일정 시간 이후의 제2시점에 획득한 제2델타 프레임을 확인하고, 제1시점과 상기 제2시점 사이의 시간 동안 획득한 제1 델타 프레임과 제2델타 프레임의 동시 재생을 제어할 수 있다.영상 처리 장치(230)는 영상 처리, 압축, 복원, 표시, 재생 및 저장을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
저장 장치(150)는 영상 처리 장치(230)에서 영상 처리된 영상(프레임들)을 저장한다.
저장 장치(150)는 델타 프레임에 대응하는 시간 정보, 델타 프레임의 픽셀들의 위치 정보를 저장하는 것도 가능하다.
저장 장치(150)에 저장되는 영상은, 정지 상태의 영상일 수 있다.
또한 저장 장치(150)에 저장되는 영상은, 키프레임, 날짜 및 시간 대 별로 구분되어 저장될 수 있다.
저장 장치(150)는 영상 처리 장치(230) 또는 제어부(140)의 제어 명령에 따라 저장된 영상을 삭제한다.
저장 장치(150)는 저장된 영상을 영구 삭제하기 위한 영상의 저장 기간을 저장하는 것도 가능하다.
저장 장치(150)는 제어부(140) 및 영상 처리 장치(230)와 전기적으로 연결된다.
저장 장치(150)는 차량에서 분리 가능 및 휴대 가능하게 마련될 수 있다. 저장 장치(150)는 외부 장치에 전기적, 통신적, 기계적으로 연결되도록 마련될 수 있다.
차량은 영상 처리 장치의 영상 처리에 대한 기본 데이터, 동작 제어를 위한 제어 데이터, 입출력되는 데이터를 저장하는 별도의 저장부(미도시)를 더 포함할 수 있다. 이러한 저장부는 제어부(140)의 처리 또는 제어를 위한 프로그램 등, 차량(1) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 이 저장부는 제어부(140)와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
저장부는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다.
통신부(160)는 차량 내부의 각종 전자 장치들 사이의 통신과, 외부 디바이스와의 통신과, 사용자용 단말기와의 통신 및 저장 매체와의 통신을 수행한다.
통신부(160)는 제어부(140)와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 직비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 캔(Controller Area Network; CAN) 통신 모듈, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 LIN(Local Interconnect Network)를 더 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
차량은 사용자 및 주변의 사운드를 입력받는 사운드 입력부(170)와, 표시부(112)에 표시되는 영상의 소리를 출력하는 사운드 출력부(180)를 더 포함할 수 있다.
사운드 입력부(170)는 적어도 하나의 마이크로 폰 또는 마이크 어레이를 포함할 수 있다.
사운드 출력부(180)는 스피커를 포함할 수 있다. 스피커는 증폭된 저주파의 음성 신호를 오리지널의 음파로 변환시키고 공기에 소밀파를 발생시켜 음파를 복사함으로써 오디오 데이터들을 사용자가 들을 수 있는 사운드로 출력한다.
도 1에 도시된 차량의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 4는 다른 실시 예에 따른 영상 처리 장치를 포함한 차량의 제어 구성도이다. 도 4에 도시된 차량의 제어 구성도는 도 1에 도시된 차량의 제어 구성도의 변형 예일 수 있다.
다른 실시 예에 따른 차량(1a)은, 제1입력부(111a), 제1표시부(112a), 검출부(120), 제어부(140a), 저장부(141) 및 통신부(160)를 포함하고, 블랙박스(200)를 더 포함할 수 있다.
여기서 제1입력부(111a), 제1표시부(112a), 검출부(120), 저장부(141) 및 통신부(160)는 일 실시 예의 입력부(111), 표시부(112), 검출부(120), 저장부(미도시) 및 통신부(160)와 동일하여 설명을 생략한다.
다른 실시 예의 차량의 제어부(140a)는 일 실시 예의 제어부(140)와 동일하게 차량의 상태 정보를 획득할 수 있다.
다른 실시 예의 차량의 제어부(140a)는 블랙박스(200)와의 통신이 가능하도록 통신부(160)를 제어할 수 있다.
블랙박스(200)는 전기적, 기계적 및 통신적으로 차량(1a)에 연결되고, 전기적, 기계적 및 통신적으로 분리 가능하게 차량(1a)에 설치될 수 있다.
블랙박스(200)는 제2입력부(211), 제2표시부(212), 영상 획득부(220), 영상 처리 장치(231) 및 저장 장치(240)를 포함한다.
제2입력부(211)는 사용자 입력을 수신한다.
제2입력부(211)는 전원 온오프 명령, 주차 시 영상 획득을 위한 주차 모드의 온오프 명령, 표시 명령, 재생 명령, 정지 명령, 일시 정지 명령, 시간 정보의 선택 명령 등을 수신할 수 있다.
제2표시부(212)는 저장 장치(240)에 저장된 영상을 표시 또는 재생할 수 있다.
제2표시부(212)는 사용자에 의해 선택된 시간 정보를 가지는 영상(즉 델타 프레임)을 표시할 수 있다.
제2표시부(212)는 사용자에 의해 선택된 날짜 정보를 가지는 영상, 사용자에 의해 선택된 시간 정보를 가지는 영상을 표시하는 것도 가능하다.
영상 획득부(220)는 차량의 주변의 영상을 획득할 수 있다. 영상 획득부(220)는 카메라를 포함할 수 있다.
영상 획득부(220)는 주차 모드일 때 차량 내에 마련된 배터리로부터 전력을 공급받아 차량의 주변의 영상을 획득한다. 여기서 차량의 주변의 영상은 차량 전방 및 좌우 방향의 영상일 수 있다.
영상 처리 장치(231)는 차량과 통신을 수행하기 위한 통신부(231a)와, 프레임의 압축 및 저장을 제어하기 위한 제어부(231b)를 포함할 수 있다.
통신부(231a)는 영상 획득부와 제어부(231b) 사이에서 통신을 제어하고, 저장 장치와 제어부(231b) 사이에서 통신을 제어하며 제2표시부와 제어부(231b) 사이에서 통신을 제어하고, 제2입력부와 제어부(231b) 사이에서 통신을 제어할 수 있다.
영상 처리 장치(231)의 제어부(231b)의 구성은 일 실시 예의 영상 처리 장치(230)의 구성과 동일하여 설명을 생략한다.
저장 장치(240)는 일 실시 예의 저장 장치(150)와 동일하여 설명을 생략한다.
도 5는 일 실시 예에 따른 차량 내 영상 처리 장치의 제어 순서도로, 영상획득부를 통해 획득된 영상을 저장하는 방법의 순서도이다. 이를 도 6a 내지 13을 참조하여 설명한다.
영상 처리 장치는 차량이 주차 상태라고 판단(301)되면 영상 획득부의 동작을 활성화시키고, 활성화된 영상 획득부(130)를 통해 차량 주변의 영상을 실시간으로 획득(302)할 수 있다.
차량이 주차 상태라고 판단되는 것은, 차량으로부터 주차 상태에 대한 주차 신호를 수신하는 것을 포함하고, 차량으로부터 시동 오프 신호를 수신하는 것을 포함할 수 있다.
영상 처리 장치는 날씨, 시간, 조도, 계절 중 적어도 하나에 기초하여 획득된 영상을 영상 처리함으로써 영상의 휘도, 선명도 및 색상 등을 튜닝하고 노이즈를 제거한다.
차량은 서버로부터 날씨나 계절에 대한 환경 정보를 수신할 수 있고, 수신된 환경 정보를 영상 처리 장치에 전송할 수 있다. 즉 영상 처리 장치는 차량으로부터 날씨나 계절에 대한 환경 정보를 수신할 수 있다.
차량은 타이머 기능을 가질 수 있고, 조도를 검출하기 위한 조도 검출부를 더 ??마할 수 있다. 이 경우, 영상 처리 장치는 차량으로부터 시간과 조도에 대한 환경 정보를 수신하는 것도 가능하다.
아울러 영상 처리 장치는 타이머 기능을 가질 수 있고, 조도 검출부를 더 포함할 수 도 있다.
영상 처리 장치는 저장부에 저장된 환경 정보에 대응하는 튜닝 정보를 획득하고, 획득된 튜닝 정보에 기초하여 획득된 영상의 휘도, 선명도 및 색상 등을 튜닝할 수 있다.
영상 처리 장치는 영상 획득부에 의해 실시간으로 획득된 영상을 프레임 단위로 수신할 수 있다.
도 6a 내지 도 6f에 도시된 바와 같이, 영상 처리 장치는 시간 순으로 제1프레임(P1), 제2프레임(P2), 제3프레임(P3), 제4프레임(P4), 제5프레임(P5) 및 제6프레임(P6)을 수신할 수 있다. 제1프레임(P1), 제2프레임(P2), 제3프레임(P3), 제4프레임(P4), 제5프레임(P5) 및 제6프레임(P6)는 오리지널 프레임일 수 있다.
여기서 영상 획득부가 활성화되면서 최초로 획득된 제1프레임이 기준 프레임이 될 수 있다. 기준 프레임은 키 프레임의 획득에 기초가 되는 프레임일 수 있다.
영상 처리 장치는 제1프레임(P1), 제2프레임(P2), 제3프레임(P3), 제4프레임(P4), 제5프레임(P5) 및 제6프레임(P6)이 획득된 시간에 대한 시간 정보를 확인하고 확인된 시간 정보를 저장할 수 있다.
영상 처리 장치는 제1프레임(P1)과 제2 프레임(P2)을 비교하고 제1, 2 프레임 간에 동일한 픽셀들(즉 제1픽셀들)을 확인하며, 제2프레임의 픽셀들 중 제1프레임의 픽셀들과 상이한 픽셀들(제2픽셀들)을 확인한다. 이때 영상 처리 장치는 제1픽셀들이 포함된 프레임을 제1키 프레임으로 획득할 수 있고, 제2픽셀들이 포함된 프레임을 제1델타 프레임으로 획득(303)할 수 있다.
영상 처리 장치는 제1프레임(P1)과 제3 프레임(P3)을 비교하고 제1, 3 프레임 간에 동일한 픽셀들(즉 제3픽셀들)을 확인하며, 제3프레임의 픽셀들 중 제1프레임의 픽셀들과 상이한 픽셀들(제4픽셀들)을 확인한다. 이때 영상 처리 장치는 제3픽셀들이 포함된 프레임을 제2키 프레임으로 획득할 수 있고, 제4픽셀들이 포함된 프레임을 제2델타 프레임으로 획득할 수 있다.
영상 처리 장치는 제1프레임(P1)과 제4 프레임(P4)을 비교하고 제1, 4 프레임 간에 동일한 픽셀들(즉 제5픽셀들)을 확인하며, 제4프레임의 픽셀들 중 제1프레임의 픽셀들과 상이한 픽셀들(제6픽셀들)을 확인한다. 이때 영상 처리 장치는 제5픽셀들이 포함된 프레임을 제3키 프레임으로 획득할 수 있고, 제6픽셀들이 포함된 프레임을 제3델타 프레임으로 획득할 수 있다.
영상 처리 장치는 제1프레임(P1)과 제5 프레임(P5)을 비교하고 제1, 5 프레임 간에 동일한 픽셀들(즉 제7픽셀들)을 확인하며, 제7프레임의 픽셀들 중 제1프레임의 픽셀들과 상이한 픽셀들(제8픽셀들)을 확인한다. 이때 영상 처리 장치는 제7픽셀들이 포함된 프레임을 제4키 프레임으로 획득할 수 있고, 제8픽셀들이 포함된 프레임을 제4델타 프레임으로 획득할 수 있다.
영상 처리 장치는 제1프레임(P1)과 제6 프레임(P6)을 비교하고 제1, 6 프레임 간에 동일한 픽셀들(즉 제9픽셀들)을 확인하며, 제9프레임의 픽셀들 중 제1프레임의 픽셀들과 상이한 픽셀들(제10픽셀들)을 확인한다. 이때 영상 처리 장치는 제9픽셀들이 포함된 프레임을 제5키 프레임으로 획득할 수 있고, 제10픽셀들이 포함된 프레임을 제5델타 프레임으로 획득할 수 있다.
영상 처리 장치는 제1, 2, 3, 4, 5 키프레임을 비교하여 제1, 2, 3, 4, 5 키프레임 간에 동일한 픽셀을 확인하고, 확인된 동일한 픽셀들을 포함하는 최종 키 프레임을 획득하며 획득된 최종 키프레임을 압축 및 저장한다.
도 7에 도시된 바와 같이, 제1, 2, 3, 4, 5 키프레임 간에 동일한 픽셀로 이루어진 최종 키 프레임(Key)을 획득할 수 있다.
영상 처리 장치는 복수 개의 델타 프레임을 획득하고 획득된 복수 개의 델타 프레임을 압축 및 저장(304)한다.
영상 처리 장치는 복수 개의 델타 프레임을 분석하여 각 델타 프레임 내의 타 차량, 보행자(즉, 사람), 동물, 기둥, 가로수, 신호등, 자전거, 모터사이클 등과 같은 물체를 인식하고 인식된 물체의 정보를 획득할 수 있다. 여기서 물체의 정보를 획득하는 것은, 물체의 형상 크기 및 물체의 종류를 획득하는 것을 포함한다.
영상 처리 장치는 복수 개의 델타 프레임 내 인식된 물체들의 동일 여부를 판단하는 것도 가능하다.
영상 처리 장치는 동일 물체에 대한 영상을 가지는 델타 프레임들 중 어느 하나를 대표 델타 프레임으로 선택하고 선택된 대표 델타 프레임에 대한 정보를 저장하는 것도 가능하다. 대표 델타 프레임에 대한 정보는 델타 프레임의 넘버 또는 식별 정보(ID)일 수 있다.
도 8에 도시된 바와 같이, 영상 처리 장치는 제1 대표 델타 프레임(Del1), 제2 대표 델타 프레임(Del2), 제3 대표 델타 프레임(Del3), 제4 대표 델타 프레임(Del4) 및 제5 대표 델타 프레임(Del5)을 획득하고 획득된 복수 개의 대표 델타 프레임을 압축 및 저장할 수 있다.
영상 처리 장치는 입력부(111)를 통해 입력된 표시 명령이 수신(305)되면 저장 장치(150)에 저장된 키 프레임과 복수 개의 델타 프레임을 복원(306)시키고, 복원된 키 프레임과 복수 개의 델타 프레임을 합성(306)한다.
여기서 키 프레임과 복수 개의 델타 프레임을 복원하는 것은, 선형 보간법을 이용하여 키 프레임과 복수 개의 델타 프레임을 복원하는 것을 포함한다.
키 프레임과 복수 개의 델타 프레임을 합성하는 것은, 키 프레임의 픽셀에 대한 위치 정보와 각 델타 프레임의 픽셀에 대한 위치 정보에 기초하여 키 프레임 내에 복수 개의 델타 프레임을 오버랩시키는 것을 포함한다.
복수 개의 델타 프레임을 합성하는 것은, 복수 개의 델타 프레임 각각에 대한 대표 델타 프레임을 확인하고 확인된 각각의 대표 델타 프레임을 키프레임 상에 오버랩시키는 것을 포함한다.
도 9에 도시된 바와 같이, 영상 처리 장치는 키 프레임과 복수 개의 대표 델타 프레임을 표시부(112)에 표시하도록 하되, 각각의 대표 델타 프레임을 이루는 픽셀의 위치 정보에 기초하여 키 프레임에 오버랩시켜 표시하도록 한다.
영상 처리 장치는 대표 델타 프레임에 각각 대응하는 시간 정보를 확인하고 확인된 시간 정보를 표시부의 미리 설정된 영역에 표시할 수 있다.
도 10에 도시된 바와 같이, 영상 처리 장치는 키 프레임과 복수 개의 대표 델타 프레임을 표시부(112)에 표시하도록 하되, 대표 델타 프레임에 각각 대응하는 시간 정보(T1 내지 T5)를 함께 표시(308)하도록 한다.
영상 처리 장치는 사용자에 의해 선택된 어느 하나의 시간 정보에 대한 선택 신호가 수신(309)되면 수신된 선택 신호에 대응하는 시간 정보를 가지는 대표 델타 프레임을 확인하고, 확인된 대표 델타 프레임만을 키 프레임과 함께 표시하되, 확인된 대표 델타 프레임이 나머지 대표 델타 프레임보다 부각되어 표시(310)되도록 할 수 있다.
도 11에 도시된 바와 같이, 영상 처리 장치는 제1시간 정보(T1)의 선택 신호가 수신되면 제1시간 정보(T1)를 가지는 제1 대표 델타 프레임(Del1)을 확인하고, 확인된 제1 대표 델타 프레임(Del1)만을 표시부(111)에 표시하도록 하고, 나머지 대표 델타 프레임인 제2 내지 제 5 델타 프레임은 표시하지 않도록 한다.
영상 처리 장치는 모든 시간 정보를 모두 표시하기 위한 이전 버튼(B)을 더 표시할 수 있다.
영상 처리 장치는 제1시간 정보(T1)의 선택 신호가 수신되면 제1시간 정보(T1)를 가지는 제1 대표 델타 프레임(Del1)을 확인하고, 확인된 제1 대표 델타 프레임(Del1) 내 물체와 동일한 물체에 대한 영상을 가지는 델타 프레임을 모두 획득하고, 제1대표 델타 프레임과 획득된 델타 프레임을 이용하여 제1 대표 델타 프레임(Del1) 내 물체에 대한 영상이 표시되도록 하는 것도 가능하다.
여기서 제1 대표 델타 프레임(Del1) 내 물체에 대한 영상은 동영상일 수 있다.
도 12에 도시된 바와 같이, 영상 처리 장치는 제1시간 정보(T1)와 제5시간 정보(T5)의 선택 신호가 수신되면 제1시간 정보(T1)를 가지는 제1 대표 델타 프레임(Del1)을 확인하고, 제5시간 정보(T5)를 가지는 제5 대표 델타 프레임(Del5)을 확인하며, 확인된 제1, 5 대표 델타 프레임(Del1, Del5)만을 키 프레임 상에 오버랩시켜 표시하도록 한다.
영상 처리 장치는 선택된 시간 정보를 선택되지 않은 시간 정보와 다른 색상 정보를 가지도록 할 수 있다. 즉 표시부에 선택된 시간 정보와 선택되지 않은 시간 정보가 서로 다르게 표시될 수 있다.
또한 영상 처리 장치(230)는 복원된 복수 개의 델타 프레임을 동시에 표시하도록 제어하되, 복수 개의 델타 프레임 중 이벤트 정보가 수신된 시점에 획득한 제1델타 프레임을 확인하고, 제1 델타 프레임의 일부 영역이 나머지 델타 프레임 중 일부의 제2델타 프레임의 일부 영역과 중첩되면, 제1 델타 프레임의 전체 영역이 표시되도록 제어할 수 있다. 이 때 영상 처리 장치(230)는 제1 델타 프레임의 일부 영역에 중첩된 제2 델타 프레임의 일부 영역에 대한 비표시를 제어할 수 있다.
도 13에 도시된 바와 같이, 영상 처리 장치는 제1시간 정보(T1)의 선택 신호가 수신되면 제1시간 정보(T1)를 가지는 제1 대표 델타 프레임(Del1)을 확인하고, 확인된 제1 대표 델타 프레임(Del1)이 나머지 대표 델타 프레임(Del2-Del5)보다 앞에 표시되도록 할 수 있다. 즉, 복수 개의 대표 델타 프레임이 획득된 시간의 순서에 의해 오버랩되었을 때, 영상 처리 장치는 제1대표 델타 프레임(Del1)이 가장 뒤에 표시되도록 하고, 제5 대표 델타 프레임(Del5)이 가장 앞에 표시되도록 할 수 있다.
여기서 가장 뒤나 가장 앞에 표시되도록 하는 것은, 사용자에 의해 보여지는 효과를 의미하는 것이다.
실제로, 제5 대표 델타 프레임(Del5)의 전체 영역의 영상이 표시되도록 하는 것을 포함한다. 그리고 제1대표 델타 프레임(Del1)은 다른 델타 프레임들에 의해 표시되는 영역이 가장 작을 수 있다.
한편, 개시된 실시 예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시 예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시 예들을 설명하였다.본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시 예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시 예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1, 1a: 차량 130: 영상 획득부
150, 240: 저장장치 200: 블랙박스
140: 제어부 230, 231: 영상 처리 장치

Claims (28)

  1. 차량과 통신을 수행하고, 영상 획득부에 의해 획득된 영상에 대한 제1, 2 오리지널 프레임을 설정 시간 간격으로 수신하는 통신부; 및
    상기 수신된 제1오리지널 프레임과 제2오리지널 프레임 사이에 동일한 픽셀들을 확인하고, 상기 확인된 동일한 픽셀들을 포함하는 키 프레임을 획득하고, 상기 수신된 제2오리지널 프레임의 픽셀들 중에서 상기 수신된 제1오리지널 프레임의 픽셀들과 상이한 픽셀들을 확인하고 상기 확인된 상이한 픽셀들을 포함하는 델타 프레임을 획득하고, 상기 키 프레임과 상기 델타 프레임을 각각 압축 및 저장하는 제어부를 포함하는 영상 처리 장치.
  2. 제 1 항에 있어서, 상기 제어부는,
    상기 통신부를 통해 표시 명령이 수신되면 상기 저장된 키 프레임과 델타 프레임을 복원하고, 상기 복원된 키 프레임과 상기 델타 프레임을 합성하고 상기 합성된 키 프레임과 델타 프레임을 표시부에 전송하는 영상 처리 장치.
  3. 제 2 항에 있어서, 상기 제어부는,
    상기 복원을 수행할 때 선형 보간법을 이용하여 복원하는 영상 처리 장치.
  4. 제 1 항에 있어서, 상기 제어부는,
    복수 개의 델타 프레임이 저장된 상태에서 상기 통신부를 통해 표시 명령이 수신되면, 상기 저장된 키 프레임과 상기 복수 개의 델타 프레임을 각각 복원하고, 상기 복원된 키프레임에 상기 복원된 복수 개의 델타 프레임을 오버랩시키는 영상 처리 장치.
  5. 제 4 항에 있어서, 상기 제어부는,
    상기 복수 개의 델타 프레임의 픽셀들의 위치 정보를 확인하고, 상기 확인된 복수 개의 델타 프레임의 각각에 대한 픽셀들의 위치 정보에 기초하여 오버랩을 위한 위치를 결정하는 영상 처리 장치.
  6. 제 4 항에 있어서, 상기 제어부는,
    상기 통신부를 통해 어느 하나의 델타 프레임의 선택 신호가 수신되면 상기 복수 개의 델타 프레임 중 상기 어느 하나의 델타 프레임을 나머지 델타 프레임과 다르게 표시하도록 하는 영상 처리 장치.
  7. 제 4 항에 있어서, 상기 제어부는,
    상기 통신부를 통해 어느 하나의 델타 프레임의 선택 신호가 수신되면 상기 복수 개의 델타 프레임 중 상기 어느 하나의 델타 프레임만을 상기 키 프레임과 합성시켜 표시하도록 하는 영상 처리 장치.
  8. 제 1 항에 있어서, 상기 제어부는,
    상기 수신된 제2오리지널 프레임이 획득된 시간 정보를 상기 델타 프레임과 매치시켜 저장하는 영상 처리 장치.
  9. 제 1 항에 있어서, 상기 제어부는,
    상기 통신부를 통해 환경 정보가 수신되면 상기 수신된 환경 정보에 기초하여 상기 제1, 제2오리지널 프레임의 휘도, 색상 중 적어도 하나를 조절하고,
    상기 환경 정보는, 현재의 시간 정보, 날씨 정보, 계절 정보, 조도 정보 중 적어도 하나를 포함하는 영상 처리 장치.
  10. 영상 획득부에 의해 획득된 영상에 대한 오리지널 프레임을 설정 시간 간격으로 수신하고,
    상기 설정 시간 간격으로 수신된 복수 개의 오리지널 프레임들을 비교하여 서로 동일한 픽셀을 가진 키 프레임을 획득하고,
    상기 복수 개의 프레임들 중 기준 오리지널 프레임과 나머지 오리지널 프레임들을 각각 비교하여 상기 나머지 오리지널 프레임들에서 상기 기준 오리지널 프레임과 상이한 픽셀을 가진 복수 개의 델타 프레임을 획득하고,
    상기 키 프레임과 상기 복수 개의 델타 프레임을 각각 압축하여 저장하고,
    사용자 입력으로 표시 명령이 수신되면 저장된 키 프레임과 저장된 복수 개의 델타 프레임을 복원하고,
    상기 복원된 키프레임과 상기 복원된 복수 개의 델타 프레임을 합성하여 표시부를 통해 표시하도록 하는 영상 처리 장치의 제어 방법.
  11. 제 10 항에 있어서, 상기 복수 개의 델타 프레임을 압축하여 저장하는 것은,
    상기 복수 개의 델타 프레임과 각각 대응하는 오리지널 프레임들을 확인하고,
    상기 확인된 오리지널 프레임들이 획득된 시간 정보를 각각 확인하고,
    상기 복수 개의 델타 프레임과 상기 각각 확인된 시간 정보를 매칭시켜 저장하는 것을 포함하는 영상 처리 장치의 제어 방법.
  12. 제 11 항에 있어서, 상기 복원된 키프레임과 상기 복원된 복수 개의 델타 프레임을 합성하는 것은,
    상기 복수 개의 델타 프레임과 매칭되어 저장된 시간 정보를 함께 표시하는 것을 포함하는 영상 처리 장치의 제어 방법.
  13. 제 12 항에 있어서,
    상기 사용자 입력으로 어느 하나의 시간 정보가 선택되면 상기 선택된 시간 정보를 가지는 델타 프레임을 나머지 델타 프레임과 다르게 표시하도록 하는 것을 더 포함하는 영상 처리 장치의 제어 방법.
  14. 제 12 항에 있어서,
    상기 사용자 입력으로 어느 하나의 시간 정보가 선택되면 상기 선택된 시간 정보를 가지는 델타 프레임만을 표시하도록 하는 것을 더 포함하는 영상 처리 장치의 제어 방법.
  15. 제 10 항에 있어서, 상기 복수 개의 델타 프레임을 압축하여 저장하는 것은,
    상기 복수 개의 델타 프레임의 픽셀들의 위치 정보를 각각 확인하고,
    상기 복수 개의 델타 프레임 각각에 대한 픽셀들의 위치 정보를 저장하는 것을 포함하는 영상 처리 장치의 제어 방법.
  16. 제 15 항에 있어서, 상기 복원된 키프레임과 상기 복원된 복수 개의 델타 프레임을 합성하는 것은,
    상기 복수 개의 델타 프레임의 각각에 대한 픽셀들의 위치 정보에 기초하여 상기 복수 개의 델타 프레임을 상기 키 프레임에 합성시키는 것을 포함하는 영상 처리 장치의 제어 방법.
  17. 제 10 항에 있어서,
    통신부를 통해 환경 정보가 수신되면 상기 수신된 환경 정보에 기초하여 상기 복수 개의 오리지널 프레임들의 휘도, 색상 중 적어도 하나를 조절하는 것을 더 포함하고,
    상기 환경 정보는, 현재의 시간 정보, 날씨 정보, 계절 정보, 조도 정보 중 적어도 하나를 포함하는 영상 처리 장치의 제어 방법.
  18. 영상 획득부;
    주차 상태이면 상기 영상 획득부에 의해 획득된 영상에 대한 오리지널 프레임을 설정 시간 간격으로 수신하고, 상기 설정 시간 간격으로 수신된 복수 개의 오리지널 프레임들을 비교하여 서로 동일한 픽셀을 가진 키 프레임을 획득하고, 상기 복수 개의 프레임들 중 기준 오리지널 프레임과 나머지 오리지널 프레임들을 각각 비교하여 상기 나머지 오리지널 프레임들에서 상기 기준 오리지널 프레임과 상이한 픽셀을 가진 복수 개의 델타 프레임을 획득하고, 상기 키 프레임과 상기 복수 개의 델타 프레임을 각각 압축하는 영상 처리 장치; 및
    상기 영상 처리 장치에서 압축된 키 프레임과 복수 개의 델타 프레임을 저장하는 저장 장치를 포함하는 차량.
  19. 제 18 항에 있어서,
    입력부 및 표시부를 더 포함하고,
    상기 영상 처리 장치는, 상기 입력부를 통해 표시 명령이 수신되면 상기 저장 장치에 저장된 키 프레임과 복수 개의 델타 프레임을 복원하고, 상기 복원된 키프레임과 상기 복원된 복수 개의 델타 프레임을 합성하여 상기 표시부를 통해 표시하도록 하는 차량.
  20. 제 19 항에 있어서, 상기 영상 처리 장치는,
    상기 복수 개의 델타 프레임과 각각 대응하는 오리지널 프레임들을 확인하고, 상기 확인된 오리지널 프레임들이 획득된 시간 정보를 각각 확인하고, 상기 복수 개의 델타 프레임과 상기 각각 확인된 시간 정보를 매칭시켜 저장하고,
    상기 표시 명령이 수신되면, 상기 복수 개의 델타 프레임과 대응하는 시간 정보를 상기 복원된 키프레임 및 상기 복원된 복수 개의 델타 프레임과 함께 표시하도록 하는 차량.
  21. 제 18 항에 있어서,
    조도를 검출하는 조도 검출부를 더 포함하고,
    상기 영상 처리 장치는, 상기 조도 검출부에 의해 검출된 조도에 기초하여 상기 복수 개의 오리지널 프레임들의 휘도 및 색상 중 적어도 하나를 조절하는 차량.
  22. 제 18 항에 있어서,
    외부의 충격을 검출하는 충격 검출부를 더 포함하고,
    상기 제어부는, 상기 충격 검출부에 의해 검출된 충격 정보에 기초하여 이벤트 발생 여부를 판단하고, 상기 이벤트 발생으로 판단되면 상기 이벤트 발생의 시점에 획득한 델타 프레임에 대한 정보를 저장하도록 하는 차량.
  23. 차량과 통신을 수행하고, 영상 획득부에 의해 획득된 영상에 대한 제1, 2 오리지널 프레임을 설정 시간 간격으로 수신하는 통신부; 및
    상기 수신된 제1오리지널 프레임과 제2오리지널 프레임 사이에 동일한 픽셀들을 확인하고, 상기 확인된 동일한 픽셀들을 포함하는 키 프레임을 획득하고, 상기 수신된 제2오리지널 프레임의 픽셀들 중에서 상기 수신된 제1오리지널 프레임의 픽셀들과 상이한 픽셀들을 확인하고 상기 확인된 상이한 픽셀들을 포함하는 델타 프레임을 획득하고, 상기 키 프레임과 상기 델타 프레임을 각각 압축 및 저장하는 제어부를 포함하고,
    상기 제어부는, 복수 개의 델타 프레임이 저장된 상태에서 상기 통신부를 통해 재생 명령이 수신되면, 상기 저장된 키 프레임과 상기 복수 개의 델타 프레임을 각각 복원하고, 상기 복원된 키프레임에 상기 복원된 복수 개의 델타 프레임을 동시에 재생하도록 제어하는 영상 처리 장치.
  24. 제 23 항에 있어서, 상기 복수 개의 델타 프레임은,
    서로 동일한 시간에 상기 영상 획득부에 의해 획득된 영상에서 획득한 픽셀을 포함하는 영상 처리 장치.
  25. 제 23 항에 있어서, 상기 복수 개의 델타 프레임은,
    서로 상이한 시간에 상기 영상 획득부에 의해 획득된 영상에서 획득한 픽셀을 포함하는 영상 처리 장치.
  26. 차량과 통신을 수행하고, 영상 획득부에 의해 획득된 영상에 대한 제1, 2 오리지널 프레임을 설정 시간 간격으로 수신하고, 상기 차량의 이벤트 정보를 수신하는 통신부; 및
    상기 수신된 제1오리지널 프레임과 제2오리지널 프레임 사이에 동일한 픽셀들을 확인하고, 상기 확인된 동일한 픽셀들을 포함하는 키 프레임을 획득하고, 상기 수신된 제2오리지널 프레임의 픽셀들 중에서 상기 수신된 제1오리지널 프레임의 픽셀들과 상이한 픽셀들을 확인하고 상기 확인된 상이한 픽셀들을 포함하는 델타 프레임을 획득하고, 상기 키 프레임과 상기 델타 프레임을 각각 압축 및 저장하는 제어부를 포함하고,
    상기 제어부는, 복수 개의 델타 프레임이 저장된 상태에서 상기 통신부를 통해 표시 명령이 수신되면, 상기 저장된 키 프레임과 상기 복수 개의 델타 프레임을 각각 복원하고, 상기 복원된 키프레임에 상기 복원된 복수 개의 델타 프레임을 동시에 표시하도록 제어하되, 상기 복수 개의 델타 프레임 중 상기 이벤트 정보가 수신된 시점에 획득한 제1델타 프레임을 확인하고, 상기 제1 델타 프레임의 일부 영역이 나머지 델타 프레임 중 일부의 제2델타 프레임의 일부 영역과 중첩되면, 상기 제1 델타 프레임의 전체 영역이 표시되도록 제어하는 영상 처리 장치.
  27. 제 26 항에 있어서, 상기 제어부는,
    상기 제1 델타 프레임의 일부 영역에 중첩된 상기 제2 델타 프레임의 일부 영역에 대한 비표시를 제어하는 영상 처리 장치.
  28. 차량과 통신을 수행하고, 영상 획득부에 의해 획득된 영상에 대한 제1, 2 오리지널 프레임을 설정 시간 간격으로 수신하고, 상기 차량의 이벤트 정보를 수신하는 통신부; 및
    상기 수신된 제1오리지널 프레임과 제2오리지널 프레임 사이에 동일한 픽셀들을 확인하고, 상기 확인된 동일한 픽셀들을 포함하는 키 프레임을 획득하고, 상기 수신된 제2오리지널 프레임의 픽셀들 중에서 상기 수신된 제1오리지널 프레임의 픽셀들과 상이한 픽셀들을 확인하고 상기 확인된 상이한 픽셀들을 포함하는 델타 프레임을 획득하고, 상기 키 프레임과 상기 델타 프레임을 각각 압축 및 저장하는 제어부를 포함하고,
    상기 제어부는, 복수 개의 델타 프레임이 저장된 상태에서 상기 통신부를 통해 재생 명령이 수신되면, 상기 저장된 키 프레임과 상기 복수 개의 델타 프레임을 각각 복원하고, 상기 복원된 키프레임에 상기 복원된 복수 개의 델타 프레임을 동시에 재생하도록 제어하되, 상기 복수 개의 델타 프레임 중 상기 이벤트 정보가 수신된 시점으로부터 제1일정 시간 이전의 제1시점에 획득한 제1델타 프레임을 확인하고, 상기 이벤트 정보가 수신된 시점으로부터 제2일정 시간 이후의 제2시점에 획득한 제2델타 프레임을 확인하고, 상기 제1시점과 상기 제2시점 사이의 시간 동안 획득한 상기 제1 델타 프레임과 상기 제2델타 프레임의 동시 재생을 제어하는 영상 처리 장치.


KR1020200069046A 2020-06-08 2020-06-08 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법 KR20210152221A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200069046A KR20210152221A (ko) 2020-06-08 2020-06-08 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법
US17/102,991 US11651592B2 (en) 2020-06-08 2020-11-24 Image processing apparatus, vehicle having the same and control method thereof
CN202011396949.XA CN113840111A (zh) 2020-06-08 2020-12-03 图像处理设备、具有该图像处理设备的车辆及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200069046A KR20210152221A (ko) 2020-06-08 2020-06-08 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20210152221A true KR20210152221A (ko) 2021-12-15

Family

ID=78818377

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200069046A KR20210152221A (ko) 2020-06-08 2020-06-08 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법

Country Status (3)

Country Link
US (1) US11651592B2 (ko)
KR (1) KR20210152221A (ko)
CN (1) CN113840111A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102660425B1 (ko) 2023-06-16 2024-04-24 이그나이트주식회사 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230023330A (ko) * 2021-08-10 2023-02-17 현대모비스 주식회사 차량의 표시 장치 및 그것의 동작 방법, 차량

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101531191B1 (ko) 2008-11-24 2015-06-25 엘지전자 주식회사 카메라 영상 녹화 기기와 동영상 데이터 파일 삭제 방법
EP2302564A1 (en) * 2009-09-23 2011-03-30 Iee International Electronics & Engineering S.A. Real-time dynamic reference image generation for range imaging system
US20110134120A1 (en) * 2009-12-07 2011-06-09 Smart Technologies Ulc Method and computing device for capturing screen images and for identifying screen image changes using a gpu
KR101945830B1 (ko) 2012-05-24 2019-06-11 삼성전자 주식회사 다중 동영상 재생 방법 및 장치
EP3354016A4 (en) * 2015-09-25 2019-08-21 Qualcomm Incorporated SYSTEMS AND METHOD FOR VIDEO PROCESSING
US10122965B2 (en) * 2016-11-29 2018-11-06 Facebook, Inc. Face detection for background management
US10373458B2 (en) * 2017-04-20 2019-08-06 Deep Sentinel Corp. Automatic threat detection based on video frame delta information in compressed video streams
US20190130583A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Still and slow object tracking in a hybrid video analytics system
US20190261243A1 (en) * 2018-02-20 2019-08-22 Netgear, Inc. Video-based channel selection in a wireless network-connected camera system
US11272189B2 (en) * 2018-02-20 2022-03-08 Netgear, Inc. Adaptive encoding in security camera applications
JP6705533B2 (ja) * 2018-10-19 2020-06-03 ソニー株式会社 センサ装置、パラメータ設定方法
US10708627B2 (en) * 2019-03-04 2020-07-07 Intel Corporation Volumetric video compression with motion history
US11687778B2 (en) * 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102660425B1 (ko) 2023-06-16 2024-04-24 이그나이트주식회사 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버 및 방법

Also Published As

Publication number Publication date
CN113840111A (zh) 2021-12-24
US11651592B2 (en) 2023-05-16
US20210383125A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
US10115302B2 (en) Trainable transceiver and camera systems and methods
JP7105754B2 (ja) 撮像装置、及び、撮像装置の制御方法
US10373503B2 (en) Trainable transceiver with single camera park assist
JP7014218B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US10713501B2 (en) Focus system to enhance vehicle vision performance
US11427195B1 (en) Automatic collision detection, warning, avoidance and prevention in parked cars
KR102613071B1 (ko) 음향센서 및 가속도센서에 기초하여 차량의 충격을 감지하는 방법 및 장치
KR20210152221A (ko) 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법
KR102288950B1 (ko) 차량 및 그 제어 방법
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
CN112511812B (zh) 一种车载影音控制系统及方法
WO2018177702A1 (en) Parking assist system and method and a vehicle equipped with the system
JP2020150295A (ja) 車両防犯装置
KR101592412B1 (ko) 차량용 블랙박스
KR102600203B1 (ko) 영상 처리 장치, 그를 가지는 차량 및 그 제어 방법
US11050981B2 (en) Vehicle and method of controlling the same
WO2021131481A1 (ja) 表示装置、表示方法及び表示プログラム
CN110139205B (zh) 用于辅助信息呈现的方法及装置
KR101698822B1 (ko) 후방 카메라 겸용 블랙박스
US11589012B2 (en) Image recording device and vehicle having the same
KR20160089222A (ko) 차량 및 그 제어 방법
KR20160082060A (ko) 차량용 디스플레이 장치 및 이를 구비한 차량 통신 시스템
KR20210077039A (ko) 차량 및 그 제어 방법
KR20190071067A (ko) 차량 및 그 제어 방법
CN117351754A (zh) 路况提示方法、电子设备、计算机可读介质

Legal Events

Date Code Title Description
A201 Request for examination