KR102153539B1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR102153539B1
KR102153539B1 KR1020130106495A KR20130106495A KR102153539B1 KR 102153539 B1 KR102153539 B1 KR 102153539B1 KR 1020130106495 A KR1020130106495 A KR 1020130106495A KR 20130106495 A KR20130106495 A KR 20130106495A KR 102153539 B1 KR102153539 B1 KR 102153539B1
Authority
KR
South Korea
Prior art keywords
image
input image
matching
feature information
data
Prior art date
Application number
KR1020130106495A
Other languages
English (en)
Other versions
KR20150027985A (ko
Inventor
김낙우
안치득
이병탁
김영선
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130106495A priority Critical patent/KR102153539B1/ko
Priority to JP2014083549A priority patent/JP2015053669A/ja
Priority to US14/470,391 priority patent/US9743106B2/en
Publication of KR20150027985A publication Critical patent/KR20150027985A/ko
Application granted granted Critical
Publication of KR102153539B1 publication Critical patent/KR102153539B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상을 압축하고 전송하는 영상 처리 장치 및 방법과 시스템에 관한 기술이 개시된다. 영상 처리 장치는 적어도 하나의 영상 획득 장치가 획득한 입력 영상과 데이터베이스(DB)에 미리 저장된 실사 공간 영상 데이터를 제공받아 입력 영상과 실사 공간 영상 데이터 간의 매칭을 통해 중첩 영역을 추출하는 중첩 영역 추출부 및 중첩 영역에 기반하여 실사 공간 영상 데이터에 포함된 정보에 기초한 참조 프레임을 이용하여 입력 영상을 압축하는 영상 압축부를 포함한다.

Description

영상 처리 장치 및 방법{APPARATUS FOR PROCESSING VIDEO AND METHOD THEREFOR}
본 발명은 영상 처리 장치에 관한 것으로, 더욱 상세하게는 중첩 영역에 기반하여 다시점(multi-view point) 영상을 압축하고 전송하는 영상 처리 장치 및 방법에 관한 것이다.
영상 처리 장치는 영상을 압축하고 전송하는 장치로서, 다수의 카메라로부터 영상을 실시간으로 제공받아 압축하고, 압축된 영상을 사용자 단말에 제공할 수 있다. 특히, 이러한 영상 처리 장치는 영상 관제 시스템에 많이 사용된다.
영상 관제 시스템은 임의의 장소에 배치되는 다수의 카메라로부터 영상스트림을 제공받아 각각의 영상스트림마다 압축을 하고, 압축된 각각의 영상스트림을 네트워크를 통해 개별 스트리밍하는 방식을 많이 이용한다.
그러나, 이러한 방식은 최근 급격히 늘고 있는 CCTV로인해 영상 관제 시스템에 많은 트래픽을 발생시킨다. 또한, 향후 FHD급 화질의 CCTV가 폭넓게 보급되고 지역별 통합 관제 시스템이 활성화될 경우, 영상 관제 시스템에 더욱더 많은 트래픽이 발생될 수 있다.
또한, 다른 방식으로 표준 기반의 MVC(Multiview Video Coding)를 이용할 수 있다. MVC는 1D/2D 배열형태로 배치된 다수의 카메라에서 제공되는 영상을 압축하고 전송할 수 있다. 즉, MVC는 미리 정해진 카메라의 정렬 위치, 기하 정보 및 파라미터 등을 이용하여 다시점(multi-view point) 기반으로 영상을 압축하거나 중간 영상을 보간할 수 있다.
그러나, 다수의 카메라로부터 임의의 시점(view point)에서 획득된 영상은 서로 간의 공간적 상관 관계가 없어 예측 구조가 나오지 않음에 따라 표준 기반의 MVC를 이용하여 압축하기 어렵다는 단점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 중첩 영역에 기반하여 다시점(multi-view point) 영상을 압축하고 전송하는 장치를 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 중첩 영역에 기반하여 다시점(multi-view point) 영상을 압축하고 전송하는 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 처리 장치는, 적어도 하나의 영상 획득 장치가 획득한 입력 영상과 데이터베이스(DB)에 미리 저장된 실사 공간 영상 데이터를 제공받아 상기 입력 영상과 상기 실사 공간 영상 데이터 간의 매칭을 통해 중첩 영역을 추출하는 중첩 영역 추출부 및 상기 중첩 영역에 기반하여 상기 실사 공간 영상 데이터에 포함된 정보에 기초한 참조 프레임을 이용하여 상기 입력 영상을 압축하는 영상 압축부를 포함한다.
여기에서, 상기 영상 압축부는 상기 입력 영상에서 상기 중첩 영역이 포함된 상기 참조 프레임을 차분한 차분 영상을 압축할 수 있다.
여기에서, 상기 영상 압축부는 상기 중첩 영역이 포함된 상기 참조 프레임을 이용한 시공간 예측 부호화를 수행하여 예측 프레임을 생성하고, 상기 입력 영상에서 상기 예측 프레임을 차분한 잔차 영상을 압축할 수 있다.
여기에서, 상기 입력 영상 및 상기 실사 공간 영상 데이터 각각은 시점(view point)을 달리하여 획득된 영상일 수 있다.
여기에서, 상기 실사 공간 영상 데이터는 미리 획득된 실사 공간에 대한 영상에 대하여 전처리(Pre-Processing)를 통해 생성되는 실사 공간 모델링 데이터 및 특징 정보 맵데이터를 포함할 수 있다.
여기에서, 상기 입력 영상의 특징 정보를 추출하는 특징 정보 추출부, 상기 입력 영상의 특징 정보와 상기 특징 정보 맵데이터 간 매칭을 수행하고, 매칭결과를 산출하는 매칭부, 상기 매칭결과에 따라 매칭 오차를 산출하는 매칭 오차 산출부 및 상기 매칭 오차와 미리 설정된 기준값을 비교하고, 비교결과에 따라 상기 중첩 영역을 추출하는 비교부를 포함할 수 있다.
여기에서, 상기 비교부는 상기 매칭 오차와 상기 기준값을 비교하여 비교결과를 산출하는 매칭 오차 비교서브유닛 및 상기 매칭 오차가 상기 기준값을 초과한 경우, 상기 특징 정보 맵데이터를 상기 입력 영상의 특징 정보에 기초하여 갱신하고, 상기 갱신(update)된 특징 정보 맵데이터를 상기 매칭부에 제공하며, 상기 매칭 오차가 상기 기준값 이하인 경우, 상기 실사 공간 모델링 데이터와 상기 입력 영상 간 재매칭을 수행하고, 재매칭결과에 따라 상기 중첩 영역을 추출하는 중첩 영역 추출서브유닛을 포함할 수 있다.
상기 또 다른 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 처리 방법은, 입력 영상과 미리 저장된 실사 공간 영상 테이터 간의 매칭을 통해 중첩 영역을 추출하는 단계 및 상기 중첩 영역에 기반하여 상기 실사 공간 영상 데이터에 포함된 정보에 기초한 참조 프레임을 이용하여 상기 입력 영상을 압축하는 단계를 포함한다.
차분 영상을 최소화시킬 수 있어 영상 압축 효율을 더욱 높일 수 있고, 이에 따라 네트워크 대역폭 사용을 대폭 감소시킬 수 있다는 효과가 제공된다.
또한, 임의의 장소에 위치한 영상 획득 장치가 이동하여도 실사 공간 모델링 데이터의 원근 변형도도 동시에 처리됨에 따라 차분 영상을 최소화하여 전송 데이터량을 줄일 수 있다는 효과가 제공된다.
더 나아가, 미리 전처리된 실사 공간 영상 데이터를 이용함으로써 입력 영상을 압축하고 전송하는 동안 상술한 과정들을 생략할 수 있어 영상 처리를 더욱더 빠르게 수행할 수 있다는 효과가 제공된다.
더 나아가, 영상 관제 시스템뿐만 아니라 영상 검색 시스템, 교통 관제 시스템, 보안 관제 시스템 등 다양한 분야에 적용 가능하다는 효과가 제공된다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템을 나타내는 개념도이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치를 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 중첩 영역 추출부를 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 레이저 스캐너 및 카메라 기반 영상에 대하여 실사 공간 영상 데이터가 구축되는 과정을 나타내는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 IR(Infrared; 적외선) 및 카메라 기반 영상에 대한 실사 공간 영상 데이터가 구축되는 과정을 나타내는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 임의의 시점(view point)에서 획득된 입력 영상과 실사 공간 모델링 데이터 간의 시공간 예측 부호화를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 처리 방법을 나타내는 순서도이다.
도 8은 본 발명의 일 실시예에 따른 상기 도 7에서 중첩 영역을 추출하는 과정을 나타내는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 이하에 기재된 "픽처(picture)"이라는 용어는 영상(image), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
이하에서는, 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 영상 처리 장치 및 방법을 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템을 나타내는 개념도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 처리 시스템은 영상 획득 장치(100), 원격지 서버(200), 영상 처리 장치(300)를 포함한다.
영상 획득 장치(100)는 실사 공간의 임의의 장소에 위치하고, 적어도 하나의 카메라로 이루어질 수 있다. 또한, 영상 획득 장치(100)는 실사 공간에 대한 영상을 획득하고, 획득된 영상인 입력 영상을 제공할 수 있다. 여기에서, 입력 영상은 복수의 영상 획득 장치(100)로부터 임의의 시점(view point)에서 획득된 영상일 수 있다. 또한, 입력 영상은 실시간으로 제공될 수 있다.
또한, 영상 획득 장치(100)는 입력 영상을 영상 처리 장치(300)에 바로 제공할 수 있지만, 영상 처리 장치(300)를 통하지 않고 후술할 원격지 서버(200) 또는 사용자 단말(400)에 직접 제공할 수 있다.
또한, 영상 획득 장치(100)는 일반적으로 카메라를 의미하지만, 본 발명은 이에 한정되지 않는다. 즉, 영상 획득 장치(100)는 영상 획득이 가능하고, 획득된 영상을 제공할 수 있다면 어떠한 장치를 사용하여도 무방하다.
구체적으로, 영상 획득 장치(100)는 IP카메라, CCTV, 전방향 카메라, 레이저 스캐너, 휴대 단말기, PTZ(Pan Tilt Zoom) 카메라, 적외선 센서, 열감지 센서 중에서 적어도 하나를 포함할 수 있다. 특히, 휴대 단말기는 카메라가 포함되어 영상 획득이 가능하고, 획득된 영상을 서버 또는 타 단말기에 전송 가능한 단말기로서, 개인 정보 단말기(PDA: Personal Digital Assistant), 스마트 폰(Smart Phone) 3G 단말기를 포함할 수 있다.
원격지 서버(200)는 실사 공간 영상 데이터를 미리 저장할 수 있다. 즉, 원격지 서버(200)에 저장된 실사 공간 영상 데이터는 영상 획득 장치(100)로부터 미리 실사 공간에 대한 영상을 획득하고. 획득된 영상에 대하여 전처리(Pre-Processing)가 수행된 데이터들이다.
또한, 원격지 서버(200)는 관리 서버(210) 및 데이터베이스(DB) 서버(220)를 포함할 수 있다. 관리 서버(210)는 영상 획득 장치(100)로부터 실사 공간에 대한 영상을 미리 제공받고, 미리 제공받은 실사 공간에 대한 영상들에 대하여 전처리(Pre-Processing)를 수행하여 실사 공간 영상 데이터를 생성할 수 있다. 데이터베이스(DB) 서버(220)는 관리 서버(210)에서 제공하는 실사 공간 영상 데이터을 저장할 수 있다.
또한, 실사 공간 영상 데이터는 도 2 및 도 3을 참조하여 아래에서 더욱 상세하게 설명한다.
영상 처리 장치(300)는 입력 영상을 영상 획득 장치(100)로부터 제공받고, 실사 공간 영상 데이터를 원격지 서버(200)로부터 제공받을 수 있다. 또한, 영상 처리 장치(300)는 입력 영상과 실사 공간 영상 데이터 간의 매칭을 통해 중첩 영역을 추출할 수 있다. 또한, 영상 처리 장치(300)는 추출된 중첩 영역을 통해 입력 영상을 압축하고 다중화하여 사용자 단말(400)에 전송할 수 있다.
일 예에서, 영상 처리 장치(300)는 입력 영상에서 중첩 영역이 포함된 실사 공간 영상 데이터를 차분한 차분 영상을 압축할 수 있다.
다른 예에서, 영상 처리 장치(300)는 중첩 영역이 포함된 실사 공간 영상 데이터를 이용한 시공간 예측 부호화를 수행하여 예측 프레임을 생성하고, 입력 영상에서 예측 프레임을 차분한 잔차 영상을 압축할 수 있다.
또한, 영상 처리 장치(300)는 영상 획득 장치(100), 원격지 서버(200) 및 사용자 단말(400)과 연결될 수 있다. 또한, 영상 처리 장치(300)는 영상 획득 장치(100), 원격지 서버(200) 및 사용자 단말(400)과의 정합, 즉 인터페이싱을 수행하는 인터페이스부를 포함할 수 있다. 인터페이스부는 싱크노드 및 게이트웨이를 포함할 수 있다.
또한, 영상 처리 장치(300)는 도 2 및 도 3을 참조하여 아래에서 더욱 상세하게 설명한다.
본 발명의 일 실시예에 따른 영상 처리 시스템에서, 상술한 영상 획득 장치(100), 원격지 서버(200) 및 영상 처리 장치(300)는 유선 또는 무선 통신을 이용하여 통신하는 통신부(미도시)를 포함할 수 있다. 통신부는(미도시) 안테나가 포함된 통신모듈로 이루어질 수 있다.
또한, 원격지 서버(200)에서 설명한 전처리(Pre-Processing)는 원격지 서버(200)의 관리 서버(210)에서 수행되는 것으로 상술하였지만, 이에 한정되는 것은 아니다. 즉, 본 발명의 일 실시예에 따른 영상 처리 시스템은 원격지 서버(200)의 관리 서버(210)에서 전처리(Pre-Processing)를 수행할수 있을 뿐만 아니라 영상 획득 장치(100)와 영상 처리 장치(300)에서도 전처리(Pre-Processing)가 수행될 수 있다. 따라서, 영상 획득 장치(100)와 영상 처리 장치(300)는 전처리(Pre-Processing)를 수행할 수 있는 전처리부(미도시)를 포함할 수 있다.
또한, 원격지 서버(200)에서 설명한 실사 공간 영상 데이터는 원격지 서버(200)의 데이터베이스(DB) 서버(220)에 저장되는 것으로 상술하였지만, 이에 한정되는 것은 아니다. 즉, 본 발명의 일 실시예에 따른 영상 처리 시스템은 원격지 서버(200)의 데이터베이스(DB) 서버(220)에 실사 공간 영상 데이터가 저장될수 있을 뿐만 아니라 영상 획득 장치(100) 또는 영상 처리 장치(300)에서도 실사 공간 영상 데이터가 저장될 수 있다. 따라서, 영상 획득 장치(100)와 영상 처리 장치(300)는 실사 공간 영상 데이터를 저장할 수 있는 데이터베이스(DB)(미도시)를 포함할 수 있다.
이상에서는 본 발명의 일 실시예에 따른 영상 처리 시스템의 각 구성에 대해서 살펴보았다. 아래에서는 본 발명의 일 실시예에 따른 영상 처리 장치에 대하여 도면을 참조하여 살펴보기로 한다. 특히, 상술한 영상 처리 시스템과 중복되는 부분은 설명의 간명성을 위하여 생략한다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치를 나타내는 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 처리 장치는 중첩 영역 추출부(310) 및 영상 압축부(320)를 포함한다. 또한, 다중화부(330)를 더 포함할 수 있다.
중첩 영역 추출부(310)는 적어도 하나의 영상 획득 장치(100)가 획득한 입력 영상과 데이터베이스(DB)에 미리 저장된 실사 공간 영상 데이터를 제공받아 입력 영상과 실사 공간 영상 데이터 간의 매칭을 통해 중첩 영역을 추출할 수 있다.
여기에서, 입력 영상과 실사 공간 영상 데이터 각각은 시점(view point)을 달리하여 획득된 영상일 수 있다.
또한, 실사 공간 영상 데이터는 영상 획득 장치(100)로부터 미리 획득된 실사 공간에 대한 영상에 대하여 전처리(Pre-Processing) 통해 생성될 수 있다. 또한, 실사 공간 영상 데이터는 실사 공간 모델링 데이터 및 특징 정보 맵데이터를 포함할 수 있다.
실사 공간 모델링 데이터는 2.5D 실사 공간 모델링 데이터 및 3D 실사 공간 모델링 데이터를 포함할 수 있지만, 이에 한정되는 것은 아니다.
특징 정보 맵데이터는 실사 공간 모델링 데이터인 위치 정보, 촬영 정보, 주요축 정보, 주요 특징점 정보, 시간 정보, 날씨, 환경 정보 및 조도 정보 중에서 적어도 어느 하나를 포함할 수 있지만, 이에 한정되는 것은 아니다.
또한, 실사 공간 영상 데이터는 영상 획득 장치(100)에서 제공하는 입력 영상에 상응하여 다르게 구축되어 데이터베이스(DB)에 미리 저장될 수 있다. 이에, 실사 공간 영상 데이터가 입력 영상에 상응하여 다르게 구축되는 과정을 도 4 및 도 5를 참조하여 설명하면 아래와 같다. 도 4 및 도 5에서는 설명의 간명성을 위하여 실사 공간 영상 데이터가 구축되는 곳을 전처리부라 지칭한다.
도 4는 본 발명의 일 실시예에 따른 레이저 스캐너 및 카메라 기반 영상에 대하여 실사 공간 영상 데이터가 구축되는 과정을 나타내는 순서도이다.
도 4를 참조하면, 전처리부는 레이저 스캐너 및 카메라로부터 다수의 3D 포인트 클라우드(point clouds), RGB 영상, 위치 정보 및 촬영 정보 등 영상 데이터들을 제공받을 수 있다.
이후, 전처리부는 제공받은 영상 데이터에 대하여 메쉬 모델링을 수행할 수 있다. 이후, 전처리부는 메쉬 모델링이 수행된 영상 데이터에 대하여 텍스쳐 매핑을 수행하여 실사 공간 영상 데이터를 생성할 수 있다. 여기에서, 생성된 실사 공간 영상 데이터는 3D 실사 공간 모델링 데이터와 특징 정보 맵데이터를 포함할 수 있다. 이후, 전처리부는 생성된 실사 공간 영상 데이터를 데이터베이스(DB)에 제공할 수 있다.
도 5는 본 발명의 일 실시예에 따른 IR(Infrared; 적외선) 및 카메라 기반 영상에 대한 실사 공간 영상 데이터가 구축되는 과정을 나타내는 순서도이다.
도 5를 참조하면, 전처리부는 IR(Infrared; 적외선) 및 카메라로부터 IR 영상, RGB 영상, 위치정보 및 촬영정보 등 영상 데이터들을 제공받을 수 있다. 즉, 전처리부는 IR패턴조사(照射)와 카메라 영상 촬영을 통해 대상 공간의 깊이값 및 텍스쳐를 제공받을 수 있다.
이후, 전처리부는 제공받은 영상 데이터에 대하여 특징 정보 추출 및 재구성을 수행할 수 있다. 이후, 전처리부는 특징 정보 추출 및 재구성이 수행된 영상 데이터에 대하여 텍스쳐 매핑을 수행하여 실사 공간 영상 데이터를 생성할 수 있다. 생성된 실사 공간 영상 데이터는 2.5D 실사 공간 모델링 데이터와 특징 정보 맵데이터를 포함할 수 있다. 이후, 전처리부는 생성된 실사 공간 영상 데이터를 데이터베이스(DB)에 제공할 수 있다.
따라서, 본 발명의 일 실시예에 따른 영상 처리 장치는 실사 공간 영상에 대하여 미리 전처리된 실사 공간 영상 데이터를 이용함으로써 입력 영상을 압축하고 전송하는 동안 상술한 과정들을 생략할 수 있어 영상 처리를 더욱더 빠르게 수행할 수 있다는 장점이 있다.
도 3은 본 발명의 일 실시예에 따른 중첩 영역 추출부를 나타내는 블록도이다.
계속해서 도 2및 도 3을 참조하면, 중첩 영역 추출부(310)는 특징 정보 추출부(312), 매칭부(314), 매칭 오차 산출부(316) 및 비교부(318)를 포함할 수 있다.
특징 정보 추출부(312)는 적어도 하나의 영상 획득 장치(100)로부터 입력 영상을 제공받을 수 있다. 또한, 특징 정보 추출부(312)는 제공받은 입력 영상의 특징 정보를 추출할 수 있다.
매칭부(314)는 입력 영상의 특징 정보를 특징 정보 추출부(312)로부터 제공받고, 특징 정보 맵데이터를 데이터베이스(DB)로부터 제공받을 수 있다. 또한, 매칭부(314)는 입력 영상의 특징 정보와 특징 정보 맵데이터간 매칭을 수행하고, 매칭결과를 산출할 수 있다. 구체적으로, 매칭부(314)는 입력 영상의 특징 정보와 특징 정보 맵데이터 간 듬성하게 매칭을 수행할 수 있다.
매칭 오차 산출부(316)는 매칭부(314)로부터 매칭결과를 제공받을 수 있다. 또한, 매칭 오차 산출부(316)는 제공받은 매칭부(314)의 매칭결과에 따라 매칭 오차를 산출할 수 있다.
비교부(318)는 매칭 오차 산출부(316)로부터 매칭 오차를 제공받을 수 있다. 또한, 비교부(318)는 제공받은 매칭 오차와 미리 설정된 기준값을 비교할 수 있다. 또한, 비교부(318)는 매칭 오차와 기준값을 비교한 비교결과에 따라 중첩 영역을 추출할 수 있다. 또한, 비교부(318)는 매칭 오차 비교서브유닛(318a) 및 중첩 영역 추출서브유닛(318b)을 포함할 수 있다.
매칭 오차 비교서브유닛(318a)은 매칭 오차 산출부(316)로부터 매칭 오차를 제공받을 수 있다. 또한, 매칭 오차 비교서브유닛(318a)은 제공받은 매칭 오차와 미리 설정된 기준값과 비교하여 비교결과를 산출할 수 있다.
중첩 영역 추출서브유닛(318b)는 매칭 오차 비교서브유닛(318a)으로부터 매칭 오차와 기준값을 비교한 비교결과를 제공받을 수 있다. 또한, 중첩 영역 추출서브유닛(318b)는 비교결과에 따라 중첩 영역을 추출할 수 있다.
즉, 매칭 오차가 기준값을 초과한 경우, 중첩 영역 추출서브유닛(318b)은 데이터베이스(DB)에 저장된 특징 정보 맵데이터를 특징 정보 추출부(312)에서 추출된 입력 영상의 특징 정보에 기초하여 갱신(update)할 수 있다. 또한, 중첩 영역 추출서브유닛(318b)는 갱신(update)된 특징 정보 맵데이터를 입력 영상의 특징 정보와의 매칭을 위하여 다시 매칭부(314)에 제공할 수 있다.
또한, 매칭 오차가 기준값 이하인 경우, 중첩 영역 추출서브유닛(318b)은 데이터베이스(DB)에 저장된 실사 공간 모델링 데이터와 입력 영상 간 재매칭을 수행할 수 있다. 구체적으로, 중첩 영역 추출서브유닛(318b)은 실사 공간 모델링 데이터와 입력 영상 간 조밀하게 재매칭을 수행할 수 있다. 또한, 중첩 영역 추출서브유닛(318b)은 실사 공간 모델링 데이터와 입력 영상 간의 재매칭결과에 따라 중첩 영역을 추출할 수 있다.
따라서, 본 발명의 일 실시예에 따른 영상 처리 장치는 입력 영상을 미리 저장된 특징 정보 맵데이터와 듬성하게 매칭한 후 실사 공간 모델링 데이터와 다시 조밀한 재매칭을 수행함으로써 차분 영상을 최소화시킬 수 있어 영상 압축 효율을 더욱 높일 수 있고, 이에 따라 네트워크 대역폭 사용을 대폭 감소시킬 수 있다.
계속해서 도 2를 참조하면, 영상 압축부(320)는 중첩 영역 추출부(310)에서 추출된 중첩 영역을 제공받을 수 있다. 또한, 영상 압축부(320)는 중첩 영역에 기반하여 실사 공간 영상 데이터에 포함된 정보에 기초한 참조 프레임을 이용하여 입력 영상을 압축할 수 있다.
상술하였듯이 실사 공간 영상 데이터에 포함된 정보는 실사 공간 모델링 데이터와 특징 정보 맵데이터를 포함할 수 있다. 따라서, 참조 프레임은 실사 공간 모델링 데이터에 기초할 수 있다. 또한, 실사 공간 영상 데이터는 시점(view point)을 달리하여 미리 획득된 영상일 수 있다.
또한, 영상 압축부(320)는 입력 영상에서 중첩 영역이 포함된 참조 프레임을 차분한 차분 영상을 압축할 수 있다. 즉, 영상 압축부(320)는 입력 영상에서 참조 프레임과 중첩되는 영역을 제거한 차분 영상을 압축할 수 있다.
또한, 영상 압축부(320)는 중첩 영역이 포함된 참조 프레임을 이용한 시공간 예측 부호화를 수행하여 예측 프레임을 생성하고, 입력 영상에서 예측 프레임을 차분한 잔차 영상을 압축할 수 있다.
특히, 본 발명의 일 실시예에 따른 영상 처리 장치는 시점(view point)을 달리 하여 시간의 흐름에 따라 획득된 입력 영상을 압축할 수 있다. 즉, 영상 처리 장치는 임의의 시점(view point)에서 획득된 다시점(multi-view point) 영상을 압축할 수 있다.
도 6은 본 발명의 일 실시예에 따른 임의의 시점(view point)에서 획득된 입력 영상과 실사 공간 모델링 데이터 간의 시공간 예측 부호화를 나타내는 도면이다.
도 6을 참조하면, 데이터베이스(DB)에 미리 저장된 실사 공간 모델링 데이터는 참조 프레임(500)일 수 있다. 또한, 복수의 영상 획득 장치(100)로부터 임의의 시점(view point)에서 획득된 다시점(multi-view point) 입력 영상은 피참조 프레임(502, 504, 506, 508)일 수 있다.
여기에서, 참조프레임(500)은 기본 시점(view point)의 영상일 수 있다. 또한, 피참조프레임(502, 504, 506, 508) 중에서 P0,···,Pn은 단방향 시점(view point)간 예측이 수행됨을 의미할 수 있다. 또한, 피참조프레임(502, 504, 506, 508) 중에서 B1,···, Bn은 양방향 시점(view point)간 예측이 수행됨을 의미할 수 있다.
즉, 실사 공간 모델링 데이터는 다시점(multi-view point) 입력 영상 압축을 위한 참조 프레임(500)으로 활용되고, 다시점(multi-view point) 입력 영상은 참조 프레임(500)으로부터 예측되는 피참조 프레임(502, 504, 506, 508)으로 구조화 될 수 있다. 특히, 시공간 예측 부호화는 서로 다른 시점(view point)의 프레임을 참조하여 예측을 수행할 수 있다.
일 예에서, 시간에 따른 조도 변화 또는 날씨 변화 등의 환경적인 변화가 발생되지 않는다면, 즉 다시점(multi-view point) 입력 영상이 고정적이면 도 4에서 설명하였듯이 매칭 오차는 미리 저장된 기준값 이하가 될 것이다. 이에 따라, 참조 프레임(500)은 같은 영상 프레임이 될 것이다.
다른 예에서, 시간에 따른 조도 변화 또는 날씨 변화 등의 환경적인 변화가 발생되면, 즉 다시점(multi-view point) 입력 영상이 유동적이면 도 4에서 설명하였듯이 매칭 오차는 미리 저장된 기준값을 초과할 것이다. 이에 따라, 참조프레임(500)은 특징 정보 맵데이터에 따라 다른 영상프레임이 될 것이다.
계속해서 도 2를 참조하면, 다중화부(330)는 영상 압축부(320)로부터 입력 영상이 압축된 압축영상을 제공받을 수 있다. 또한, 다중화부(330)는 제공받은 압축영상을 다중화하고, 다중화된 압축영상인 출력영상을 제공할 수 있다.
따라서, 본 발명의 일 실시예에 따른 영상 처리 장치는 임의의 시점(view point)에서 획득된 입력 영상과 미리 저장된 실사 공간 모델링 데이터간 시공간 예측 부호화를 수행함으로써 임의의 장소에 위치한 영상 획득 장치가 이동하여도 실사 공간 모델링 데이터의 원근 변형도도 동시에 처리됨에 따라 차분영상을 최소화하여 전송 데이터량을 줄일 수 있다는 장점이 있다.
또한, 본 발명의 일 실시예에 따른 영상 처리 장치는 영상 획득 장치로 IP카메라, CCTV, 전방향 카메라, 레이저 스캐너, 휴대 단말기, IP 카메라, PTZ(Pan Tilt Zoom) 카메라, 적외선 센서, 열감지 센서 등 다양한 영상 획득 장치를 포괄함에 따라, 영상 관제 시스템뿐만 아니라 영상 검색 시스템, 교통 관제 시스템, 보안 관제 시스템 등 다양한 분야에 적용 가능하다는 장점이 있다.
이상에서는 본 발명의 일 실시예에 따른 영상 처리 장치의 각 구성에 대해서 살펴보았다. 아래에서는 본 발명의 일 실시예에 따른 영상 처리 방법에 대하여 도면을 참조하여 살펴보기로 한다. 특히, 상술한 영상 처리 시스템 및 영상 처리 장치와 중복되는 부분은 설명의 간명성을 위하여 생략한다.
도 7은 본 발명의 일 실시예에 따른 영상 처리 방법을 나타내는 순서도이다.
도 7를조하면, 본 발명의 일 실시에에 따른 영상 처리 방법은 입력 영상과 미리 저장된 실사 공간 영상 테이터 간의 매칭을 통해 중첩 영역을 추출하는 단계(S700) 및 중첩 영역에 기반하여 실사 공간 영상 데이터에 포함된 정보에 기초한 참조 프레임을 이용하여 입력 영상을 압축하는 단계(S800)을 포함한다.
먼저, 실사 공간에 대한 영상인 입력 영상을 제공받을 수 있다(S600). 여기에서, 입력 영상은 시점(view point)을 달리 하여 시간의 흐름에 따라 획득된 다시점(multi-view point) 영상일 수 있다.
이후, 입력 영상과 미리 저장된 실사 공간 영상 테이터간의 매칭을 통해 중첩 영역을 추출할 수 있다(S700).
여기에서, 실사 공간 영상 데이터는 미리 획득된 실사 공간에 대한 영상에 대하여 전처리(Pre-Processing) 통해 생성될 수 있다. 따라서, 실사 공간 영상 데이터는 S600 단계 또는 S700 단계 이전에 생성되어 저장될 수 있다.
또한, 실사 공간 영상 데이터는 실사 공간 모델링 데이터 및 특징 정보 맵데이터를 포함할 수 있다. 또한, 실사 공간 영상 데이터는 시점(view point)을 달리하여 획득된 영상일 수 있다.
또한, 영상 처리 장치에서 상술한 실사 공간 영상 데이터와 중복되는 부분은 설명의 간명성을 위하여 생략한다.
도 8은 본 발명의 일 실시예에 따른 상기 도 7에서 중첩 영역을 추출하는 과정을 나타내는 순서도이다.
도 8을 참조하면, 입력 영상을 제공받아 입력 영상의 특징 정보를 추출할 수 있다(S701). 이후, 미리 저장된 특징 정보 맵데이터를 제공받을 수 있다(S702). 이후, 입력 영상의 특징 정보와 특징 정보 맵데이터 간 매칭을 수행하여 매칭결과를 산출할 수 있다(S703). 구체적으로, 입력 영상의 특징 정보와 특징 정보 맵데이터 간 듬성하게 매칭을 수행할 수 있다. 이후, 매칭결과에 따라 매칭 오차를 산출할 수 있다(S704). 이후, 매칭 오차와 미리 설정된 기준값을 비교하고, 비교결과에 따라 중첩 영역을 추출할 수 있다.
즉, 매칭 오차와 기준값을 비교하여 비교결과를 산출할 수 있다(S705)
여기에서, 매칭 오차가 기준값을 초과한 경우, 특징 정보 맵데이터를 입력 영상의 특징 정보에 기초하여 갱신할 수 있다(S706). 이후, 갱신(update)된 특징 정보 맵데이터(S702)는 S703 단계에서 입력 영상의 특징 정보와 다시 매칭을 수행할 수 있다.
여기에서, 매칭 오차가 기준값 이하인 경우, 실사 공간 모델링 데이터(S707)와 입력 영상간 재매칭을 수행할 수 있다(S608). 이후, 재매칭 결과에 따라 중첩 영역을 추출할 수 있다(S709). 구체적으로, 실사 공간 모델링 데이터와 입력 영상 간 조밀하게 재매칭을 수행할 수 있다.
계속해서 도 7을 참조하면, S700단계 이후에 중첩 영역에 기반하여 실사 공간 영상 데이터에 포함된 정보에 기초한 참조 프레임을 이용하여 입력 영상을 압축할 수 있다(S800).
여기에서, 영상 처리 장치의 영상 압축부(320)에서 상술하였듯이 참조 프레임은 실사 공간 모델링 데이터에 기초할 수 있다.
여기에서, S800단계는 입력 영상에서 중첩 영역이 포함된 참조 프레임을 차분한 차분 영상을 압축할 수 있다. 즉, S800단계는 입력 영상에서 참조 프레임과 중첩되는 영역을 제거한 차분 영상을 압축할 수 있다.
여기에서, S800단계는 중첩 영역이 포함된 참조 프레임을 이용한 시공간 예측 부호화를 수행하여 예측 프레임을 생성하고, 입력 영상에서 예측 프레임을 차분한 잔차 영상을 압축할 수 있다. 또한, 영상 처리 장치에서 상술한 시공간 예측 부호화와 중복되는 부분은 설명의 간명성을 위하여 생략한다.
이후, 압축된 입력 영상을 다중화할 수 있다(S900). 그런다음, 다중화된 압축영상인 출력영상을 제공할 수 있다(S1000).
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 영상 획득 장치 200: 원격지 서버
210: 관리 서버 220: 데이터베이스(DB) 서버
300: 영상 처리 장치 310: 중첩 영역 추출부
312: 특징 정보 추출부 314: 매칭부
316: 매칭 오차 산출부 318: 비교부
318a: 매칭 오차 비교서브유닛 318b: 중첩 영역 추출서브유닛
320: 영상 압축부 330: 다중화부
400: 사용자 단말

Claims (15)

  1. 적어도 하나의 영상 획득 장치가 획득한 입력 영상과 데이터베이스(DB)에 미리 저장된 실사 공간 영상 데이터를 제공받아 상기 입력 영상과 상기 실사 공간 영상 데이터 간의 매칭을 통해 중첩 영역을 추출하는 중첩 영역 추출부; 및
    상기 중첩 영역에 기반하여 상기 실사 공간 영상 데이터에 포함된 정보에 기초한 참조 프레임을 이용하여 상기 입력 영상을 압축하는 영상 압축부를 포함하되,
    상기 실사 공간 영상 데이터는,
    미리 획득된 실사 공간에 대한 영상에 대하여 전처리(Pre-Processing)를 통해 생성되는 실사 공간 모델링 데이터 및 특징 정보 맵데이터를 포함하고,
    상기 중첩 영역 추출부는,
    상기 입력 영상의 특징 정보를 추출하는 특징 정보 추출부;
    상기 입력 영상의 특징 정보와 상기 특징 정보 맵데이터 간 매칭을 수행하여 매칭결과를 산출하는 매칭부;
    상기 매칭결과에 따라 매칭 오차를 산출하는 매칭 오차 산출부; 및
    상기 매칭 오차와 미리 설정된 기준값을 비교하고, 비교결과에 따라 상기 중첩 영역을 추출하는 비교부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  2. 청구항 1에 있어서,
    상기 영상 압축부는,
    상기 입력 영상에서 상기 중첩 영역이 포함된 상기 참조 프레임을 차분한 차분 영상을 압축하는 것을 특징으로 하는 영상 처리 장치.
  3. 청구항 1에 있어서,
    상기 영상 압축부는,
    상기 중첩 영역이 포함된 상기 참조 프레임을 이용한 시공간 예측 부호화를 수행하여 예측 프레임을 생성하고, 상기 입력 영상에서 상기 예측 프레임을 차분한 잔차 영상을 압축하는 것을 특징으로 하는 영상 처리 장치.
  4. 청구항 1에 있어서,
    상기 입력 영상 및 상기 실사 공간 영상 데이터 각각은,
    시점(view point)을 달리하여 획득된 영상인 것을 특징으로 하는 영상 처리 장치.
  5. 삭제
  6. 삭제
  7. 청구항 1에 있어서,
    상기 비교부는,
    상기 매칭 오차와 상기 기준값을 비교하여 비교결과를 산출하는 매칭 오차 비교서브유닛; 및
    상기 매칭 오차가 상기 기준값을 초과한 경우, 상기 특징 정보 맵데이터를 상기 입력 영상의 특징 정보에 기초하여 갱신(update)하고, 상기 갱신(update)된 특징 정보 맵데이터를 상기 매칭부에 제공하며,
    상기 매칭 오차가 상기 기준값 이하인 경우, 상기 실사 공간 모델링 데이터와 상기 입력 영상 간 재매칭을 수행하고, 재매칭결과에 따라 상기 중첩 영역을 추출하는 중첩 영역 추출서브유닛을 포함하는 것을 특징으로 하는 영상 처리 장치.
  8. 입력 영상과 미리 저장된 실사 공간 영상 테이터 간의 매칭을 통해 중첩 영역을 추출하는 단계; 및
    상기 중첩 영역에 기반하여 상기 실사 공간 영상 데이터에 포함된 정보에 기초한 참조 프레임을 이용하여 상기 입력 영상을 압축하는 단계를 포함하되,
    상기 실사 공간 영상 데이터는,
    미리 획득된 실사 공간에 대한 영상에 대하여 전처리(Pre-Processing)를 통해 생성되는 실사 공간 모델링 데이터 및 특징 정보 맵데이터를 포함하고,
    상기 입력 영상과 미리 저장된 실사 공간 영상 테이터 간의 매칭을 통해 중첩 영역을 추출하는 단계는,
    상기 입력 영상의 특징 정보를 추출하는 단계;
    상기 입력 영상의 특징 정보와 상기 특징 정보 맵데이터 간 매칭을 수행하여 매칭결과를 산출하는 단계;
    상기 매칭결과에 따라 매칭 오차를 산출하는 단계; 및
    상기 매칭 오차와 미리 설정된 기준값을 비교하고, 비교결과에 따라 상기 중첩 영역을 추출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  9. 청구항 8에 있어서,
    상기 중첩 영역에 기반하여 상기 실사 공간 영상 데이터에 포함된 정보에 기초한 참조 프레임을 이용하여 상기 입력 영상을 압축하는 단계는,
    상기 입력 영상에서 상기 중첩 영역이 포함된 상기 참조 프레임을 차분한 차분 영상을 압축하는 것을 특징으로 영상 처리 방법.
  10. 청구항 8에 있어서,
    상기 중첩 영역에 기반하여 상기 실사 공간 영상 데이터에 포함된 정보에 기초한 참조 프레임을 이용하여 상기 입력 영상을 압축하는 단계는,
    상기 중첩 영역이 포함된 상기 참조 프레임을 이용한 시공간 예측 부호화를 수행하여 예측 프레임을 생성하고, 상기 입력 영상에서 상기 예측 프레임을 차분한 잔차 영상을 압축하는 것을 특징으로 하는 영상 처리 방법.
  11. 청구항 8에 있어서,
    상기 입력 영상 및 상기 실사 공간 영상 데이터 각각은,
    시점(view point)을 달리하여 획득된 영상인 것을 특징으로 하는 영상 처리 방법.
  12. 삭제
  13. 삭제
  14. 청구항 8에 있어서,
    상기 매칭 오차와 미리 설정된 기준값을 비교하고, 비교결과에 따라 상기 중첩 영역을 추출하는 단계는,
    상기 매칭 오차와 상기 기준값을 비교하여 상기 비교결과를 산출하는 단계; 및
    상기 매칭 오차가 상기 기준값을 초과한 경우, 상기 특징 정보 맵데이터를 상기 입력 영상의 특징 정보에 기초하여 갱신(update)하고, 갱신된 특징 정보 맵데이터는 상기 입력 영상의 특징 정보와 다시 매칭을 수행하고,
    상기 매칭 오차가 상기 기준값 이하인 경우, 상기 실사 공간 모델링 데이터와 상기 입력 영상 간 재매칭을 수행하고, 재매칭결과에 따라 상기 중첩 영역을 추출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  15. 청구항 8에 있어서,
    상기 입력 영상과 미리 저장된 실사 공간 영상 테이터 간의 매칭을 통해 중첩 영역을 추출하는 단계 이전에,
    미리 획득된 실사 공간에 대한 영상에 대하여 전처리(Pre-Processing)를 통해 상기 실사 공간 영상 데이터를 생성하고 저장하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
KR1020130106495A 2013-09-05 2013-09-05 영상 처리 장치 및 방법 KR102153539B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130106495A KR102153539B1 (ko) 2013-09-05 2013-09-05 영상 처리 장치 및 방법
JP2014083549A JP2015053669A (ja) 2013-09-05 2014-04-15 映像処理装置及び方法
US14/470,391 US9743106B2 (en) 2013-09-05 2014-08-27 Apparatus for video processing and method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130106495A KR102153539B1 (ko) 2013-09-05 2013-09-05 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150027985A KR20150027985A (ko) 2015-03-13
KR102153539B1 true KR102153539B1 (ko) 2020-09-08

Family

ID=52583249

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130106495A KR102153539B1 (ko) 2013-09-05 2013-09-05 영상 처리 장치 및 방법

Country Status (3)

Country Link
US (1) US9743106B2 (ko)
JP (1) JP2015053669A (ko)
KR (1) KR102153539B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101905580B1 (ko) 2016-02-17 2018-10-11 한국전자통신연구원 촬영 기능을 갖는 모바일 장치를 이용한 상황 재연 방법 및 시스템
GB2553315A (en) 2016-09-01 2018-03-07 Nokia Technologies Oy Determining inter-view prediction areas
KR102072576B1 (ko) * 2017-12-07 2020-02-03 울산과학기술원 데이터 인코딩 및 디코딩 장치와 방법
EP3804320A4 (en) 2018-06-26 2021-06-30 Huawei Technologies Co., Ltd. HIGH LEVEL SYNTAX VERSIONS FOR POINT CLOUD CODING
US11880766B2 (en) 2020-10-16 2024-01-23 Adobe Inc. Techniques for domain to domain projection using a generative model

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013031785A1 (ja) * 2011-09-01 2013-03-07 日本電気株式会社 撮影画像圧縮伝送方法及び撮影画像圧縮伝送システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0222987A (ja) * 1988-07-12 1990-01-25 Mitsubishi Electric Corp 画像伝送装置
JPH0564172A (ja) * 1991-09-03 1993-03-12 Hitachi Ltd 映像通信方式および映像送信装置および映像受信装置
US6343141B1 (en) * 1996-10-08 2002-01-29 Lucent Technologies Inc. Skin area detection for video image systems
JP3655832B2 (ja) * 2001-02-15 2005-06-02 日本電信電話株式会社 動画像送信方法、動画像送信処理用プログラム及びそのプログラムを記録したコンピュータ読取可能な記録媒体
JP2003047012A (ja) * 2001-08-01 2003-02-14 Mega Chips Corp 動画像圧縮方法、及びプログラム
CA2359269A1 (en) * 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
KR100455060B1 (ko) 2002-09-10 2004-11-06 정동회 3차원 영상 데이터 제공장치 및 방법
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
JP2006115283A (ja) * 2004-10-15 2006-04-27 Mitsubishi Electric Corp データ圧縮装置およびデータ伸張装置
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
US8369406B2 (en) * 2005-07-18 2013-02-05 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
KR100698845B1 (ko) * 2005-12-28 2007-03-22 삼성전자주식회사 인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그장치
KR100918392B1 (ko) * 2006-12-05 2009-09-24 한국전자통신연구원 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법
US8290257B2 (en) * 2007-03-02 2012-10-16 The Procter & Gamble Company Method and apparatus for simulation of facial skin aging and de-aging
US20090163185A1 (en) 2007-12-24 2009-06-25 Samsung Electronics Co., Ltd. Method and system for creating, receiving and playing multiview images, and related mobile communication device
KR101620067B1 (ko) 2009-05-14 2016-05-12 삼성전자주식회사 다시점 영상 압축 장치 및 방법
US9639959B2 (en) * 2012-01-26 2017-05-02 Qualcomm Incorporated Mobile device configured to compute 3D models based on motion sensor data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013031785A1 (ja) * 2011-09-01 2013-03-07 日本電気株式会社 撮影画像圧縮伝送方法及び撮影画像圧縮伝送システム

Also Published As

Publication number Publication date
US9743106B2 (en) 2017-08-22
JP2015053669A (ja) 2015-03-19
KR20150027985A (ko) 2015-03-13
US20150063450A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
KR102153539B1 (ko) 영상 처리 장치 및 방법
CN109690620B (zh) 三维模型生成装置以及三维模型生成方法
CN103460242B (zh) 信息处理装置、信息处理方法、以及位置信息的数据结构
US8208716B2 (en) Stereo vision system and stereo vision processing method
CN101416520B (zh) 多视图的高效编码
KR102105189B1 (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
US20150365545A1 (en) Picture Outputting Method and Apparatus
CN114079779B (zh) 图像处理方法、智能终端及存储介质
CN111316650A (zh) 三维模型编码装置、三维模型解码装置、三维模型编码方法、以及三维模型解码方法
CN106331850A (zh) 浏览器直播客户端、浏览器直播系统及浏览器直播方法
CN108073857A (zh) 动态视觉传感器dvs事件处理的方法及装置
KR100800653B1 (ko) 3차원 입체 영상을 압축하기 위한 장치 및 방법
KR20180094554A (ko) 3d 이미지 생성 장치 및 방법
CN111047622B (zh) 视频中对象的匹配方法和装置、存储介质及电子装置
JP2017229067A (ja) 少なくとも１つのライトフィールドカメラにより一対の立体画像を生成する方法及び装置
JP4851564B2 (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR20190136877A (ko) Ip 카메라를 이용한 얼굴 영상 획득 방법 및 장치
KR20130135606A (ko) 색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법
KR20210018348A (ko) 라이트 필드 코딩 및 디코딩을 위한 예측
CN110771174A (zh) 视频处理的方法、地面控制端及存储介质
US11758101B2 (en) Restoration of the FOV of images for stereoscopic rendering
JP4207008B2 (ja) 画像処理システム、画像処理装置、コンピュータプログラム、及び画像遅延量算出方法
EP3391330B1 (en) Method and device for refocusing at least one plenoptic video
WO2020107376A1 (zh) 图像处理的方法、设备及存储介质
Liu et al. Remote-sensing image compression using priori-information and feature registration

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant