KR100636785B1 - 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법 - Google Patents

다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법 Download PDF

Info

Publication number
KR100636785B1
KR100636785B1 KR1020050046431A KR20050046431A KR100636785B1 KR 100636785 B1 KR100636785 B1 KR 100636785B1 KR 1020050046431 A KR1020050046431 A KR 1020050046431A KR 20050046431 A KR20050046431 A KR 20050046431A KR 100636785 B1 KR100636785 B1 KR 100636785B1
Authority
KR
South Korea
Prior art keywords
image
residual
residual image
disparity vector
threshold value
Prior art date
Application number
KR1020050046431A
Other languages
English (en)
Inventor
하태현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050046431A priority Critical patent/KR100636785B1/ko
Priority to EP06757406.1A priority patent/EP1889490A4/en
Priority to PCT/KR2006/001273 priority patent/WO2006129914A1/en
Priority to US11/431,014 priority patent/US8130836B2/en
Application granted granted Critical
Publication of KR100636785B1 publication Critical patent/KR100636785B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

본 발명에 따른 다시점 입체 영상 시스템에 적용되는 압축방법은 연속하여 위치하는 제1, 제2, 제3 카메라로부터 동일시간에 각각 캡쳐한 제1, 제2, 제3 영상 중 제1 영상 및 제3 영상간의 움직임 벡터에 해당하는 변이 벡터(disparity vector)를 추정하는 단계, 추정된 변이 벡터의 중간값을 갖는 중간영상을 생성하는 단계, 중간영상(intermediate image)과 제2 영상간의 차이에 의한 잔류영상(residual)을 생성하며, 잔류영상과 문턱값을 비교하는 단계, 및 제1 영상 및 제3 영상을 코딩하여 전송하며, 잔류영상이 문턱값 보다 작은 경우에는 잔류영상의 비전송에 대한 데이터를, 잔류영상이 문턱값 보다 큰 경우에는 잔류영상을 코딩하여 전송하는 단계를 포함한다. 연속하여 위치하는 제1, 제2, 제3 카메라로부터 각각 캡쳐된 제1, 제2, 제3 영상을 압축시 제1 영상 및 제 3 영상을 중간합성하여 생성된 중간영상과 제2 영상간의 차이가 소정값 이하인 경우, 제2 영상에 대한 데이터를 압축하여 전송하지 않음으로써 압축률을 향상시킬 수 있다.
변이 벡터, 중간영상, 다시점

Description

다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원 방법{Multi-view image system and method for compressing and decompressing applied to the same}
도 1은 본 발명의 일실시예에 따른 다시점 입체 영상 시스템의 블록도,
도 2는 도 1의 다시점 입체 영상 시스템에 적용되는 압축방법을 설명하기 위한 흐름도,
도 3a 내지 도 3c는 다시점 입체 영상 시스템에 적용되는 압축방법을 상세하게 설명하기 위한 도면,
도 4는 도 1의 다시점 입체 영상 시스템에 적용되는 복원방법을 설명하기 위한 흐름도, 그리고
도 5는 다시점 입체 영상 시스템에 적용되는 복원방법을 상세하게 설명하기 위한 도면이다.
* 도면의 주요 부분에 대한 부호의 설명 *
100: 송신부 110: 저장부
120: 추정부 130: 압축부
131: 중간영상 생성부 133: 비교부
135: 코딩부 140: 다중화부
200: 수신부 210: 분리화부
220: 메모리 230: 판단부
240: 복원부 241: 중간영상 합성부
243: 연산부
본 발명은 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법에 관한 것으로, 더욱 상세하게는 압축률이 향상된 영상을 전송 및 수신하여 복원하는 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법에 관한 것이다.
다시점 비디오 기술을 포함하는 3차원 비디오 기술 개발은 전 세계적으로 미국, 유럽 그리고 일본에서 연구활동이 활발하게 이루어지고 있다. 유럽에서는 HDTV 및 2차원 영상 매체를 대신할 새로운 입체 TV를 위해 유럽 연합공동으로 사업을 추진하여 입체 TV 관련 장치의 표준화, 3차원 영상 신호에 대한 부호화 및 이에 대한 전송 기술을 COST230(1991-1996) 프로젝트를 통해 수행하였으며, 그 결과로 3차원 영상 디스플레이 영상 전송 서비스 기술 등을 개발하였다. 그리고, ACTS(Advisory Committee for Advanced Television Service)의 PANORAMA(Package for New Operational Autostreoscopic Multiview systems)(1991-2001) 프로젝트는, 3차원 영상원격표시장치를 이용한 통신에서의 활용을 목적으로 한 다시점 입체 영상 시스템을 개발하는 것을 주요 목표로 하고 있으며, 다시점 비디오 기술과 관련 된 분야에 대한 개발이 진행되고 있다. 또 다른 3차원 관련 사업으로 입체 TV 시스템 개발을 목적으로 하여 필립스 및 HHI 등 유럽 8개 기관이 모여서 2002년 결성한 ATTEST(Advanced Three-Dimensional Television System Technologies) 프로젝트가 진행되고 있으며, ATTEST 프로젝트는 현재의 2차원 디지털 TV와 호환 가능하도록 시스템을 구성하면서도 3차원 깊이(depth) 정보를 추가 전송함으로써 사용자들이 입체 영상을 즐길 수 있도록 하는 것을 목표로 하여 연구가 수행 중이다.
일본에서는 고도 3차원 텔레비전 프로젝트(1997-2002)를 통해 인간에게 친숙한 입체 텔레비전을 실현하고자 한다. 기존 양안식 입체(stereo-view) TV가 가지는 거리에 의한 부자연성 및 장기간의 시청으로 인한 피로감을 해결하기 위해 다시점 영상 방식 또는 홀로그래피를 이용한 특수한 디스플레이 기술을 활용하여 입체 TV를 개발하고자 하였으며 입체 영상 디스플레이 장치, 입체 영상 시스템, 입체 시각 등에 대한 연구가 수행되었다.
한편, 현재 MPEG2를 이용한 DTV 표준에서, 하나의 전송 채널이 6MHz로 제한되어 있기 때문에, 한 채널에 HD급 영상 한장을 전송할 수 있는 정도의 압축력을 가지고 있는데, 주어진 채널 환경에서 HD급 스테레오 영상 즉, HD급 2장을 전송하기에는 대역폭의 한계가 있다. 그리고, 다시점 비디오(multiview video) 압축은 기존의 싱글 카메라(sigle camera)의 압축 전송에 비해, 훨씬 큰 대역폭(bandwidth)를 요구하므로, 기존 방식에 비해 고효율, 고압축율의 압축 방식이 요구되고 있다
따라서, 본 발명의 목적은 연속하는 인접한 제1, 제2, 제3 카메라 중 제1 및 제3 카메라로부터 캡쳐한 영상을 이용하여 생성된 중간영상과, 제2 카메라로부터 캡쳐한 실제영상간의 차가 소정값 이하인 경우, 실제영상에 대한 데이터를 전송하지 않음으로써 압축률을 증가시킬 수 있는 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명에 따른 다시점 입체 영상 시스템에 적용되는 압축방법은 연속하여 위치하는 제1, 제2, 제3 카메라로부터 동일시간에 각각 캡쳐한 제1, 제2, 제3 영상 중 제1 영상 및 제3 영상간의 움직임 벡터에 해당하는 변이 벡터(disparity vector)를 추정하는 단계, 추정된 변이 벡터의 중간값을 갖는 중간영상을 생성하는 단계, 중간영상(intermediate image)과 제2 영상간의 차이에 의한 잔류영상(residual)을 생성하며, 잔류영상과 문턱값을 비교하는 단계, 및 제1 영상 및 제3 영상을 코딩하여 전송하며, 잔류영상이 문턱값 보다 작은 경우에는 잔류영상의 비전송에 대한 데이터를, 잔류영상이 문턱값 보다 큰 경우에는 잔류영상을 코딩하여 전송하는 단계를 포함한다.
바람직하게는 변이 벡터를 추정하는 단계는, 제1 영상 및 제3 영상의 블록단위로 변이 벡터를 추정한다.
또한, 바람직하게는 잔류영상과 문턱값을 비교하는 단계는, 중간영상과 제2 영상간의 화소값차를 기초로 MSE(mean square error), SAD(Sum of Absolute Difference), MAD(Median Absolute Deviation), PSNR(Peak signal to noise ratio) 중 어느 하나를 계산하여 문턱값과 비교한다.
한편, 본 발명의 다시점 입체 영상 시스템에 적용되는 복원 방법은 연속하여 위치하는 제1, 제2, 제3 카메라로부터 각각 캡쳐한 제1, 제2, 제3 영상 중 제1 영상 및 제3 영상에 대한 압축 데이터를 전송받아 제1 영상 및 제3 영상을 복원하는 단계, 제1 영상 및 제3 영상을 이용하여 추정된 움직임 벡터에 해당하는 변이 벡터를 기초로 생성된 중간영상과, 제2 영상간의 차이에 의한 잔류영상 (residual)의 수신 여부를 판단하는 단계, 및 잔류영상이 수신된 경우 복원된 제1 영상 및 제3 영상을 이용하여 중간영상을 생성하여 중간영상을 제2 영상으로 복원하며, 잔류영상이 수신되지 않은 경우 중간영상과 전송된 잔류영상을 합성하여 제2 영상으로 복원하는 단계를 포함한다.
본 발명의 다시점 입체 영상 시스템에 적용되는 압축 및 복원방법은 연속하여 위치하는 제1, 제2, 제3 카메라로부터 동일시간에 각각 캡쳐한 제1, 제2, 제3 영상 중 제1 영상 및 상기 제3 영상간의 움직임 벡터에 해당하는 변이 벡터(disparity vector)를 추정하는 단계, 추정된 변이 벡터의 중간값을 갖는 중간영상을 생성하는 단계, 중간영상과 제2 영상간의 차이에 의한 잔류영상을 생성하며, 잔류영상과 문턱값을 비교하는 단계, 및 제1 영상 및 제3 영상을 코딩하여 전송하며, 잔류영상이 문턱값 보다 작은 경우에는 잔류영상의 비전송에 대한 데이터를, 잔류영상이 문턱값 보다 큰 경우에는 잔류영상을 코딩하여 전송하는 단계, 전송된 제1 영상 및 제3 영상을 복원하는 단계, 잔류영상의 수신 여부를 판단하는 단계, 및 잔류영상이 수신된 경우에는 복원된 제1 영상 및 제3 영상을 이용하여 중간영상을 생성하여 중간영상을 제2 영상으로 복원하며, 잔류영상이 수신되지 않은 경우에 는 중간영상과 전송된 잔류영상을 합성하여 제2 영상으로 복원하는 단계를 포함한다.
한편, 본 발명의 다시점 입체 영상 시스템의 송신부는, 연속하여 위치하는 제1, 제2, 제3 카메라로부터 캡쳐한 제1, 제2, 제3 영상 중 제1 영상과 제3 영상간의 움직임 벡터(motion vector)에 해당하는 변이 벡터(disparity vector)를 추정하는 추정부, 추정한 변이 벡터를 기초로 제1 영상 및 제3 영상의 중간영상을 생성하는 중간영상 생성부, 중간영상과 제2 영상간의 화소값 차이에 의한 잔류 영상(residual)을 검출하며, 잔류 영상과 문턱값을 비교하여 잔류 영상의 전송여부를 판단하는 비교부, 및 제1 영상 및 제3 영상을 코딩하며, 잔류 영상과 문턱값의 비교결과에 따라 잔류 영상 및 잔류 영상의 비전송에 대한 데이터 중 어느 하나를 코딩하는 코딩부를 포함한다.
바람직하게는 비교부는, 중간영상과 제2 영상간의 화소값차를 기초로 MSE(mean square error), SAD(Sum of Absolute Difference), MAD(Median Absolute Deviation), PSNR(Peak signal to noise ratio) 중 어느 하나를 계산하여 잔류 영상을 검출한다.
또한, 바람직하게는 코딩부는, 잔류 영상이 문턱값 보다 큰 경우에는 잔류 영상에 대한 데이터를 코딩하며, 잔류 영상이 문턱값 보다 작은 경우에는 잔류 영상의 비전송에 대한 데이터를 코딩한다.
바람직하게는 추정부는, 제1 영상 및 제3 영상의 블록별로 변이 벡터를 추정한다.
한편, 본 발명의 다시점 입체 영상 시스템의 수신부는, 연속하여 위치하는 카메라들로부터 캡쳐된 제1, 제2, 제3 영상을 복원하기 위해, 제1 영상과 제3 영상을 이용하여 합성된 중간영상과 제2 영상간의 차이에 의한 잔류 영상이 수신되었는지 여부를 판단하는 판단부, 제1 영상 및 제3 영상을 복원하며, 제1 영상과 제3 영상간의 움직임 벡터에 해당하는 변이 벡터를 추정한 후 추정된 변이 벡터를 기초로 제1 영상 및 제3 영상의 중간영상을 생성하는 중간영상 합성부, 및 잔류 영상이 수신되지 않은 경우 중간영상을 제2 영상으로 복원하며, 잔류 영상이 전송된 경우에는 중간영상과 전송된 잔류영상을 합성하여 제2 영상으로 복원하는 연산부를 포함한다.
한편, 본 발명에 따른 다시점 입체 영상 시스템은 연속하여 위치하는 제1, 제2, 제3 카메라로부터 캡쳐한 제1, 제2, 제3 영상 중 제1 영상과 제3 영상간의 움직임 벡터에 해당하는 변이 벡터를 추정하는 추정부, 추정한 변이 벡터를 기초로 제1 영상 및 제3 영상의 중간영상을 생성하는 중간영상 생성부, 중간영상과 제2 영상간의 화소값 차이에 의한 잔류 영상(residual)을 검출하며, 잔류 영상과 문턱값을 비교하여 잔류 영상의 전송여부를 판단하는 비교부, 제1 영상 및 제3 영상을 코딩하며, 잔류 영상과 문턱값의 비교결과에 따라 잔류 영상에 대한 데이터 및 잔류 영상의 비전송에 대한 데이터 중 어느 하나를 코딩하는 코딩부, 잔류 영상이 수신되었는지 여부를 판단하는 판단부, 제1 영상 및 제3 영상을 복원하며, 제1 영상과 제3 영상간의 변이 벡터를 추정한 후 추정된 변이 벡터를 기초로 제1 영상 및 제3 영상의 중간영상을 생성하는 중간영상 합성부, 및 잔류 영상이 수신되지 않은 경우 중간영상을 제2 영상으로 복원하며, 잔류영상이 수신된 경우에는 중간영상과 전송된 잔류 영상에 대한 데이터를 합성하여 제2 영상으로 복원하는 연산부를 포함한다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 다시점 입체 영상 시스템의 블록도이다.
도 1을 참조하면, 본 발명에 따른 다시점 입체 영상 시스템은 송신부(100) 및 수신부(200)를 포함한다. 여기서, 수신부(200)는 다시점 텔레비젼, 3D-TV, 모니터 등이 될 수 있다.
먼저, 송신부(100)는 저장부(110), 추정부(120), 압축부(130), 및 다중화부(140)를 포함한다. 송신부(100)에는 소정 간격을 갖도록 위치하는 다수의 카메라로부터 캡쳐된 다수의 영상들이 입력된다. 저장부(110)는 입력되는 영상을 프레임별로 저장한다.
추정부(120)는 저장된 입력영상들 중 연속하여 위치하는 제1, 제2, 제3 카메라로부터 캡쳐한 제1, 제2, 제3 영상 중 제1 영상과 제3 영상간의 움직임 벡터(motion vector)에 해당하는 변이 벡터(disparity vector)를 추정한다. 이때, 제1, 제2, 제3 영상은 동일 피사체에 대해 동일 시간에 제1, 제2, 제3 카메라로부터 각각 캡쳐되는 영상들이다. 동일 피사체로부터 캡쳐되는 제1, 제2, 제3 영상은 제1, 제2, 제3 카메라의 위치 차이에 의해 제1, 제2, 제3 카메라에서 상이한 영상이 캡쳐될 수 있다. 따라서, 제1 카메라와 제3 카메라의 위치 차이로 발생하는 제1 영상과 제3 영상간의 움직임 벡터에 해당하는 변이 벡터를 추정한다.
이때, 변이 벡터는 제1 영상과 제3 영상내의 블록단위로 추정된다. 바람직하게는 16×16 블록 단위로 변이 벡터를 추정하며, 16×16이하의 블록 단위로 변이 벡터를 추정할 수 있다.
압축부(130)는 실제 제2 영상과 제1 영상과 제3 영상을 이용하여 합성된 제2 영상간의 차값을 기초로 제1, 제3 영상, 및 제2 영상에 대한 정보를 압축하며, 중간영상 생성부(131), 비교부(133), 및 코딩부(135)를 포함한다.
중간영상 생성부(131)는 제1 영상과 제3 영상을 기초로 중간영상 합성방법을 이용하여 중간영상을 생성한다. 중간영상 생성부(131)는 추정부(120)에서 추정한 변이 벡터값의 1/2값을 취하여 중간영상을 생성하며, 변이 벡터를 추정할 때 사용한 블록 단위로 중간영상을 생성한다. 따라서, 제1 영상과 합성된 중간영상 간의 변이 벡터와 제3 영상과 합성된 중간영상 간에 추정되는 변이 벡터는 각각의 블록단위로 동일하다.
비교부(133)는 중간영상 생성부(131)에서 합성된 중간영상과 저장부(110)에 저장된 실제 제2 영상간의 화소값 차이에 의한 잔류 영상(residual)을 검출하며, 잔류 영상과 문턱값을 비교한다. 잔류 영상 검출은 MSE(Mean Square Error), SAD(Sum of Absolute Difference), MAD(Median Absolute Deviation), PSNR(Peak Signal to Noise Ratio) 등의 방법을 이용할 수 있다. 예를 들어, MSE 방법을 이용할 경우, 합성된 중간영상과 실제 제2 영상간의 화소값차의 합을 잔류 영상으로 검출한다.
그리고, 비교부(133)는 검출된 잔류 영상과 문턱값을 비교하여 잔류 영상에 대한 데이터의 전송 여부를 판단한다. 이때, 문턱값은 실험치로서, 합성된 중간영상과 실제 제2 영상간의 화소값차가 작아서 합성된 중간영상을 제2 영상으로 복원 할 경우 영상 왜곡이 발생하지 않을 수 있는 임계값을 말한다.
코딩부(135)는 잔류 영상과 문턱값의 비교결과에 따라 잔류 영상에 대한 데이터 및 잔류 영상의 비전송에 대한 데이터 중 어느 하나를 코딩한다. 비교부(133)의 비교결과 잔류 영상이 문턱값 보다 큰 경우에는 영상데이터 압축시 잔류 영상에 대한 데이터를 코딩하며, 잔류 영상이 문턱값 보다 작은 경우에는 영상데이터 압축시 잔류 영상의 비전송에 대한 데이터를 코딩한다. 따라서, 잔류 영상이 문턱값 보다 작은 경우에 잔류 영상 전체에 대한 데이터를 코딩하지 않고, 잔류 영상이 수신부(200)로 전송되지 않는 것에 대한 데이터만 코딩함으로써 데이터 압축률을 증가시킬 수 있다.
다중화부(multiplexer)(140)는 코딩된 각각의 비트열을 비트열 전송매체의 포맷에 적합한 다중화를 수행하여 수신부(200)로 전송한다.
수신부(200)는 분리화부(demultiplexer)(210), 메모리(220), 판단부(230), 및 복원부(240)를 포함한다. 수신부(200)는 연속하여 위치하는 카메라들로부터 캡쳐된 영상데이터들을 수신한다. 분리화부(210)는 수신한 데이터를 각각의 비트열로 분리하여 출력하며, 메모리(220) 분리화부(210)에서 분리된 비트열을 저장한다.
판단부(230)는 연속하여 위치하는 제1, 제2, 제3 카메라들로부터 캡쳐된 제1, 제2, 제3 영상을 복원하기 위해, 제1 영상과 제3 영상을 이용하여 합성된 중간영상과 실제 제2 영상간의 차이에 의한 잔류영상에 대한 데이터가 전송되었는지 여 부를 판단한다.
복원부(240)는 잔류영상에 대한 데이터가 전송되었는지 여부에 대한 판단결과 및 메모리(220)에 저장된 영상데이터를 이용하여 제1, 제2, 제3 영상을 복원하며, 중간영상 합성부(241) 및 연산부(243)를 포함한다. 그리고, 복원부(240)는 메모리(220)에 저장된 데이터를 기초로 제1 영상 및 제3 영상을 복원한다.
중간영상 합성부(241)는 복원된 제1 영상 및 제3 영상을 이용하여 중간영상을 합성한다. 복원된 영상내 블록단위로 제1 영상과 제3 영상간의 움직임 벡터에 해당하는 변이 벡터을 추정하며, 추정된 변이 벡터값의 1/2값을 취하여 중간영상을 생성한다.
연산부(243)는 판단부(230)의 판단결과 잔류 영상에 대한 데이터가 전송되지 않은 경우에는 중간영상 합성부(241)에서 생성된 중간영상을 제2 영상으로 복원한다. 반면, 잔류 영상에 대한 데이터가 전송된 경우에는 중간영상 합성부(241)에서 생성된 중간영상과 전송된 잔류 영상에 대한 데이터를 합성하여 제2 영상으로 복원한다.
이상에서는 제1, 제3 영상을 이용하여 생성된 중간영상과 실제 제2 영상간의 차값에 의한 잔류영상의 전송 여부에 따라 제2 영상에 대한 정보를 압축하는 것을 설명하였으나, 연속하여 위치하는 제3, 제4, 제5 카메라로부터 캡쳐된 제3, 제4, 제5 영상에서 제4 영상 압축시 제3, 제5 영상을 이용하여 제4 영상에 대한 정보를 제2 영상의 압축방법과 동일한 방법으로 압축한다. 즉, 짝수번째 위치하는 카메라로부터 캡쳐된 짝수영상은 인접한 홀수번째 영상들을 기초로 짝수영상에 대한 정보 을 압축하여 전송함으로써 압축률을 증가시킬 수 있다.
도 2는 도 1의 다시점 입체 영상 시스템에 적용되는 압축방법을 설명하기 위한 흐름도이다. 그리고, 도 3a 내지 도 3c는 도 2를 상세하게 설명하기 위한 도면이다.
도 2 및 도3a를 참조하면, 소정 간격을 갖도록 위치하는 다수의 카메라로부터 영상들을 캡쳐할 경우, 연속하여 위치하는 제1, 제2, 제3 카메라로부터 캡쳐한 제1, 제2, 제3 영상 중 제1 영상과 제3 영상간의 움직임 벡터(motion vector)에 해당하는 변이 벡터(disparity vector)를 추정한다(S801). 이때, 변이 벡터 추정은, 동일 시간에 동일 피사체에 대해 제1 카메라와 제3 카메라에서 캡쳐된 영상으로부터 카메라 위치에 의해 발생하는 차이를 추정하는 것이다.
도 3a는 소정 간격을 갖도록 위하는 다수의 카메라로부터 캡쳐한 영상을 카메라의 넘버 및 영상 캡쳐 시간에 따라 나타낸 도면이다. 여기서, 연속하여 위치하는 제1, 제2, 제3 카메라는 각각 C1, C2, C3이며, C1, C2, C3 카메라에서 동일 시간(T1)에 캡쳐된 영상인 제1, 제2, 제3 영상은 각각 a1 영상, b1 영상, c1 영상이다. 변이 벡터를 추정하기 위해서는 제1 영상인 a1 영상과 제3 영상인 c1 영상을 이용한다.
도 3b는 a1 영상 및 c1 영상간의 움직임 벡터에 해당하는 변이 벡터(DV: Disparity Vector)를 추정하는 것을 나타낸 도면이다. 도 3b를 참조하면, a1 영상 및 c1 영상간의 변이 벡터는 블록별로 추정된다. 이때, 블록의 크기는 16×16으로 하는 것이 바람직하며, 영상의 특성에 따라 8×8, 8×8 이하의 블록 크기 단위로 변이 벡터를 추정할 수 있다.
이어, 추정된 변이 벡터를 이용하여 제2 영상을 합성한다(S803). a1 영상과 c1 영상 간의 변이 벡터를 기초로 중간영상합성(IVI: Intermediate Vector Interpolation) 방법을 이용하여 제2 영상을 생성한다.
도 3c는 제1 영상인 a1 영상과 제3 영상인 c1 영상간의 변이 벡터를 이용하여 합성되는 제2 영상인 /b1를 생성하는 방법을 나타낸 도면이다. 도 3c를 참조하면, 변이 벡터를 이용하여 카메라 C2에 캡쳐되는 영상에 해당하는 중간영상을 합성할 수 있다. 이때, a1 영상과 /b1 영상간의 변이 벡터 및 /b1 영상과 c1 영상간의 변이 벡터는 각각 a1 영상과 c1 영상간의 변이 벡터와의 관계를 다음의 수학식으로 나타낼 수 있다.
Figure 112005029036111-pat00001
Figure 112005029036111-pat00002
여기서, DVab는 a1 영상과 /b1 영상간의 변이 벡터를 나타내며, DVcb는 c1 영상과 /b1 영상간의 변이 벡터를 나타낸다. 그리고, DVac는 a1 영상과 c1 영상간의 변이 벡터를 나타낸다. 수학식1에 나타낸 바와 같이, a1 영상과 /b1 영상간의 변이 벡터는 a1 영상과 c1 영상간의 변이 벡터의 1/2 값을 갖으며, c1 영상과 /b1 영상 간의 변이 벡터 또한 a1 영상과 c1 영상간의 변이 벡터의 1/2 값을 갖는다.
따라서, 추정된 변이 벡터값인 a1 영상과 c1 영상간의 변이 벡터의 1/2값을 취하여 제2 영상을 합성할 수 있으며, 제2 영상은 변이 벡터가 추정되는 블록단위 별로 생성된다.
이어, 합성된 제2 영상과 실제 제2 영상간의 차이에 의한 잔류영상(residual)을 검출한다(S805). 합성된 제2 영상인 /b1과 카메라 C2에서 캡쳐된 실제 제2 영상인 b1 영상간의 차이에 의한 잔류영상은 MSE(Mean Square Error), SAD(Sum of Absolute Difference), MAD(Median Absolute Deviation), PSNR(Peak Signal to Noise Ratio) 등을 이용하여 구할 수 있다. MSE를 이용하여 잔류영상의 검출을 할 경우 잔류영상은 다음의 수학식으로 나타낼 수 있다.
Figure 112005029036111-pat00003
여기서, m은 합성된 제2 영상과 실제 제2 영상간 화소값차의 합으로서 잔류영상에 해당하며, b1는 실제 제2 영상을 나타낸다. 그리고, /b1는 제1 영상인 a1 영상과 제3 영상인 c1 영상을 이용하여 합성된 제2 영상을 나타내며, x,y는 영상내 픽셀의 가로축 및 세로축 좌표를 나타낸다. 수학식 2에 나타낸 바와 같이, MSE를 이용할 경우 잔류영상은 합성된 제2 영상과 실제 제2 영상간 화소값차의 합으로 나타낼 수 있다.
이어, 잔류영상과 문턱값을 비교한다(S807). 여기서, 문턱값은 실험에 의해 정해지는 값으로, 제1 영상과 제3 영상을 이용하여 합성된 제2 영상이 실제 제2 영상간의 차이가 적어서 잔류영상을 고려하지 않을 수 있도록 하는 임계값을 말한다. 또한, 문턱값은 MSE, SAD, MAD, PSNR 등과 같은 잔류영상을 구하는 방법에 따라 달라진다.
잔류영상이 문턱값 보다 큰 경우 잔류영상을 전송한다(S809). 잔류영상이 문턱값 보다 큰 경우에는, 제1 영상 및 제3 영상에 대한 데이터와 함께 잔류영상에 대한 데이터를 압축하여 전송한다. 따라서, 수신측은 제1 영상, 제3 영상, 및 잔류영상을 이용하여 제2 영상을 복원할 수 있다.
잔류영상이 문턱값 보다 작은 경우는, 제1, 제2, 제3 영상을 각각 캡쳐한 C1, C2, C3 카메라가 위치하는 간격이 커서 동일 시간, 동일 피사체에 대해 얻어지는 제1, 제2, 제3 영상의 차이가 큰 경우에 발생할 수 있다. 특히, 상대적으로 앞에 위치하는 물체에 의해 히든 영역(hidden) 영역이 발생할 경우, 제1, 제2, 제3 영상의 차이가 클 수 있다. 즉 카메라의 위치에 따라서 히든 영역에 위치하는 물체가 캡쳐되거나 캡쳐되지 않을 수 있는 경우, 제1 영상과 제3 영상을 이용하여 합성된 제2 영상은 실제 제2 영상과 큰 차이가 발생할 수 있다.
반면, 잔류영상이 문턱값 보다 작은 경우 잔류영상의 비전송에 대한 정보를 전송한다(S811). 잔류영상이 문턱값 보다 작은 경우에는 제1 영상 및 제3 영상을 이용하여 합성된 제2 영상은 C2 카메라에서 캡쳐한 실제 제2 영상과의 차이가 적은 경우이다. 이 경우는 실제 제2 영상을 수신측에 전송하지 않고 수신되는 제1 영상과 제3 영상만을 이용하여 제2 영상을 합성하는 경우에도 영상의 왜곡 문제가 발생 하지 않을 수 있다. 따라서, 잔류영상이 문턱값 보다 작은 경우에 잔류영상에 대한 데이터를 전송하는 대신 잔류영상의 비전송에 대한 정보만을 수신측으로 송신함으로써 영상 데이터의 압축률을 증가시킬 수 있다.
도 4는 도 1의 다시점 입체 영상 시스템에 적용되는 복원방법을 설명하기 위한 흐름도이다. 그리고, 도 5는 도 4를 상세하게 설명하기 위한 도면이다.
도 4를 참조하면, 먼저, 전송되는 데이터를 이용하여 제1 영상 및 제3 영상을 복원한다(S901).
이어, 잔류영상이 전송되었는지 여부를 판단한다(S903). 잔류영상의 비전송에 대한 데이터가 전송되었는지, 잔류영상이 전송되었는지를 판단한다. 송신측에서 잔류영상이 문턱값 보다 작은 경우에는 잔류영상에 대한 데이터가 전송되지 않고, 잔류영상의 비전송에 대한 데이터가 전송된다.
잔류영상이 전송된 경우 S901 단계에서 복원된 제1 영상과 제3 영상을 이용하여 중간영상을 합성한다(S905). 복원된 제1 영상과 제3 영상을 기초로 중간영상합성 방법을 이용하여 제2 영상에 해당하는 중간영상을 생성한다. 잔류영상이 압축되는 과정과 동일하게, 복원된 제1 영상과 제3 영상간의 움직임 벡터에 해당하는 변이 벡터를 블록별로 추정한 후, 추정된 변이 벡터값의 1/2값을 취하여 중간영상을 생성한다.
이어, 합성된 중간영상과 잔류영상을 합성하여 제2 영상을 복원한다(S907). 잔류영상이 전송되는 경우는 합성된 중간영상을 제2 영상으로 복원할 경우 영상의 왜곡이 발생할 수 있으므로, 전송된 잔류영상과 합성된 중간영상을 다시 합성하여 제2 영상으로 복원한다. 즉, 제1 영상과 제3 영상을 이용하여 합성된 중간영상과, 중간영상과 실제 제2 영상간의 차이에 의한 잔류영상을 합성하여 제2 영상으로 복원한다.
반면, S903 단계에서 잔류영상이 전송되지 않은 경우, 제1 영상 및 제3 영상을 중간영상 합성하여 제2 영상을 복원한다(S909). 잔류영상이 전송되지 않은 경우는 제1 영상 및 제3 영상을 이용하여 중간영상 합성방법으로 합성되는 영상이 실제 제2 영상과의 차이가 문턱값 이하인 경우로서, 합성된 영상을 제2 영상으로 복원할 수 있다.
한편, 도 5는 중간영상합성에 의해 복원되는 영상의 복원시 이용되는 영상과, 중간영상합성에 의해 복원되는 영상을 카메라 넘버와 시간에 따라 나타낸 영상 시퀀스이다.
도 5를 참조하면, 소정 간격을 갖도록 위치하는 다수의 카메라로 중 홀수번째 위치하는 C1 카메라로부터 캡쳐되는 a1 영상, C3 카메라로부터 캡쳐되는 c1 영상, C5 카메라로부터 캡쳐되는 e1 영상은, 송신측으로부터 a1 영상, c1 영상, 및 e1 영상에 대한 데이터를 전송받아 복원한다. 그리나, 짝수번째 위치하는 C2 카메라로부터 캡쳐되는 영상은 인접하는 카메라의 영상인 a1 영상과 c1 영상을 중간영상 합성하여 복원하며, C4 카메라로부터 캡쳐되는 영상은 인접하는 카메라의 영상인 c1 영상과 e1 영상을 중간영상 합성하여 복원한다. 따라서, 연속하는 카메라로부터 캡쳐된 영상 중 홀수번째 카메라로부터 캡쳐된 홀수영상을 이용하여 짝수번째 카메라로부터 캡쳐된 짝수영상을 복원할 수 있다.
한편, 경우에 따라서 연속하는 위치하는 제1, 제2, 제3 카메라로부터 각각 캡쳐된 제1, 제2, 제3 영상 중 제1 영상과 제3 영상을 이용하여 제2 영상을 압축 및 복원하는 것 보다 제1 영상과 제4 영상과 같이 연속하여 위치하지 않는 카메라로부터 캡쳐된 영상을 이용하여 제2 영상을 압축 및 복원하는 것이 입력영상의 압축율을 증가시킬 수 있다.
예를 들어, 제4 영상이 제3 영상 보다 제2 영상과 유사할 경우, 제1 영상과 제3 영상간의 변이벡터를 이용하여 생성된 합성영상과 제2 영상간의 잔류영상이 문턱값 보다 크나, 제1 영상과 제4 영상간의 변이벡터를 이용하여 생성된 합성영상과 제2 영상간의 잔류영상이 문턱값 보다 작을 수 있다. 따라서, 제1 영상과 제3 영상을 이용하여 제2 영상을 압축할 경우에는 잔류영상을 코딩하여야 하나, 제1 영상과 제4 영상을 이용하여 제2 영상을 압축할 경우에는 잔류영상 비전송에 대한 데이터를 전송함으로써 압축율을 증가시킬 수 있게 된다.
이상 설명한 바와 같이, 본 발명에 따르면 연속하여 위치하는 제1, 제2, 제3 카메라로부터 각각 캡쳐된 제1, 제2, 제3 영상을 압축시 제1 영상 및 제 3 영상을 중간합성하여 생성된 중간영상과 제2 영상간의 차이가 소정값 이하인 경우, 제2 영상에 대한 데이터를 압축하여 전송하지 않음으로써 압축률을 향상시킬 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (11)

  1. 연속하여 위치하는 제1, 제2, 제3 카메라로부터 동일시간에 각각 캡쳐한 제1, 제2, 제3 영상 중 상기 제1 영상 및 상기 제3 영상간의 움직임 벡터에 해당하는 변이 벡터(disparity vector)를 추정하는 단계;
    상기 추정된 변이 벡터의 중간값을 갖는 중간영상을 생성하는 단계;
    상기 중간영상(intermediate image)과 상기 제2 영상간의 차이에 의한 잔류영상(residual)을 생성하며, 상기 잔류영상과 문턱값을 비교하는 단계; 및
    상기 제1 영상 및 상기 제3 영상을 코딩하여 전송하며, 상기 잔류영상이 문턱값 보다 작은 경우에는 상기 잔류영상의 비전송에 대한 데이터를, 상기 잔류영상이 문턱값 보다 큰 경우에는 잔류영상을 코딩하여 전송하는 단계;를 포함하는 것을 특징으로 하는 다시점 입체 영상 시스템에 적용되는 압축방법.
  2. 제1항에 있어서,
    상기 변이 벡터를 추정하는 단계는, 상기 제1 영상 및 상기 제3 영상의 블록단위로 상기 변이 벡터를 추정하는 것을 특징으로 하는 다시점 입체 영상 시스템에 적용되는 압축방법.
  3. 제1항에 있어서,
    상기 잔류영상과 상기 문턱값을 비교하는 단계는, 상기 중간영상과 상기 제2 영상간의 화소값차를 기초로 MSE(mean square error), SAD(Sum of Absolute Difference), MAD(Median Absolute Deviation), PSNR(Peak signal to noise ratio) 중 어느 하나를 계산하여 상기 문턱값과 비교하는 것을 특징으로 하는 다시점 입체 영상 시스템에 적용되는 압축방법.
  4. 연속하여 위치하는 제1, 제2, 제3 카메라로부터 각각 캡쳐한 제1, 제2, 제3 영상 중 상기 제1 영상 및 제3 영상에 대한 압축 데이터를 전송받아 상기 제1 영상 및 상기 제3 영상을 복원하는 단계;
    상기 제1 영상 및 상기 제3 영상을 이용하여 추정된 움직임 벡터에 해당하는 변이 벡터를 기초로 생성된 중간영상과, 상기 제2 영상간의 차이에 의한 잔류영상 (residual)의 수신 여부를 판단하는 단계; 및
    상기 잔류영상이 수신된 경우 상기 복원된 제1 영상 및 상기 제3 영상을 이용하여 상기 중간영상을 생성하여 상기 중간영상을 상기 제2 영상으로 복원하며, 상기 잔류영상이 수신되지 않은 경우 상기 중간영상과 상기 전송된 잔류영상을 합성하여 상기 제2 영상으로 복원하는 단계;를 포함하는 것을 특징으로 하는 다시점 입체 영상 시스템에 적용되는 복원방법.
  5. 연속하여 위치하는 제1, 제2, 제3 카메라로부터 동일시간에 각각 캡쳐한 제 1, 제2, 제3 영상 중 상기 제1 영상 및 상기 제3 영상간의 움직임 벡터에 해당하는 변이 벡터(disparity vector)를 추정하는 단계;
    상기 추정된 변이 벡터의 중간값을 갖는 중간영상을 생성한 후, 상기 중간영상과 상기 제2 영상간의 차이에 의한 잔류영상을 생성하며, 상기 잔류영상과 문턱값을 비교하는 단계;
    상기 잔류영상이 문턱값 보다 작은 경우에는 상기 잔류영상의 비전송에 대한 데이터를, 상기 잔류영상이 문턱값 보다 큰 경우에는 잔류영상을 코딩하여 전송하는 단계;
    상기 전송된 제1 영상 및 제3 영상을 복원하며, 상기 잔류영상의 수신 여부를 판단하는 단계; 및
    상기 잔류영상이 수신된 경우에는 상기 복원된 제1 영상 및 상기 제3 영상을 이용하여 상기 중간영상을 생성하여 상기 중간영상을 상기 제2 영상으로 복원하며, 상기 잔류영상이 수신되지 않은 경우에는 상기 중간영상과 상기 전송된 잔류영상을 합성하여 상기 제2 영상으로 복원하는 단계;를 포함하는 것을 특징으로 하는 다시점 입체 영상 시스템에 적용되는 압축 및 복원 방법.
  6. 연속하여 위치하는 제1, 제2, 제3 카메라로부터 캡쳐한 제1, 제2, 제3 영상 중 제1 영상과 제3 영상간의 움직임 벡터(motion vector)에 해당하는 변이 벡터(disparity vector)를 추정하는 추정부;
    상기 추정한 변이 벡터를 기초로 상기 제1 영상 및 상기 제3 영상의 중간영 상을 생성하는 중간영상 생성부;
    상기 중간영상과 상기 제2 영상간의 화소값 차이에 의한 잔류 영상(residual)을 검출하며, 상기 잔류 영상과 문턱값을 비교하여 상기 잔류 영상의 전송여부를 판단하는 비교부; 및
    상기 제1 영상 및 제3 영상을 코딩하며, 상기 잔류 영상과 문턱값의 비교결과에 따라 잔류 영상 및 잔류 영상의 비전송에 대한 데이터 중 어느 하나를 코딩하는 코딩부;를 포함하는 것을 특징으로 하는 다시점 입체 영상 시스템의 송신부.
  7. 제6항에 있어서,
    상기 비교부는, 상기 중간영상과 상기 제2 영상간의 화소값차를 기초로 MSE(mean square error), SAD(Sum of Absolute Difference), MAD(Median Absolute Deviation), PSNR(Peak signal to noise ratio) 중 어느 하나를 계산하여 상기 잔류 영상을 검출하는 것을 특징으로 하는 다시점 입체 영상 시스템의 송신부.
  8. 제6항에 있어서,
    상기 코딩부는, 상기 잔류 영상이 상기 문턱값 보다 큰 경우에는 잔류 영상에 대한 데이터를 코딩하며, 상기 잔류 영상이 상기 문턱값 보다 작은 경우에는 상기 잔류 영상의 비전송에 대한 데이터를 코딩하는 것을 특징으로 하는 다시점 입체 영상 시스템의 송신부.
  9. 제6항에 있어서,
    상기 추정부는, 상기 제1 영상 및 상기 제3 영상의 블록별로 상기 변이 벡터를 추정하는 것을 특징으로 하는 다시점 입체 영상 시스템의 송신부.
  10. 연속하여 위치하는 카메라들로부터 캡쳐된 제1, 제2, 제3 영상을 복원하기 위해, 상기 제1 영상과 상기 제3 영상을 이용하여 합성된 중간영상과 상기 제2 영상간의 차이에 의한 잔류 영상이 수신되었는지 여부를 판단하는 판단부;
    상기 제1 영상 및 상기 제3 영상을 복원하며, 상기 제1 영상과 상기 제3 영상간의 움직임 벡터에 해당하는 변이 벡터를 추정한 후 상기 추정된 변이 벡터를 기초로 상기 제1 영상 및 상기 제3 영상의 중간영상을 생성하는 중간영상 합성부; 및
    상기 잔류 영상이 수신되지 않은 경우 상기 중간영상을 제2 영상으로 복원하며, 상기 잔류 영상이 전송된 경우에는 상기 중간영상과 전송된 잔류영상을 합성하여 제2 영상으로 복원하는 연산부;를 포함하는 것을 특징으로 하는 다시점 입체 영상 시스템의 수신부.
  11. 연속하여 위치하는 제1, 제2, 제3 카메라로부터 캡쳐한 제1, 제2, 제3 영상 중 제1 영상과 제3 영상간의 움직임 벡터인 변이 벡터를 추정하는 추정부;
    상기 변이 벡터를 기초로 상기 제1 영상 및 상기 제3 영상의 중간영상을 생성하는 중간영상 생성부;
    상기 중간영상과 상기 제2 영상간의 화소값 차이에 의한 잔류 영상(residual)을 검출하며, 상기 잔류 영상과 문턱값을 비교하여 상기 잔류 영상의 전송여부를 판단하는 비교부;
    상기 잔류 영상과 문턱값의 비교결과에 따라 잔류 영상에 대한 데이터 및 잔류 영상의 비전송에 대한 데이터 중 어느 하나를 코딩하는 코딩부;
    상기 잔류 영상이 수신되었는지 여부를 판단하는 판단부;
    상기 제1 영상과 상기 제3 영상간의 추정되는 변이 벡터를 기초로 상기 제1 영상 및 상기 제3 영상의 중간영상을 생성하는 중간영상 합성부; 및
    상기 잔류 영상이 수신되지 않은 경우 상기 중간영상을 제2 영상으로 복원하며, 상기 잔류 영상이 수신된 경우에는 상기 중간영상과 전송된 잔류 영상에 대한 데이터를 합성하여 제2 영상으로 복원하는 연산부;를 포함하는 것을 특징으로 하는 다시점 입체 영상 시스템.
KR1020050046431A 2005-05-31 2005-05-31 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법 KR100636785B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020050046431A KR100636785B1 (ko) 2005-05-31 2005-05-31 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
EP06757406.1A EP1889490A4 (en) 2005-05-31 2006-04-07 MULTI-VIEW IMAGE SYSTEM AND COMPRESSION AND DECOMPRESSION METHOD APPLIED TO THE SYSTEM
PCT/KR2006/001273 WO2006129914A1 (en) 2005-05-31 2006-04-07 Multi-view image system and method for compressing and decompressing applied to the same
US11/431,014 US8130836B2 (en) 2005-05-31 2006-05-10 Multi-view stereo imaging system and compression/decompression method applied thereto

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050046431A KR100636785B1 (ko) 2005-05-31 2005-05-31 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법

Publications (1)

Publication Number Publication Date
KR100636785B1 true KR100636785B1 (ko) 2006-10-20

Family

ID=37463347

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050046431A KR100636785B1 (ko) 2005-05-31 2005-05-31 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법

Country Status (4)

Country Link
US (1) US8130836B2 (ko)
EP (1) EP1889490A4 (ko)
KR (1) KR100636785B1 (ko)
WO (1) WO2006129914A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100720722B1 (ko) * 2005-06-21 2007-05-22 삼성전자주식회사 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치
US9418486B2 (en) 2012-12-20 2016-08-16 Samsung Electronics Co., Ltd. Method and apparatus for rendering hybrid multi-view
WO2019199087A1 (ko) * 2018-04-11 2019-10-17 삼성전자 주식회사 영상 처리 장치 및 방법
KR102658359B1 (ko) * 2018-08-21 2024-04-17 삼성전자주식회사 라이트 필드의 중간 뷰 합성 방법, 라이트 필드의 중간 뷰 합성 시스템과 라이트 필드 압축 방법

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009023091A2 (en) * 2007-08-15 2009-02-19 Thomson Licensing Methods and apparatus for motion skip mode in multi-view coded video using regional disparity vectors
CN101415115B (zh) * 2007-10-15 2011-02-02 华为技术有限公司 基于运动跳跃模式的视频编解码方法及其编解码器
CN101415114B (zh) * 2007-10-17 2010-08-25 华为终端有限公司 视频编解码方法和装置以及视频编解码器
KR100950046B1 (ko) * 2008-04-10 2010-03-29 포항공과대학교 산학협력단 무안경식 3차원 입체 ｔｖ를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법
KR101520620B1 (ko) * 2008-08-18 2015-05-18 삼성전자주식회사 2차원/3차원 재생 모드 결정 방법 및 장치
US8400570B2 (en) * 2008-10-09 2013-03-19 Manufacturing Resources International, Inc. System and method for displaying multiple images/videos on a single display
TW201041392A (en) * 2009-05-05 2010-11-16 Unique Instr Co Ltd Multi-view 3D video conference device
KR20100131061A (ko) 2009-06-05 2010-12-15 삼성전자주식회사 스테레오 영상 처리 장치 및 방법
US9013560B2 (en) * 2009-06-16 2015-04-21 Lg Electronics Inc. Viewing range notification method and TV receiver for implementing the same
KR20110011000A (ko) * 2009-07-27 2011-02-08 삼성전자주식회사 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 생성 방법 및 그 장치, 3차원 영상 재생을 위한 부가 정보가 삽입된 3차원 영상 데이터스트림 수신 방법 및 그 장치
KR101056306B1 (ko) * 2009-07-31 2011-08-11 삼성모바일디스플레이주식회사 디지털 표시장치 및 그의 이미지 배열 방법
KR101645465B1 (ko) * 2010-07-23 2016-08-04 삼성전자주식회사 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
TW201205180A (en) * 2010-07-27 2012-02-01 Hon Hai Prec Ind Co Ltd Camera
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
US20120229595A1 (en) * 2011-03-11 2012-09-13 Miller Michael L Synthesized spatial panoramic multi-view imaging
BR112013017322A2 (pt) * 2011-11-11 2017-03-01 Sony Corp dispositivo e método de transmissão, e, método de recepção
JP6192902B2 (ja) * 2011-11-11 2017-09-06 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
KR20130057764A (ko) * 2011-11-24 2013-06-03 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
WO2013158784A1 (en) * 2012-04-17 2013-10-24 3Dmedia Corporation Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
JP2014082540A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラム、および装置、ならびに、互いに類似した情報を含む複数画像を表現するデータ構造
CN103813171B (zh) * 2014-01-17 2017-04-19 西安空间无线电技术研究所 一种提高现有数据压缩方法压缩比的方法
US10319408B2 (en) 2015-03-30 2019-06-11 Manufacturing Resources International, Inc. Monolithic display with separately controllable sections
US10922736B2 (en) 2015-05-15 2021-02-16 Manufacturing Resources International, Inc. Smart electronic display for restaurants
US10269156B2 (en) 2015-06-05 2019-04-23 Manufacturing Resources International, Inc. System and method for blending order confirmation over menu board background
US10319271B2 (en) 2016-03-22 2019-06-11 Manufacturing Resources International, Inc. Cyclic redundancy check for electronic displays
CA3024512C (en) 2016-05-31 2020-12-29 Manufacturing Resources International, Inc. Electronic display remote image verification system and method
US10510304B2 (en) 2016-08-10 2019-12-17 Manufacturing Resources International, Inc. Dynamic dimming LED backlight for LCD array
RU2690757C1 (ru) * 2018-08-21 2019-06-05 Самсунг Электроникс Ко., Лтд. Система синтеза промежуточных видов светового поля и способ ее функционирования
US11895362B2 (en) 2021-10-29 2024-02-06 Manufacturing Resources International, Inc. Proof of play for images displayed at electronic displays

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3769850B2 (ja) 1996-12-26 2006-04-26 松下電器産業株式会社 中間視点画像生成方法および視差推定方法および画像伝送方法
JP3733358B2 (ja) 1996-04-05 2006-01-11 松下電器産業株式会社 画像伝送装置、送信装置、受信装置、送信方法および受信方法
JP2001502504A (ja) * 1996-10-11 2001-02-20 サーノフ コーポレイション 立体視ビデオを符号化及び複号する装置及び方法
KR100244291B1 (ko) * 1997-07-30 2000-02-01 구본준 동영상 움직임 벡터 코딩 방법
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
US6055274A (en) * 1997-12-30 2000-04-25 Intel Corporation Method and apparatus for compressing multi-view video
KR100375708B1 (ko) * 2000-10-28 2003-03-15 전자부품연구원 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
KR100424401B1 (ko) 2001-11-02 2004-03-24 전자부품연구원 검색기능을 포함한 3차원 입체영상을 위한 다시점영상통신 시스템
ES2664270T3 (es) * 2001-12-17 2018-04-18 Microsoft Technology Licensing, Llc Codificación por omisión de macrobloques
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
KR100498951B1 (ko) * 2003-01-02 2005-07-04 삼성전자주식회사 동영상 압축 부호화를 위한 움직임 예측 방법과 그기록매체
KR100523930B1 (ko) * 2003-01-13 2005-10-26 전자부품연구원 다시점 영상의 압축/복원장치
KR100828353B1 (ko) * 2003-02-05 2008-05-08 삼성전자주식회사 영상 블록 분할 방법 및 그 장치
KR100566100B1 (ko) * 2003-10-21 2006-03-31 전자부품연구원 3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화장치 및 그 방법
US7672378B2 (en) * 2005-01-21 2010-03-02 Stmicroelectronics, Inc. Spatio-temporal graph-segmentation encoding for multiple video streams

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100720722B1 (ko) * 2005-06-21 2007-05-22 삼성전자주식회사 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치
US9418486B2 (en) 2012-12-20 2016-08-16 Samsung Electronics Co., Ltd. Method and apparatus for rendering hybrid multi-view
WO2019199087A1 (ko) * 2018-04-11 2019-10-17 삼성전자 주식회사 영상 처리 장치 및 방법
KR20190118926A (ko) * 2018-04-11 2019-10-21 삼성전자주식회사 이미지 처리 장치 및 방법
US11328453B2 (en) 2018-04-11 2022-05-10 Samsung Electronics Co., Ltd. Device and method for image processing
KR102503743B1 (ko) 2018-04-11 2023-02-28 삼성전자주식회사 이미지 처리 장치 및 방법
KR102658359B1 (ko) * 2018-08-21 2024-04-17 삼성전자주식회사 라이트 필드의 중간 뷰 합성 방법, 라이트 필드의 중간 뷰 합성 시스템과 라이트 필드 압축 방법

Also Published As

Publication number Publication date
EP1889490A1 (en) 2008-02-20
EP1889490A4 (en) 2013-11-20
US20060268987A1 (en) 2006-11-30
WO2006129914A1 (en) 2006-12-07
US8130836B2 (en) 2012-03-06

Similar Documents

Publication Publication Date Title
KR100636785B1 (ko) 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
KR101450670B1 (ko) 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
KR100667830B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
KR101385884B1 (ko) 다시점 동영상의 부호화 및 복호화 방법 및 장치
KR100716992B1 (ko) 스테레오 영상 부호화 및 복호화 방법과 그 장치
JP4421940B2 (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法
US8644386B2 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US20120224025A1 (en) Transport stream structure including image data and apparatus and method for transmitting and receiving image data
JP5059766B2 (ja) 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置
EP2538674A1 (en) Apparatus for universal coding for multi-view video
KR100738867B1 (ko) 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
Lim et al. A multiview sequence CODEC with view scalability
US20150312547A1 (en) Apparatus and method for generating and rebuilding a video stream
TW201351961A (zh) 基於閉塞映像之使用而產生及重建一三維視訊串流之方法以及相應之產生及重建裝置
WO2007013194A1 (ja) 画像情報圧縮方法及び自由視点テレビシステム
Yang et al. An MPEG-4-compatible stereoscopic/multiview video coding scheme
Chung et al. Frame loss concealment for stereoscopic video based on inter-view similarity of motion and intensity difference
KR101349459B1 (ko) 영상 제공 장치 및 방법, 그리고 영상 재생 장치 및 방법
KR20110136014A (ko) 다시점 깊이영상을 부호화/복호화 하는 장치 및 방법
KR20070039290A (ko) 2차원 구조의 다시점 영상 압축 방법
Micallef et al. Error concealment techniques for H. 264/MVC encoded sequences
JP2008034893A (ja) 多視点画像復号装置
JP5442688B2 (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法
Sgouros et al. A reversible self watermarking framework for Integral Images
JP2009260983A (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120927

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130927

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee