KR100800653B1 - 3차원 입체 영상을 압축하기 위한 장치 및 방법 - Google Patents

3차원 입체 영상을 압축하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR100800653B1
KR100800653B1 KR1020060120607A KR20060120607A KR100800653B1 KR 100800653 B1 KR100800653 B1 KR 100800653B1 KR 1020060120607 A KR1020060120607 A KR 1020060120607A KR 20060120607 A KR20060120607 A KR 20060120607A KR 100800653 B1 KR100800653 B1 KR 100800653B1
Authority
KR
South Korea
Prior art keywords
image
difference
overlapped
images
residual
Prior art date
Application number
KR1020060120607A
Other languages
English (en)
Inventor
안상준
한영섭
최광철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060120607A priority Critical patent/KR100800653B1/ko
Priority to US11/771,108 priority patent/US7949193B2/en
Application granted granted Critical
Publication of KR100800653B1 publication Critical patent/KR100800653B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

본 발명은 3차원 입체 영상을 효율적으로 압축하는 방법을 제시한다. 이를 위해 본 발명은 이동 통신 단말기에 장착되는 2개의 영상입력부를 통해 입력되는 좌우 영상 사이의 글로벌 모션(global motion)을 찾아 정렬한 후, 그 정렬된 두 영상 간의 차이를 구하여 그 두 영상의 차이와 기준 영상을 이용하여 영상을 압축한다. 이렇게 함으로써, 입체 영상에서 좌우 영상이 유사성을 가진다는 특성을 이용하여 영상 전체의 글로벌 모션을 한 번만 구하므로 연산량을 줄일 수 있는 이점이 있다.
입체 영상, 압축

Description

3차원 입체 영상을 압축하기 위한 장치 및 방법{APPARATUS AND METHOD FOR ENCODING A STEREOSCOPIC 3D IMAGE}
도 1은 본 발명의 실시 예에 따른 두 개의 영상입력부를 통해 입력되는 입체 영상의 구조를 보인 도면,
도 2는 본 발명의 실시 예에 따른 3차원 입체 영상을 압축하기 위한 장치의 블록구성도,
도 3은 본 발명의 실시 예에 따른 3차원 입체 영상의 압축하는 과정을 보인 도면,
도 4는 본 발명의 실시 예에 따라 왼쪽 원영상에서 경계가 확장된 이미지를 보인 도면,
도 5는 본 발명의 실시 예에 따라 겹쳐진 영상을 방법을 보인 도면,
도 6은 본 발명의 실시 예에 따라 글로벌 모션값을 이용하여 정렬된 왼쪽 영상 및 오른쪽 원영상을 보인 예시도,
도 7은 본 발명의 실시 예에 따라 차이 영상을 보인 예시도,
도 8은 본 발명의 실시 예에 따라 압축 대상 영상을 보여주는 예시도.
본 발명은 입체 영상 처리 장치 및 방법에 관한 것으로, 특히 3차원 입체 영상을 효율적으로 압축하기 위한 장치 및 방법에 관한 것이다.
최근들어 디지털 멀티미디어 방송(Digital Multimedia Broadcasting: 이하'DMB') 등 멀티미디어 영상이 재생 가능한 단말기가 일반화되고 있는 추세이다. 이러한 추세에 따라 영상을 전송하는 경우 해당 영상은 그래픽 또는 텍스트와 자연영상이 혼합되어 있는 방대한 데이터량을 가지기 때문에 복잡한 영상들에 대한 다양한 영상처리가 이루어져야 한다. 이와 같이 방대한 데이터량을 가지는 영상은 전송 트래픽과 저장에 있어서 여러 가지 문제점들을 발생한다. 이러한 문제점들을 해결하기 위한 방안으로 영상 압축이 요구되는 바, 이러한 영상 압축의 필요성은 새로운 영상 응용 분야에서 더욱 높아지고 있다.
이러한 영상의 송수신이 가능한 이동 통신 단말기는 다음과 같은 방식으로 영상을 처리한다.
이동 통신 단말기는 카메라를 통해 입력된 피사체의 광학적 영상 신호를 전기적 신호로 변환한 후 디지털 처리하여 화면으로 출력한다. 이러한 영상을 전송하기 위해서는 카메라를 통해 촬영된 영상은 전송 부하량을 줄이기 위한 코딩 과정을 거친 후 패킷화 과정을 통해 상대방 단말기로 전송된다. 하지만, 현재는 입체 영상의 특성에 대한 고려없이 기존의 압축 기법인 MPEG4, JPEG 등을 이용하기 때문에 압축 효율은 매우 낮은 편이다.
게다가 입체 영상을 전송하거나 표시하는데 있어, 입체 영상은 정지 영상에 비해 영상 정보가 많으므로 휴대용 기기인 이동 통신 단말기에서 처리 용량의 제한으로 인해 많은 연산을 처리하기에는 그 한계가 있다.
상기한 바와 같이 현재의 상용화된 입체 영상 기술에 있어, 3차원 입체 영상을 압축하더라도 그 입체 영상의 특성에 대한 고려없이 기존의 압축 기법이 그대로 사용되고 있다.
따라서, 본 발명은 3차원 입체 영상을 효율적으로 압축하기 위한 3차원 입체 영상을 압축하기 위한 장치 및 방법을 제공한다.
또한, 본 발명은 두 개의 영상입력장치를 통해 촬영된 영상을 압축하는데 있어 연산량을 최소화할 수 있는 3차원 입체 영상을 압축하기 위한 장치 및 방법을 제공한다.
상술한 바를 달성하기 위한 본 발명은 3차원 입체 영상을 압축하기 위한 장치에 있어서, 일정 간격으로 서로 떨어져 장착되며, 하나의 피사체에 대해 각각 좌우 영상에 해당하는 제1 및 제2영상을 출력하는 두 개의 영상입력부와, 상기 제1영상과 상기 제2영상의 경계 부분이 확장된 서치 영역 간의 비교를 통해 불일치가 가장 적은 겹쳐진 영상을 찾고, 상기 겹쳐진 영상과 상기 제2영상 간의 위치 차이를 구하여 저장한 후, 상기 겹쳐진 영상을 위치 정렬하여 상기 제1영상 간의 잔여 영상을 구하는 차이 추정부와, 상기 차이 추정부로부터의 잔여 영상 및 위치 차이와, 상기 영상 입력부로부터 입력되는 제1영상을 함께 인코딩하는 인코더를 포함하여 구성됨을 특징으로 한다.
또한 본 발명은 이동 통신 단말기에서 3차원 입체 영상을 압축하기 위한 방법에 있어서, 일정 간격으로 서로 떨어져 장착된 두 개의 영상입력부로부터 하나의 피사체에 대해 각각 좌우 영상에 해당하는 제1 및 제2영상을 수신하는 과정과, 상기 수신된 제1영상과 제2영상의 경계 부분이 확장된 서치 영역 간의 비교를 통해 불일치가 가장 적은 겹쳐진 영상을 찾는 과정과, 상기 겹쳐진 영상과 상기 제2영상 간의 위치 차이를 구하여 저장한 후, 상기 겹쳐진 영상을 위치 정렬하여 상기 제1영상 간의 잔여 영상을 구하는 과정과, 상기 잔여 영상 및 위치 차이와, 상기 제1영상을 함께 인코딩하는 과정을 포함함을 특징으로 한다.
이하 본 발명의 바람직한 실시예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명은 3차원 입체 영상을 효율적으로 압축하는 방법을 제시한다. 이를 위해 본 발명은 이동 통신 단말기에 장착되는 2개의 영상입력부를 통해 입력되는 좌우 영상 사이의 글로벌 모션(global motion)을 찾아 정렬한 후, 그 정렬된 두 영상 간의 차이를 구하여 그 두 영상의 차이와 기준 영상을 이용하여 영상을 압축한 다. 이렇게 함으로써, 입체 영상에서 좌우 영상이 유사성을 가진다는 특성을 이용하여 영상 전체의 글로벌 모션을 한 번만 구하므로 연산량을 줄일 수 있는 이점이 있다.
이하, 본 발명에서 이용되는 입체 영상은 기존의 영상과는 달리 도 1과 같은 구조를 가진다. 도 1은 본 발명의 실시 예에 따른 두 개의 영상입력부를 통해 입력되는 입체 영상의 구조를 보인 도면이다.
두 개의 영상 입력부는 이동 통신 단말기에 장착되는 카메라 센서를 의미하며, 도 1에 도시된 바와 같이 그 영상 입력부를 통해 입력되는 두 개의 좌우 영상은 하나의 피사체를 촬영하여 얻어지는 영상이다. 특정 거리만큼 떨어져서 장착된 카메라 센서 두 개를 이용하여 피사체를 촬영한 다음 두 영상 즉, 좌우 영상을 하나로 붙여서 저장한다. 이때, 좌우 영상은 도 1에 도시된 바와 같이 TypeⅠ, TypeⅡ 중 어느 하나의 형태로 저장된다.
한편, 상기한 바와 같은 카메라 센서는 정면에 있는 피사체를 촬영했을 때 스테레오 이미지의 좌우 영상의 경우 세부적인 움직임의 차이가 없고 카메라 센서의 위치만 다르므로 영상 전체에 대한 글로벌 모션만 이용해도 그 차이를 구할 수 있게 된다. 이에 따라 전체 이미지를 블록별로 나누어 좌우 영상 간의 차이를 구할 필요가 없으므로 모션 정보는 인코딩 시 1회의 계산만으로도 구할 수 있으므로 본 발명을 적용한다면 연산량을 획기적으로 줄일 수 있게 된다. 게다가 그 모션 정보량 자체가 적기 때문에 두 영상의 차이값도 전송할 수 있게 된다. 또한, 디코딩 시에도 하나의 모션 정보만을 이용하므로 디코딩 과정도 간단하여 실제 시스템 적용 에 유리하게 되는 이점이 있다.
전술한 바와 같이 두 개의 영상 입력부를 통해 촬영된 오른쪽 영상과 왼쪽 영상은 그 두 개의 영상 입력부가 장착되는 위치 차이가 매우 작기 때문에 그 오른쪽 영상과 왼쪽 영상 간의 위치 차이도 매우 미세할 뿐 많은 유사성을 가지게 된다. 따라서, 본 발명에서는 이러한 좌우 영상 간의 유사성을 이용하여 3차원 입체 영상의 압축 효율을 높일 수 있는 방법을 제안하는 것이다.
이하, 본 발명의 실시 예에 따른 3차원 입체 영상을 압축하기 위한 장치의 블록구성도인 도 2를 참조하여 설명한다.
도 2를 참조하면, 카메라 센서인 제1영상입력부(200)와 제2영상입력부(210)는 각각 하나의 피사체에 대한 촬영 영상인 오른쪽 영상 및 왼쪽 영상을 생성하여 그 오른쪽 영상 및 왼쪽 영상을 디지털 변환하여 출력한다. 일정 거리 만큼 떨어져있는 영상입력부(200, 210)를 통해 정면의 피사체를 촬영하더라도 그 피사체는 그 각각의 영상입력부(200, 210)와 피사체와의 거리에 비례하여 화면상에 오른쪽 영상 및 왼쪽 영상에서 각각 위치 차이가 발생한 상태로 표시된다.
그러면 이동 통신 단말기는 두 개의 영상입력부(200, 210)를 통해 입력된 좌우 영상을 도 1에 도시된 형태 중 어느 하나의 형태로 저장한다. 그리고나서 이동 통신 단말기는 전송이 필요한 시점에 저장해놓은 좌우 영상을 압축하는 인코딩(encoding)을 수행하게 된다.
이러한 인코딩을 위한 과정을 구체적으로 설명하면 다음과 같다. 먼저, 제1영상입력부(200)를 통해 촬영된 영상 예를 들어, 오른쪽 영상(Right original image)은 그대로 인코더(230)로 출력된다. 이때, 제1영상입력부(200)를 통해 촬영된 오른쪽 영상은 차이 추정부(220)에도 전달된다. 그리고 제2영상입력부(210)를 통해 촬영된 영상 예컨대, 왼쪽 영상(Left original image)은 일단 차이 추정부(220)로 출력된다.
그러면 차이 추정부(220)는 프레임 단위로 각각의 왼쪽 영상 및 오른쪽 영상을 동시에 입력받아, 그 동시에 입력된 왼쪽 영상 및 오른쪽 영상 간의 차이를 구하게 된다. 이하의 설명에 있어서, 설명의 편의를 위해 오른쪽 영상을 기준으로 왼쪽 영상과의 위치 차이를 구하는 경우를 예로 들어 설명한다.
우선 차이 추정부(200)는 오른쪽 영상과 왼쪽 영상 사이의 글로벌 모션을 계산한다. 이를 위해서 왼쪽 원영상의 경계를 미리 정해진 x 픽셀(pixel)씩 확장한 후 그 확장된 만큼의 구간에 경계값 부분의 화소값들로 채운다. 이와 같이 확장된 왼쪽 영상을 서치 영역(Search Area)으로 이용하는데, 이 서치 영역은 그 서치 영역 상에 오른쪽 원영상을 겹쳐진 상태로 이동시켜 불일치 즉, 차이(disparity)가 가장 적은 베스트 매치(best match)를 찾는데 이용된다. 이러한 탐색 과정을 거쳐 베스트 매치를 찾게 되면, 차이 추정부(200)는 그 베스트 매치에 해당하는 겹쳐진 영상과 왼쪽 원영상과의 위치 차이를 구한 후 이를 저장한다. 이는 베스트 매치에 해당하는 겹쳐진 영상이 왼쪽 원영상을 기준으로 어느 방향으로 얼마만큼 움직였는지를 나타내는 벡터값이며, 움직임 정도를 나타내는 것이므로 이를 글로벌 모션 정보라고 정할 수 있다. 그리고나서 그 글로벌 모션 정보를 이용하여 겹쳐진 영상을 오른쪽 원영상과의 비교를 위해 정렬시킨다. 이어, 차이 추정부(220)는 정렬된 겹 쳐진 영상과 오른쪽 원영상 간의 차이(difference)를 구한다.
이와 같이 차이 추정부(200)는 두 영상의 차이를 나타내는 잔여 영상(Residual image)를 얻게 되면 그 잔여 영상과 미리 저장해놓은 위치차이인 벡터값을 인코더(230)로 출력한다. 이에 따라 인코더(230)는 제1영상 입력부(200)로부터 출력된 오른쪽 원영상과 차이 추정부(200)로부터 출력된 잔여 영상과 벡터값이 인코딩하여 출력한다. 이때, 압축된 영상을 복원하기 위해서는 수신단 입장에서는 왼쪽 영상이 얼마만큼 이동하였는지를 알아야 하므로, 위치 차이인 벡터값을 함께 압축하는 것이다. 이와 같이 인코더(230)는 잔여 영상과 하나의 원영상만을 압축하기 때문에 압축 효율을 현저하게 높일 수 있다. 뿐만 아니라 이와 같이 인코딩된 데이터는 전송을 위해 패킷 데이터로 생성되어 소정 규격에 맞게 변환된 후에 전송될 때, 전송하고자 하는 데이터량이 적기 때문에 전송에 따른 부하도 현저하게 줄일 수 있게 된다.
이하, 본 발명의 실시 예에 따른 3차원 입체 영상의 압축하는 과정을 보인 도 3을 참조하여 설명한다.
도 3을 참조하면, 300단계에서 두 개의 영상입력부(200, 210)를 통해 동일한 피사체를 활영한다. 그러면 두 개의 영상 즉, 오른쪽 영상과 왼쪽 영상을 얻을 수 있게 된다. 구체적으로, 제1영상입력부(200)에서는 오른쪽 원영상을 차이 추정부(220) 및 인코더(230)로 출력한다. 이에 반해 제2영상입력부(210)에서는 왼쪽 왼원영상을 차이 추정부(220)로 출력한다.
그러면 차이 추정부(220)는 310단계에서 입력된 두 영상 중에서도 하나의 영 상 전체의 경계를 확장한다. 이하에서는, 도 4처럼 왼쪽 영상을 확장하는 경우를 예로 들어 설명한다. 도 4는 본 발명의 실시 예에 따라 왼쪽 원영상에서 경계가 확장된 이미지를 보인 도면이다. 우선, 왼쪽 원영상의 경계를 도 4처럼 x 픽셀씩 전체적으로 확장시키는데, 패딩(padding)을 통해 왼쪽 원영상을 확장시킨다. 다시 말하면, 점선으로 표시된 왼쪽 원영상의 경계부터 실선으로 표시된 확장된 경계까지의 구간은 점선 부분의 경계 부분의 화소값과 같은 화소값으로 확장시킨 픽셀수만큼 채워진다. 이어, 차이 추정부(220)는 320단계에서 이와 같이 확장된 영상을 서치 영역으로 설정한다.
그러면 차이 추정부(220)는 330단계에서 이러한 서치 영역을 이용하여 겹쳐진 영상(L´)을 검출하는 동작을 수행한다. 겹쳐진 영상(L´)의 검출은 도 5에 도시된 바와 같은 방법으로 이루어진다. 도 5는 본 발명의 실시 예에 따라 겹쳐진 영상을 방법을 보인 도면이다. 차이 추정부(220)는 도 5에서와 같이 서치 영역(510) 상에 오른쪽 원영상(520)을 이동시키면서 그 서치 영역(510)과 오른쪽 원영상(520) 간의 차이(disparity)를 계산한다. 이러한 계산 과정을 통해 차이가 가장 적은 베스트 매치에 해당하는 겹쳐진 영상(L´)(500)을 찾을 수 있게 된다. 그러면 차이 추정부(220)는 340단계에서 원영상 즉, 왼쪽 원영상(L)과 겹쳐진 영상(L´)의 위치 차이를 계산한다. 예를 들어, 위치 차이는 왼쪽 원영상(L)의 중심점과 겹쳐진 영상(L´)의 중심점을 비교하여 왼쪽 원영상(L)의 중심점으로부터 겹쳐진 영상(L´)의 위치 이동을 근거로 얼마만큼 겹쳐진 영상(L´)이 이동했는지를 나타내는 것이다. 이러한 왼쪽 원영상(L)과 겹쳐진 영상(L´)과의 위치 차이는 벡터값으로 나타 낼 수 있는데, 이러한 벡터값은 수신측에서 영상 복원하는데 이용할 수 있도록 일단 저장해놓는다.
이러한 벡터값은 움직임 정도를 나타내는 것이므로, 하나의 프레임의 움직임 정도를 나타내는 글로벌 모션값으로 정의할 수도 있다. 차이 추정부(220)는 350단계에서 글로벌 모션값을 이용하여 겹쳐진 영상(L´)을 오른쪽 원영상과의 비교를 위해 위치 정렬을 수행한다. 이에 따라 겹쳐진 영상(L´)과 오른쪽 원영상이 도 6에서와 같이 정렬된다. 도 6(a)는 글로벌 모션값을 이용하여 정렬된 왼쪽 영상(L´)을 예시하고 있으며, 도 6(b)는 오른쪽 원영상을 예시하고 있다. 이와 같이 본 발명의 실시 예에서는 영상을 블록별로 나누지 않고도 서치 영역을 이용하여 서치 영역과 하나의 원영상을 1 : 1 방식으로 전체적인 위치 차이를 구하기 때문에 글로벌 모션값을 1번만 구해도 된다. 만일 하나의 영상에 대해 각 블록별로 모션 정보를 찾는다면 많은 계산량이 소요되고 부가적으로 전송해야할 모션 정보도 그 블록 수만큼 늘어나게 되지만, 이는 스테레오 이미지의 경우 좌우 영상은 세부적인 움직임의 차이가 없고 촬영하는 카메라의 위치만 다르기 때문에 두 영상 간 차이가 크게 발생하지 않기 때문에 가능한 것이다.
한편, 도 6에서와 같이 겹쳐진 영상(L´)이 오른쪽 원영상(R)과의 비교를 위해 위치 정렬이 이루어지면, 차이 추정부(220)는 360단계에서 도 7에서와 같이 겹쳐진 영상(L´)과 오른쪽 원영상(R)의 차이(difference)를 계산한다. 즉, 정렬된 겹쳐진 영상(L´)에서 오른쪽 원영상(R)을 뺀 차이 영상이 도 7과 같이 보여진다. 이와 같이 차이 영상을 구하는 이유는 압축 효율을 높이고 전송 부하량을 줄이기 위해 본 발명에서는 겹치는 부분을 제외한 나머지 차이 부분만을 보내기 위함이다. 이에 따라 하나의 원영상과 겹치는 부분을 제외한 나머지 차이 부분만이 인코더(230)를 통해 압축되어 전송된다.
도 7은 본 발명의 실시 예에 따라 차이 영상 즉, 잔여 영상을 예시하고 있는데, 도면부호 700에 의해 지시되는 부분은 차이가 거의 없는 것을 보이며 도면부호 710에 의해 지시되는 부분은 차이가 매우 크게 발생한 것을 보이고 있다. 따라서, 차이 영상은 차이가 크게 나타난 부분일수록 밝은 값으로 보여지게 된다.
이와 같이 차이 영상이 구해지면 차이 추정부(220)는 두 영상 차이(L´- R)인 잔여 영상(Residual image)을 인코더(230)로 출력한다. 이때, 제1영상입력부(200)로부터의 오른쪽 원영상(R)도 인코더(230)로 출력된다. 그러면, 인코더(230)에서는 370단계에서 오른쪽 원영상(R) 및 두 영상 차이(L´- R)를 인코딩하게 되는데, 압축한 영상을 수신측에서 복원할 수 있도록 글로벌 모션값도 함께 인코딩하게 된다. 이에 따라 인코더(230)에서 실제로 압축되는 대상 영상은 도 8에 도시된 바와 같다. 도 8은 본 발명의 실시 예에 따라 압축 대상 영상을 보여주는 예시도로, 8(a)는 차이 영상 즉, 잔여 영상을 보여주며 도 8(b)는 오른쪽 원영상을 보여주고 있다. 전술한 바와 같이 본 발명에서는 도 8에서와 같이 차이 영상과 하나의 원영상만을 압축하기 때문에 압축 효율을 현저히 높일 수 있게 된다.
상기한 바와 같은 본 발명에 따르면, 입체 영상에서 좌우 영상의 유사성이 크다는 특성을 이용하여 압축 효율을 높임으로써 연산량을 최소화할 수 있을 뿐만 아니라 압축 데이터 전송 시 전송량도 줄일 수 있는 이점이 있다. 게다가 압축 효율을 높임으로써 적은 데이터 전송량만으로도 기존의 방법에 비해 고화질의 영상을 제공할 수 있는 이점이 있다.

Claims (8)

  1. 3차원 입체 영상을 압축하기 위한 장치에 있어서,
    일정 간격으로 서로 떨어져 장착되며, 하나의 피사체에 대해 각각 좌우 영상에 해당하는 제1 및 제2영상을 출력하는 두 개의 영상입력부와,
    상기 제1영상과 상기 제2영상의 경계 부분이 확장된 서치 영역 간의 비교를 통해 불일치가 가장 적은 겹쳐진 영상을 찾고, 상기 겹쳐진 영상과 상기 제2영상 간의 위치 차이를 구하여 저장한 후, 상기 겹쳐진 영상을 위치 정렬하여 상기 제1영상 간의 잔여 영상을 구하는 차이 추정부와,
    상기 차이 추정부로부터의 잔여 영상 및 위치 차이와, 상기 영상 입력부로부터 입력되는 제1영상을 함께 인코딩하는 인코더를 포함하여 구성됨을 특징으로 하는 3차원 입체 영상을 압축하기 위한 장치.
  2. 제 1항에 있어서, 상기 차이 추정부는,
    상기 겹쳐진 영상과 상기 제2영상 간의 위치 차이를 벡터값으로 저장하고, 상기 벡터값인 글로벌 모션 정보를 이용하여 상기 겹쳐진 영상을 상기 제1영상과의 비교를 위해 위치 정렬한 후, 상기 정렬된 겹쳐진 영상과 상기 제1영상 간의 잔여 영상을 구하는 것을 특징으로 하는 3차원 입체 영상을 압축하기 위한 장치.
  3. 제 2항에 있어서, 상기 잔여 영상은,
    상기 정렬된 겹쳐진 영상에서 상기 제1영상을 뺀 차이 영상인 것을 특징으로 하는 3차원 입체 영상을 압축하기 위한 장치.
  4. 제 1항에 있어서, 상기 서치 영역은,
    상기 제2영상의 경계 부분이 미리 정해진 픽셀수만큼 확장된 영역이며, 상기 미리 정해진 픽셀수만큼의 구간이 상기 경계 부분의 화소로 채워짐을 특징으로 하는 3차원 입체 영상을 압축하기 위한 장치.
  5. 이동 통신 단말기에서 3차원 입체 영상을 압축하기 위한 방법에 있어서,
    일정 간격으로 서로 떨어져 장착된 두 개의 영상입력부로부터 하나의 피사체에 대해 각각 좌우 영상에 해당하는 제1 및 제2영상을 수신하는 과정과,
    상기 수신된 제1영상과 제2영상의 경계 부분이 확장된 서치 영역 간의 비교를 통해 불일치가 가장 적은 겹쳐진 영상을 찾는 과정과,
    상기 겹쳐진 영상과 상기 제2영상 간의 위치 차이를 구하여 저장한 후, 상기 겹쳐진 영상을 위치 정렬하여 상기 제1영상 간의 잔여 영상을 구하는 과정과,
    상기 잔여 영상 및 위치 차이와, 상기 제1영상을 함께 인코딩하는 과정을 포 함함을 특징으로 하는 3차원 입체 영상을 압축하기 위한 방법.
  6. 제 5항에 있어서, 상기 겹쳐진 영상과 상기 제2영상 간의 위치 차이는
    상기 겹쳐진 영상과 상기 제2영상 간의 위치 차이를 벡터값으로 저장되는 것임을 특징으로 하는 3차원 입체 영상을 압축하기 위한 방법.
  7. 제 5항에 있어서, 상기 제1영상 간의 잔여 영상을 구하는 과정은,
    상기 위치 차이를 이용하여 상기 겹쳐진 영상을 상기 제1영상과의 비교를 위해 위치 정렬하는 과정과,
    상기 정렬된 겹쳐진 영상에서 상기 제1영상을 뺀 차이 영상을 구하는 과정임을 특징으로 하는 3차원 입체 영상을 압축하기 위한 방법.
  8. 제 5항에 있어서, 상기 서치 영역은,
    상기 제2영상의 경계 부분이 미리 정해진 픽셀수만큼 확장된 영역이며, 상기 미리 정해진 픽셀수만큼의 구간이 상기 경계 부분의 화소로 채워짐을 특징으로 하는 3차원 입체 영상을 압축하기 위한 방법.
KR1020060120607A 2006-12-01 2006-12-01 3차원 입체 영상을 압축하기 위한 장치 및 방법 KR100800653B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060120607A KR100800653B1 (ko) 2006-12-01 2006-12-01 3차원 입체 영상을 압축하기 위한 장치 및 방법
US11/771,108 US7949193B2 (en) 2006-12-01 2007-06-29 Apparatus and method for compressing three-dimensional stereoscopic images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060120607A KR100800653B1 (ko) 2006-12-01 2006-12-01 3차원 입체 영상을 압축하기 위한 장치 및 방법

Publications (1)

Publication Number Publication Date
KR100800653B1 true KR100800653B1 (ko) 2008-02-01

Family

ID=39342249

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060120607A KR100800653B1 (ko) 2006-12-01 2006-12-01 3차원 입체 영상을 압축하기 위한 장치 및 방법

Country Status (2)

Country Link
US (1) US7949193B2 (ko)
KR (1) KR100800653B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190117498A (ko) * 2017-02-21 2019-10-16 소니 세미컨덕터 솔루션즈 가부시키가이샤 영상 송신 장치 및 영상 수신 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100089705A (ko) * 2009-02-04 2010-08-12 삼성전자주식회사 3차원 영상 부호화/복호화 장치 및 방법
WO2012046239A2 (en) * 2010-10-06 2012-04-12 Nomad3D Sas Multiview 3d compression format and algorithms
JP5878295B2 (ja) * 2011-01-13 2016-03-08 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9485494B1 (en) * 2011-04-10 2016-11-01 Nextvr Inc. 3D video encoding and decoding methods and apparatus
KR20130011994A (ko) * 2011-07-22 2013-01-30 삼성전자주식회사 송신 장치, 수신 장치 및 그 송수신 방법
KR101930235B1 (ko) 2012-05-15 2018-12-18 삼성전자 주식회사 디지털 이미지 안정화 방법, 장치 및 시스템
KR101939796B1 (ko) * 2012-09-12 2019-01-17 엘지디스플레이 주식회사 크로스토크 보상을 위한 입체영상 표시장치의 메모리 저감장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970060973A (ko) * 1996-01-31 1997-08-12 김광호 디지탈 입체영상의 부호화/복호화장치
KR19990011959A (ko) * 1997-07-25 1999-02-18 윤종용 입체 영상 부호기를 위한 양안차 추정 방법 및 그 회로
KR20040058497A (ko) * 2002-12-27 2004-07-05 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
US6037991A (en) * 1996-11-26 2000-03-14 Motorola, Inc. Method and apparatus for communicating video information in a communication system
KR100595663B1 (ko) * 2004-04-13 2006-07-03 엘지전자 주식회사 휴대폰의 이미지 파일 압축/신장 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970060973A (ko) * 1996-01-31 1997-08-12 김광호 디지탈 입체영상의 부호화/복호화장치
KR19990011959A (ko) * 1997-07-25 1999-02-18 윤종용 입체 영상 부호기를 위한 양안차 추정 방법 및 그 회로
KR20040058497A (ko) * 2002-12-27 2004-07-05 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190117498A (ko) * 2017-02-21 2019-10-16 소니 세미컨덕터 솔루션즈 가부시키가이샤 영상 송신 장치 및 영상 수신 장치
KR102593633B1 (ko) 2017-02-21 2023-10-25 소니 세미컨덕터 솔루션즈 가부시키가이샤 영상 송신 장치 및 영상 수신 장치

Also Published As

Publication number Publication date
US20080130984A1 (en) 2008-06-05
US7949193B2 (en) 2011-05-24

Similar Documents

Publication Publication Date Title
KR100800653B1 (ko) 3차원 입체 영상을 압축하기 위한 장치 및 방법
US11057646B2 (en) Image processor and image processing method
CN107534789B (zh) 影像同步装置及影像同步方法
KR100742674B1 (ko) 화상데이터 전송시스템, 그의 화상데이터 송신장치, 및그의 화상데이터 수신장치
CN101416520B (zh) 多视图的高效编码
JP3231618B2 (ja) ３次元画像符号化復号方式
US8983121B2 (en) Image processing apparatus and method thereof
EP2923491B1 (en) Method and apparatus for bi-prediction of illumination compensation
US20110074926A1 (en) System and method for creating 3d video
JPH10191396A (ja) 中間視点画像生成方法および視差推定方法および画像伝送方法
JP2012186837A (ja) カメラパラメータを利用した多視点画像の生成方法
US20120249751A1 (en) Image pair processing
WO2013039031A1 (ja) 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
US9143758B2 (en) Method and apparatus for low-bandwidth content-preserving encoding of stereoscopic 3D images
US20070047642A1 (en) Video data compression
US20110129012A1 (en) Video Data Compression
US20230351763A1 (en) Data generator and data generating method
CN109479147B (zh) 用于时间视点间预测的方法及技术设备
KR100446528B1 (ko) 휴대단말기에서 입체 영상 처리장치 및 방법
KR101138921B1 (ko) 다중 시점 기반의 비디오 인코딩 장치 및 방법
Petrazzuoli et al. A distributed video coding system for multi view video plus depth
US8055086B2 (en) Method and apparatus for efficiently storing stereo image
JP2002267413A (ja) 三次元位置計測装置および方法
JP6074404B2 (ja) 立体的三次元画像の圧縮を維持する低帯域コンテンツのための方法及び装置
JPH10285595A (ja) 画像データ送受信装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121228

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141223

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151229

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20171228

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee