KR20100138806A - 자동 3차원 영상 포맷 변환 방법 및 그 장치 - Google Patents

자동 3차원 영상 포맷 변환 방법 및 그 장치 Download PDF

Info

Publication number
KR20100138806A
KR20100138806A KR1020100059220A KR20100059220A KR20100138806A KR 20100138806 A KR20100138806 A KR 20100138806A KR 1020100059220 A KR1020100059220 A KR 1020100059220A KR 20100059220 A KR20100059220 A KR 20100059220A KR 20100138806 A KR20100138806 A KR 20100138806A
Authority
KR
South Korea
Prior art keywords
image
format
difference
vertical
determining
Prior art date
Application number
KR1020100059220A
Other languages
English (en)
Inventor
김용태
김상현
김대식
민종술
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20100138806A publication Critical patent/KR20100138806A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은, 좌시점 영상 및 우시점 영상이 수록된 3차원 영상을 포함하는 영상 시퀀스를 입력하고, 입력 영상 중 3차원 영상의 좌시점 영상 및 우시점 영상 간의 변이 정보 및 주변 화소값 간 상관도 정보 중 적어도 하나를 추정하고, 추정 결과에 기초하여, 3차원 영상 중 좌시점 영상 및 우시점 영상이 배열된 방식을 나타내는 3차원 영상 포맷을 판별하여, 3차원 영상 포맷에 기초하여 좌시점 영상 및 우시점 영상을 디스플레이 장치에서 3차원으로 재생 가능한 포맷으로 변환하고, 포맷 변환된 좌시점 영상 및 우시점 영상을 디스플레이 장치를 이용하여 3차원으로 재생하는 3차원 영상 포맷 변환 방법을 개시한다.

Description

자동 3차원 영상 포맷 변환 방법 및 그 장치{Method and apparatus for automatic transformation of three-dimensional video}
본 발명은, 좌시점 영상 및 우시점 영상이 혼합된 3차원 영상의 재생하기 위해 필요한 영상 포맷 변환에 관한 것이다.
3차원 디스플레이를 위해 다른 시점의 2차원 영상들이 이용되고 있으며, 3차원 영상을 기록하기 위해 다른 시점의 2차원 영상들이 기록하는 포맷이 다양하게 존재한다. 현존하는 3차원 디스플레이 기기는 3차원 영상을 디스플레이하기 위해, 다른 시점의 2차원 영상들을 교대로 디스플레이하는 방식을 채택하고 있다. 따라서, 현존하는 3차원 디스플레이 기기가 3차원 영상을 정확하게 디스플레이하기 위해서는, 3차원 영상으로부터 다른 시점의 2차원 영상들을 정확히 추출하여야 한다. 3차원 영상으로부터 서로 다른 시점의 3차원 영상을 추출하기 위해서는, 3차원 영상 포맷에 대한 정확한 정보가 필요하다.
본 발명은 3차원 영상을 분석하여 좌시점 영상 및 우시점 영상의 배열 방식에 관한 3차원 영상 포맷을 판별하여 3차원으로 재생하는 방법에 관한 것이다.
본 발명의 일 실시예에 따른 3차원 영상 포맷 변환 방법은, 좌시점 영상 및 우시점 영상이 수록된 3차원 영상을 포함하는 영상 시퀀스를 입력하는 단계; 입력 영상 중 상기 3차원 영상의 상기 좌시점 영상 및 상기 우시점 영상 간의 변이 정보 및 주변 화소값 간 상관도 정보 중 적어도 하나를 추정하고, 상기 추정 결과에 기초하여, 상기 3차원 영상 중 상기 좌시점 영상 및 상기 우시점 영상이 배열된 방식을 나타내는 3차원 영상 포맷을 판별하는 단계; 상기 3차원 영상 포맷에 기초하여 상기 좌시점 영상 및 상기 우시점 영상을 디스플레이 장치에서 3차원으로 재생 가능한 포맷으로 변환하는 단계; 및 상기 포맷 변환된 상기 좌시점 영상 및 상기 우시점 영상을 상기 디스플레이 장치를 이용하여 3차원으로 재생하는 단계를 포함한다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 상기 좌시점 영상 및 상기 우시점 영상 간의 변이 정보를 이용하여, 상기 3차원 영상 포맷이 사이드 바이 사이드 포맷(Side by Side Format), 탑 앤 바텀 포맷(Top and Bottom Format), 수평 라인 인터리브드 포맷(Horizontal Line Iinterleaved Format) 및 수직 라인 인터리브드 포맷(Vertical Line Interleaved Format) 중 어느 하나인지 판별하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 상기 좌시점 영상 및 상기 우시점 영상 간의 주변 화소값 간 상관도 정보를 이용하여, 상기 3차원 영상 포맷이 수평 라인 인터리브드 포맷(Horizontal Line Iinterleaved Format), 수직 라인 인터리브드 포맷(Vertical Line Interleaved Format) 및 체커 보드 포맷(Checker Board Format) 중 어느 하나인지 판별하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 상기 좌시점 영상 및 상기 우시점 영상 간의 주변 화소값 간 상관도 정보를 이용하여, 상기 3차원 영상 포맷이 수평 라인 인터리브드 포맷(Horizontal Line Iinterleaved Format), 수직 라인 인터리브드 포맷(Vertical Line Interleaved Format) 및 체커 보드 포맷(Checker Board Format) 중 어느 하나인지 판별하는 단계; 및 상기 변이 정보를 이용하여, 상기 3차원 영상 포맷이 필드 시퀀셜 포맷(Field Sequential Format) 또는 프레임 시퀀셜 포맷(Frame Sequential Format)인지 판별하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 상기 좌시점 영상 및 상기 우시점 영상 간의 경계선을 검출하여, 상기 3차원 영상 포맷이 상기 사이드 바이 사이드 포맷 또는 상기 탑 앤 바텀 포맷 중 어느 하나인지 판별하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 상기 텍스처 성분이 포함된 영역에 대해 상기 3차원 영상 포맷을 판별할 영역을 결정하기 위해, 상기 좌시점 영상 및 상기 우시점 영상의 상호 대응되는 영역의 평활도를 계산하여 텍스처 성분이 포함된 영역을 검색하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 상기 3차원 영상의 상단 영역 및 하단 영역 간의 차이의 절대치를 나타내는 상하 차영상을 이용하여 제 1 변이 정보를 추정하는 단계(탑 앤 바텀 포맷을 고려한 변이); 및 상기 3차원 영상의 좌측 영역 및 우측 영역 간의 차이의 절대치를 나타내는 좌우 차영상을 이용하여 제 2 변이 정보를 추정하는 단계(사이드 바이 사이드 포맷을 고려한 변이)를 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 상기 제 1 변이 정보 및 상기 제 2 변이 정보에 기초하여, 상기 3차원 영상이 상기 탑 앤 바텀 포맷 또는 상기 사이드 바이 사이드 포맷인지 여부를 판별하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 상기 3차원 영상의 수직 라인들을 홀수번째 및 짝수번째 수직 라인들로 나누어, 홀수번째 수직 라인 및 짝수번째 수직 라인 간의 차이의 절대치를 나타내는 수직 라인 차영상을 이용하여, 상기 제 3 변이 정보를 추정하는 단계; 및 상기 3차원 영상의 수평 라인들을 홀수번째 및 짝수번째 수평 라인들로 나누어, 홀수번째 수평 라인 및 짝수번째 수평 라인 간의 차이의 절대치를 나타내는 수평 라인 차영상을 이용하여, 상기 제 4 변이 정보를 추정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 상기 제 3 변이 정보 및 상기 제 4 변이 정보에 기초하여, 상기 3차원 영상이 상기 수직 라인 인터리브드 포맷 또는 상기 수평 라인 인터리브드 포맷인지 여부를 판별하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 상기 상하 차영상의 연속적인 화소값이 제 1 임계치보다 큰 제 1 구간의 간격이 제 1 최장 변이보다 큰 경우, 상기 제 1 구간을 제 1 변이 정보 중 후보 구간으로 선택하는 단계; 및 상기 좌우 차영상의 연속적인 화소값이 제 2 임계치보다 큰 제 2 구간의 간격이 제 2 최장 변이보다 큰 경우, 상기 제 2 구간을 제 2 변이 정보 중 후보 구간으로 선택하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 상기 제 1 변이 정보의 후보 구간의 총 개수 및 상기 제 2 변이 정보의 후보 구간의 총 개수를 비교하여, 상기 제 1 변이 정보의 후보 구간의 총 개수가 더 작으면 상기 3차원 영상 포맷을 상기 탑 앤 바텀 포맷으로 판별하고, 상기 제 2 변이 정보의 후보 구간의 총 개수가 더 작으면 상기 3차원 영상 포맷을 상기 사이드 바이 사이드 포맷으로 판별할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 상기 수직 라인 차영상의 연속적인 화소값이 제 3 임계치보다 큰 제 3 구간의 간격이 제 3 최장 변이보다 긴 경우, 상기 제 3 구간을 제 3 변이 정보 중 후보 구간으로 선택하고, 상기 수평 라인 차영상의 연속적인 화소값이 제 4 임계치보다 큰 제 4 구간의 간격이 제 4 최장 변이보다 긴 경우, 상기 제 4 구간을 제 4 변이 정보 중 후보 구간으로 선택할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 상기 제 3 변이 정보의 후보 구간의 총 개수 및 상기 제 4 변이 정보의 후보 구간의 총 개수를 비교하여, 상기 제 3 변이 정보의 후보 구간의 총 개수가 더 크면 상기 3차원 영상 포맷을 상기 수직 라인 인터리브드 포맷으로 판별하고, 상기 제 4 변이 정보의 후보 구간의 총 개수가 더 크면 상기 3차원 영상 포맷을 상기 수평 라인 인터리브드 포맷으로 판별할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 상기 3차원 영상 중 수직 방향으로 연속적인 세 화소 간의 수직 방향 화소값 간 상관도 정보를 추정하는 단계; 및상기 3차원 영상 중 수평 방향으로 연속적인 세 화소 간의 수평 방향 화소값 간 상관도 정보를 추정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 화소값 간 상관도 임계치보다 큰 수평 방향 화소값 간 상관도 정보의 개수가 소정 임계치보다 많고, 상기 화소값 간 상관도 임계치보다 큰 상기 수직 방향 화소값 간 상관도 정보의 개수가 상기 소정 임계치보다 적다면, 상기 3차원 영상을 수직 라인 인터리브드 포맷으로 판별하고, 상기 화소값 간 상관도 임계치보다 큰 수직 방향 화소값 간 상관도 정보의 개수가 상기 소정 임계치보다 크고, 상기 화소값 간 상관도 임계치보다 큰 수평 방향 화소값 간 상관도 정보의 개수가 상기 소정 임계치보다 적다면, 상기 3차원 영상을 수평 라인 인터리브드 포맷으로 판별하고, 상기 화소값 간 상관도 임계치보다 큰 수직 방향 화소값 간 상관도 정보가 및 수평 방향 화소값 간 상관도 정보가 상기 소정 임계치보다 크다면, 상기 3차원 영상을 체커 보드 포맷으로 판별하는 단계를 포함할 수 있다.
일 실시예에 따라, 상기 수직 방향으로 연속하는 세 화소 중 상단 화소 및 하단 화소의 차이의 절대치인 제 1 차이값, 상기 상단 화소 및 중앙 화소의 차이의 절대치인 제 2 차이값 및 상기 중앙 화소 및 상기 하단 화소의 차이의 절대치인 제 3 차이값을 이용하여, 상기 수직 방향 화소값 간 상관도 정보는 상기 제 1 차이값에 대한 상기 제 2 차이값 및 상기 제 3 차이값의 합의 비율로 나타내며, 상기 수평 방향으로 연속하는 세 화소 중 좌측 화소 및 우측 화소의 차이의 절대치인 제 4 차이값, 상기 좌측 화소 및 상기 중앙 화소의 차이의 절대치인 제 5 차이값 및 상기 중앙 화소 및 상기 우측 화소의 차이의 절대치인 제 6 차이값을 이용하여, 상기 수평 방향 화소값 간 상관도 정보는 상기 제 4 차이값에 대한 상기 제 5 차이값 및 상기 제 6 차이값의 합의 비율로 나타낼 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 상기 3차원 영상 중 시간축으로 연속적인 세 프레임 간의 시간적 변이의 변화도를 추정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 상기 시간축으로 연속하는 세 프레임 중 첫번째 프레임 및 세번째 프레임의 차이의 절대치를 나타내는 제 1 차이 프레임, 상기 첫번째 프레임 및 두번째 프레임의 차이의 절대치를 나타내는 제 2 차이 프레임 및 상기 두번째 프레임 및 상기 세번째 프레임의 차이의 절대치를 나타내는 제 3 차이 프레임을 이용하여, 상기 세 프레임 간의 시간적 변이의 변화도는 상기 제 1 차이 프레임 데이터에 대한 상기 제 2 차이 프레임 데이터 및 상기 제 3 차이 프레임 데이터의 합의 비율로 나타낼 수 있다.
일 실시예에 따른 상기 경계선 검출 단계는, 상기 3차원 영상의 높이를 절반으로 나누어, 상단 영역 및 하단 영역 간의 수평 경계선의 상단에 수직 방향으로 배열된 인접한 두 화소들 간의 차이의 절대치인 수평 경계선 상단 차이값, 상기 수평 경계선의 하단에 수직 방향으로 배열된 인접한 두 화소들 간의 차이의 절대치인 수평 경계선 하단 차이값, 및 상기 수평 경계선의 상단 화소 및 하단 화소 간의 차이의 절대치인 수평 경계선 차이값을 이용하여, 상기 수평 경계선 상단 차이값 및 상기 수평 경계선 하단 차이값의 합에 대한 상기 수평 경계선 차이값의 비율을 계산하는 단계; 및 상기 수평 경계선 차이값의 비율의 총합이 수평 경계선 임계치보다 큰 경우 상기 3차원 영상을 상기 탑 앤 바텀 포맷으로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 경계선 검출 단계는, 상기 3차원 영상의 너비를 절반으로 나누어, 좌측 영역 및 우측 영역 간의 수직 경계선의 좌측에 수평 방향으로 배열된 인접한 두 화소들 간의 차이의 절대치인 수직 경계선 좌측 차이값, 상기 수직 경계선의 우측에 수평 방향으로 배열된 인접한 두 화소들 간의 차이의 절대치인 수직 경계선 우측 차이값, 및 상기 수직 경계선의 좌측 화소 및 우측 화소 간의 차이의 절대치인 수직 경계선 차이값을 이용하여, 상기 수직 경계선 좌측 차이값 및 상기 수직 경계선 우측 차이값의 합에 대한 상기 수직 경계선 차이값의 비율을 계산하는 단계; 및 상기 수직 경계선 차이값의 비율의 총합이 수직 경계선 임계치보다 큰 경우 상기 3차원 영상을 상기 사이드 바이 사이드 포맷으로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 경계선 검출 단계는, 상기 경계선을 기준으로 소정 개수 이상의 라인들을 포함하는 경계 영역이 존재하는 경우, 상기 흑색라인을 제외한 영역에서 상기 3차원 영상 포맷을 판별할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 단계는, 상기 3차원 영상의 복수의 프레임들에 대한 3차원 영상 포맷들의 판별 결과로서, 제 1 포맷이 연속적으로 판별되다가 소정 개수의 프레임들에 대해 제 2 포맷이 판별되고, 상기 소정 개수의 프레임들 이후 프레임들에 대해 다시 제 1 포맷이 연속적으로 판별되는 경우, 상기 제 2 포맷이 판별된 소정 프레임들의 개수에 기초하여 상기 제 2 포맷의 판별 결과를 상기 제 1 포맷으로 수정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 판별 결과 수정 단계는, 상기 제 2 포맷이 판별된 후 소정 개수의 프레임 동안 상기 제 2 포맷이 계속하여 판별되는지 여부를 관찰하는 단계; 및 상기 소정 개수의 프레임에 대해 상기 제 2 포맷의 판별 결과가 유지된다면, 상기 소정 개수의 프레임까지는 상기 제 1 포맷으로 상기 판별 결과를 수정하고, 상기 소정 개수의 프레임 이후의 프레임부터 상기 판별 결과를 상기 제 2 포맷으로 확정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 변환 방법은, 웹을 통해 상기 3차원 영상 포맷을 키워드로 상기 3차원 영상 컨텐츠를 검색하는 단계를 더 포함하고, 상기 영상 입력 단계는, 상기 웹을 통해 검색된 3차원 영상 컨텐츠를 입력하는 단계를 포함할 수 있다.
일 실시예에 따라, 상기 웹을 통한 3차원 영상 컨텐츠의 검색 단계는, 2차원 영상 및 상기 3차원 영상이 혼재된 영상 컨텐츠를 검색하고, 상기 영상 입력 단계는, 상기 웹을 통해 검색된 영상 컨텐츠를 입력하고, 상기 포맷 변환 단계는, 상기 검색 키워드인 3차원 영상 포맷에 기초하여 상기 3차원 영상 부분의 좌시점 영상 및 우시점 영상을 3차원으로 재생 가능한 포맷으로 변환하고, 상기 3차원 영상 포맷 변환 방법은, 상기 입력된 컨텐츠 중 상기 2차원 영상 부분은 2차원으로 재생하고, 상기 변환된 포맷을 이용하여 상기 3차원 영상 부분을 3차원으로 재생하는 단계를 더 포함할 수 있다.
일 실시예에 따른 3차원 영상 포맷 변환 방법은, 상기 3차원 영상 컨텐츠의 제공자로부터 웹 브라우저에게로 상기 영상 컨텐츠 중 상기 3차원 영상 부분의 위치에 대한 정보를 전송받아, 상기 웹 브라우저에서 상기 3차원 영상 부분의 변이 정보 및 주변 화소값 간 상관도 정보 중 적어도 하나의 추정, 상기 3차원 영상 포맷 판별 및 상기 3차원 재생 가능 포맷으로의 변환이 수행되고, 상기 웹 브라우저에서 상기 3차원 영상 부분이 3차원으로 재생할 수 있다.
일 실시예에 따른 상기 3차원 영상 포맷 변환 방법은, 3차원 디스플레이 장치에서 상기 입력된 영상 컨텐츠 중 상기 3차원 영상 부분의 위치를 검출하는 단계를 더 포함하고, 상기 3차원 디스플레이 장치가 상기 3차원 영상 부분의 위치에서 상기 포맷 변환된 3차원 영상을 3차원으로 재생할 수 있다.
본 발명의 일 실시예에 따른 3차원 영상 포맷 변환 장치는, 좌시점 영상 및 우시점 영상이 수록된 3차원 영상을 포함하는 영상 시퀀스를 입력하는 영상 입력부; 입력 영상 중 상기 3차원 영상 중 상기 좌시점 영상 및 상기 우시점 영상 간의 변이 정보 및 주변 화소값 간 상관도 정보 중 적어도 하나를 추정하고, 상기 추정 결과에 기초하여, 상기 3차원 영상 중 상기 좌시점 영상 및 상기 우시점 영상이 배열된 방식을 나타내는 3차원 영상 포맷을 판별하는 포맷 판별부; 상기 3차원 영상 포맷에 기초하여 상기 3차원 영상의 상기 좌시점 영상 및 상기 우시점 영상을 3차원으로 재생 가능한 포맷으로 변환하는 포맷 변환부; 및 상기 포맷 변환된 좌시점 영상 및 상기 우시점 영상을 3차원으로 재생하는 디스플레이부를 포함한다.
본 발명은, 일 실시예에 따른 3차원 영상 포맷 변환 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
도 1 은 일 실시예에 따른 3차원 영상 포맷 변환 장치의 블록도를 도시한다.
도 2 는 3차원 영상의 부복호화 시스템을 블록도를 도시한다.
도 3 은 3차원 영상의 생성 및 부복호화 시스템의 블록도를 도시한다.
도 4 는 3차원 영상의 3차원 영상 포맷의 종류를 도시한다.
도 5 는 일 실시예에 따른 3차원 영상 포맷 변환 장치 중 포맷 판별부의 상세 동작을 도시한다.
도 6a 는 일 실시예에 따른 3차원 영상의 좌우 영역에 대한 변이 정보 추정 방식을 도시한다.
도 6b 는 일 실시예에 따른 3차원 영상의 상하 영역에 대한 변이 정보 추정 방식을 도시한다.
도 6c 는 일 실시예에 따른 3차원 영상의 수평 라인에 대한 변이 정보 추정 방식을 도시한다.
도 6d 는 일 실시예에 따른 3차원 영상의 수직 라인에 대한 변이 정보 추정 방식을 도시한다.
도 7a 은 일 실시예에 따른 변이 구간의 추정 방식을 도시한다.
도 7b 은 일 실시예에 따른 변이 정보 추정 방법의 흐름도를 도시한다.
도 8a 및 8b는 일 실시예에 따른 각각 수평 화소값 간 상관도 정보 추정 방법 및 수직 화소값 간 상관도 정보 추정 방법을 도시한다.
도 9 는 일 실시예에 따른 화소값 간 상관도 정보에 따른 3차원 영상 포맷 판별 결과를 도시한다.
도 10a 및 10b 는 일 실시예에 따른 탑 앤 바텀 포맷의 3차원 영상 및 그 확대된 일부 경계선을 도시한다.
도 11a 및 11b 는 일 실시예에 따른 사이드 바이 사이드 포맷의 3차원 영상 및 그 확대된 일부 경계선을 도시한다.
도 12a 및 12b 는 일 실시예에 따른 경계 영역이 포함된 사이드 바이 사이드 포맷의 3차원 영상 및 그 확대된 일부 경계선을 도시한다.
도 13a 및 13b 는 각각 2차원 영상 및 프레임 시퀀셜 포맷의 3차원 영상에 대해, 시간축으로 연속하는 프레임들 간의 화소값의 차이의 평균값의 그래프를 도시한다.
도 14 는 일 실시예에 따른 시간축으로 연속하는 세 프레임들을 이용한 프레임 시퀀셜 포맷의 판별 방법을 도시한다.
도 15 는 일 실시예에 따른 3차원 영상 포맷 판별 결과 중 에러가 발생하는 현상을 도시한다.
도 16 은 일 실시예에 따른 3차원 영상 포맷 판별 결과의 에러 수정 방식을 도시한다.
도 17 은 일 실시예에 따른 포맷 변환 및 3차원 재생을 위한 후처리 과정을 도시한다.
도 18 은 일 실시예에 따른 3차원 영상 포맷 변환 방법의 흐름도를 도시한다.
도 19a 은 일 실시예에 따라 웹을 통해 3차원 영상 포맷의 3차원 영상 컨텐츠를 검색하는 방식을 도시한다.
도 19b 는 일 실시예에 따라 웹을 통해 3차원 영상 포맷의 3차원 영상을 재생하는 방식을 도시한다.
이하 도 1 내지 도 19b을 참조하여 본 발명의 여러 실시예에 따른 3차원 영상 포맷 변환 장치 및 3차원 영상 포맷 변환 방법이 상술된다.
도 1 은 일 실시예에 따른 3차원 영상 포맷 변환 장치의 블록도를 도시한다.
일 실시예에 따른 3차원 영상 포맷 변환 장치(100)는 영상 입력부(110), 포맷 판별부(120), 포맷 변환부(130) 및 디스플레이부(140)를 포함한다.
영상 입력부(110)를 통해 입력되는 영상 시퀀스는, 좌시점 영상 및 우시점 영상이 수록된 3차원 영상을 포함한다. 입력 영상은 2차원 영상 또는 3차원 영상이거나, 또는 2차원 영상 및 3차원 영상이 부분적으로 혼합되어 있을 수 있다. 혼합 영상은, 시간 순서에 따라 2차원 영상 구간 및 3차원 영상 구간이 혼합되어 있는 경우와, 공간적으로 2차원 영상 구간 영역 및 3차원 영상 구간 영역이 혼합되어 있는 경우를 포함한다.
3차원 영상이 좌시점 영상 및 우시점 영상에 대한 정보를 모두 수록하기 위해, 3이하 도 1 내지 도 20을 참조하여 본 발명의 여러 실시예에 따른 3차원 영상 포맷 변환 장치 및 3차원 영상 포맷 변환 방법이 상술된다.
도 1 은 일 실시예에 따른 3차원 영상 포맷 변환 장치의 블록도를 도시한다.
일 실시예에 따른 3차원 영상 포맷 변환 장치(100)는 영상 입력부(110), 포맷 판별부(120), 포맷 변환부(130) 및 디스플레이부(140)를 포함한다.
영상 입력부(110)를 통해 입력되는 영상 시퀀스는, 좌시점 영상 및 우시점 영상이 수록된 3차원 영상을 포함한다. 입력 영상은 2차원 영상 또는 3차원 영상이거나, 또는 2차원 영상 및 3차원 영상이 부분적으로 혼합되어 있을 수 있다. 혼합 영상은, 시간 순서에 따라 2차원 영상 구간 및 3차원 영상 구간이 혼합되어 있는 경우와, 공간적으로 2차원 영상 구간 영역 및 3차원 영상 구간 영역이 혼합되어 있는 경우를 포함한다.
3차원 영상이 좌시점 영상 및 우시점 영상에 대한 정보를 모두 수록하기 위해, 3차원 영상의 한 장의 프레임에 좌시점 영상 및 우시점 영상이 배열되어 있는 방식이 있다. 또한, 3차원 영상의 시퀀스가 좌시점 영상의 프레임 및 우시점 영상의 프레임이 번갈아 반복되는 방식 또는 좌시점 영상 필드 및 우시점 영상 필드가 번갈아 반복되는 방식이 있다. 이하, 3차원 영상 중 좌시점 영상 및 우시점 영상이 배열되어 있는 방식을 3차원 영상 포맷이라 일컫는다.
포맷 판별부(120)는, 입력 영상 중 3차원 영상을 분석하여, 입력 영상의 3차원 영상 포맷을 판별한다. 포맷 판별부(120)는 3차원 영상을 분석하여 3차원 영상의 변이(disparity) 정보 또는 주변 화소값 간 상관도 정보를 추정한다. 포맷 판별부(120)는 추정된 변이 정보 및 주변 화소값 간 상관도 정보 중 적어도 하나를 이용하여 3차원 영상의 3차원 영상 포맷을 판별한다. 입력 영상이 2차원 영상인 경우, 3차원 영상 포맷이 판별되지는 않는다.
일 실시예에 따른 3차원 영상 포맷 장치(100)의 포맷 판별부(120)는, 좌시점 영상 및 우시점 영상 간의 변이 정보 또는 주변 화소값 간 상관도 정보를 이용하여, 3차원 영상의 3차원 영상 포맷이 사이드 바이 사이드 포맷(Side by Side Format), 탑 앤 바텀 포맷(Top and Bottom Format), 수평 라인 인터리브드 포맷(Horizontal Line Iinterleaved Format), 수직 라인 인터리브드 포맷(Vertical Line Interleaved Format) 및 체커 보드 포맷(Checker Board Format) 중 어느 하나인지 판별할 수 있다. 또한, 포맷 판별부(120)는 3차원 영상의 필드 또는 프레임별 변이 정보를 이용하여 필드 시퀀셜 포맷(Field Sequential Format) 또는 프레임 시퀀셜 포맷(Frame Sequential Format)인지 판별할 수 있다.
예를 들어, 포맷 판별부(120)는 좌시점 영상 및 우시점 영상 간의 변이 정보를 이용하여, 3차원 영상 포맷이 사이드 바이 사이드 포맷, 탑 앤 바텀 포맷, 수평 라인 인터리브드 포맷 및 수직 라인 인터리브드 포맷 중 어느 하나인지 판별할 수 있다.
또한, 포맷 판별부(120)는 좌시점 영상 및 우시점 영상 간의 주변 화소값 간 상관도 정보를 이용하여, 3차원 영상 포맷이 수평 라인 인터리브드 포맷, 수직 라인 인터리브드 포맷 및 체커 보드 포맷 중 어느 하나인지 판별할 수 있다.
포맷 판별부(120)는 사이드 바이 사이드 포맷 및 탑 앤 바텀 포맷의 판별 성능을 향상시키기 위해, 좌시점 영상 및 우시점 영상 사이의 경계선을 검출하여 이용할 수 있다.
포맷 판별부(120)는 변이 정보 및 주변 화소값 간 상관도 정보 중 하나만을 추정하여 3차원 영상 포맷을 판별하거나, 병렬적으로 변이 정보 및 주변 화소값 간 상관도 정보를 추정하여 3차원 영상 포맷을 판별할 수 있다.
텍스처가 없는 평활한 영역에서는 변이 정보 또는 주변 화소값 간 상관도 정보가 정확히 추정되지 않을 수 있다. 따라서, 포맷 판별부(120)는 텍스처 성분이 포함된 영역에 대해 3차원 영상 포맷을 판별할 영역을 결정하기 위해, 좌시점 영상 및 우시점 영상의 상호 대응되는 영역의 평활도를 산출하여 텍스처 성분이 포함된 영역을 검출할 수 있다.
포맷 판별부(120)의 변이 정보의 추정 방식은, 3차원 영상의 상단 영상 및 하단 영상 간의 차이값을 이용하여 상하 영역에 대한 변이 관련 정보를 추정하고, 좌측 영상 및 우측 영상 간의 차이의 절대치를 이용하여 좌우 영역에 대한 변이 관련 정보를 추정하는 방식을 포함한다.
포맷 판별부(120)는, 추정된 상하 영역 또는 좌우 영역에 대한 변이 관련 정보를 이용하여 3차원 영상 포맷이 사이드 바이 사이드 포맷인지 또는 탑 앤 바텀 포맷인지 판별할 수 있다.
포맷 판별부(120)의 변이 정보의 또 다른 추정 방식은, 3차원 영상의 홀수번째 수직 라인 및 짝수번째 수직 라인 간의 차이의 절대치를 나타내는 수직 라인 차영상을 이용하여 수직 라인에 대한 변이 관련 정보를 추정하고, 3차원 영상의 홀수번째 수평 라인 및 짝수번째 수평 라인 간의 차이의 절대치를 나타내는 수평 라인 차영상을 이용하여, 수평 라인에 대한 변이 관련 정보를 추정하는 방식을 포함한다.
포맷 판별부(120)는 추정된 수직 라인 또는 수평 라인에 대한 변이 관련 정보를 이용하여 3차원 영상 포맷이 수직 라인 인터리브드 포맷인지 또는 수평 라인 인터리브드 포맷인지 판별할 수 있다.
상하 영역 또는 좌우 영역에 대한 변이 관련 정보, 수직 라인 또는 수평 라인에 대한 변이 관련 정보는, 추정 변이, 변이 구간의 최장 임계치, 및 후보 변이 구간의 개수 등에 관한 정보를 포함할 수 있다.
포맷 판별부(120)의 주변 화소값 간 상관도 정보의 추정 방식에 따르면, 3차원 영상 중 수직 방향으로 연속적인 세 화소 간의 수직 방향 화소값 간 상관도 정보가 추정되고, 3차원 영상 중 수평 방향으로 연속적인 세 화소 간의 수평 방향 화소값 간 상관도 정보가 추정된다. 포맷 판별부(120)는 수평 방향 화소값 간 상관도 정보 및 수직 방향 화소값 간 상관도 정보의 크기를 각각 수평 방향 화소값 간 상관도 임계치 및 수직 방향 화소값 간 상관도 임계치와 비교하여, 3차원 영상의 3차원 영상 포맷이 수평 라인 인터리브드 포맷, 수직 라인 인터리브드 포맷 및 체커 보드 포맷 중 어느 하나인지 판별할 수 있다.
수직 방향으로 연속적인 세 화소들 중 상단 화소 및 하단 화소의 차이의 절대치인 제 1 차이값, 상단 화소 및 중앙 화소의 차이의 절대치인 제 2 차이값 및 중앙 화소 및 하단 화소의 차이의 절대치인 제 3 차이값일 때, 수직 화소값 간 상관도 정보는 제 1 차이값에 대한 제 2 차이값 및 제 3 차이값의 합의 비율에 대한 정보로 추정된다. 마찬가지로 수평 방향 화소값 간 상관도 정보는, 수평 방향으로 연속적인 세 화소들 중 두 화소들 간의 차이값들의 비율에 대한 정보이다.
포맷 판별부(120)의 시간적 변이의 변화도 추정 방식에 따르면, 시간축으로 연속하는 세 프레임 중 첫번째 프레임 및 세번째 프레임의 차이의 절대치를 나타내는 제 1 차이 프레임, 첫번째 프레임 및 두번째 프레임의 차이의 절대치를 나타내는 제 2 차이 프레임 및 두번째 프레임 및 세번째 프레임의 차이의 절대치를 나타내는 제 3 차이 프레임을 이용하여, 세 프레임 간의 변이 정보는 제 1 차이 프레임 데이터에 대한 제 2 차이 프레임 데이터 및 제 3 차이 프레임 데이터의 합의 비율로 추정된다.
포맷 판별부(120)는 추정된 시간적 변이의 변화도에 따라 3차원 영상 포맷이 프레임 시퀀셜 포맷인지 판별할 수 있다. 유사한 방식으로 3차원 영상 포맷이 필드 시퀀셜 포맷인지 판별될 수 있다.
포맷 판별부(120)의 경계선 검출 방식에 의하면, 3차원 영상의 상단 영역 및 하단 영역 간의 수평 경계선에 대해 수직 방향으로 배열된 인접한 화소들 간의 차이값들의 비율을 이용하여, 3차원 영상의 3차원 영상 포맷이 탑 앤 바텀 포맷인지 판별할 수 있다.
또한, 포맷 판별부(120)의 경계선 검출 방식에 의하면, 3차원 영상의 좌측 영상 및 우측 영상 간의 수직 경계선에 대해 수평 방향으로 배열된 인접한 화소들 간의 차이값들의 비율을 이용하여, 3차원 영상의 3차원 영상 포맷이 사이드 바이 사이드 포맷인지 판별될 수 있다. 이때 경계선은 제외하고 영상 영역으로 추정되는 영역 중 경계선에 수직하는 방향으로 상호 인접하는 화소들 간의 화소값 간의 상관도가 이용되는 것이 바람직하다.
포맷 판별부(120)는, 복수 개의 연속적인 프레임에 대한 포맷 판별부(120)의 결과를 관찰하여, 제 1 포맷이 연속적으로 판별되다가 소정 개수의 프레임들에 대해 제 2 포맷이 판별되고, 이후 프레임들에 대해 다시 제 1 포맷이 연속적으로 판별되는 경우, 모든 프레임에 대해 제 1 포맷인 것으로 결과 포맷을 수정하여 확정할 수 있다. 이는 3차원 영상 포맷의 급작스러운 변동으로 인한 오류 또는 시청감의 저하를 방지하기 위함이다.
다만, 연속적인 프레임들에 대한 포맷 판별부(120)의 결과가 제 1 포맷에서 제 2 포맷으로 포맷이 변경된 후 소정 개수 이상의 프레임에 대해 제 2 포맷으로 유지된다면, 포맷 판별부(120)의 결과를 그대로 결과 포맷으로 확정할 수 있다.
포맷 변환부(130)는, 3차원 영상으로부터 좌시점 영상 및 우시점 영상을 분리하고, 각각의 2차원 영상을 디스플레이부(140)에서 3차원으로 재생할 수 있는 포맷으로 변환한다.
예를 들어, 프레임 시퀀셜 포맷 또는 필드 시퀀셜 포맷의 3차원 영상이 입력된다면, 포맷 변환부(130)는 해상도 복원 과정은 없이 좌시점 영상 및 우시점 영상을 상호 동기화되도록 디스플레이부(140)로 출력한다.
반면에 3차원 영상이 사이드 바이 사이드 포맷, 탑 앤 바텀 포맷, 수직 라인 인터리브드 포맷, 수평 라인 인터리브드 포맷, 체커 보드 포맷 등의 3차원 영상이라면, 한 장의 프레임에 좌시점 영상 및 우시점 영상이 풀 해상도의 절반의 해상도로 기록되어 있다. 따라서, 좌시점 영상 및 우시점 영상이 3차원 영상에 풀 해상도로 기록되어 있지 않은 경우에는, 포맷 변환부(130)는 좌시점 영상 및 우시점 영상을 분리한 후 풀 해상도로 복원하기 위해 보간 작업(interpolation)을 수행할 수 있다.
입력 영상이 2차원 영상인 경우, 포맷 변환부(130)는 2차원 영상에 대해서는 해상도 복원 과정을 수행할 필요는 없다.
디스플레이부(140)는 포맷 변환된 좌시점 영상 및 우시점 영상을 3차원으로 재생한다.
일 실시예에 따른 3차원 영상 포맷 변환 장치(100)는 웹을 통한 3차원 영상 컨텐츠를 확보할 수 있다. 웹 브라우저를 이용하여 3차원 영상 포맷을 검색하면, 웹을 통해 공유되어 있는 해당 3차원 영상 포맷의 3차원 영상 컨텐츠가 검색될 수 있다. 일 실시예에 따른 3차원 영상 포맷 변환 장치(100)는 웹과 접속되어 있어서, 웹을 통해 검색된 3차원 영상 컨텐츠를 수신받아 3차원으로 디스플레이하기 위해 포맷 변환부(130)를 거쳐 3차원 영상 컨텐츠의 포맷을 변환할 수 있다. 입력된 3차원 영상 컨텐츠의 3차원 영상 포맷을 모르는 경우, 포맷 판별부(120)를 거쳐 3차원 영상 포맷이 판별될 수 있다.
일 실시예에 따른 3차원 영상 포맷 변환 장치(100)는 웹을 통해 획득한 3차원 영상 컨텐츠를 웹 브라우저 상에서 디스플레이할 수 있다. 웹 브라우저 상의 웹 페이지 창은 2차원 영상 컨텐츠 및 3차원 영상 컨텐츠가 혼재해 있을 수 있으므로, 일 실시예에 따른 3차원 영상 포맷 변환 장치(100)는 2차원 영상 컨텐츠를 2차원으로 디스플레이하고 3차원 영상 컨텐츠를 3차원으로 디스플레이할 수 있다.
3차원 영상 포맷 변환 장치(100)는 웹 페이지 상에서 3차원 영상 컨텐츠의 위치를 직접 검출하거나, 또는 웹 페이지 제공자로부터 3차원 영상 컨텐츠의 위치에 대한 정보를 전송받을 수 있다.
또한, 3차원 영상 포맷 변환 장치(100)는 3차원 영상 컨텐츠에 대해 판별된 3차원 영상 포맷에 대한 정보를 웹 브라우저로 제공하여, 3차원 영상 컨텐츠가 웹 브라우저 창에서 3차원으로 디스플레이되도록 할 수 있다.
일 실시예에 따른 3차원 영상 포맷 변환 장치(100)는 별도의 3차원 영상 포맷에 대한 정보 없이도, 3차원 영상을 분석하여 3차원 영상 포맷을 추정할 수 있다. 따라서, 3차원 영상 포맷에 대한 정보를 전송하기 위한 별도의 저장 공간, 별도의 전송 채널이 필요 없으며, 보다 정확한 3차원 영상 디스플레이가 보장될 수 있다.
도 2 는 3차원 영상의 부복호화 시스템의 블록도를 도시한다.
3차원 영상의 부복호화 시스템(200)은 MPEG 부호화부(230) 및 전송/기록부(240)를 포함하는 송신단, 및 수신/복원부(250) 및 MPEG 복호화부(260)를 포함하는 수신단으로 구성된다.
3차원 영상 포맷 중 수직 라인 인터리브드 포맷(201)의 홀수번째 수직 라인(202) 및 짝수번째 수직 라인(203)의 화소들은 각각 좌시점 영상 및 우시점 영상의 데이터이다. 수평 라인 인터리브드 포맷(204)은 홀수번째 수평 라인 및 짝수번째 수평 라인에 각각 좌시점 영상 데이터 및 우시점 영상 데이터가 번갈아 반복되도록 나열된다. 또는 필드 시퀀셜 포맷은, 홀수번째 필드(205) 및 짝수번째 필드(206)가 각각 좌시점 영상 필드 및 우시점 영상 필드로 저장된다.
이러한 여러가지 3차원 영상 포맷들(201, 211, 221)의 3차원 영상은 MPEG 부호화부(230)로 입력되어 MPEG(Moving Picture Expert Group) 부복호화 방식에 따라 압축되어 부호화되고, 전송/기록부(240)를 통해 네트워크를 통해 송신단으로부터 수신단으로 전송되거나 기록매체에 기록된다. 수신단의 수신/복원부(250)는 부호화된 3차원 영상을 수신하고, MPEG 복호화부(260)는 MPEG 부복호화 방식에 따라 복호화하여 3차원 영상(270)을 복호화해 낸다.
복호화된 3차원 영상(270)의 3차원 영상 포맷은, 송신단에서 전송된 3차원 영상의 3차원 영상 포맷(201, 211, 221)에 상응한다.
도 3 은 3차원 영상의 생성 및 부복호화 시스템의 블록도를 도시한다.
3차원 영상 부복호화 시스템(300)는 스테레오스코픽 영상 전처리부(320), MPEG 부호화부(230), 전송/기록부(240)를 포함하는 송신단, 수신/복원부(250), MPEG 복호화부(260) 및 스테레오스코픽 영상 후처리부(370)를 포함하는 수신단으로 구성된다. 스테레오스코픽 영상 전처리부(320)는 픽셀 구조 변환부(322) 및 프레임/필드 변환부(324)를 포함하고, 스테레오스코픽 영상 후처리부(370)는 필드/프레임 변환부(374) 및 픽셀 구조 변환부(372)를 포함한다.
3차원 영상은 좌시점 영상 및 우시점 영상이 혼합되어 구성되어 있다. 따라서, 좌시점 영상 신호(311) 및 우시점 영상 신호(312)가 개별적으로 입력되면, 스테레오스코픽 영상 전처리부(320)는 픽셀 구조 변환부(322) 및 프레임/필드 변환부(324)를 통해 좌시점 영상 및 우시점 영상이, 한 프레임 내에 화소 단위로 혼합되거나, 프레임 또는 필드 단위로 혼합되도록 3차원 영상 포맷이 생성된다.
스테레오스코픽 영상 전처리부(320)를 통해 생성된 3차원 영상 포맷의 3차원 영상은 MPEG 부호화부(230)를 통해 압축 및 부호화되어 전송/기록부(240)를 통해 송신단으로부터 수신단으로 전송되거나 기록 매체에 기록된다.
수신단의 수신/복원부(250)는 부호화된 3차원 영상을 수신하고, MPEG 복호화부(260)는 MPEG 부복호화 방식에 따라 3차원 영상을 복호화하여 복원해낸다. 스테레오스코픽 영상 후처리부(370)는 필드/프레임 변환부(374) 및 픽셀 구조 변환부(372)를 거쳐 3차원 영상 포맷에 따라 좌시점 영상 및 우시점 영상으로 분리한다. 분리된 좌시점 영상 및 우시점 영상은 디스플레이 장치에서 3차원으로 디스플레이될 수 있도록 변환되어, 3차원 디스플레이 가능한 좌시점 영상 신호(381) 및 우시점 영상 신호(382)가 출력된다.
도 4 는 3차원 영상의 3차원 영상 포맷의 종류를 도시한다.
전술된 3차원 영상 부복호화 시스템들(200, 300)이 3차원 영상으로부터 좌시점 영상 및 우시점 영상을 올바르게 분리하여야, 3차원 영상을 3차원으로 디스플레이할 수 있다. 3차원 영상의 3차원 영상 포맷은 3차원 영상에서 좌시점 영상 및 우시점 영상이 어떠한 방식으로 배열되어 있는지를 나타낸다.
3차원 영상 포맷의 예로는, 사이드 바이 사이드 포맷, 탑 앤 바텀 포맷, 수평 라인 인터리브드 포맷, 수직 라인 인터리브드 포맷, 프레임/필드 시퀀셜 포맷 및 체커 보드 포맷 등이 있다.
사이드 바이 사이드 포맷은, 3차원 영상 프레임(410)의 좌측 영역(412) 및 우측 영역(414)에 서로 대응하는 좌시점 영상 및 우시점 영상이 나란히 배열된다. 좌시점 영상 및 우시점 영상이 배열되는 순서는 초기 설정에 따라 좌측/우측 영역 또는 우측/좌측 영역의 순서로 변경될 수 있다. 따라서, 좌측 영역과 우측 영역 간의 상관도가 크며, 좌측 영역 및 우측 영역 사이의 수직 경계선에서 고주파의 불연속선이 존재한다.
사이드 바이 사이드 포맷은, 구동을 위해 최소한 필요한 메모리가 가장 적고 현존하는 기록 매체를 재사용할 수 있어서 가장 널리 이용되고 있는 3차원 영상 포맷이다. 다만, 해상도가 풀 해상도의 절반으로 축소되므로 화질이 열화되는 단점이 있다.
탑 앤 바텀 포맷은, 3차원 영상 프레임(420)의 상단 영역(422) 및 하단 영역(424)에 서로 대응하는 좌시점 영상 및 우시점 영상이 나란히 배열된다. 좌시점 영상 및 우시점 영상이 배열되는 순서는 초기 설정에 따라 상단/하단 영역 또는 하단/상단 영역의 순서로 변경될 수 있다. 따라서, 상단 영역과 하단 영역 간의 상관도가 크며, 상단 영역 및 하단 영역 사이의 수평 경계선에서 고주파의 불연속선이 존재한다.
탑 앤 바텀 포맷은 현존하는 기록 매체를 재사용할 수 있다. 다만, 해상도가 풀 해상도의 절반으로 축소되므로 화질이 열화되며, 영상 처리시 프레임 메모리가 추가적으로 필요하다는 단점이 있다.
수평 라인 인터리브드 포맷은, 3차원 영상 프레임(430)의 홀수번째 수평 라인(432) 및 짝수번째 수평 라인(434)에 서로 대응하는 좌시점 영상 및 우시점 영상이 나란히 배열된다. 좌시점 영상 및 우시점 영상이 배열되는 순서는 초기 설정에 따라 홀수/짝수번째 수평 라인 또는 짝수/홀수번째 수평 라인의 순서로 변경될 수 있다. 따라서, 좌시점 영상 및 우시점 영상 간의 변이가 큰 영역에서, 인접하는 수평 라인들 간에는 고주파 성분이 발생한다.
수평 라인 인터리브드 포맷은, 인터레이싱 주사 방식의 스테레오 디스플레이(Interlaced stereo display type)에 최적화된 3차원 영상 포맷이다. 다만, 해상도가 풀 해상도의 절반으로 축소되므로 화질이 열화되고, 현존하는 기록매체 또는 코덱에 적용될 수 없다는 단점이 있다.
수직 라인 인터리브드 포맷은, 3차원 영상 프레임(440)의 홀수번째 수직 라인(442) 및 짝수번째 수직 라인(444)에 서로 대응하는 좌시점 영상 및 우시점 영상이 나란히 배열된다. 좌시점 영상 및 우시점 영상이 배열되는 순서는 초기 설정에 따라 홀수/짝수번째 수직 라인 또는 짝수/홀수번째 수직 라인의 순서로 변경될 수 있다. 따라서, 좌시점 영상 및 우시점 영상 간의 변이가 큰 영역에서, 인접하는 수직 라인들 간에는 고주파 성분이 발생한다.
수직 라인 인터리브드 포맷은, 패럴랙스 배리어 방식(Parallax Barrier type)의 스테레오 디스플레이에 최적화된 3차원 영상 포맷이다. 다만, 해상도가 풀 해상도의 절반으로 축소되므로 화질이 열화되고, 현존하는 기록 매체 또는 코덱에 적용될 수 없다는 단점이 있다.
프레임/필드 시퀀셜 포맷은, 3차원 영상 프레임/필드 시퀀스(450)의 홀수번프레임 또는 필드(452) 및 짝수번째 프레임 또는 필드(454)에 서로 대응하는 좌시점 영상 및 우시점 영상이 나란히 배열된다. 좌시점 영상 및 우시점 영상이 배열되는 순서는 초기 설정에 따라 홀수/짝수번째 프레임 또는 필드 또는 짝수/홀수번째 프레임 또는 필드의 순서로 변경될 수 있다. 따라서, 프레임/필드 시퀀셜 포맷에서는, 프레임마다 주기적으로 화소값과 움직임 벡터가 변동된다.
프레임 시퀀셜 포맷의 경우 2차원 영상 시퀀스와 동일한 화질을 유지될 수 있다. 다만 데이터 레이트(data rate) 및 하드웨어 코스트가 두배로 증가하는 단점이 있다.
체커 보드 포맷은, 3차원 영상 프레임(460)의 화소 단위로, 수평 방향의 화소들(462, 464) 및 수직 방향의 화소들(462, 466)에 서로 대응하는 좌시점 영상 및 우시점 영상이 번갈아 배열된다. 좌시점 영상 및 우시점 영상이 배열되는 순서는 초기 설정에 따라 수평/수직 방향의 첫번째/두번째 화소 또는 두번째/첫번째 화소의 순서로 변경될 수 있다. 따라서, 체커 보드 포맷에서는, 전방향(omni-direction)으로 고주파 성분이 발생한다.
체커 보드 포맷에 대해 보간 작업을 수행하는 경우, 다른 3차원 영상 포맷에 비해 월등한 성능의 결과가 출력될 수 있다. 다만 현존하는 기록 매체 또는 코덱에 적용되기 어렵다. 즉, MPEG 부호화 방식에 취약한 단점이 있다.
도 5 는 일 실시예에 따른 3차원 영상 포맷 변환 장치 중 포맷 판별부의 상세 동작을 도시한다.
일 실시예에 따른 3차원 영상 포맷 변환 장치(100)의 포맷 판별부(120)는 입력 영상(510)의 3차원 영상 포맷을 판별하는데 있어서 여러 단계의 판별 과정을 거칠 수 있다. 포맷 판별부(120)의 상세 블록도(500)는 변이 정보 및 주변 화소값 간 상관도 정보를 모두 이용하여, 3차원 영상 포맷을 사이드 바이 사이드 포맷, 탑 앤 바텀 포맷, 수직 라인 인터리브드 포맷, 수평 라인 인터리브드 포맷, 체커 보드 포맷 및 프레임 시퀀셜 포맷 중 하나로 결정할 수 있는 경우에 해당한다.
포맷 판별부(120)의 상세 블록도(500) 중 변이 정보 추정을 통한 포맷 판별 모듈(530)은 상하 영역 또는 좌우 영역에 대한 변이 관련 정보를 추정하고, 추정된 변이 정보를 이용한 사이드 바이 사이드 포맷의 체크 모듈(532) 및 탑 앤 바텀 포맷의 체크 모듈(534)을 포함한다. 또한 수직 라인 또는 수평 라인에 대한 변이 정보 추정을 통한 포맷 판별 모듈(530)은, 추정된 변이 정보를 이용한 수직 라인 인터리브드 포맷의 체크 모듈(536) 및 수평 라인 인터리브드 포맷의 체크 모듈(538)을 포함한다.
주변 화소값 간 상관도 정보 추정을 통한 포맷 판별 모듈(540)은 수평 방향 화소값 간 상관도 정보 및 수직 방향 화소값 간 상관도 정보 등의 주변 화소값 간 상관도 정보를 추정하고, 추정된 주변 화소값 간 상관도 정보를 이용한 수평 방향 화소값 간 상관도 체크 모듈(542) 및 수직 방향 화소값 간 상관도 체크 모듈(544)을 포함한다.
경계선 검출을 통한 포맷 판별 모듈(550)은 수평 경계선 검출 모듈(552) 및 수직 경계선 검출 모듈(554)을 포함한다.
프레임 시퀀스 체크 모듈(570)은 프레임간 시간적 변이의 변화도를 추정하여, 추정된 시간적 변이의 변화도를 이용한 프레임 시퀀셜 포맷 체크 모듈(572)을 포함한다. 프레임 시퀀스 체크 모듈(570)의 연산을 위해서는 셋 이상의 연속적인 프레임이 필요하므로 둘 이상의 지연기 및 메모리(560, 565)를 거쳐 프레임들이 입력된다.
변이 정보 및 주변 화소값 간 상관도 정보는 좌시점 영상 및 우시점 영상의 화소값 사이에 차이가 있는 경우 유효하므로, 평활한 지역에서는 변이 정도 또는 주변 화소값 간 상관도 정보를 이용한 3차원 영상 포맷 판별 성능이 크게 감소한다. 따라서, 유효 라인 결정 모듈(520)은, 좌시점 영상 및 우시점 영상 간의 평활도를 이용하여, 변이 정보 또는 주변 화소값 간 상관도 정보를 계산할 대상이 되는 유효 라인을 결정한다. 소정 영역의 평활도는 영역 내의 화소값의 분산값 또는 소벨 연산자(sobel operator) 등의 다양한 필터를 이용하여 산출될 수 있다.
유효 라인 결정 모듈(520)은 유효 라인 정보를 변이 정보 추정을 통한 포맷 판별 모듈(530), 주변 화소값 간 상관도 정보 추정을 통한 포맷 판별 모듈(540), 경계선 검출을 통한 포맷 판별 모듈(550) 및 프레임 시퀀스 체크 모듈(570)에 출력하여, 유효 라인에 대해 3차원 영상 포맷 판별 연산이 수행되도록 할 수 있다.
3차원 영상 포맷 체크 결과들이 비교기를 거쳐 상호 비교되어 판별 가능성이 상대적으로 높은 결과가 포맷 결정 모듈(580)에 입력된다. 즉, 변이 정보 추정을 통한 포맷 판별 모듈(530)의 사이드 바이 사이드 포맷의 체크 모듈(532) 및 탑 앤 바텀 포맷의 체크 모듈(534)의 결과들이 비교기(535)를 통해 상호 비교되어 판별 가능성이 상대적으로 높은 결과가 포맷 결정 모듈(580)에 입력되고, 변이 정보 추정을 통한 포맷 판별 모듈(530)의 수직 라인 인터리브드 포맷의 체크 모듈(536) 및 수평 라인 인터리브드 포맷의 체크 모듈(538)의 결과들이 비교기(539)를 통해 상호 비교되어 판별 가능성이 상대적으로 높은 결과가 최종 포맷 결정 모듈(580)에 입력된다.
또한, 주변 화소값 간 상관도 정보 추정을 통한 포맷 판별 모듈(540)의 수평 방향 화소값 간 상관도 체크 모듈(542) 및 수직 방향 화소값 간 상관도 체크 모듈(544)의 결과들은 비교기(545)를 거쳐 상호 비교되어 판별 가능성이 상대적으로 높은 결과가 포맷 결정 모듈(580)에 입력되고, 경계선 검출을 통한 포맷 판별 모듈(550)의 수평 방향 경계선 검출 모듈(552) 및 수직 방향 경계선 검출 모듈(554)의 결과가 비교기(555)를 거쳐 상호 비교되어 판별 가능성이 상대적으로 높은 결과가 최종 포맷 결정 모듈(580)에 입력된다.
또한, 프레임 시퀀스 체크 모듈(570)의 프레임 시퀀셜 포맷 체크 모듈(570)의 판별 결과가 최종 포맷 결정 모듈(580)에 입력된다.
최종 포맷 결정 모듈(580)은 변이 정보를 이용한 사이드 바이 사이드 포맷 또는 탑 앤 바텀 포맷의 체크 결과, 변이 정보를 이용한 수직 라인 인터리브드 포맷 및 수평 라인 인터리브드 포맷의 체크 결과, 수평 방향 화소값 간 상관도 및 수직 방향 화소값 간 상관도의 체크 결과, 수평 경계선 및 수직 경계선의 검출 결과 및 프레임 시퀀셜 포맷의 체크 결과를 취합하고 비교하여 최종 3차원 영상 포맷을 확정한다. 확정된 3차원 영상 포맷 정보는 3차원 영상 포맷 변환 모듈(590)로 출력되어 디스플레이 장치에서 3차원으로 디스플레이 가능한 포맷으로 변환한다.
또한, 이전 프레임들에 대해 판별된 3차원 영상 포맷 정보(585)를 관찰하여, 판별 결과의 오류가 관찰된다면 수정하여 보다 정확한 3차원 영상 포맷 정보가 확정될 수 있다.
포맷 판별부(120)의 상세 블록도(500)는 변이 정보, 주변 화소값 간 상관도 정보, 경계선, 프레임 시퀀스 체크 과정을 모두 고려하여 3차원 영상 포맷을 결정하였지만, 일 실시예에 따른 3차원 영상 포맷 변환 장치(100)는 시스템 환경 또는 사용자 설정에 변이 정보, 주변 화소값 간 상관도 정보, 경계선, 프레임 시퀀스 체크 과정 중 하나 이상의 정보를 이용하여 3차원 영상 포맷을 판별할 수도 있다.
이하, 도 6a 내지 14를 참조하여 변이 정보 또는 주변 화소값 간 상관도 정보를 이용한 3차원 영상 포맷 판별 방법이 상술된다. 구체적으로, 도 6a, 6b, 6c, 6d, 7a 및 7b을 참조하여, 변이 정보 추정 방법 및 추정된 변이 정보를 이용한 사이드 바이 사이드 포맷 체크/탑 앤 바텀 포맷 체크 방법 및 수직 라인 인터리브드 포맷 체크/수평 라인 인터리브드 포맷 체크 방법이 상술되고, 도 8a, 8b 및 9를 참조하여 주변 화소값 간 상관도 정보 추정 방법 및 수평 방향 화소값 간 상관도 체크/수직 방향 화소값 간 상관도 체크의 결과 비교 및 수직 라인 인터리브드 포맷/수평 라인 인터리브드 포맷/체커 보드 포맷의 판별 방법이 상술된다.
또한, 도 10a, 10b, 11a, 11b, 12a 및 12b을 참조하여 경계선 검출 방식 및 이를 이용한 사이드 바이 사이드 포맷 및 탑 앤 바텀 포맷의 판별 방법이 상술된다. 도 13a, 13b 및 14를 참조하여, 프레임 시퀀셜 포맷 판별 방법이 상술된다.
도 6a 는 일 실시예에 따른 3차원 영상의 좌우 영역에 대한 변이 정보 추정 방식을 도시한다.
포맷 판별부(120)는 입력 영상의 3차원 영상 포맷이 사이드 바이 사이드 포맷인지 판별하기 위해, 3차원 영상을 좌측 영역과 우측 영역으로 나누어, 양 영역 간의 화소값의 차이를 산출하여, 사이드 바이 사이드 포맷의 3차원 영상에서 발생하는 변이 형태인지 확인한다.
사이드 바이 사이드 포맷의 3차원 영상(600)을 예로 설명하면, 좌측 영역(602) 및 우측 영역(604)은 각각 좌시점 영상 또는 우시점 영상에 해당한다. 좌시점 영상 및 우시점 영상은 동일한 피사체에 대한 영상 정보를 수록하고 있지만, 동일한 눈높이에서도 좌시점 영상 및 우시점 영상이 시선 방향의 차이에 따라 약간의 차이가 발생한다. 따라서, 좌시점 영상 및 우시점 영상의 서로 대응하는 화소 간에는 소정 크기 이상의 변이가 발생할 수 있다.
3차원 영상(600) 상에서는, 소정 수평 라인(610)에서 서로 대응하는 좌시점 영상 화소 및 우시점 영상 화소의 조합들(611, 613, 615, 617, 619)이 도시되어 있다. 서로 대응하는 좌시점 영상 화소 및 우시점 영상 화소의 조합들(611, 613, 615, 617, 619)은 각각 소정 크기 이상의 변이가 발생할 수 있다.
3차원 영상의 좌측 영역 및 우측 영역의 차이값은 아래 수학식 1에 따른다.
[수학식 1]
Idiff(i, j) = |I(i, j) - I(i, j + width/2)|
수학식 1에서 (i, j)는 화소 위치의 인덱스, I(i, j)는 3차원 영상의 화소값, width 는 3차원 영상(600)의 전체 너비, Idiff(i, j)는 3차원 영상의 좌우 영역 간의 절대 차영상(Absolute differential image)의 화소값을 나타낸다. 3차원 영상의 좌측 영역 및 우측 영역의 절대 차영상의 화소값으로부터 서로 대응하는 좌시점 영상 화소 및 우시점 영상 화소의 변이가 추정될 수 있다.
포맷 판별부(120)는 입력 영상의 공통되는 수평 라인 상의 좌측 영역 및 우측 영역의 상호 대응하는 화소 쌍의 화소값들의 차이의 절대치를 산출하여, 차이의 절대치가 소정 크기 이상의 화소 쌍이 소정 개수 이상 연속되는 것으로 판별된다면, 이 연속되는 화소 쌍의 구간을 사이드 바이 사이드 포맷의 변이 구간으로 추정할 수 있다.
사이드 바이 사이드 포맷이 아닌 3차원 영상이 상기 과정을 통해 변이 구간을 구할 경우 좌측 영역과 우측 영역은 아예 다른 정보를 가지고 있으므로 매우 큰 값을 발생시킨다. 변이 구간의 정보가 임계치보다 작은 경우 사이드 바이 사이드로 판정하고 큰 경우 사이드 바이 사이드 포맷이 아니라고 판정할 수 있다.
도 6b 는 일 실시예에 따른 3차원 영상의 상하 영역에 대한 변이 정보 추정 방식을 도시한다.
포맷 판별부(120)는 3차원 영상의 3차원 영상 포맷이 탑 앤 바텀 포맷인지 판별하기 위해, 3차원 영상을 상단 영역과 하단 영역으로 나누어, 상단 영역 및 하단 영역의 화소값의 차이를 산출하여, 탑 앤 바텀 포맷의 3차원 영상에서 발생하는 변이 형태인지 확인한다.
탑 앤 바텀 포맷의 3차원 영상에서, 상단 영역 및 하단 영역은 각각 좌시점 영상 또는 우시점 영상에 해당한다. 동일한 시선 방향 상에서도 하나의 좌시점 영상 화소와 그에 대응하는 우시점 영상 화소 간에는 변이가 존재한다.
탑 앤 바텀 포맷의 3차원 영상(620)을 예로 설명하면, 상단 영역(622) 및 하단 영역(624)은 각각 좌시점 영상 및 우시점 영상에 해당한다. 3차원 영상(620) 상에서는, 소정 수직 라인(630)에서 서로 대응하는 좌시점 영상 화소 및 우시점 영상 화소의 조합들(631, 633, 635, 637, 639)이 도시되어 있다. 서로 대응하는 좌시점 영상 화소 및 우시점 영상 화소의 조합들(631, 633, 635, 637, 639)은 각각 소정 크기 이상의 변이가 발생할 수 있다.
3차원 영상의 상단 영역 및 하단 영역의 차이값은 아래 수학식 2에 따른다.
[수학식 2]
Idiff(i, j) = |I(i, j) - I(i + height/2, j)|
수학식 2에서 height 는 3차원 영상(620)의 전체 높이, Idiff(i, j)는 3차원 영상의 상하 영역 간의 절대 차영상의 화소값을 나타낸다. 3차원 영상의 상단 영역 및 하단 영역의 절대 차영상의 화소값으로부터, 서로 대응하는 좌시점 영상 화소 및 우시점 영상 화소의 변이가 추정될 수 있다.
즉, 포맷 판별부(120)는 입력 영상의 공통되는 수직 라인 상의 상단 영역 및 하단 영역의 상호 대응하는 화소 쌍의 화소값들의 차이의 절대치를 산출하여, 차이의 절대치가 소정 크기 이상인 화소 쌍이 소정 개수 이상 연속되는 것으로 판별된다면, 이 연속되는 화소 쌍의 구간을 탑 앤 바텀 포맷의 변이 구간으로 추정할 수 있다.
탑 앤 바텀 포맷이 아닌 3차원 영상이 상기 과정을 통해 변이 구간을 구할 경우 상단 영역과 하단 영역은 아예 다른 정보를 가지고 있으므로 매우 큰 값을 발생시킨다. 변이 구간의 정보가 임계치보다 작은 경우 탑 앤 바텀으로 판정하고 큰 경우 탑 앤 바텀 포맷이 아니라고 판정할 수 있다.
도 6c 는 일 실시예에 따른 3차원 영상의 수평 라인에 대한 변이 정보 추정 방식을 도시한다.
포맷 판별부(120)는 3차원 영상의 3차원 영상 포맷이 수평 라인 인터리브드 포맷인지 판별하기 위해, 입력된 3차원 영상을 수평 라인 단위로 나누어 변이를 추정하여, 수평 라인 인터리브드 포맷의 3차원 영상에서 발생하는 변이 형태인지 확인한다.
수평 라인 인터리브드 포맷의 3차원 영상 중, 홀수번째 수평 라인 및 짝수번째 수평 라인은 각각 좌시점 영상 데이터 또는 우시점 영상 데이터에 해당한다.
수평 라인 인터리브드 포맷의 3차원 영상(640)을 예로 들어 설명하기 위해 일부 연속하는 두 수평 라인을 확대한 영역(650)을 살펴보면, 홀수번째 수평 라인(652) 및 짝수번째 수평 라인(654)은 각각 좌시점 영상 데이터 및 우시점 영상데이터에 해당한다. 3차원 영상(640) 상에서는, 서로 대응하는 홀수번째 수평 라인(652) 및 짝수번째 수평 라인(654) 간에는 소정 크기 이상의 변이가 발생할 수 있다.
3차원 영상의 홀수번째 수평 라인 및 짝수번째 수평 라인의 차이값은 아래 수학식 3에 따른다.
[수학식 3]
Idiff(i, j) = |I(i×2, j) - I(i×2 + 1, j)|
수학식 3에서 Idiff(i, j)는 3차원 영상의 수평 라인들 간의 절대 차영상의 화소값을 나타낸다. 3차원 영상의 홀수번째 수평 라인 및 짝수번째 수평 라인의 절대 차영상의 화소값으로부터 서로 대응하는 좌시점 영상 수평 라인 및 우시점 영상 수평 라인의 변이를 추정할 수 있다.
포맷 판별부(120)는, 연속되는 수평 라인들을 포함하는 구간에서 입력 영상의 홀수번째 수평 라인 및 짝수번째 수평 라인의 차이의 절대치가 소정 크기 이상인 것으로 판별된다면, 이 구간을 수평 라인 인터리브드 포맷의 변이 구간으로 추정할 수 있다.
수평 라인 인터리브드 포맷이 아닌 3차원 영상이 상기 과정을 통해 변이 구간을 구할 경우 홀수 번째 수평 라인과 짝수 번째 수평 라인은 매우 유사한 정보를 가지고 있으므로 매우 작은 값을 발생시킨다. 변이 구간의 정보가 임계치보다 큰 경우 수평 라인 인터리브드 포맷으로 판정하고 작은 경우 수평 라인 인터리브드 포맷이 아니라고 판정할 수 있다.
도 6d 는 일 실시예에 따른 3차원 영상의 수직 라인에 대한 변이 정보 추정 방식을 도시한다.
포맷 판별부(120)는 입력 영상의 3차원 영상 포맷이 수직 라인 인터리브드 포맷인지 판별하기 위해, 입력된 3차원 영상을 수직 라인 단위로 나누어 변이를 추정하여, 수직 라인 인터리브드 포맷의 3차원 영상에서 발생하는 변이 형태인지 확인한다.
수직 라인 인터리브드 포맷의 3차원 영상 중, 홀수번째 수직 라인 및 짝수번째 수직 라인은 각각 좌시점 영상 데이터 또는 우시점 영상 데이터에 해당한다.
수직 라인 인터리브드 포맷의 3차원 영상(660)을 예로 들어 설명하기 위해 일부 연속하는 두 수직 라인을 확대한 영역(670)을 살펴보면, 홀수번째 수직 라인(672) 및 짝수번째 수직 라인(674)은 각각 좌시점 영상 데이터 및 우시점 영상데이터에 해당한다. 3차원 영상(660) 상에서는, 서로 대응하는 홀수번째 수직 라인(672) 및 짝수번째 수직 라인(674) 간에는 소정 크기 이상의 변이가 발생할 수 있다.
3차원 영상의 홀수번째 수직 라인 및 짝수번째 수직 라인의 차이값은 아래 수학식 4에 따른다.
[수학식 4]
Idiff(i, j) = |I(i, j×2) - I(i, j×2 + 1)|
수학식 4에서 Idiff(i, j)는 3차원 영상의 수직 라인들 간의 절대 차영상의 값을 나타낸다. 3차원 영상의 홀수번째 수직 라인 및 짝수번째 수직 라인의 절대 차영상의 화소값으로부터, 서로 대응하는 좌시점 영상 수직 라인 및 우시점 영상 수직 라인의 변이를 추정할 수 있다.
포맷 판별부(120)는 복수 개의 수직 라인들을 포함하는 구간에서, 임의의 3차원 영상의 홀수번째 수직 라인 및 짝수번째 수직 라인의 차이의 절대치가 소정 크기 이상인 것으로 판별된다면, 이 구간을 수직 라인 인터리브드 포맷의 변이 구간으로 추정할 수 있다.
수직 라인 인터리브드 포맷이 아닌 3차원 영상이 상기 과정을 통해 변이 구간을 구할 경우 홀수 번째 수직 라인과 짝수 번째 수직 라인은 매우 유사한 정보를 가지고 있으므로 매우 작은 값을 발생시킨다. 변이 구간의 정보가 임계치보다 큰 경우 수직 라인 인터리브드 포맷으로 판정하고 작은 경우 수직 라인 인터리브드 포맷이 아니라고 판정할 수 있다.
도 7a 은 일 실시예에 따른 변이 구간의 추정 방식을 도시한다.
변이 구간이란, 좌시점 영상 및 우시점 영상이라 추정되는 두 영역의 절대 차영상에서 소정 크기 이상의 차이값이 발생하는 연속적인 화소들의 구간을 의미한다. 변이 구간의 길이는 좌시점 영상 및 우시점 영상 간의 상관 관계와 관련된다.
그래프(700)는 좌시점 영상 및 우시점 영상의 대응하는 라인 간의 차이값을 도시한다. 그래프(700)의 가로축은 좌시점 영상 및 우시점 영상의 대응하는 라인 상의 인덱스에 해당하며, 세로축은 0점을 기준으로 상하 방향으로 양수, 음수의 차이값의 크기를 나타낸다.
좌/우시점 영상 간의 라인 간의 차이값은 연속적으로 변이가 발생하는 구간들(710, 712, 714, 716)을 포함할 수 있다. 양수 변이가 연속적으로 발생하는 구간(712, 716) 중 상한 임계치(Hlimit, 720)를 초과하는 구간이 최장 길이(730) 이내에서 발생하여야 변이 구간으로 선택될 수 있다. 마찬가지로, 음수 변이가 연속적으로 발생하는 구간(710, 714) 중 하한 임계치(Llimit, 725)를 밑도는 구간이 최장 길이(730) 이내에서 발생하여야 변이 구간으로 선택될 수 있다.
이는 좌시점 영상 및 우시점 영상 간의 변이를 직접 변이 측정(disparity estimation) 과정을 통해 산출하는 것이 아니라, 좌시점 영상 및 우시점 영상 간의 차이값의 절대치가 크고 연속적인 화소들에 관한 정보를 이용하여 간접적으로 변이를 추정하는 것이다.
또한, 좌시점 영상 및 우시점 영상 간의 시선 방향, 높이의 불일치 등의 문제로 인하여 상응하는 영역에서도 오차가 발생할 수 있다. 따라서, 좌시점 영상 및 우시점 영상 간의 차이값이 상한 임계치 Hlimit를 초과하거나, 하한 임계치 Llimit을 밑도는 경우에만 변이로 인정되고, 연속적인 변이가 소정 길이 이상에서 발생하여야 후보 변이 구간으로서 선택된다. 3차원 영상 내에서 검출된 후보 변이 구간의 총 개수가 집계된다.
3차원 영상의 좌우 영역 간의 변이 구간의 후보 구간의 총 개수 및 상하 영역 간의 변이 구간의 후보 구간의 총 개수가 비교되며, 비교 결과에 따라 3차원 영상 포맷이 사이드 바이 사이드 포맷 및 탑 앤 바텀 포맷 중 하나로 결정될 수 있다.
또한, 3차원 영상의 홀/짝수번째 수평 라인 간의 변이 구간의 후보 구간의 총 개수 및 홀/짝수번째 수직 라인 간의 변이 구간의 후보 구간의 총 개수가 비교되며, 비교 결과에 따라 3차원 영상 포맷이 수평 라인 인터리브드 포맷 및 수직 라인 인터리브드 포맷 중 하나로 결정될 수 있다.
도 7b 은 일 실시예에 따른 변이 정보 추정 방법의 흐름도를 도시한다.
포맷 판별부(120)는 3차원 영상 중 후보 변이 구간의 개수를 집계하고, 후보 구간의 총 개수에 따라 3차원 영상 포맷을 판별할 수 있다.
단계 750에서 좌시점 영상 및 우시점 영상 간의 차영상의 화소값(Idiff(i, j))에 대한 반복적인 변이 구간 개수 집계가 수행된다(Next pel(j++)).
단계 755에서 좌시점 영상 및 우시점 영상 간의 차영상의 화소값의 절대치의 크기를 한계치 THvalid _ diff 와 비교한다(|Idiff(i, j)| > THvalid _ diff). 단계 755에서 한계치 THvalid _ diff는 전술한 상한 임계치 Hlimit 및 하한 임계치 Llimit 의 절대치에 상응하는 값이다. 차영상의 화소값의 절대치가 한계치 THvalid _ diff보다 작거나 같다면 단계 775에서 연속적인 변이의 길이(DisparityRun)를 초기화하고(DisparityRun = 0), 단계 750에서 차영상의 다음 화소에 대해 변이 구간 개수 집계가 수행된다.
단계 755에서 차영상의 화소값의 절대치가 한계치 THvalid _ diff보다 크다면, 단계 760에서 연속적인 변이의 길이를 증가시킨다(DisparityRun++).
단계 765에서, 변이의 개수, 즉 연속적인 변이의 길이(DisparityRun)를 최장 길이(Search Range; SR)와 비교한다( DisparityRun > SR ). 단계 765에서, 연속적인 변이의 길이가 최장 길이보다 길지 않다면, 변이 구간의 후보로 선택되지 않고 단계 750에서 차영상의 다음 화소에 대해 변이 구간 개수 집계가 수행된다.
단계 765에서, 연속적인 변이의 길이가 최장 길이보다 길다면, 단계 770에서, 후보 구간의 개수(DRcount)가 증가한다(DRcount++). 다시 단계 750로 돌아가, 차영상의 다음 화소에 대해 변이 구간 개수 집계가 수행된다.
3차원 영상의 좌우 영역 또는 상하 영역에 대한 3차원 영상 포맷 판별에 대해서, 포맷 판별부(120)는 3차원 영상의 좌우 영역에 대한 변이 구간의 후보 구간의 개수(DRcount)가 변이 구간 개수에 대한 임계치 THSBS _ DRcount보다 작다면, 3차원 영상 포맷을 사이드 바이 사이드 포맷으로 결정할 수 있다. 여기서 임계치 THSBS_DRcount는 사이드 바이 사이드 포맷 판별을 위한 변이 구간 개수에 대한 임계치를 나타낸다.
또한, 포맷 판별부(120)는 3차원 영상의 상하 영역에 대한 변이 구간의 후보 구간의 개수(DRcount)가 임계치 THTNB _ DRcount보다 작다면, 3차원 영상 포맷을 탑 앤 바텀 포맷으로 결정할 수 있다. 임계치 THTNB _ DRcount는 탑 앤 바텀 포맷 판별을 위한 변이 구간 개수에 대한 임계치를 나타낸다.
연속적인 라인들 간의 변이에 대한 3차원 영상 포맷 판별에 대해서, 포맷 판별부(120)는 3차원 영상에 대한 수평 라인에 대한 변이 구간의 후보 구간의 개수(DRcount)가 변이 구간 개수에 대한 임계치 THHOR _ DRcount보다 크다면, 3차원 영상 포맷을 수평 라인 인터리브드 포맷으로 결정할 수 있다. 임계치 THHOR _ DRcount는 탑 앤 바텀 포맷 판별을 위한 변이 구간 개수에 대한 임계치를 나타낸다.
또한, 포맷 판별부(120)는 3차원 영상에 대한 수직 라인에 변이 구간의 후보 구간의 개수(DRcount)가 임계치 THVER _ DRcount보다 크다면, 3차원 영상 포맷을 수직 라인 인터리브드 포맷으로 결정할 수 있다. 임계치 THVER _ DRcount는 탑 앤 바텀 포맷 판별을 위한 변이 구간 개수에 대한 임계치를 나타낸다.
3차원 영상의 좌우 영역 또는 상하 영역에 대한 3차원 영상 포맷 판별의 경우에는 큰 변이 구간은 아예 상관 관계가 낮은 영상 간의 변이로 추정될 수 있으므로, 변이 구간의 후보 구간의 개수가 변이 구간 개수에 대한 임계치 THDRcount보다 작은 경우에, 사이드 바이 사이드 포맷 또는 탑 앤 바텀 영역일 가능성이 높다.
하지만, 연속적인 수평 라인들 또는 수직 라인들은 인위적으로 좌우시점 영상이 혼합되어 있으므로 양 라인 간의 차이가 크다. 따라서, 3차원 영상의 수평 라인 또는 수직 라인에 대한 3차원 영상 포맷 판별의 경우에는 변이 구간의 후보 구간의 개수가 변이 구간 개수에 대한 임계치 THDRcount보다 큰 경우에, 수평 라인 인터리브드 포맷 또는 수직 라인 인터리브드 포맷일 가능성이 높다.
포맷 판별부(120)는 잡음 또는 좌우시점의 불일치로 인해 발생하는 변이는 제외하고, 변이 구간을 검출하는 것이 바람직하다.
도 8a 및 8b는 일 실시예에 따른 각각 수평 화소값 간 상관도 정보 추정 방법 및 수직 화소값 간 상관도 정보 추정 방법을 도시한다.
포맷 판별부(120)는 화소 단위로 좌시점 영상 및 우시점 영상이 혼합된 3차원 영상의 경우, 화소들 간의 수평 방향 화소값 간 상관도 및 수직 방향 화소값 간 상관도를을 이용하여 3차원 영상 포맷을 판별할 수 있다.
일 실시예에 따른 포맷 판별부(120)는, 주변 화소값 간 상관도 정보의 일례로써, 주변 화소값들 간의 차이 비율을 이용할 수 있다. 따라서, 수직 방향 화소값 간 상관도 정보의 일례는 수직 방향으로 늘어선 연속적인 화소값들 간의 차이 비율을 이용할 수 있으며, 수평 방향 화소값 간 상관도 정보의 일례는 수평 방향으로 늘어선 연속적인 화소값들 간의 차이 비율을 이용할 수 있다. 이하, '수직 방향으로 늘어선 연속적인 화소값들 간의 차이 비율'을 '수직 방향 화소값 차이 비율'로 지칭하고, '수평 방향으로 늘어선 연속적인 화소값들 간의 차이 비율'을 '수평 방향 화소값 차이 비율'로 지칭한다.
3차원 영상 중 3 x 3 화소들(801, 802, 803, 804, 805, 806, 807, 808, 809)의 경우, 화소들 간의 수평 방향 화소값 차이 비율은 수평 방향으로 나란한 세 화소 간의 차이값의 비율로부터 산출될 수 있다. 수평 방향 화소값 차이 비율을 나타내는 수식은 아래 수학식 5에 따른다.
[수학식 5]
Valhor(i,j) = (|I(i, j-1)-I(i, j)|+|I(i, j)-I(i, j+1)|) / (|I(i, j-1)-I(i, j+1)| + c)
Valhor(i,j)는 수평 방향 화소값 차이 비율이며, c는 상수로 분모가 0이 되는 것을 방지하기 위함이다. 수평 방향으로 나란한 세 화소들(804, 805, 806) 중 좌측 화소(804) 및 우측 화소(806)의 차이의 절대치(810)가 수학식 5 중 분모 중 첫번째 항에 해당하고, 좌측 화소(804) 및 중앙 화소(805)의 차이의 절대치(820)가 수학식 5 중 분자의 첫번째 항, 중앙 화소(805) 및 우측 화소(806)의 차이의 절대치(830)가 수학식 5 중 분자의 두번째 항에 해당한다.
즉, 수평 방향 화소값 차이 비율은, '좌측 화소(804) 및 우측 화소(806)의 차이의 절대치(810)'에 대한, '좌측 화소(804) 및 중앙 화소(805)의 차이의 절대치(820) 및 중앙 화소(805) 및 우측 화소(806)의 차이의 절대치(830)의 합'의 비율에 해당하는 값이다.
마찬가지로 수직 방향 화소값 차이 비율은, 수직 방향으로 나란한 세 화소 간의 차이값의 비율로부터 산출될 수 있다. 수직 방향 화소값 차이 비율을 나타내는 수식은 아래 수학식 6에 따른다.
[수학식 6]
Valver(i,j) = (|I(i-1, j)-I(i, j)|+|I(i, j)-I(i+1, j)|) / (|I(i-1, j)-I(i+1, j)| + c)
Valver(i,j)는 수직 방향 화소값 차이 비율이며, c는 상수로 분모가 0이 되는 것을 방지하기 위함이다. 수직 방향으로 나란한 세 화소들(802, 805, 808) 중 상단 화소(802) 및 하단 화소(808) 간의 차이의 절대치(840)가 수학식 6 중 분모 중 첫번째 항에 해당하고, 상단 화소(802) 및 중앙 화소(805) 간의 차이의 절대치(850)가 수학식 6 중 분자의 첫번째 항, 중앙 화소(805) 및 하단 화소(808) 간의 차이의 절대치(860)가 수학식 6 중 분자의 두번째 항에 해당한다.
즉, 수직 방향 화소값 차이 비율은, '상단 화소(802) 및 하단 화소(808)의 차이의 절대치(840)'에 대한, '상단 화소(802) 및 중앙 화소(805)의 차이의 절대치(850) 및 중앙 화소(805) 및 하단 화소(808)의 차이의 절대치(860)의 합'의 비율에 해당하는 값이다.
수학식 5 및 6을 이용하는 경우, 2차원 영상에 대해 포맷 판별부(120)가 수평/수직 방향 화소값 차이 비율을 산출함으로써 3차원 영상 포맷을 판별하는 경우, 2차원 영상의 경계선 부분에서 3차원 영상으로 잘못 판별해내는 오류를 방지할 수 있다. 영상 경계선에 대해 수학식 5 및 6을 적용하는 경우, 분모에서 큰 결과값이 발생하지만, 마찬가지로 분모에서도 큰 출력값이 발생하므로 수평 방향 화소값 차이 비율(Valhor) 및 수직 방향 화소값 차이 비율(Valver)가 값이, 다른 2차원 영상 부분에 비해 월등히 큰 값으로 산출되지는 않는다.
3차원 영상은 한 화소씩 좌우시점 영상의 화소를 포함하고 있으므로, 수학식 5 및 6의 분모항은 동일 시점 영상의 화소값 간의 절대 차이값에 해당하여 작은 결과값을 갖고, 분자항은 서로 다른 시점 영상의 화소값 간의 절대 차이값들에 해당하여 분모항에 비해 상대적으로 큰 결과값을 갖는다. 따라서, 수학식 5의 수평 방향 화소값 차이 비율 및 수학식 6의 수직 방향 화소값 차이 비율은, 각각 화소 단위로 좌시점 영상 데이터 및 우시점 영상 데이터가 번갈아 반복되는 3차원 영상 포맷에서 큰 결과값을 갖는다.
도 9 는 일 실시예에 따른 주변 화소값 간 상관도 정보에 따른 3차원 영상 포맷 판별 결과를 도시한다.
포맷 판별기(120)는, 주변 화소값 간 상관도 정보로써 입력 영상의 전역 또는 일부분에 대해 수평 방향 화소값 차이 비율 및 수직 방향 화소값 차이 비율을 산출하여, 화소값 차이 비율에 대한 임계치보다 큰 수평 방향 화소값 차이 비율의 개수 및 수직 방향 화소값 차이 비율의 개수를 집계한다. 포맷 판별기(120)는 이 개수들을 비교하여, 입력 영상의 3차원 영상 포맷을 수평 라인 인터리브드 포맷, 수직 라인 인터리브드 포맷 및 체커 보드 포맷 중 하나로 판별할 수 있다.
구체적으로 보면, 화소값 차이 비율 임계치보다 큰 수평 방향 화소값 차이 비율의 개수 Numhor(i, j), 화소값 차이 비율 임계치보다 큰 수직 방향 화소값 차이 비율의 개수 Numver(i, j), 소정 임계치 THpel _ count라고 할 때, 개수의 비교 결과 아래 Case 1, Case 2, Case 3의 경우가 발생한다.
Case 1. 화소값 차이 비율 임계치보다 큰 수평 방향 화소값 차이 비율의 개수가 소정 임계치보다 많고(Numhor(i, j) > THpel _ count), 화소값 차이 비율 임계치보다 큰 수직 방향 화소값 차이 비율의 개수가 소정 임계치보다 적은 경우(Numver(i, j) < THpel _ count)
Case 2. 화소값 차이 비율 임계치보다 큰 수평 방향 화소값 차이 비율의 개수가 소정 임계치보다 적고(Numhor(i, j) < THpel _ count), 화소값 차이 비율 임계치보다 큰 수직 방향 화소값 차이 비율의 개수가 소정 임계치보다 많은 경우(Numver(i, j) > THpel _ count)
Case 3. 화소값 차이 비율 임계치보다 큰 수평 방향 화소값 차이 비율의 개수 및 수직 방향 화소값 차이 비율의 개수가 모두 소정 임계치보다 많은 경우(Numhor(i, j) > THpel _ count, Numver(i, j) > THpel _ count)
화소값 차이 비율 임계치보다 큰 수평 방향 화소값 차이 비율의 개수가 소정 임계치보다 적다면 수평 라인 상의 화소 간의 상관 관계가 큰 것으로 판단될 수 있다. 또한, 화소값 차이 비율 임계치에 비해 큰 수직 방향 화소값 차이 비율의 개수가 소정 임계치보다 적은 경우, 수직 라인 상의 화소 간의 상관 관계가 큰 것으로 분석될 수 있다. 수평 라인 또는 수직 라인들은 상관 관계에 따라 각각 3차원 영상의 좌시점 영상 및 우시점 영상의 상응하는 라인인지 여부가 추정될 수 있다.
따라서, 포맷 판별부(120)는 입력 영상에 대한 수평 방향 화소값 차이 비율 및 수직 방향 화소값 차이 비율을 산출하고 화소값 차이 비율의 크기 및 개수에 기초하여 입력 영상을 3차원 영상으로 판별하고, 3차원 영상 포맷도 판별할 수 있다.
포맷 판별부(120)는 입력 영상의 수직 방향 화소값 차이 비율 및 수평 화소값 차이 비율을 산출한 결과, '화소값 차이 비율 임계치보다 큰 수평 방향 화소값 차이 비율'의 개수만 소정 임계치보다 많은 경우(Case 1)에서, 수평 라인 상의 화소 간의 상관 관계가 작고, 수직 라인 상의 화소 간의 상관 관계는 큰 것으로 판단할 수 있다. 수직 라인들은 큰 상관 관계에 따라 각각 3차원 영상 중 좌시점 영상 및 우시점 영상의 상응하는 라인인지 여부가 추정될 수 있다. 따라서, 포맷 판별부(120)는 입력 영상의 3차원 영상 포맷을 수직 라인 인터리브드 포맷으로 판별한다.
또한 포맷 판별부(120)는, '화소값 차이 비율 임계치보다 큰 수직 방향 화소값 차이 비율'의 개수만 소정 임계치보다 많은 경우(Case 2)에서, 수평 라인 상의 화소 간의 상관 관계가 크고, 수직 라인 상의 화소 간의 상관 관계는 작은 것으로 판단할 수 있다. 수평 라인은 큰 상관 관계에 따라 각각 3차원 영상 중 좌시점 영상 및 우시점 영상의 상응하는 라인인지 여부가 추정될 수 있다. 따라서 포맷 판별부(120)는 입력 영상의 3차원 영상 포맷을 수평 라인 인터리브드 포맷으로 판별한다.
또한 포맷 판별부(120)는, 화소값 차이 비율 임계치보다 큰 수평 방향 화소값 차이 비율의 개수 및 수직 방향 화소값 차이 비율의 개수가 모두 소정 임계치보다 많은 경우(Case 3)에서 수평 라인 상의 화소 간의 화소값 차이 비율 및 수직 라인 상의 화소 간의 상관 관계가 모두 큰 것으로 판단할 수 있다. 따라서 포맷 판별부(120)는 입력 영상의 3차원 영상 포맷을 체커 보드 포맷으로 판별한다.
이상, 일 실시예에 따른 포맷 판별부(120)는, 설명의 편의상 주변 화소값 간 상관도 정보의 일례로써, 주변 화소값들 간의 차이 비율을 이용하였지만, 입력 영상의 소정 화소의 주변 화소들 간의 상관도를 측정하는 방법이 '화소값 간 차이의 비율'에 제한되는 것은 아니다. 주변 화소들 간의 상관도를 측정하기 위해, 화소값들의 비율, 변화량, 분산량, 표준 편차 등 기술 분야에서 널리 이용되는 방법들이 이용될 수도 있다.
도 10a 및 10b 는 일 실시예에 따른 탑 앤 바텀 포맷의 3차원 영상 및 그 확대된 일부 경계면을 도시한다.
탑 앤 바텀 포맷의 3차원 영상(1000)의 경우, 상단 영역(1010) 및 하단 영역(1020)에 각각 좌시점 영상 및 우시점 영상이 배치될 수 있다. 이 경우, 상단 영역(1010) 및 하단 영역(1020) 간의 경계선(1030)에서는 불연속선이 발생하게 된다.
경계선(1030)의 일부 확대 영역(1040)에, 상단 영역(1010)의 두 수평 라인(1012, 1014) 및 하단 영역(1020)의 두 수평 라인(1022, 1024)이 도시되어 있다. 탑 앤 바텀 포맷의 3차원 영상에서는 두 수평 라인(1012, 1014)은 동일 시점의 영상 데이터들을 포함하고, 두 수평 라인(1022, 1024)도 동일 시점이 영상 데이터들을 포함한다. 다만, 경계선(1030)에 인접한 두 수평 라인(1012, 1022)은 서로 다른 시점 영상 데이터들을 포함한다.
따라서, 두 수평 라인(1012, 1022) 상의 화소들(1052, 1072) 간의 차이값 diffbound(1060)는 상대적으로 큰 값을 갖는데 반해, 두 수평 라인(1012, 1014) 상의 화소들(1052, 1054) 간의 차이값 diffupper(1050) 및 두 수평 라인(1022, 1024) 상의 화소들(1072, 1074) 간의 차이값 difflower(1070)는 상대적으로 작은 값을 갖게 된다.
따라서, 입력 영상의 상단 영역 및 하단 영역 간의 경계선 부분을 중심으로 상하 라인들 간의 차이값을 산출하고 그 결과값에 기초하여 입력 영상이 3차원 영상임을 판별하고, 그 3차원 영상 포맷도 판별할 수 있다.
[수학식 7]
Boundhor = ∑ |diffbound|/(|diffupper| + |difflower| + c)
즉, 상단 영역 및 하단 영역 간의 경계선 주위의 수평 라인 간의 불연속성의 정도 Boundhor 는, 경계선 전부 또는 일부에 대해 산출되며 화소별 결과가 합산된다. 즉, 불연속성 특성값 Boundhor 는, '상단 영역의 두 수평 라인 화소들 간의 차이값 diffupper의 절대치 및 하단 영역의 두 수평 라인 화소들 간의 차이값 difflower의 합(|diffupper| + |difflower|)'에 대한 '경계선을 중심으로 한 두 수평 라인 화소들 간의 차이값 절대치(|diffbound|)'의 비율의 화소별 총합으로 산출된다.
포맷 결정부(120)는, 입력 영상의 상하 영역 간의 경계선에 대해 불연속성 특성값 Boundhor를 산출하여 불연속성의 임계치 THhorBound와 비교한다. 불연속성 특성값 Boundhor가 불연속성의 임계치 THhorBound보다 크다면 포맷 결정부(120)는 입력 영상의 3차원 영상 포맷을 탑 앤 바텀 포맷으로 판별할 수 있다.
도 11a 및 11b 는 일 실시예에 따른 사이드 바이 사이드 포맷의 3차원 영상 및 그 확대된 일부 경계면을 도시한다.
사이드 바이 사이드 포맷의 3차원 영상(1100)의 경우, 좌측 영역(1110) 및 우측 영역(1120)에 각각 좌시점 영상 및 우시점 영상이 배치될 수 있다. 이 경우, 좌측 영역(1110) 및 우측 영역(1120) 간의 경계선(1130)에서 불연속선이 발생하게 된다.
경계선(1130)의 일부 확대 영역(1140)에, 좌측 영역(1110)의 두 수직 라인(1112, 1114) 및 우측 영역(1120)의 두 수직 라인(1122, 1124)이 도시되어 있다. 두 수직 라인(1112, 1122) 상의 화소들(1152, 1172) 간의 차이값 diffbound(1160)는 상대적으로 큰 값을 갖는데 반해, 두 수직 라인(1112, 1114) 상의 화소들(1152, 1154) 간의 차이값 diffleft(1150) 및 두 수직 라인(1122, 1124) 상의 화소들(1172, 1174) 간의 차이값 diffright(1170)는 상대적으로 작은 값을 갖게 된다.
따라서, 입력 영상의 좌측 영역 및 우측 영역 간의 경계선 부분을 중심으로 좌우 라인들 간의 차이값을 산출하고 그 결과값에 기초하여 입력 영상이 3차원 영상임을 판별하고, 그 3차원 영상 포맷도 판별할 수 있다.
[수학식 8]
Boundver = ∑ |diffbound|/(|diffleft| + |diffright| + c)
즉, 좌측 영역 및 우측 영역 간의 경계선 주위의 수직 라인들 간의 불연속성의 정도를 나타내는 Boundver 는, 경계선 전부 또는 일부에 대해 산출되며 화소별 결과가 합산된다. 즉, 불연속성 특성값 Boundver 는, 화소별 '좌측 영역의 두 수직 라인 화소들 간의 차이값 diffleft의 절대치 및 우측 영역의 두 수직 라인 화소들 간의 차이값 diffright의 합(|diffleft| + |diffright|)'에 대한 '경계선을 중심으로 한 두 수직 라인 화소들 간의 차이값 절대치(|diffbound|)'의 비율의 화소별 총합으로 산출된다.
포맷 결정부(120)는, 입력 영상의 좌우 영역 간의 경계선에 대한 불연속성 특성값 Boundver를 산출하여 불연속성의 임계치 THverBound와 비교한다. Boundver가 불연속성의 임계치 THverBound보다 크다면 포맷 결정부(120)는 입력 영상의 3차원 영상 포맷을 사이드 바이 사이드 포맷으로 판별할 수 있다.
도 12a 및 12b 는 일 실시예에 따른 경계 영역이 포함된 사이드 바이 사이드 포맷의 3차원 영상 및 그 확대된 일부 경계면을 도시한다.
3차원 영상의 좌우 영역 사이 또는 상하 영역 사이의 경계선에 걸쳐 무의미한 데이터의 불연속선들이 존재할 수 있다. 예를 들어, 사이드 바이 사이드 포맷의 3차원 영상(1200)에서 좌측 영역(1210) 및 우측 영역(1220) 사이의 경계선들이 소정 폭의 경계 영역(1230)일 수 있다.
경계 영역(1230) 주변의 일부 확대 영역(1240)에, 좌측 영역(1210)의 수직 라인들 및 우측 영역(1220)의 수직 라인들이 도시되어 있다. 경계 영역(1230) 부분은 무의미한 데이터이므로 제외하여 불연속성 특성값 Boundver가 산출되어야 한다. 따라서, 경계 영역(1230)을 무시하고, 좌측 영역(1200)의 두 수직 라인(1212, 1224) 상의 화소들 간의 차이값 diffleft(1250) 및 우측 영역(1220)의 수직 라인들(1212, 1214) 상의 화소들 간의 차이값 diffright(1270) 및 경계 영역을 제외한 두 수직 라인들(1212, 1222) 상의 화소들 간의 차이값 diffbound(1260)을 이용하여 불연속성 특성값 Boundver가 산출되어야 한다.
도 12a 및 12b를 참조하여 상술된 경계선의 불연속성 특성값 Boundhor 및 Boundver는 경계선에 인접한 두 라인 상의 화소들 간의 차이값 diffbound 만을 이용하지 않고, 각각 상하 영역의 라인들 상의 화소들 간의 차이값 diffupper 및 difflower, 좌우 영역의 라인들 상의 화소들 간의 차이값 diffleft 및 diffright를 분자 항으로 이용하므로, 일반적인 2차원 영상의 경계면에서 3차원 영상 포맷으로 잘못 판별되는 오류가 발생하지 않도록 개선될 수 있다.
도 13a 및 13b 는 각각 2차원 영상 및 프레임 시퀀셜 포맷의 3차원 영상에 대해, 시간축으로 연속하는 프레임들 간의 화소값의 차이의 평균값의 그래프를 도시한다.
도 13a 및 도 13b의 그래프들은 모두 가로축은 프레임 순서, 세로축은 프레임당 화소값의 평균치를 나타낸다.
도 13a를 관찰하면, 일반적인 2차원 영상 시퀀스는 프레임마다 동일 시점의 영상이므로, 프레임 순서에 따라 프레임별 화소값이 비교적 연속적으로 변동하고 있다. 그러나 도 13b를 관찰하면, 프레임 시퀀셜 포맷의 3차원 영상은 프레임마다 좌시점 영상 및 우시점 영상이 번갈아 배열되므로, 프레임별 화소값이 불연속적으로 변동하고 있다. 이는 좌시점 영상 및 우시점 영상 간의 화소 분포가 상이하기 때문이다.
따라서, 포맷 판별부(120)는 입력 영상 시퀀스의 프레임 간 화소값의 변화 추이를 살펴보면, 입력 영상의 3차원 영상 포맷이 프레임 시퀀셜 포맷인지 판별할 수 있다.
도 14 는 일 실시예에 따른 시간축으로 연속하는 세 프레임들을 이용한 프레임 시퀀셜 포맷의 판별 방법을 도시한다.
포맷 판별부(120)는, 연속하는 시간 t-1의 프레임(1410), 시간 t의 프레임(1420), 시간 t+1의 프레임(1430)이 좌시점 영상 프레임 및 우시점 영상 프레임이 포함된 그룹인지 판별하기 위해, 프레임들(1410, 1420, 1430) 간의 변이를 비교한다. 프레임들(1410, 1420, 1430) 간의 변이 비교는 아래 수학식 9에 따라 비교한다.
[수학식 9]
DFSQ = [diff(t-1, t) + diff(t, t+1)]/[diff(t-1, t+1) + c]
DFSQ 는 프레임 변화량을 나타내고, diff(t, t+1)는 시간 t의 프레임의 화소값 및 시간 t+1의 프레임의 화소값의 차이의 절대치를 나타낸다.
[수학식 10]
diff(t-1, t) = |It -1(i, j)-It(i, j)|
diff(t, t+1) = |It(i, j)-It +1(i, j)|
diff(t-1, t+1) = |It -1(i, j)-It +1(i, j)|
It(i, j)는 시간 t의 프레임의 화소값이다.
즉, 프레임 변화량 DFSQ 는, '시간 t-1의 화소(1415) 및 시간 t+1의 화소(1435) 간의 차이값의 절대치 diff(t-1, t+1)'에 대한, '시간 t-1의 화소(1415) 및 시간 t의 화소(1425) 간의 차이값의 절대치 diff(t-1, t) 및 시간 t의 화소(1425) 및 시간 t+1의 화소(1435) 간의 차이값의 절대치 diff(t, t+1)의 합'의 비율을 나타낸다.
입력 영상 시퀀스가 2차원 영상 시퀀스인 경우, 시간 t-1, t, t+1의 프레임들 중 두 프레임의 화소들 간의 차이값이 크게 변동하지 않으므로 프레임 변화량 DFSQ 는 크지 않은 값으로 산출된다.
하지만 입력 영상 시퀀스가 프레임 시퀀셜 포맷의 3차원 영상 시퀀스인 경우, 시간 t-1의 프레임 및 시간 t+1의 프레임은 동일한 시점 영상의 프레임인 반면, 시간 t의 프레임은 다른 시점 영상의 프레임이다. 따라서, 시간 t-1의 프레임 및 시간 t+1의 프레임의 화소들 간의 차이값의 절대치는 비교적 작은 반면, 시간 t-1의 프레임 및 시간 t의 프레임의 화소들 간의 차이값의 절대치 및 시간 t의 프레임 및 시간 t+1의 프레임의 화소들 간의 차이값의 절대치는 상대적으로 큰 값을 갖는다. 따라서, 프레임 변화량 DFSQ 가 큰 값으로 산출된다.
따라서 포맷 판별부(120)는 입력 영상 시퀀스에 대해 프레임 변화량 DFSQ 를 산출하여 입력 영상 시퀀스의 3차원 영상 포맷을 판별할 수 있다.
도 13a, 13b 및 14를 참조하여 프레임 시퀀셜 포맷에 대해서만 상술되었으나, 필드 시퀀셜 포맷의 3차원 영상도 프레임 시퀀셜 포맷과 유사한 특성을 가지므로 포맷 판별부(120)는 필드에 대해 수학식 8을 적용함으로써 입력 영상이 필드 시퀀셜 포맷인지 판별할 수 있다.
포맷 판별부(120)는, 입력 영상에 대한 3차원 영상 포맷 판별 결과의 정확성을 향상시키기 위해, 입력 영상 시퀀스의 프레임별 판별 결과에 에러가 발생했는지 관찰한 후, 에러 발생 부분을 수정하여 최종 3차원 영상 포맷을 결정할 수 있다. 판별 결과의 에러 발생의 두가지 관찰 방식에 대해 이하 도 15 및 16을 참조하여 상술된다.
도 15 는 일 실시예에 따른 3차원 영상 포맷 판별 결과 중 에러가 발생하는 현상을 도시한다.
입력 영상 시퀀스가 제 1 프레임부터 제 15 프레임을 포함하는 경우, 포맷 판별부(120)는 제 1 프레임부터 제 15 프레임 각각에 대한 변이 정보 또는 주변 화소값 간 상관도 정보를 이용하여 프레임별로 3차원 영상 포맷을 판별한다. 전체 판별 결과(1500) 중, 제 1 판별 구간(1510)에서는 제 1 프레임부터 제 7 프레임까지가 사이드 바이 사이드 포맷으로 판별되고, 제 2 판별 구간(1520)에서는 제 8 프레임이 탑 앤 바텀 포맷으로 판별되고, 제 3 판별 구간(1530)에서는 제 9 프레임 내지 제 15 프레임까지가 사이드 바이 사이드 포맷으로 판별되었다.
이러한 판별 결과에 따라 입력 영상 시퀀스를 3차원으로 디스플레이 가능한 포맷으로 변환된다면, 제 1 프레임 내지 제 15 프레임의 3차원 디스플레이 도중, 제 2 판별 구간(1520)의 제 8 프레임 부분에서 관찰자가 위화감을 느낄 수 있다.
도 16 은 일 실시예에 따른 3차원 영상 포맷 판별 결과의 에러 수정 방식을 도시한다.
포맷 판별부(120)가 제 1 프레임부터 제 15 프레임에 대해 각각의 변이 정보 또는 주변 화소값 간 상관도 정보를 이용하여 프레임별로 3차원 영상 포맷을 판별한 결과(1600)에 따르면, 제 4 판별 구간(1620)에서 제 1 프레임부터 제 7 프레임까지가 사이드 바이 사이드 포맷으로 판별되고, 제 5 판별 구간(1630)에서는 제 8 프레임부터 제 15 프레임까지 탑 앤 바텀 포맷으로 판별되었다.
이 경우, 포맷 판별부(120)는, 제 4 판별 구간(1620)에서 제 7 프레임까지 사이드 바이 사이드 포맷으로 판별하다가, 제 8 프레임에서 탑 앤 바텀 포맷으로 판별 결과가 갑자기 변경되면, 판별 결과를 바로 확정짓지 않고, 소정 개수의 프레임을 포함하는 관찰 구간을 두고, 다음 프레임들의 판별 결과를 더 관찰한다.
즉, 제 8 프레임으로부터 제 11 프레임까지 4개의 프레임을 포함하는 관찰 구간(1630)에서 3차원 영상 포맷 판별 결과를 계속 관찰하여 제 8 프레임의 판별 결과가 계속 유지된다면, 제 12 프레임의 판별 결과부터는 판별 결과를 최종 3차원 영상 포맷으로서 확정될 수 있다. 다만, 관찰 구간(1630)에서의 최종 3차원 영상 포맷은 기존 판별 결과인 사이드 바이 사이드 포맷으로 확정한다.
따라서, 최종 3차원 영상 포맷 판별 결과(1610)에서는, 포맷 판별부(120)의 3차원 영상 포맷 판별 결과(1600)와 달리, 제 1 프레임 내지 제 11 프레임까지 사이드 바이 사이드 포맷으로 최종 확정되고, 제 12 프레임부터 제 15 프레임까지 탑 앤 바텀 포맷으로 최종 확정된다.
판별 결과 관찰에 따른 에러 수정 방식은, 관찰 구간 동안의 소정 개수의 프레임들은 포맷 변환이 지연되지만, 보다 안정적인 포맷 변환 및 디스플레이 결과를 제공할 수 있다.
도 17 은 일 실시예에 따른 포맷 변환 및 3차원 재생을 위한 후처리 과정을 도시한다.
일 실시에에 따른 3차원 영상 포맷 변환 장치(100)가 3차원 TV 시스템(1700)에 적용되면, 3차원 TV 시스템(1700)은 입력 영상의 3차원 영상 포맷을 자동으로 인식하고 변환하여 3차원으로 재생할 수 있다.
3차원 TV 시스템(1700)에서, DVD(Digital Versaile Disc Player)/BD(Blu-lay Disc) 플레이어(1702) 또는 퍼스널 컴퓨터(PC) 또는 셋탑 박스(1704)와 같은 소스 기기로부터 3차원 영상이 입력되고, 입력된 3차원 영상은, 3차원 집적 회로(3-dimensional Integral Circuit; 3DIC)의 포맷 판별부(1710), 포맷 변환부(1720)를 거쳐 3차원 영상이 3차원 디스플레이 가능한 포맷으로 변환된다.
포맷 판별부(1710)는 입력 영상을 분석하여 3차원 영상 포맷를 판별하고 3차원 영상 포맷 정보를 포맷 변환부(1720)로 출력하여, 포맷 변환부(1720)이 정확하게 포맷 변환을 수행하도록 한다.
포맷 변환부(1720)에서 변환된 좌시점 영상 및 우시점 영상은 3차원 영상 인헨서(1730)로 출력되어, 화질 향상을 위한 후처리 또는 3차원 디스플레이 시청시 발생할 수 있는 피로도를 감소시키기 위한 후처리 동작이 수행되고, 최종 좌시점 영상 및 우시점 영상이 디스플레이 기기로 출력된다. 이 경우, 스테레오 싱크 발생기(1740)는 포맷 변환부(1720)의 변환 결과 및 소스 기기로부터의 싱크 신호를 이용하여 좌시점 영상 및 우시점 영상이 정확하게 동기화되어 디스플레이될 수 있도록 스테레오 싱크 신호를 생성하여 출력한다.
일 실시예에 따른 3차원 영상 포맷 변환 장치(100)는 전술된 바와 같이 3차원 디스플레이 시스템의 내부에 탑재되는 하드웨어로 구현될 수 있을 뿐만 아니라, 3차원 영상 포맷 변환 장치(100)에서 구현된 3차원 영상 포맷 판별 방법 및 변환 방법은 소프트웨어로서 퍼스널 컴퓨터의 그래픽 디바이스 드라이버로도 구현될 수도 있다.
도 18 은 일 실시예에 따른 3차원 영상 포맷 변환 방법의 흐름도를 도시한다.
단계 1810에서, 좌시점 영상 및 우시점 영상이 수록된 3차원 영상을 포함하는 영상 시퀀스가 입력된다.
단계 1820에서, 입력 시퀀스 중 3차원 영상의 좌시점 영상 및 우시점 영상 간의 변이 정보 및 주변 화소값 간 상관도 정보 중 적어도 하나를 추정하고, 추정 결과에 기초하여, 입력 영상의 3차원 영상 포맷이 판별된다.
단계 1830에서, 3차원 영상 포맷에 기초하여 좌시점 영상 및 우시점 영상은 디스플레이 장치에서 3차원으로 재생 가능한 포맷으로 변환된다.
단계 1840에서, 포맷 변환된 좌시점 영상 및 우시점 영상이 디스플레이 장치를 이용하여 3차원으로 재생된다.
일 실시예에 따른 3차원 영상 포맷 변환 방법은 도 1 내지 도 17을 참조하여 전술된 바와 같이 일 실시예에 따른 3차원 영상 포맷 변환 장치(100)에 의해 하드웨어로 구현될 수 있다.
도 19a 은 일 실시예에 따라 웹을 통해 3차원 영상 포맷의 3차원 영상 컨텐츠를 검색하는 방식을 도시한다.
일 실시예에 따른 3차원 영상 포맷 변환 방법은, 입력 영상으로서의 3차원 영상을 검색하기 위해 웹을 통해 3차원 영상 검색 서비스를 제공할 수 있다. 3차원 영상의 검색을 지원하는 웹 브라우저 창(1900)은 검색 기능 설정란(1910) 및 검색어 입력란(1920)을 구비하고 있다.
예를 들어, 사이드 바이 사이드 포맷의 3차원 영상을 검색하고자 하는 경우, 검색 기능 설정란(1910) 에서 '3D 검색'을 선택하고, 검색어 입력란(1920)에 3차원 영상 포맷으로서 'Side by side'를 입력하여 3차원 영상을 검색한다. 검색 결과프레임(1930)에는 검색된 사이드 바이 사이드 포맷의 3차원 영상들의 리스트가 표시되고, 그중 하나를 선택하면, 웹 브라우저 창(1900)의 메인 프레임 내에 선택 영상(1940)이 표시된다.
일 실시예에 따른 3차원 영상 포맷 변환 방법은, 웹을 통한 3차원 영상 검색 서비스를 통해, 3차원 영상 자료의 공급이 어려운 경우, 필요한 3차원 영상 포맷의 3차원 영상을 웹에서 검색하여 사용자에게 제공할 수 있다.
도 19b 는 일 실시예에 따라 웹을 통해 3차원 영상 포맷의 3차원 영상을 재생하는 방식을 도시한다.
일 실시예에 따른 3차원 영상 포맷 변환 방법을 통해, 웹 브라우저 창(1950)을 통해 2차원 영상 및 3차원 영상이 혼재된 화면을 표시하는 경우, 2차원 영상 부분은 2차원으로 디스플레이하고, 3차원 영상 부분은 3차원으로 디스플레이하는 서비스가 제공될 수 있다.
3차원 영상의 3차원 영상 포맷은 3차원 영상 포맷 판별 알고리즘을 통해 인지될 수 있다. 웹 브라우저 창(1950)에서, 검색된 3차원 영상들의 리스트(1930) 및 선택 영상(1940)은 3차원 영상인데 반해, 나머지 부분은 2차원 영상이다. 3차원 영상 부분만을 3차원으로 디스플레이하기 위해서는 두 가지 방식이 구현될 수 있다. 또한 웹 브라우저의 3차원 영상 부분을 3차원으로 디스플레이를 위한 두가지 방식이, 일 실시예에 따른 3차원 영상 포맷 변환 장치(100)에 의해 구현될 수 있다.
첫번째 방식으로는, 3차원 영상 포맷 변환 모듈 측에서 3차원 영상 부분의 좌표 등의 위치에 관한 정보를 웹 브라우저의 디스플레이 처리 모듈에 제공하여, 웹 브라우저 자체에서 웹 브라우저 창(1950) 상에서 3차원 영상 부분(1960, 1970)을 3차원으로 디스플레이하게 한다.
첫번째 방식에 따르면, 일 실시예에 따른 영상 입력부(110)에 웹을 통해 2차원 영상 또는 3차원 영상이 별도로 입력되고, 각각의 입력 영상이 표시될 웹 브라우저 창(1950) 내의 위치 정보가 입력될 수 있다. 입력 영상의 위치 정보는 디스플레이부(140)로 전달되고, 포맷 판별부(120)는 입력 영상이 2차원 영상 또는 3차원 영상인지 구별하고, 3차원 영상의 포맷을 판별할 수 있다. 포맷 변환부(130)는 2차원 영상을 포맷 변환없이 디스플레이부(140)로 출력하고, 3차원 영상을 디스플레이부(140)에 의해 3차원 재생이 가능한 영상 포맷으로 변환하여 출력할 수 있다. 디스플레이부(140)는, 웹을 통해 입력된 영상별 위치 정보에 기초하여, 웹 브라우저 창(1950) 중 2차원 영상 부분에서는 2차원으로, 3차원 영상 부분에서는 3차원으로 디스플레이할 수 있다.
둘째 방식으로는, 3차원 영상 포맷 변환 모듈이 웹 브라우저 창을 분석하여 3차원 영상 부분(1960, 1970)의 위치를 인지하여, 3차원 영상 부분(1960, 1970)만 3차원으로 디스플레이하는 방식이다.
둘째 방식에 따르면, 일 실시예에 따른 영상 입력부(110)에 웹을 통해 2차원 영상 또는 3차원 영상이 혼재된 화면의 영상이 입력될 수 있다. 이 경우 포맷 판별부(120)는 입력 영상 중 2차원 영상 부분 및 3차원 영상 부분을 구별하여 각각의 위치 정보를 디스플레이부(140)에게로 출력하고, 3차원 영상 부분의 3차원 영상 포맷을 판별하여 포맷 변환부(130)로 출력할 수 있다. 포맷 변환부(130)는 2차원 영상 부분에 대해서는 포맷 변환없이 2차원 영상을 디스플레이부(140)로 출력하고, 3차원 영상 부분에 대해서는 디스플레이부(140)에 의해 3차원 재생이 가능한 영상 포맷으로 변환하여 디스플레이부(140)로 출력할 수 있다. 디스플레이부(140)는, 포맷 판별부(120)가 제공한 2차원/3차원 영상 부분별 위치 정보에 기초하여, 웹 브라우저 창(1950) 중 2차원 영상 영역에서는 2차원으로, 3차원 영상 영역에서는 3차원으로 디스플레이할 수 있다.
전술된 웹 브라우저 창의 3차원 영상 디스플레이 방식들을 통해, 웹 브라우저 창이 2차원 영상 및 3차원 영상이 공간적으로 혼재하는 화면을 표시하는 경우라도 사용자가 3차원 영상 부분을 3차원으로 관람할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (30)

  1. 좌시점 영상 및 우시점 영상이 수록된 3차원 영상을 포함하는 영상 시퀀스를 입력하는 단계;
    입력 영상 중 상기 3차원 영상의 상기 좌시점 영상 및 상기 우시점 영상 간의 변이 정보 및 주변 화소값 간 상관도 정보 중 적어도 하나를 추정하고, 상기 추정 결과에 기초하여, 상기 3차원 영상 중 상기 좌시점 영상 및 상기 우시점 영상이 배열된 방식을 나타내는 3차원 영상 포맷을 판별하는 단계;
    상기 3차원 영상 포맷에 기초하여 상기 좌시점 영상 및 상기 우시점 영상을 디스플레이 장치에서 3차원으로 재생 가능한 포맷으로 변환하는 단계; 및
    상기 포맷 변환된 상기 좌시점 영상 및 상기 우시점 영상을 상기 디스플레이 장치를 이용하여 3차원으로 재생하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  2. 제 1 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    상기 좌시점 영상 및 상기 우시점 영상 간의 변이 정보를 이용하여, 상기 3차원 영상 포맷이 사이드 바이 사이드 포맷(Side by Side Format), 탑 앤 바텀 포맷(Top and Bottom Format), 수평 라인 인터리브드 포맷(Horizontal Line Iinterleaved Format) 및 수직 라인 인터리브드 포맷(Vertical Line Interleaved Format) 중 어느 하나인지 판별하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  3. 제 1 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    상기 좌시점 영상 및 상기 우시점 영상 간의 주변 화소값 간 상관도 정보를 이용하여, 상기 3차원 영상 포맷이 수평 라인 인터리브드 포맷(Horizontal Line Iinterleaved Format), 수직 라인 인터리브드 포맷(Vertical Line Interleaved Format) 및 체커 보드 포맷(Checker Board Format) 중 어느 하나인지 판별하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  4. 제 2 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    상기 좌시점 영상 및 상기 우시점 영상 간의 주변 화소값 간 상관도 정보를 이용하여, 상기 3차원 영상 포맷이 수평 라인 인터리브드 포맷(Horizontal Line Iinterleaved Format), 수직 라인 인터리브드 포맷(Vertical Line Interleaved Format) 및 체커 보드 포맷(Checker Board Format) 중 어느 하나인지 판별하는 단계; 및
    상기 변이 정보를 이용하여, 상기 3차원 영상 포맷이 필드 시퀀셜 포맷(Field Sequential Format) 또는 프레임 시퀀셜 포맷(Frame Sequential Format)인지 판별하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  5. 제 2 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    상기 좌시점 영상 및 상기 우시점 영상 간의 경계선을 검출하여, 상기 3차원 영상 포맷이 상기 사이드 바이 사이드 포맷 또는 상기 탑 앤 바텀 포맷인 어느 하나인지 판별하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  6. 제 1 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    상기 텍스처 성분이 포함된 영역에 대해 상기 3차원 영상 포맷을 판별할 영역을 결정하기 위해, 상기 좌시점 영상 및 상기 우시점 영상의 상호 대응되는 영역의 평활도를 계산하여 텍스처 성분이 포함된 영역을 검색하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  7. 제 2 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    상기 3차원 영상의 높이를 절반으로 나누어, 상단 영역 및 하단 영역 간의 차이의 절대치를 나타내는 상하 차영상을 이용하여 제 1 변이 정보를 추정하는 단계; 및
    상기 3차원 영상의 너비를 절반으로 나누어, 좌측 영역 및 우측 영역 간의 차이의 절대치를 나타내는 좌우 차영상을 이용하여 제 2 변이 정보를 추정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  8. 제 7 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    상기 제 1 변이 정보 및 상기 제 2 변이 정보에 기초하여, 상기 3차원 영상이 상기 탑 앤 바텀 포맷 또는 상기 사이드 바이 사이드 포맷인지 여부를 판별하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  9. 제 2 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    상기 3차원 영상의 수직 라인들을 홀수번째 및 짝수번째 수직 라인들로 나누어, 홀수번째 수직 라인 및 짝수번째 수직 라인 간의 차이의 절대치를 나타내는 수직 라인 차영상을 이용하여, 상기 제 3 변이 정보를 추정하는 단계; 및
    상기 3차원 영상의 수평 라인들을 홀수번째 및 짝수번째 수평 라인들로 나누어, 홀수번째 수평 라인 및 짝수번째 수평 라인 간의 차이의 절대치를 나타내는 수평 라인 차영상을 이용하여, 상기 제 4 변이 정보를 추정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  10. 제 9 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    상기 제 3 변이 정보 및 상기 제 4 변이 정보에 기초하여, 상기 3차원 영상 이 상기 수직 라인 인터리브드 포맷 또는 상기 수평 라인 인터리브드 포맷인지 여부를 판별하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  11. 제 8 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    상기 상하 차영상의 연속적인 화소값이 제 1 임계치보다 큰 제 1 구간의 간격이 제 1 최장 변이보다 큰 경우, 상기 제 1 구간을 제 1 변이 정보 중 후보 구간으로 선택하는 단계; 및
    상기 좌우 차영상의 연속적인 화소값이 제 2 임계치보다 큰 제 2 구간의 간격이 제 2 최장 변이보다 큰 경우, 상기 제 2 구간을 제 2 변이 정보 중 후보 구간으로 선택하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  12. 제 11 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    상기 제 1 변이 정보의 후보 구간의 총 개수 및 상기 제 2 변이 정보의 후보 구간의 총 개수를 비교하여, 상기 제 1 변이 정보의 후보 구간의 총 개수가 더 작으면 상기 3차원 영상 포맷을 상기 탑 앤 바텀 포맷으로 판별하고, 상기 제 2 변이 정보의 후보 구간의 총 개수가 더 작으면 상기 3차원 영상 포맷을 상기 사이드 바이 사이드 포맷으로 판별하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  13. 제 9 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    상기 수직 라인 차영상의 연속적인 화소값이 제 3 임계치보다 큰 제 3 구간의 간격이 제 3 최장 변이보다 긴 경우, 상기 제 3 구간을 제 3 변이 정보 중 후보 구간으로 선택하고,
    상기 수평 라인 차영상의 연속적인 화소값이 제 4 임계치보다 큰 제 4 구간의 간격이 제 4 최장 변이보다 긴 경우, 상기 제 4 구간을 제 4 변이 정보 중 후보 구간으로 선택하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  14. 제 13 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    상기 제 3 변이 정보의 후보 구간의 총 개수 및 상기 제 4 변이 정보의 후보 구간의 총 개수를 비교하여, 상기 제 3 변이 정보의 후보 구간의 총 개수가 더 크면 상기 3차원 영상 포맷을 상기 수직 라인 인터리브드 포맷으로 판별하고, 상기 제 4 변이 정보의 후보 구간의 총 개수가 더 크면 상기 3차원 영상 포맷을 상기 수평 라인 인터리브드 포맷으로 판별하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  15. 제 3 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    상기 3차원 영상 중 수직 방향으로 연속적인 세 화소 간의 수직 방향 화소값 간 상관도 정보를 추정하는 단계; 및
    상기 3차원 영상 중 수평 방향으로 연속적인 세 화소 간의 수평 방향 화소값 간 상관도 정보를 추정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  16. 제 15 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    화소값 간 상관도 임계치보다 큰 수평 방향 화소값 간 상관도 정보의 개수가 소정 임계치보다 많고, 상기 화소값 간 상관도 임계치보다 큰 상기 수직 방향 화소값 간 상관도 정보의 개수가 상기 소정 임계치보다 적다면, 상기 3차원 영상을 수직 라인 인터리브드 포맷으로 판별하고,
    상기 화소값 간 상관도 임계치보다 큰 수직 방향 화소값 간 상관도 정보의 개수가 상기 소정 임계치보다 크고, 상기 화소값 간 상관도 임계치보다 큰 수평 방향 화소값 간 상관도 정보의 개수가 상기 소정 임계치보다 적다면, 상기 3차원 영상을 수평 라인 인터리브드 포맷으로 판별하고,
    상기 화소값 간 상관도 임계치보다 큰 수직 방향 화소값 간 상관도 정보가 및 수평 방향 화소값 간 상관도 정보가 상기 소정 임계치보다 크다면, 상기 3차원 영상을 체커 보드 포맷으로 판별하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  17. 제 15 항에 있어서,
    상기 수직 방향으로 연속하는 세 화소 중 상단 화소 및 하단 화소의 차이의 절대치인 제 1 차이값, 상기 상단 화소 및 중앙 화소의 차이의 절대치인 제 2 차이값 및 상기 중앙 화소 및 상기 하단 화소의 차이의 절대치인 제 3 차이값을 이용하여, 상기 수직 방향 화소값 간 상관도 정보는 상기 제 1 차이값에 대한 상기 제 2 차이값 및 상기 제 3 차이값의 합의 비율로 나타내며,
    상기 수평 방향으로 연속하는 세 화소 중 좌측 화소 및 우측 화소의 차이의 절대치인 제 4 차이값, 상기 좌측 화소 및 상기 중앙 화소의 차이의 절대치인 제 5 차이값 및 상기 중앙 화소 및 상기 우측 화소의 차이의 절대치인 제 6 차이값을 이용하여, 상기 수평 방향 화소값 간 상관도 정보는 상기 제 4 차이값에 대한 상기 제 5 차이값 및 상기 제 6 차이값의 합의 비율로 나타내는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  18. 제 4 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    상기 3차원 영상 중 시간축으로 연속적인 세 프레임 간의 시간적 변이의 변화도를 추정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  19. 제 18 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    상기 시간축으로 연속하는 세 프레임 중 첫번째 프레임 및 세번째 프레임의 차이의 절대치를 나타내는 제 1 차이 프레임, 상기 첫번째 프레임 및 두번째 프레임의 차이의 절대치를 나타내는 제 2 차이 프레임 및 상기 두번째 프레임 및 상기 세번째 프레임의 차이의 절대치를 나타내는 제 3 차이 프레임을 이용하여, 상기 세 프레임 간의 시간적 변이의 변화도는 상기 제 1 차이 프레임 데이터에 대한 상기 제 2 차이 프레임 데이터 및 상기 제 3 차이 프레임 데이터의 합의 비율로 나타내는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  20. 제 5 항에 있어서, 상기 경계선 검출 단계는,
    상기 3차원 영상의 높이를 절반으로 나누어, 상단 영역 및 하단 영역 간의 수평 경계선의 상단에 수직 방향으로 배열된 인접한 두 화소들 간의 차이의 절대치인 수평 경계선 상단 차이값, 상기 수평 경계선의 하단에 수직 방향으로 배열된 인접한 두 화소들 간의 차이의 절대치인 수평 경계선 하단 차이값, 및 상기 수평 경계선의 상단 화소 및 하단 화소 간의 차이의 절대치인 수평 경계선 차이값을 이용하여, 상기 수평 경계선 상단 차이값 및 상기 수평 경계선 하단 차이값의 합에 대한 상기 수평 경계선 차이값의 비율을 계산하는 단계; 및
    상기 수평 경계선 차이값의 비율의 총합이 수평 경계선 임계치보다 큰 경우 상기 3차원 영상을 상기 탑 앤 바텀 포맷으로 결정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  21. 제 5 항에 있어서, 상기 경계선 검출 단계는,
    상기 3차원 영상의 너비를 절반으로 나누어, 좌측 영역 및 우측 영역 간의 수직 경계선의 좌측에 수평 방향으로 배열된 인접한 두 화소들 간의 차이의 절대치인 수직 경계선 좌측 차이값, 상기 수직 경계선의 우측에 수평 방향으로 배열된 인접한 두 화소들 간의 차이의 절대치인 수직 경계선 우측 차이값, 및 상기 수직 경계선의 좌측 화소 및 우측 화소 간의 차이의 절대치인 수직 경계선 차이값을 이용하여, 상기 수직 경계선 좌측 차이값 및 상기 수직 경계선 우측 차이값의 합에 대한 상기 수직 경계선 차이값의 비율을 계산하는 단계; 및
    상기 수직 경계선 차이값의 비율의 총합이 수직 경계선 임계치보다 큰 경우 상기 3차원 영상을 상기 사이드 바이 사이드 포맷으로 결정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  22. 제 5 항에 있어서, 상기 경계선 검출 단계는,
    상기 경계선을 기준으로 소정 개수 이상의 라인들을 포함하는 경계 영역이 존재하는 경우, 상기 흑색라인을 제외한 영역에서 상기 3차원 영상 포맷을 판별하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  23. 제 1 항에 있어서, 상기 3차원 영상 포맷 판별 단계는,
    상기 3차원 영상의 복수의 프레임들에 대한 3차원 영상 포맷들의 판별 결과로서, 제 1 포맷이 연속적으로 판별되다가 소정 개수의 프레임들에 대해 제 2 포맷이 판별되고, 상기 소정 개수의 프레임들 이후 프레임들에 대해 다시 제 1 포맷이 연속적으로 판별되는 경우, 상기 제 2 포맷이 판별된 소정 프레임들의 개수에 기초하여 상기 제 2 포맷의 판별 결과를 상기 제 1 포맷으로 수정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  24. 제 23 항에 있어서, 상기 3차원 영상 포맷 판별 결과 수정 단계는,
    상기 제 2 포맷이 판별된 후 소정 개수의 프레임 동안 상기 제 2 포맷이 계속하여 판별되는지 여부를 관찰하는 단계; 및
    상기 소정 개수의 프레임에 대해 상기 제 2 포맷의 판별 결과가 유지된다면, 상기 소정 개수의 프레임까지는 상기 제 1 포맷으로 상기 판별 결과를 수정하고, 상기 소정 개수의 프레임 이후의 프레임부터 상기 판별 결과를 상기 제 2 포맷으로 확정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  25. 제 1 항에 있어서, 상기 3차원 영상 포맷 변환 방법은,
    웹을 통해 상기 3차원 영상 포맷을 키워드로 상기 3차원 영상 컨텐츠를 검색하는 단계를 더 포함하고,
    상기 영상 입력 단계는, 상기 웹을 통해 검색된 3차원 영상 컨텐츠를 입력하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  26. 제 25 항에 있어서,
    상기 웹을 통한 3차원 영상 컨텐츠의 검색 단계는, 2차원 영상 및 상기 3차원 영상이 혼재된 영상 컨텐츠를 검색하고,
    상기 영상 입력 단계는, 상기 웹을 통해 검색된 영상 컨텐츠를 입력하고,
    상기 포맷 변환 단계는, 상기 검색 키워드인 3차원 영상 포맷에 기초하여 상기 3차원 영상 부분의 좌시점 영상 및 우시점 영상을 3차원으로 재생 가능한 포맷으로 변환하고,
    상기 3차원 영상 포맷 변환 방법은, 상기 입력된 컨텐츠 중 상기 2차원 영상 부분은 2차원으로 재생하고, 상기 변환된 포맷을 이용하여 상기 3차원 영상 부분을 3차원으로 재생하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  27. 제 26 항에 있어서, 3차원 영상 포맷 변환 방법은,
    상기 3차원 영상 컨텐츠의 제공자로부터 웹 브라우저에게로 상기 영상 컨텐츠 중 상기 3차원 영상 부분의 위치에 대한 정보를 전송받아, 상기 웹 브라우저에서 상기 3차원 영상 부분의 변이 정보 및 주변 화소값 간 상관도 정보 중 적어도 하나의 추정, 상기 3차원 영상 포맷 판별 및 상기 3차원 재생 가능 포맷으로의 변환이 수행되고, 상기 웹 브라우저에서 상기 3차원 영상 부분이 3차원으로 재생하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  28. 제 26 항에 있어서, 상기 3차원 영상 포맷 변환 방법은,
    3차원 디스플레이 장치에서 상기 입력된 영상 컨텐츠 중 상기 3차원 영상 부분의 위치를 검출하는 단계를 더 포함하고,
    상기 3차원 디스플레이 장치가 상기 3차원 영상 부분의 위치에서 상기 포맷 변환된 3차원 영상을 3차원으로 재생하는 것을 특징으로 하는 3차원 영상 포맷 변환 방법.
  29. 좌시점 영상 및 우시점 영상이 수록된 3차원 영상을 포함하는 영상 시퀀스를 입력하는 영상 입력부;
    입력 영상 중 상기 3차원 영상 중 상기 좌시점 영상 및 상기 우시점 영상 간의 변이 정보 및 주변 화소값 간 상관도 정보 중 적어도 하나를 추정하고, 상기 추정 결과에 기초하여, 상기 3차원 영상 중 상기 좌시점 영상 및 상기 우시점 영상이 배열된 방식을 나타내는 3차원 영상 포맷을 판별하는 포맷 판별부;
    상기 3차원 영상 포맷에 기초하여 상기 3차원 영상의 상기 좌시점 영상 및 상기 우시점 영상을 3차원으로 재생 가능한 포맷으로 변환하는 포맷 변환부; 및
    상기 포맷 변환된 좌시점 영상 및 상기 우시점 영상을 3차원으로 재생하는 디스플레이부를 포함하는 것을 특징으로 하는 3차원 영상 포맷 변환 장치.
  30. 제 1 항 내지 제 28 항 중 어느 한 항의 3차원 영상 포맷 변환 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020100059220A 2009-06-23 2010-06-22 자동 3차원 영상 포맷 변환 방법 및 그 장치 KR20100138806A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US21943809P 2009-06-23 2009-06-23
US61/219,438 2009-06-23
KR1020090078841 2009-08-25
KR20090078841 2009-08-25

Publications (1)

Publication Number Publication Date
KR20100138806A true KR20100138806A (ko) 2010-12-31

Family

ID=43353918

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100059220A KR20100138806A (ko) 2009-06-23 2010-06-22 자동 3차원 영상 포맷 변환 방법 및 그 장치

Country Status (7)

Country Link
US (1) US8624897B2 (ko)
EP (1) EP2422526B1 (ko)
JP (1) JP5575891B2 (ko)
KR (1) KR20100138806A (ko)
CN (1) CN102461185B (ko)
MX (1) MX2011012534A (ko)
WO (1) WO2010151049A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101219442B1 (ko) * 2011-03-30 2013-01-11 전자부품연구원 3차원 영상 자동 포맷 변환장치 및 방법

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7804995B2 (en) * 2002-07-02 2010-09-28 Reald Inc. Stereoscopic format converter
JP2008106185A (ja) * 2006-10-27 2008-05-08 Shin Etsu Chem Co Ltd 熱伝導性シリコーン組成物の接着方法、熱伝導性シリコーン組成物接着用プライマー及び熱伝導性シリコーン組成物の接着複合体の製造方法
JP5446913B2 (ja) * 2009-06-29 2014-03-19 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
US9491432B2 (en) * 2010-01-27 2016-11-08 Mediatek Inc. Video processing apparatus for generating video output satisfying display capability of display device according to video input and related method thereof
EP2534844A2 (en) * 2010-02-09 2012-12-19 Koninklijke Philips Electronics N.V. 3d video format detection
JP5424926B2 (ja) * 2010-02-15 2014-02-26 パナソニック株式会社 映像処理装置、映像処理方法
US10448083B2 (en) 2010-04-06 2019-10-15 Comcast Cable Communications, Llc Streaming and rendering of 3-dimensional video
US11711592B2 (en) 2010-04-06 2023-07-25 Comcast Cable Communications, Llc Distribution of multiple signals of video content independently over a network
US9414042B2 (en) * 2010-05-05 2016-08-09 Google Technology Holdings LLC Program guide graphics and video in window for 3DTV
EP2426931A1 (en) * 2010-09-06 2012-03-07 Advanced Digital Broadcast S.A. A method and a system for determining a video frame type
CN102959963A (zh) * 2010-09-20 2013-03-06 联发科技（新加坡）私人有限公司 执行关于3d视频流的播放管理的方法以及相关视频播放系统
WO2012089714A1 (en) * 2010-12-31 2012-07-05 Arcelik Anonim Sirketi A stereoscopic display device comprising a control
PL2472879T3 (pl) * 2010-12-31 2014-03-31 Advanced Digital Broadcast Sa Sposób i system do określania typu ramki wideo
US8600151B2 (en) * 2011-01-03 2013-12-03 Apple Inc. Producing stereoscopic image
US9204123B2 (en) * 2011-01-14 2015-12-01 Comcast Cable Communications, Llc Video content generation
FR2971603A1 (fr) * 2011-02-15 2012-08-17 Thomson Licensing Procede de traitement d’image stereoscopique comprenant une bande noire et dispositif correspondant
CN102137298B (zh) * 2011-03-02 2015-12-09 华为技术有限公司 3d格式描述信息的获取方法和装置
KR20140029454A (ko) * 2011-04-19 2014-03-10 인스티튜트 퓌어 룬트퐁크테크닉 게엠베하 입체 비디오 신호를 디코딩하기 위한 방법 및 시스템
KR101773616B1 (ko) * 2011-05-16 2017-09-13 엘지디스플레이 주식회사 영상처리방법과 이를 이용한 입체영상 표시장치
JP2013005410A (ja) * 2011-06-21 2013-01-07 Sony Corp 画像フォーマット判別装置、画像フォーマット判別方法、画像再生装置および電子機器
TWI481262B (zh) 2011-07-28 2015-04-11 Ind Tech Res Inst 影像編碼系統及影像編碼方法
US20130070051A1 (en) * 2011-09-20 2013-03-21 Cheng-Tsai Ho Video encoding method and apparatus for encoding video data inputs including at least one three-dimensional anaglyph video, and related video decoding method and apparatus
US8994798B2 (en) * 2011-11-17 2015-03-31 Target Brands, Inc. 3D TV display system with sensor detecting an optical tool
KR20130062012A (ko) * 2011-12-02 2013-06-12 삼성전자주식회사 영상처리장치 및 영상처리방법
CN102547344B (zh) * 2011-12-23 2014-07-30 Tcl集团股份有限公司 一种视频格式识别方法及装置
WO2013117001A1 (en) * 2012-02-09 2013-08-15 Thomson Licensing Efficient compression of 3d models based on octree decomposition
CN102665085A (zh) * 2012-03-15 2012-09-12 广州嘉影软件有限公司 一种3d影片格式的自动识别方法及其自动识别装置
JP5817639B2 (ja) * 2012-05-15 2015-11-18 ソニー株式会社 映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置
WO2013180590A1 (en) * 2012-05-29 2013-12-05 Sc Movidius Srl Method and system for detecting frame compatible 3d content
CN102780897A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种单文件视频素材支持3d技术的方法
CN102780895A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种单视频文件到3d视频文件的实现方法
US9361699B2 (en) * 2012-06-27 2016-06-07 Imec Taiwan Co. Imaging system and method
WO2014025295A1 (en) * 2012-08-08 2014-02-13 Telefonaktiebolaget L M Ericsson (Publ) 2d/3d image format detection
CN103593837A (zh) * 2012-08-15 2014-02-19 联咏科技股份有限公司 自动侦测图像格式的方法及其相关装置
CN102821298B (zh) * 2012-08-27 2015-06-17 深圳市维尚视界立体显示技术有限公司 一种3d播放调节自适应的方法、装置和设备
CN102957930B (zh) * 2012-09-03 2015-03-11 雷欧尼斯（北京）信息技术有限公司 一种数字内容3d格式自动识别方法和系统
CN103888839B (zh) * 2012-12-20 2017-03-29 深圳市快播科技有限公司 一种视频播放方法和设备
JP5857346B2 (ja) * 2013-07-30 2016-02-10 株式会社アクセル 画像表示処理装置
US20150054914A1 (en) * 2013-08-26 2015-02-26 Amlogic Co. Ltd. 3D Content Detection
CN104469440B (zh) * 2014-04-16 2018-10-30 成都理想境界科技有限公司 视频播放方法、视频播放器及对应的播放设备
EP2963924B1 (en) * 2014-07-01 2017-05-24 Advanced Digital Broadcast S.A. A method and a system for determining a video frame type
CN104125448A (zh) * 2014-07-09 2014-10-29 北京京东方视讯科技有限公司 显示处理系统、方法及电子设备
US10979689B2 (en) * 2014-07-16 2021-04-13 Arris Enterprises Llc Adaptive stereo scaling format switch for 3D video encoding
WO2016204581A1 (ko) 2015-06-17 2016-12-22 삼성전자 주식회사 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
CN106067966B (zh) * 2016-05-31 2018-08-28 上海易维视科技股份有限公司 视频三维格式自动检测方法
DE102018113822A1 (de) * 2018-06-11 2019-12-12 Seefront Gmbh Konvertieren eines Bildstroms mit stereoskopischen Bildinhalten
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
WO2020072985A1 (en) 2018-10-05 2020-04-09 Magic Leap, Inc. Rendering location specific virtual content in any location
US11568605B2 (en) 2019-10-15 2023-01-31 Magic Leap, Inc. Cross reality system with localization service
JP2023501952A (ja) 2019-10-31 2023-01-20 マジック リープ， インコーポレイテッド 持続座標フレームについての品質情報を伴うクロスリアリティシステム
EP4073763A4 (en) * 2019-12-09 2023-12-27 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH SIMPLIFIED PROGRAMMING OF VIRTUAL CONTENT
CN115398314A (zh) 2020-02-13 2022-11-25 奇跃公司 使用多分辨率帧描述符进行地图处理的交叉现实系统
EP3923241B1 (en) 2020-06-09 2022-04-06 Axis AB Aligning digital images

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3096612B2 (ja) * 1995-05-29 2000-10-10 三洋電機株式会社 時分割方式立体映像信号検出方法、時分割方式立体映像信号検出装置および立体映像表示装置
KR20000075982A (ko) * 1997-03-07 2000-12-26 다카노 야스아키 디지탈 방송 수신기 및 디스플레이 장치
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
KR20000072482A (ko) * 2000-09-06 2000-12-05 이재학 이용자의 검색을 용이하게 하는 인터넷 검색 시스템 및 그방법
US20040027267A1 (en) * 2002-03-22 2004-02-12 Rousso Armand M. 3D entertainment system
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
JP4421940B2 (ja) * 2004-05-13 2010-02-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置および方法、並びに動画像復号化装置および方法
KR100716982B1 (ko) * 2004-07-15 2007-05-10 삼성전자주식회사 다차원 영상 포맷의 변환장치 및 방법
CN1756317A (zh) * 2004-10-01 2006-04-05 三星电子株式会社 变换多维视频格式的设备和方法
KR100782811B1 (ko) * 2005-02-04 2007-12-06 삼성전자주식회사 영상의 주파수 특성에 따라 포맷을 달리하는 스테레오 영상 합성 방법 및 장치와, 그 영상의 송신 및 수신 방법과, 그 영상의 재생 방법 및 장치
JP2006332985A (ja) 2005-05-25 2006-12-07 Sharp Corp 立体画像フォーマット判定装置
JP4638784B2 (ja) * 2005-07-19 2011-02-23 オリンパスイメージング株式会社 画像出力装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101219442B1 (ko) * 2011-03-30 2013-01-11 전자부품연구원 3차원 영상 자동 포맷 변환장치 및 방법

Also Published As

Publication number Publication date
EP2422526A2 (en) 2012-02-29
CN102461185B (zh) 2015-05-13
WO2010151049A2 (en) 2010-12-29
WO2010151049A3 (en) 2011-04-28
JP2012531797A (ja) 2012-12-10
EP2422526A4 (en) 2013-04-10
CN102461185A (zh) 2012-05-16
JP5575891B2 (ja) 2014-08-20
US8624897B2 (en) 2014-01-07
EP2422526B1 (en) 2016-05-04
MX2011012534A (es) 2011-12-16
US20100321390A1 (en) 2010-12-23

Similar Documents

Publication Publication Date Title
KR20100138806A (ko) 자동 3차원 영상 포맷 변환 방법 및 그 장치
KR101520620B1 (ko) 2차원/3차원 재생 모드 결정 방법 및 장치
US9729852B2 (en) 3D video format detection
US8891612B2 (en) Encoding and decoding multi-view video while accommodating absent or unreliable camera parameters
US8730307B2 (en) Local multi-view image display apparatus and method
US20070269136A1 (en) Method and device for generating 3d images
US20110164110A1 (en) Method and system for detecting compressed stereoscopic frames in a digital video signal
US20120086779A1 (en) Image processing apparatus, image processing method, and program
US20120113219A1 (en) Image conversion apparatus and display apparatus and methods using the same
KR20090084259A (ko) 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
EP2693753A1 (en) Method of converting 2-dimension images into 3-dimension images and display apparatus thereof
KR20130061679A (ko) 디스패리티 값 표시
US9113140B2 (en) Stereoscopic image processing device and method for generating interpolated frame with parallax and motion vector
US7233363B2 (en) De-interlacing method, apparatus, video decoder and reproducing apparatus thereof
KR101373718B1 (ko) 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치 및 방법, 및 상기 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치 및 재생 장치
US20130314400A1 (en) Three-dimensional image generating apparatus and three-dimensional image generating method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E902 Notification of reason for refusal
E601 Decision to refuse application