KR100445619B1 - 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법 - Google Patents

2차원 영상을 3차원 영상으로 변환하는 장치 및 방법 Download PDF

Info

Publication number
KR100445619B1
KR100445619B1 KR10-1999-7000337A KR19997000337A KR100445619B1 KR 100445619 B1 KR100445619 B1 KR 100445619B1 KR 19997000337 A KR19997000337 A KR 19997000337A KR 100445619 B1 KR100445619 B1 KR 100445619B1
Authority
KR
South Korea
Prior art keywords
image
perspective
parallax
region
signal
Prior art date
Application number
KR10-1999-7000337A
Other languages
English (en)
Other versions
KR20000067890A (ko
Inventor
하루히꼬 무라따
유끼오 모리
슈고 야마시따
아끼히로 마에나까
세이지 오까다
이하라，간지
Original Assignee
산요덴키가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP18962996A external-priority patent/JP3957343B2/ja
Priority claimed from JP8208173A external-priority patent/JP3005474B2/ja
Priority claimed from JP20817296A external-priority patent/JP3235776B2/ja
Priority claimed from JP8240408A external-priority patent/JP2846858B2/ja
Priority claimed from JP9159949A external-priority patent/JP2951291B2/ja
Application filed by 산요덴키가부시키가이샤 filed Critical 산요덴키가부시키가이샤
Publication of KR20000067890A publication Critical patent/KR20000067890A/ko
Application granted granted Critical
Publication of KR100445619B1 publication Critical patent/KR100445619B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

2차원 입력 영상 신호에 기초하여, 각 필드마다에, 1필드 화면내에 설정된 복수의 시차 산출 영역의 각각에 대해, 영상의 원근에 따른 상기 화상 특징량이 추출된다. 각 시차 산출 영역마다 추출된 상기 화상 특징량에 기초하여, 1필드 화면 내의 소정 단위 영역마다의 시차 정보가 생성된다. 2차 입력 영상 신호의 각 소정 단위 영역내의 신호로부터, 그 소정 단위 영역에 대응하는 시차 정보에 따른 수평 위상차를 갖는 제1 영상 신호와 제2 영상 신호가 각각 생성된다.

Description

2차원 영상을 3차원 영상으로 변환하는 장치 및 방법{DEVICE AND METHOD FOR CONVERTING TWO-DIMENSIONAL VIDEO INTO THREE-DIMENSIONAL VIDEO}
〔1〕2차원 영상을 3차원 영상으로 변환하는 방법으로서, 필드 메모리를 이용하여, 원래의 2차원 영상 신호에 대해, 시간적으로 지연된 영상 신호(이하, 지연 영상 신호라고 함)를 생성하고, 원래의 2차원 영상 신호와 지연 영상 신호 중, 한쪽을 좌안(左眼)용 영상 신호로서 출력하고, 다른 쪽을 우안(右眼)용 영상 신호로서 출력하는 방법이 알려져 있다. 그러나, 이 방법에서는 원래의 2차원 영상 신호에 대해 시간적으로 지연된 영상 신호를 생성하기 위해 필드 메모리가 필요하게 되므로, 비용이 높다고 하는 문제가 있다. 또한, 이 방법에서는 움직임이 있는 2차원 영상밖에 3차원 영상으로 변환할 수 없다.
본 발명은, 원래의 2차원 영상 신호에 대해 시간적으로 지연된 영상 신호를 생성하기 위한 필드 메모리가 불필요하게 되고, 비용의 저렴화를 얻을 수 있는 2차원 영상을 3차원 영상으로 변환시키는 장치 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은, 원래의 2차원 영상 신호에 의해 나타내는 영상이 정지 영상이라도 입체 영상을 얻을 수 있는, 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법을 제공하는 것을 목적으로 한다.
〔2〕상호 시차를 갖는 좌측 영상과 우측 영상으로 이루어지는 3차원 영상 신호를 입체 표시 장치에 표시함으로써, 입체감이 있는 영상을 제공하는 장치가 이미 개발되어 있다. 또한, 2차원 영상 신호로부터 3차원 영상 신호를 생성하는 장치도 이미 개발되어 있다.
그러나, 3차원 영상 신호를 리얼 타임으로 처리함으로써, 3차원 영상 신호에 의해 얻어지는 입체 영상의 입체감을 조정할 수 있는 장치는 아직 개발되어 있지 않다.
본 발명은, 3차원 영상 신호를 리얼 타임으로 처리함으로써, 3차원 영상 신호에 의해 얻어지는 입체 영상의 입체감을 조정할 수 있는 입체감 조정 방법 및 입체감 조정 장치를 제공하는 것을 목적으로 한다.
〔3〕2차원 영상으로부터, 기준이 되는 제1 영상 신호와, 제1 영상 신호에 대해 지연된 제2 영상 신호를 생성하고, 이들 한 쪽을 좌안용 영상 신호로 하고, 다른 쪽을 우안용 영상 신호로 함으로써, 2차원 영상을 3차원 영상으로 변환시키는 2차원/3차원 영상 변환 장치가 알려져 있다.
제1 영상 신호로는, 일반적으로 원래의 2차원 영상 신호가 그대로 이용된다. 제1 영상 신호에 대한 제2 영상 신호의 지연량은, 2차원 영상 신호의 영상의 움직임 속도에 따라 결정된다. 제2 영상 신호는, 다음과 같이 함으로써 생성된다.
즉, 2차원/3차원 영상 변환 장치에 입력된 2차원 영상 신호의 최신 필드로부터 과거 소정 필드수 분이, 복수의 필드 메모리에 필드 단위로 각각 저장된다. 그리고, 각 필드 메모리에 저장되어 있는 2차원 영상 신호 중에서, 2차원 영상 신호의 영상의 움직임 속도에 따라 결정된 지연량에 대응하는 2차원 영상 신호가 독출된다. 필드 메모리로부터 독출된 2차원 영상 신호가 제2 영상 신호이다. 이와 같이 함으로써 얻어진 좌안용 영상 신호 및 우안용 영상 신호는, 시분할 셔터 안경을 이용하여 이들의 영상을 볼 때에, 플리커(flicker)가 발생하는 것을 방지하기 위해, 통상 속도의 2배 속도로 변환된다.
도 55는, 2차원 영상 신호로부터 배속의 3차원 영상 신호를 생성하기 위한 종래의 2차원/3차원 영상 변환 장치의 구성을 나타내고 있다.
2차원/3차원 영상 변환 장치는, 2차원 영상 신호를 3차원 영상 신호로 변환하기 위한 집적 회로(LSI : 1100)와, 집적 회로(1100)에 접속된 복수의 지연용 필드 메모리(1200)와, 집적 회로(1100)로부터 출력되는 좌안용 영상 신호 및 우안용 영상 신호의 주파수를 2배로 하기 위한 배속화 회로(1300)로 구성되어 있다.
도 55에서는, 집적 회로(1100)의 구성 요소로는, 지연용 필드 메모리(1200)에의 데이타 기록 및 지연용 필드 메모리(1200)로부터의 데이타 독출에 관계하는 부분만이 도시되어 있다. 즉, 집적 회로(1100)의 구성 요소로는, 라이트측 데이타 패스(1101), 라이트계 타이밍 발생부(1102), 리드측 데이타 패스(1103) 및 리드계 타이밍 발생부(1104)가 도시되어 있다. 집적 회로(1100)는 이들 구성 요소 이외에 이동 벡터 검출부, CPU에 접속되는 인터페이스등을 구비하고 있다.
라이트계 타이밍 발생부(1102) 및 리드계 타이밍 발생부(1104)에는, 2차원 영상 신호의 수평 동기 신호 HSYNC에 기초하여 생성된 기준 클럭 신호 CLK, 2차원 영상 신호의 수직 동기 신호 VSYNC, 수평 동기 신호 HSYNC에 기초하여 기준 클럭 신호 CLK에서 생성된 수평 동기 신호 HD가 입력되어 있다. 기준 클럭 신호 CLK의 주파수 fCLK는, 수평 동기 신호 HD의 주파수를 fH로 하면, 다음 수학식 1로 나타내는 주파수로 되어 있다.
집적 회로(1100)에는, 2차원 영상 신호를 구성하는 휘도 신호(Y 신호) 및 색차 신호(R-Y 신호 및 B-Y 신호)가 입력된다. 집적 회로(1100)로부터는, 상대적으로 시간차를 갖는 우안용 영상 신호 및 좌안용 영상 신호가 출력된다. 우안용 영상 신호는, 우안용 휘도 신호 Y(R)와 우안용 색차 신호 R-Y(R)와 우안용 색차 신호 B-Y(R)로 이루어진다. 좌안용 영상 신호는, 좌안용 휘도 신호 Y (L)와 좌안용 색차 신호 R-Y(L)과 좌안용 색차 신호 B-Y(L)로 이루어진다.
우안용 영상 신호 및 좌안용 영상 신호 중 한쪽은, 집적 회로(1100)에 입력한 2차원 영상 신호가 라이트측 데이타 패스(1101)를 통해 리드측 데이타 패스(1103)로 보내어진 신호에 기초하여 생성된다. 우안용 영상 신호 및 좌안용 영상 신호중 다른 쪽은, 집적 회로(1100)에 입력한 2차원 영상 신호가 라이트측 데이타 패스(1101) 및 지연용 필드 메모리(1200)를 통해 리드측 데이타 패스(1103)로보내어진 신호에 기초하여 생성된다.
라이트측 데이타 패스(1101)에 입력한 Y 신호, R-Y 신호 및 B-Y 신호의 필드 메모리(1200)에의 기록은, 기준 클럭 신호 CLK에 따라 행해진다. 즉, 지연용 필드 메모리(1200)에의 기록 클럭의 주파수는, 기준 클럭 신호 CLK의 주파수 fCLK이다.
필드 메모리(1200)에 저장된 신호의 독출도, 기준 클럭 신호 CLK에 따라 행해진다. 즉, 지연용 필드 메모리(1200)의 독출 클럭의 주파수도, 기준 클럭 신호 CLK의 주파수 fCLK이다.
따라서, 집적 회로(1100)로부터 출력되는 우안용 휘도 신호 Y(R), 우안용 색차 신호 R-Y(R), 우안용 색차 신호 B-Y(R), 좌안용 휘도 신호Y(L), 좌안용 색차 신호 R-Y(L) 및 좌안용 색차 신호 B-Y(L)의 수평, 수직 주파수는, 2차원 영상 신호의 수평, 수직 주파수와 동일하다.
배속화 회로(1300)는, 집적 회로(1100)로부터 출력되는 우안용 휘도 신호 Y (R), 우안용 색차 신호 R-Y(R), 우안용 색차 신호 B-Y(R), 좌안용 휘도 신호Y(L), 좌안용 색차 신호 R-Y(L) 및 좌안용 색차 신호 B-Y(L)를 각각 저장하는 배속용 필드 메모리(1301 ∼ 1306), 이들 배속용 필드 메모리(1301 ∼ 1306)로의 데이타 기록을 제어하는 배속용 필드 메모리 라이트 타이밍 발생 회로(1307), 및 이들 배속용 필드 메모리(1301 ∼ 1306)로부터의 데이타 독출을 제어하는 배속용 필드 메모리 리드 타이밍 발생 회로(1308)를 구비하고 있다.
우안용 영상 신호가 독출되는 경우에는, 배속용 필드 메모리(1301)로부터 우안용 휘도 신호 Y(R)가 독출되고, 배속용 필드 메모리(1302)로부터 우안용 색차 신호 R-Y(R)가 독출되며, 배속용 필드 메모리(1303)로부터 우안용 색차 신호 B-Y(R)가 독출된다. 좌안용 영상 신호가 독출되는 경우에는, 배속용 필드 메모리(1304)로부터 좌안용 휘도 신호 Y(L)가 독출되고, 배속용 필드 메모리(1305)로부터 좌안용 색차 신호 R-Y(L)가 독출되며, 배속용 필드 메모리(1306)로부터 좌안용 색차 신호 B-Y(L)가 독출된다.
배속용 필드 메모리(1301∼ 1306) 및 배속용 필드 메모리 라이트 타이밍 발생 회로(1307)에는, 기록 클럭으로서, 기준 클럭 신호 CLK가 입력되어 있다. 배속용 필드 메모리(1301 ∼ 1306) 및 배속용 필드 메모리 리드 타이밍 발생 회로(1308)에는, 독출 클럭으로서 기준 클럭 신호 CLK의 2배의 주파수인 클럭 신호 CLKa가 입력되어 있다.
즉, 독출 클럭 신호 CLKa의 주파수 fCLKa는, 다음 수학식 2로 나타낸 바와 같이 기록 클럭 신호 CLK의 주파수 fCLK의 2배로 되어 있다.
따라서, 배속화 회로(1300)로부터 출력되는 영상 신호는, 2차원 영상 신호에 대해 수평, 수직 주파수가 2배의 신호가 된다.
지연용 필드 메모리가 4개 설치되어 있고, 또한 좌안용 영상 신호가 우안용 영상 신호에 대해, 2필드 지연하는 경우의, 각 부의 신호를 도 56에 도시해 둔다.
종래의 2차원/3차원 영상 변환 장치에서는, 배속의 3차원 영상 신호를 생성하기 위해, 필드 메모리를 구비한 배속화 회로가 필요하므로, 비용이 비싸진다는 문제가 있다.
본 발명은, 종래에 비교하여 필드 메모리수를 삭감할 수 있고, 비용의 저렴 화를 꾀할 수 있는 2차원/3차원 영상 변환 장치를 제공하는 것을 목적으로 한다.
본 발명은 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법에 관한 것이다.
도 1은 2D/3D 영상 변환 장치의 전체 구성을 나타내는 블럭도.
도 2는 시차 산출 영역을 나타내는 모식도.
도 3은 휘도 적산 회로의 구성을 나타내는 블럭도.
도 4는 고주파 성분 적산 회로의 구성을 나타내는 블럭도.
도 5는 도 4의 고역 통과 필터(232)의 구체예를 나타내는 회로도.
도 6은 도 4의 슬라이스 처리 회로(234)의 입출력 특성을 나타내는 그래프.
도 7은 고주파 성분 적산 회로의 다른 예를 나타내는 블럭도.
도 8은 도 7의 피크 검출 회로(239)의 구체예를 나타내는 회로도.
도 9는 피크 검출 회로(239)의 각 부의 신호를 나타내는 타임차트.
도 10은 휘도 컨트러스트 산출 회로의 구성을 나타내는 블럭도.
도 11은 도 10의 휘도 컨트러스트 검출 회로의 구성을 나타내는 회로도.
도 12는 채도 적산 회로의 구성을 나타내는 회로도.
도 13은 CPU에 의한 시차 정보의 생성 방법을 설명하기 위한 설명도.
도 14는 도 13의 정규화 수단(410)의 입출력 관계를 나타내는 그래프.
도 15는 실제로 설정되는 시차 산출 영역을 나타내는 모식도.
도 16은 깊이 보정전의 각 시차 산출 영역의 깊이 정보의 일례를 나타내는 모식도.
도 17은 깊이 보정 후의 각 시차 산출 영역의 깊이 정보를 나타내는 모식도.
도 18은 깊이 보정전의 화면의 높이 위치에 대한 깊이 정보와의 관계 및 깊이 보정후의 화면의 높이 위치에 대한 깊이 정보와의 관계를 나타내는 그래프.
도 19는 깊이 정보와 시차 정보와의 관계를 나타내는 그래프.
도 20은 주로 시차 제어 회로 및 임의 화소 지연 FIFO의 구성을 나타내는 블럭도.
도 21은 상대적 수평 위치 및 상대적 수직 위치등을 나타내는 모식도.
도 22는 주목 화소에 대한 시차 정보를 생성하는 방법을 설명하기 위한 설명도.
도 23은 시차 선택 회로에 의한 선택 규칙을 나타내는 도면.
도 24는 시차 정보가 0인 경우의 각 부의 신호를 나타내는 타임차트.
도 25는 시차 정보가 1.2인 경우의 각 어드레스 값을 시차 제어 회로에 써붙인 블럭도.
도 26은 시차 정보가 1.2인 경우의 각 부의 신호를 나타내는 타임차트.
도 27은 2D/3D 영상 변환 장치의 전체 구성을 나타내는 블럭도.
도 28은 CPU에 의한 시차 정보의 생성 처리 순서를 나타내는 플로우차트.
도 29는 고주파 성분 적산치의 각 정규화치에 대한 시차 산출 영역의 수를 나타내는 히스토그램.
도 30은 도 29의 히스토그램에 기초하여 얻어진 그룹 분리 결과를 나타내는 모식도.
도 31은 R-Y 성분 적산치의 정규화치를 종축으로 하고, B-Y 성분 적산치의 정규화치를 횡축으로 하여, 시차 산출 영역의 분포를 나타낸 그래프.
도 32는 도 31의 그래프에 기초하여 얻어진 그룹 분리 결과를 나타내는 모식도.
도 33은 도 31의 그래프에 기초하여 얻어진 그룹 분리 결과를 나타내는 모식도.
도 34는 공간 분리 처리에 의해 수정된 그룹 분리 결과를 나타내는 모식도.
도 35는 특이점 처리를 설명하기 위한 모식도.
도 36은 특이점 처리에 따라 수정된 그룹 분리 결과를 나타내는 모식도.
도 37은 각 시차 산출 영역마다 미리 설정된 배경 가중 성분을 나타내는 모식도.
도 38은 깊이 보정전의 각 시차 산출 영역의 깊이 정보의 일례를 나타내는 모식도.
도 39는 깊이 보정 후의 각 시차 산출 영역의 깊이 정보를 나타내는 모식도.
도 40은 깊이 보정전의 화면의 높이 위치에 대한 깊이 정보와의 관계 및 깊이 보정 후의 화면의 높이 위치에 대한 깊이 정보와의 관계를 나타내는 그래프.
도 41은 그룹 내부에 대한 깊이 정보 보정 처리를 설명하기 위한 모식도.
도 42는 깊이 정보와 시차 정보와의 관계를 나타내는 그래프.
도 43은 2D/3D 영상 변환 장치의 전체 구성을 나타내는 블럭도.
도 44는 CPU에 의한 깊이 정보의 생성 처리 순서를 나타내는 기능 블럭도.
도 45는 CPU에 의한 깊이 정보의 생성 방법을 설명하기 위한 설명도.
도 46은 2D/3D 영상 변환 시스템의 구성을 나타내는 블럭도.
도 47은 입체감 조정 회로의 구성을 나타내는 블럭도.
도 48은 화소마다의 시차 정보 PR과 제1 계수 KL의 관계를 나타내는 그래프.
도 49는 화소마다의 시차 정보 PR과 제2 계수 KH의 관계를 나타내는 그래프.
도 50은 화소마다의 시차 정보 PR과 제3 계수 KC의 관계를 나타내는 그래프.
도 51은 입체감 조정 시스템의 구성을 나타내는 블럭도.
도 52는 2차원/3차원 영상 변환 장치의 구성을 나타내는 블럭도.
도 53은 제1 기준 클럭 CLK1 및 제1 수평 동기 신호 HD1을 발생시키기 위한 위상 동기 회로를 나타내는 전기 회로도.
도 54는 2차원/3차원 영상 변환 모드로서 배속 변환 모드가 설정되어 있는 경우의 도 51의 각 부의 신호를 나타내는 타임차트.
도 55는, 2차원 영상 신호로부터 배속 3차원 영상 신호를 생성하기 위한 종래의 2차원/3차원 영상 변환 장치의 구성을 나타내는 블럭도.
도 56은, 도 55 각부의 신호를 나타내는 타임차트.
본 발명에 따른 제1의 2차원 영상을 3차원 영상으로 변환시키는 장치는, 상기 2차원 입력 영상 신호에 기초하여, 각 필드마다에, 1필드 화면 내에 설정된 복수의 시차 산출 영역의 각각에 대해, 영상의 원근에 따른 상기 화상 특징량을 추출하는 특징량 추출 수단, 각 시차 산출 영역마다 추출된 상기 화상 특징량에 기초하여, 1필드 화면 내의 소정 단위 영역마다의 시차 정보를 생성하는 시차 정보 생성 수단, 및 상기 2차원 입력 영상 신호의 각 소정 단위 영역 내의 신호로부터, 그 소정 단위 영역에 대응하는 시차 정보에 따른 수평 위상차를 갖는 제1 영상 신호와 제2 영상 신호를 각각 생성하는 위상 제어 수단을 구비하는 것을 특징으로 한다.
시차 정보 생성 수단으로는, 예를 들면 시차 산출 영역마다의 영상의 원근에 따른 상기 화상 특징량에 기초하여 각 시차 산출 영역마다 영상의 원근에 따른 정보를 생성하는 수단, 및 각 시차 산출 영역마다의 영상의 원근에 따른 정보를, 각 시차 산출 영역마다의 시차 정보로 변환시키는 수단을 구비하는 것이 이용된다.
시차 정보 생성 수단으로는, 예를 들면 시차 산출 영역마다의 영상의 원근에 따른 상기 화상 특징량에 기초하여 각 시차 산출 영역마다 영상의 원근에 따른 정보를 생성하는 수단, 영상의 수직 방향의 위치(이하, 화면의 높이 위치라고 함) 중, 영상의 원근에 따른 정보에 의해 나타내는 원근 위치가 가장 가까운 높이 위치보다 하측인 각 시차 산출 영역 중, 그 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치가, 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치로부터 소정치 이상 먼 위치인 시차 산출 영역에 대해서는, 그 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치가 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치에 접근하도록, 그 시차 산출 영역에 대한 영상의 원근에 따른 정보를 보정하는 수단, 및 보정 후의 각 시차 산출 영역마다의 영상의 원근에 따른 정보를, 각 시차 산출 영역마다의 시차 정보로 변환하는 수단을 구비하는 것이 이용된다.
시차 정보 생성 수단으로는, 예를 들면 시차 산출 영역마다의 영상의 원근에 따른 상기 화상 특징량에 기초하여, 1필드 화면내의 전 영역을 그 화면에 포함되는 물체마다 그룹 분리를 행하는 제1 수단, 제1 수단에 의한 그룹 분리 결과와, 시차 산출 영역마다의 영상의 원근에 따른 상기 화상 특징량에 기초하여, 각 그룹마다의 영상의 원근에 따른 정보를 생성하는 제2 수단, 각 그룹마다의 영상의 원근에 따른 정보에 기초하여, 각 시차 산출 영역마다의 영상의 원근에 따른 정보를 생성하는 제3 수단, 및 각 시차 산출 영역마다의 영상의 원근에 따른 정보를, 각 시차 산출 영역마다의 시차 정보로 변환시키는 제4 수단을 구비하는 것이 이용된다.
제1 수단으로는, 예를 들면 다음과 같은 것이 이용된다.
(1) 영상의 원근에 따른 상기 화상 특징량의 크기에 대한 시차 산출 영역수를 나타내는 횟수 분포에 기초하여, 영상의 원근에 따른 상기 화상 특징량의 크기가 근사하는 영역이 동일 그룹이 되도록 1필드 화면 내의 전영역을 그룹 분리하는 것.
(2) 영상의 원근에 따른 상기 화상 특징량의 크기에 대한 시차 산출 영역수를 나타내는 횟수 분포에 기초하여, 영상의 원근에 따른 상기 화상 특징량의 크기가 근사하는 영역이 동일 그룹이 되도록 1필드 화면 내의 전영역을 그룹 분리하는 수단, 및 동일한 그룹 내에 상호 공간적으로 떨어져 있는 복수의 영역이 존재하는 경우에는, 이들 영역이 각각 다른 그룹이 되도록, 그룹 분리를 행하는 수단을 구비하는 것.
(3) 영상의 원근에 따른 상기 화상 특징량의 크기에 대한 시차 산출 영역수를 나타내는 횟수 분포에 기초하여, 영상의 원근에 따른 상기 화상 특징량의 크기가 근사하는 영역이 동일 그룹이 되도록 1필드 화면 내의 전영역을 그룹 분리하는 수단, 동일한 그룹 내에 상호 공간적으로 떨어져 있는 복수의 영역이 존재하는 경우에는, 이들의 영역이 각각 다른 그룹이 되도록, 그룹 분리를 행하는 수단, 및 소정수 이하의 시차 산출 영역으로 구성되는 그룹이 존재하는 경우에는, 그 그룹 내 및 그 주위의 시차 산출 영역에 대한 영상의 원근에 따른 상기 화상 특징량에 기초하여, 그 그룹을 주위의 그룹에 속하게 해야하는지의 여부를 판별하고, 그 그룹을 주위의 그룹에 속하게 해야한다고 판별한 경우에는, 그 그룹을 주위의 그룹에 속하게 하는 수단을 구비하는 것.
(4) 영상의 원근에 따른 상기 화상 특징량의 크기에 대한 시차 산출 영역수를 나타내는 횟수 분포에 기초하여, 영상의 원근에 따른 상기 화상 특징량의 크기가 근사하는 영역이 동일 그룹이 되도록 1필드 화면 내의 전영역을 그룹 분리하는 수단, 동일한 그룹 내에 상호 공간적으로 떨어져 있는 복수의 영역이 존재하는 경우에는, 이들의 영역이 각각 다른 그룹이 되도록, 그룹 분리를 행하는 수단, 소정수 이하의 시차 산출 영역으로 구성되어 있는 그룹이 존재하는 경우에는, 그 그룹 내 및 그 주위의 시차 산출 영역에 대한 영상의 원근에 따른 상기 화상 특징량에 기초하여, 그 그룹을 주위의 그룹에 속하게 해야하는지의 여부를 판별하고, 그 그룹을 주위의 그룹에 속하게 해야한다고 판별한 경우에는, 그 그룹을 주위의 그룹에 속하게 하는 수단, 및 인접하는 2개의 그룹 중, 한쪽 그룹 내 및 다른쪽 그룹 내의 시차 산출 영역에 대한 영상의 원근에 따른 상기 화상 특징량에 기초하여, 양그룹을 결합시키어야 되는지의 여부를 판별하고, 양그룹을 결합시킨다고 판별한 경우에는, 양그룹을 결합시키는 수단을 구비하는 것.
제2 수단으로는, 예를 들면 각 그룹 내의 시차 산출 영역마다의 영상의 원근에 따른 상기 화상 특징량 및 각 시차 산출 영역마다 미리 설정된 가중 계수에 기초하여, 각 그룹마다에 영상의 원근에 따른 정보를 산출하는 것이 이용된다.
제3 수단으로는, 예를 들면 다음과 같은 것이 이용된다.
(1) 화면의 높이 위치 중, 영상의 원근에 따른 정보에 의해 나타내는 원근 위치가 가장 가까운 높이 위치로부터 하측인 각 시차 산출 영역 중, 그 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치가, 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치로부터 소정치 이상 먼 위치인 시차 산출 영역에 대해서는, 그 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치가 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치에 접근하도록, 그 시차 산출 영역에 대한 영상의 원근에 따른 정보를 보정하는 수단을 구비하는 것.
(2) 화면의 높이 위치 중, 영상의 원근에 따른 정보에 의해 나타내는 원근 위치가 가장 가까운 높이 위치로부터 하측인 각 시차 산출 영역 중, 그 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치가, 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치로부터 소정치 이상 먼 위치인 시차 산출 영역에 대해서는, 그 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치가 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치에 접근하도록, 그 시차 산출 영역에 대한 영상의 원근에 따른 정보를 보정하는 수단, 및 인접하는 2개의 그룹 경계부에서, 영상의 원근에 따른 정보가 양 그룹 사이에서 소정 범위 이내가 되도록, 인접하는 2개의 그룹 경계부의 시차 산출 영역에 대한 영상의 원근에 따른 정보를 보정하는 수단을 구비하는 것.
(3) 화면의 높이 위치 중, 영상의 원근에 따른 정보에 의해 나타내는 원근 위치가 가장 가까운 높이 위치로부터 하측인 각 시차 산출 영역 중, 그 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치가, 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치로부터 소정치 이상 먼 위치인 시차 산출 영역에 관하여는, 그 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치가 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치에 접근하도록, 그 시차 산출 영역에 대한 영상의 원근에 따른 정보를 보정하는 수단, 인접하는 2개의 그룹 경계부에서, 영상의 원근에 따른 정보가 양그룹 사이에서 소정 범위 이내가 되도록, 인접하는 2개의 그룹 경계부의 시차 산출 영역에 대한 영상의 원근에 따른 정보를 보정하는 수단, 및 동일한 그룹내의 각 시차 산출 영역 사이에서, 영상의 원근에 따른 정보의 차가 소정 범위 이내가 되도록, 각 그룹 내의 영상의 원근에 따른 정보를 평활화시키는 수단을 구비하는 것.
위상 제어 수단으로는, 예를 들면 상기 2차원 입력 영상 신호를 1수평 라인분 이하의 복수 화소수만큼 기억할 수 있는 용량을 구비하고, 또한 상기 2차원 입력 영상 신호를 일차적으로 기억하는 제1 기억 수단, 상기 2차원 입력 영상 신호를 1수평 라인분 이하의 복수 화소수만큼 기억할 수 있는 용량을 구비하고, 또한 상기 2차원 입력 영상 신호를 일차적으로 기억하는 제2 기억 수단, 제1 기억 수단의 독출 어드레스를, 상기 2차원 입력 영상 신호의 수평 수직 위치에 따라 결정된 표준 독출 어드레스에 대해, 상기 2차원 입력 영상 신호의 수평 수직 위치가 속하는 소정 단위 영역에 대응하는 시차 정보에 기초하여 제어함으로써, 상기 표준 독출 어드레스에 의해 규정되는 기준 수평 위상에 대해 상기 시차 정보에 따른 양만큼 수평 위상이 선행된 제1 영상 신호를 생성하는 제1 독출 어드레스 제어 수단, 및 제2기억 수단의 독출 어드레스를, 상기 표준 독출 어드레스에 대해, 상기 2차원 입력 영상 신호의 수평 수직 위치가 속하는 소정 단위 영역에 대응하는 시차 정보에 기초하여 제어함으로써, 상기 표준 독출 어드레스에 의해 규정되는 기준 수평 위상에 대해 상기 시차 정보에 따른 양만큼 수평 위상이 지연된 제2 영상 신호를 생성하는 제2 독출 어드레스 제어 수단을 구비하는 것이 이용된다.
영상의 원근에 따른 상기 화상 특징량으로는, 휘도 고주파 성분의 적산치, 휘도 컨트러스트, 휘도 적산치, R-Y 성분의 적산치, B-Y 성분의 적산치 및 채도 적산치 중에서 선택된 임의의 하나 또는 임의의 조합이 이용된다. 휘도 고주파 성분은, 휘도 신호 주파수 성분의 고역 부분을 말한다. 휘도 컨트러스트는, 휘도 신호 주파수 성분의 중간 영역 부분을 말한다. 휘도 적산치는, 휘도 신호 주파수 성분의 DC 성분을 말한다. 소정 단위 영역은, 예를 들면 1화소 단위의 영역이다.
본 발명에 따른 제1의 2차원 영상을 3차원 영상으로 변환시키는 방법은, 상기 2차원 입력 영상 신호에 기초하여, 각 필드마다, 1필드 화면 내에 설정된 복수의 시차 산출 영역의 각각에 대해, 영상의 원근에 따른 상기 화상 특징량을 추출하는 제1 단계, 각 시차 산출 영역마다 추출된 상기 화상 특징량에 기초하여, 1필드 화면 내의 소정 단위 영역마다의 시차 정보를 생성하는 제2 단계, 및 상기 2차원 입력 영상 신호의 각 소정 단위 영역 내의 신호로부터, 그 소정 단위 영역에 대응하는 시차 정보에 따른 수평 위상차를 갖는 제1 영상 신호와 제2 영상 신호를 각각 생성하는 제3 단계를 구비하는 것을 특징으로 한다.
제2 단계에서는, 예를 들면, 시차 산출 영역마다의 영상의 원근에 따른 상기화상 특징량에 기초하여, 각 시차 산출 영역마다 영상의 원근에 따른 정보를 생성하는 단계, 및 각 시차 산출 영역마다의 영상의 원근에 따른 정보를, 각 시차 산출 영역마다의 시차 정보로 변환시키는 단계를 구비하는 것이 이용된다.
제2 단계에서는, 예를 들면 시차 산출 영역마다의 영상의 원근에 따른 상기 화상 특징량에 기초하여, 각 시차 산출 영역마다 영상의 원근에 따른 정보를 생성하는 단계, 화면의 높이 위치 중, 영상의 원근에 따른 정보에 의해 나타내는 원근 위치가 가장 가까운 높이 위치보다 하측인 각 시차 산출 영역 중, 그 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치가, 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치보다 소정치 이상 먼 위치인 시차 산출 영역에 대해서는, 그 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치가 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 정보에 의해 나타내는 원근 위치에 접근하도록, 그 시차 산출 영역에 대한 영상의 원근에 따른 정보를 보정하는 단계, 및 보정 후의 각 시차 산출 영역마다의 영상의 원근에 따른 정보를, 각 시차 산출 영역마다의 시차 정보로 변환시키는 단계를 구비하는 것이 이용된다.
제3 단계에서는, 예를 들면 상기 2차원 입력 영상 신호를 1수평 라인분 이하의 복수 화소수만큼 기억할 수 있는 용량을 갖는 제1 기억 수단 및 제2 기억 수단에, 상기 2차원 입력 영상 신호를 일차적으로 기억하는 단계, 제1 기억 수단의 독출 어드레스를, 상기 2차원 입력 영상 신호의 수평 수직 위치에 따라 결정된 표준 독출 어드레스에 대해, 상기 2차원 입력 영상 신호의 수평 수직 위치가 속하는 소정 단위 영역에 대응하는 시차 정보에 기초하여 제어함으로써, 상기 표준 독출 어드레스에 의해 규정되는 기준 수평 위상에 대해 상기 시차 정보에 따른 양만큼 수평 위상이 선행된 제1 영상 신호를 생성하는 단계, 및 제2 기억 수단의 독출 어드레스를, 상기 표준 독출 어드레스에 대해, 상기 2차원 입력 영상 신호의 수평 수직 위치가 속하는 소정 단위 영역에 대응하는 시차 정보에 기초하여 제어함으로써, 상기 표준 독출 어드레스에 의해 규정되는 기준 수평 위상에 대해 상기 시차 정보에 따른 양만큼 수평 위상이 지연된 제2 영상 신호를 생성하는 단계를 구비하는 것이 이용된다.
영상의 원근에 따른 상기 화상 특징량으로는, 휘도 고주파 성분의 적산치, 휘도 컨트러스트, 휘도 적산치 및 채도 적산치 중에서 선택된 임의의 하나 또는 임의의 조합이 이용된다. 영상의 원근에 따른 상기 화상 특징량으로서, 휘도 고주파 성분의 적산치를 이용해도 좋다. 영상의 원근에 따른 상기 화상 특징량으로서, 휘도 컨트러스트를 이용해도 좋다. 영상의 원근에 따른 상기 화상 특징량으로서, 휘도 고주파 성분의 적산치 및 휘도 컨트러스트를 이용해도 좋다. 영상의 원근에 따른 상기 화상 특징량으로서, 휘도 고주파 성분의 적산치, 휘도 컨트러스트 및 휘도 적산치를 이용해도 좋다. 영상의 원근에 따른 상기 화상 특징량으로서, 휘도 고주파 성분의 적산치, 휘도 컨트러스트 및 채도 적산치를 이용해도 좋다. 영상의 원근에 따른 상기 화상 특징량으로서, 휘도 고주파 성분의 적산치, 휘도 컨트러스트, 휘도 적산치 및 채도 적산치를 이용해도 좋다.
소정 단위 영역은, 예를 들면, 1화소 단위의 영역이다.
본 발명에 따른 제2의 2차원 영상을 3차원 영상으로 변환시키는 장치는, 상기 2차원 입력 영상 신호에 기초하여, 각 필드마다, 1필드 화면 내에 설정된 복수의 이동 벡터 검출 영역의 각각에 대한 이동 벡터를 검출하는 이동 벡터 검출 수단, 각 이동 벡터 검출 영역마다 검출된 이동 벡터의 수평 방향 성분에 기초하여, 1필드 화면 내의 소정 단위 영역마다의 시차 정보를 생성하는 시차 정보 생성 수단, 및 상기 2차원 입력 영상 신호의 각 소정 단위 영역 내의 신호로부터, 그 소정 단위 영역에 대응하는 시차 정보에 따른 수평 위상차를 갖는 제1 영상 신호와 제2 영상 신호를 각각 생성하는 위상 제어 수단을 구비하는 것을 특징으로 한다.
시차 정보 생성 수단으로는, 예를 들면 각 이동 벡터 검출 영역마다 검출된 이동 벡터의 수평 방향 성분, 수평 방향 성분의 최대치, 수평 방향 성분이 최대치인 이동 벡터 검출 영역, 수평 방향 성분의 최소치, 수평 방향 성분이 최소치인 이동 벡터 검출 영역 및 각 이동 벡터 검출 영역의 영상이 배경인지 피사체인지를 나타내는 정보에 기초하여, 1필드 화면 내의 소정 단위 영역마다의 시차 정보를 생성하는 것이 이용된다.
위상 제어 수단으로는, 예를 들면 상기 2차원 입력 영상 신호를 1수평 라인분이하의 복수 화소수만큼 기억할 수 있는 용량을 구비하고, 또한 상기 2차원 입력 영상 신호를 일차적으로 기억하는 제1 기억 수단, 상기 2차원 입력 영상 신호를 1수평 라인분 이하의 복수 화소수만큼 기억할 수 있는 용량을 구비하고, 또한 상기 2차원 입력 영상 신호를 일차적으로 기억하는 제2 기억 수단, 제1 기억 수단의 독출 어드레스를, 상기 2차원 입력 영상 신호의 수평 수직 위치에 따라 결정된 표준독출 어드레스에 대해, 상기 2차원 입력 영상 신호의 수평 수직 위치가 속하는 소정 단위 영역에 대응하는 시차 정보에 기초하여 제어함으로써, 상기 표준 독출 어드레스에 의해 규정되는 기준 수평 위상에 대해 상기 시차 정보에 따른 양만큼 수평 위상이 선행된 제1 영상 신호를 생성하는 제1 독출 어드레스 제어 수단, 및 제2 기억 수단의 독출 어드레스를, 상기 표준 독출 어드레스에 대해, 상기 2차원 입력 영상 신호의 수평 수직 위치가 속하는 소정 단위 영역에 대응하는 시차 정보에 기초하여 제어함으로써, 상기 표준 독출 어드레스에 의해 규정되는 기준 수평 위상에 대해 상기 시차 정보에 따른 양만큼 수평 위상이 지연된 제2 영상 신호를 생성하는 제2 독출 어드레스 제어 수단을 구비하는 것이 이용된다.
상기 소정 단위 영역은, 예를 들면 1화소 단위의 영역이다.
본 발명에 따른 제3 의 2차원 영상을 3차원 영상으로 변환시키는 방법은, 상기 2차원 입력 영상 신호에 기초하여, 각 필드마다, 1필드 화면 내에 설정된 복수의 이동 벡터 검출 영역의 각각에 대한 이동 벡터를 검출하는 제1 단계, 각 이동 벡터 검출 영역마다 검출된 이동 벡터의 수평 방향 성분에 기초하여, 1필드 화면 내의 소정 단위 영역마다의 시차 정보를 생성하는 제2 단계, 및 상기 2차원 입력 영상 신호의 각 소정 단위 영역 내의 신호로부터, 그 소정 단위 영역에 대응하는 시차 정보에 따른 수평 위상차를 갖는 제1 영상 신호와 제2 영상 신호를 각각 생성하는 제3 단계를 구비하는 것을 특징으로 한다.
제2 단계에서는, 예를 들면 각 이동 벡터 검출 영역마다 검출된 이동 벡터의 수평 방향 성분, 수평 방향 성분의 최대치, 수평 방향 성분이 최대치인 이동 벡터검출 영역, 수평 방향 성분의 최소치, 수평 방향 성분이 최소치인 이동 벡터 검출 영역 및 각 이동 벡터 검출 영역의 영상이 배경인지 피사체인지를 나타내는 정보에 기초하여, 1필드 화면내의 소정 단위 영역마다의 시차 정보가 생성된다.
제3 단계에서는, 예를 들면 상기 2차원 입력 영상 신호를 1수평 라인분 이하의 복수 화소수만큼 기억할 수 있는 용량을 갖는 제1 기억 수단 및 제2 기억 수단에, 상기 2차원 입력 영상 신호를 일차적으로 기억시키는 단계, 제1 기억 수단의 독출 어드레스를, 상기 2차원 입력 영상 신호의 수평 수직 위치에 따라 결정된 표준 독출 어드레스에 대해, 상기 2차원 입력 영상 신호의 수평 수직 위치가 속하는 소정 단위 영역에 대응하는 시차 정보에 기초하여 제어함으로써, 상기 표준 독출 어드레스에 의해 규정되는 기준 수평 위상에 대해 상기 시차 정보에 따른 양만큼 수평 위상이 선행된 제1 영상 신호를 생성하는 단계, 및 제2 기억 수단의 독출 어드레스를, 상기 표준 독출 어드레스에 대해, 상기 2차원 입력 영상 신호의 수평 수직 위치가 속하는 소정 단위 영역에 대응하는 시차 정보에 기초하여 제어함으로써, 상기 표준 독출 어드레스에 의해 규정되는 기준 수평 위상에 대해 상기 시차 정보에 따른 양만큼 수평 위상이 지연된 제2 영상 신호를 생성하는 단계를 구비하는 것이 이용된다.
소정 단위 영역은, 예를 들면 1화소 단위의 영역이다.
본 발명에 따른 제1 입체감 조정 방법은, 3차원 영상의 1필드 화면 내의 소정 단위 영역마다의 영상의 원근에 따른 정보에 기초하여, 3차원 영상의 각 소정 단위 영역마다 영상 윤곽의 선명도를 제어함으로써, 3차원 영상의 입체감을 조정하는 것을 특징으로 한다. 소정 단위 영역은, 예를 들면 1화소 단위의 영역이다.
구체적으로는, 가까운 영상이 비치고 있는 영역에 대해서는, 영상 윤곽의 선명도가 높아지도록, 먼 영상이 비치고 있는 영역에 대해서는 영상 윤곽의 선명도가 낮아지도록, 영상 윤곽의 선명도가 제어된다. 사람의 눈은, 가까울수록 윤곽이 선명하게 보이고, 멀수록 윤곽이 희미해 보이므로, 영상의 입체감이 강조된다.
본 발명에 따른 제2 입체감 조정 방법은, 3차원 영상의 1필드 화면 내의 소정 단위 영역마다의 영상의 원근에 따른 정보에 기초하여, 3차원 영상의 각 소정 단위 영역마다 영상의 채도를 제어함으로써, 3차원 영상의 입체감을 조정하는 것을 특징으로 한다. 소정 단위 영역은, 예를 들면 1화소 단위의 영역이다.
구체적으로는, 가까운 영상이 비치고 있는 영역에 대해서는, 영상의 채도가 높아지도록, 먼 영상이 비치고 있는 영역에 대해서는 영상의 채도가 낮아지도록, 영상의 채도가 제어된다. 사람의 눈은, 가까울수록 색이 선명하게 보이고, 멀수록 색이 옅게 보이므로, 영상의 입체감이 강조된다.
본 발명에 따른 제3 입체감 조정 방법은, 3차원 영상의 1필드 화면 내의 소정 단위 영역마다의 영상의 원근에 따른 정보에 기초하여, 3차원 영상의 각 소정 단위 영역마다 영상 윤곽의 선명도를 제어함과 동시에 영상의 채도를 제어함으로써, 3차원 영상의 입체감을 조정하는 것을 특징으로 한다. 소정 단위 영역은, 예를 들면 1화소 단위의 영역이다.
구체적으로는, 가까운 영상이 비치고 있는 영역에 대해서는, 영상 윤곽의 선명도가 높아지도록, 먼 영상이 비치고 있는 영역에 대해서는 영상 윤곽의 선명도가낮아지도록, 영상 윤곽의 선명도가 제어되고, 가까운 영상이 비치고 있는 영역에 대해서는 영상의 채도가 높아지도록, 먼 영상이 비치고 있는 영역에 대해서는 영상의 채도가 낮아지도록, 영상의 채도가 제어된다. 사람의 눈은, 가까울수록 윤곽이 선명하게 보임과 동시에 색이 선명하게 보이고, 멀수록 윤곽이 희미해져 보임과 동시에 색이 옅게 보이므로, 영상의 입체감이 강조된다.
본 발명에 따른 제1 입체감 조정 장치는, 3차원 영상의 1필드 화면 내의 소정 단위 영역마다의 영상의 원근에 따른 정보에 기초하여, 3차원 영상의 각 소정 단위 영역마다 영상 윤곽의 선명도를 제어하는 윤곽 제어 수단을 구비하는 것을 특징으로 한다. 소정 단위 영역은, 예를 들면 1화소 단위의 영역이다.
윤곽 제어 수단으로는, 예를 들면 가까운 영상이 비치고 있는 영역에 대해서는, 영상 윤곽의 선명도가 높아지도록, 먼 영상이 비치고 있는 영역에 대해서는 영상 윤곽의 선명도가 낮아지도록, 영상 윤곽의 선명도를 제어하는 것이 이용된다. 사람의 눈은, 가까울수록 색이 선명하게 보이고, 멀수록 색이 옅게 보이므로, 영상의 입체감이 강조된다.
이러한 윤곽 제어 수단의 구체예에서는, 가까운 영상이 비치고 있는 영역에 대해서는, 영상의 저주파 성분의 비율을 감소시킴과 동시에 영상의 고주파 성분의 비율을 증가시키고, 먼 영상이 비치고 있는 영역에 대해서는 영상의 저주파 성분의 비율을 증가시킴과 동시에 영상의 고주파 성분의 비율을 감소시키는 것을 들 수 있다.
본 발명에 따른 제2 입체감 조정 장치는, 3차원 영상의 1필드 화면 내의 소정 단위 영역마다의 영상의 원근에 따른 정보에 기초하여, 3차원 영상의 각 소정 단위 영역마다 영상의 채도를 제어하는 채도 제어 수단을 구비하는 것을 특징으로 한다. 소정 단위 영역은, 예를 들면 1화소 단위의 영역이다.
채도 제어 수단으로는, 예를 들면 가까운 영상이 비치고 있는 영역에 대해서는, 영상의 채도가 높아지도록, 먼 영상이 비치고 있는 영역에 대해서는 영상의 채도가 낮아지도록, 영상의 채도를 제어하는 것이 이용된다. 사람의 눈은, 가까울수록 색이 선명하게 보이고, 멀수록 색이 옅게 보이므로, 영상의 입체감이 강조된다.
본 발명에 따른 제3 입체감 조정 장치는, 3차원 영상의 1필드 화면 내의 소정 단위 영역마다의 영상의 원근에 따른 정보에 기초하여, 3차원 영상의 각 소정 단위 영역마다 영상 윤곽의 선명도를 제어하는 윤곽 제어 수단, 및 3차원 영상의 1필드 화면 내의 소정 단위 영역마다의 영상의 원근에 따른 정보에 기초하여, 3차원 영상의 각 소정 단위 영역마다 영상의 채도를 제어하는 채도 제어 수단을 구비하는 것을 특징으로 한다. 소정 단위 영역은, 예를 들면 1화소 단위의 영역이다.
윤곽 제어 수단으로는, 예를 들면 가까운 영상이 비치고 있는 영역에 대해서는, 영상 윤곽의 선명도가 높아지도록, 먼 영상이 비치고 있는 영역에 대해서는 영상 윤곽의 선명도가 낮아지도록, 영상 윤곽의 선명도를 제어하는 것이 이용되고, 채도 제어 수단으로는, 예를 들면 가까운 영상이 비치고 있는 영역에 대해서는, 영상의 채도가 높아지도록, 먼 영상이 비치고 있는 영역에 대해서는 영상의 채도가 낮아지도록, 영상의 채도를 제어하는 것이 이용된다.
사람의 눈은, 가까울수록 윤곽이 선명하게 보임과 동시에 색이 선명하게 보이고, 멀수록 윤곽이 희미해져 보임과 동시에 색이 옅게 보이므로, 영상의 입체감이 강조된다.
이러한 윤곽 제어 수단의 구체예로는, 가까운 영상이 비치고 있는 영역에 대해서는, 영상의 저주파 성분의 비율을 감소시킴과 동시에 영상의 고주파 성분의 비율을 증가시키고, 먼 영상이 비치고 있는 영역에 대해서는 영상의 저주파 성분의 비율을 증가시킴과 동시에 영상의 고주파 성분의 비율을 감소시키는 것을 들 수 있다.
본 발명에 따른 2차원/3차원 영상 변환 장치는, 입력된 2차원 영상 신호를, 최신 필드로부터 과거 소정 필드수분 기억하기 위한 복수의 필드 메모리와, 복수의 필드 메모리로부터, 상대적으로 시간차를 갖는 2개의 영상 신호를 각각 독출하여, 한쪽을 좌안용 영상 신호로서 출력하고, 다른쪽을 우안용 영상 신호로서 출력하는 수단을 구비한 2차원/3차원 영상 변환 장치에서, 각 필드 메모리의 독출 클럭의 주파수가, 각 필드 메모리의 기록 클럭의 주파수의 2배로 설정되는 것을 특징으로 한다.
각 필드 메모리의 독출 클럭의 주파수가, 각 필드 메모리의 기록 클럭의 주파수의 2배로 설정되어 있으므로, 필드 메모리로부터 독출된 좌안용 영상 신호 및 우안용 영상 신호는, 2차원 영상 신호에 대해 수평, 수직 주파수가 2배의 신호가 된다.
〔1〕 제1 실시예의 설명
도 1 내지 도 26을 참조하여, 본 발명의 제1 실시예에 대해 설명한다.
도 1은, 2차원 영상을 3차원 영상으로 변환하기 위한 2D/3D 영상 변환 장치의 전체적인 구성을 나타내고 있다.
2차원 영상 신호를 구성하는 휘도 신호 Y, 색차 신호 R-Y 및 색차 신호 B-Y는, AD 변환 회로(ADC : 1)에 의해 각각 디지탈의 Y 신호, R-Y 신호 및 B-Y 신호로 변환된다.
Y 신호는, 휘도 적산 회로(7), 고주파 성분 적산 회로(8) 및 휘도 컨트러스트 산출 회로(9)로 이송됨과 동시에, 제1 좌측 영상용 임의 화소 지연 FIFO(11) 및 제1 우측 영상용 임의 화소 지연 FIFO(21)로 이송된다. R-Y 신호는, 채도 적산 회로(10)에 이송됨과 동시에, 제2 좌측 영상용 임의 화소 지연 FIFO(12) 및 제2 우측 영상용 임의 화소 지연 FIFO(22)로 이송된다. B-Y 신호는, 채도 적산 회로(10)로 이송됨과 동시에, 제3 좌측 영상용 임의 화소 지연 FIFO(13) 및 제3 우측 영상용 임의 화소 지연 FIFO(23)으로 이송된다.
휘도 적산 회로(7)는, 1필드마다, 도 2에 도시된 바와 같이 1필드 화면 내에 미리 설정된 여러개의 시차 산출 영역 E1 내지 E12 각각에 대한 휘도 적산치를 산출한다. 고주파 성분 적산 회로(8)는, 1필드마다 각 시차 산출 영역 E1 내지 E12 각각에 대한 고주파 성분의 적산치를 산출한다. 휘도 컨트러스트 산출 회로(9)는, 1필드마다, 각 시차 산출 영역 E1 내지 E12 각각에 대한 휘도 컨트러스트를 산출한다. 채도 적산 회로(10)는, 1필드마다 각 시차 산출 영역 E1 내지 E12 각각에 대한 채도의 적산치를 산출한다.
시차 산출 영역 E1 ∼ E12 각각에 대한 휘도 적산치, 각 시차 산출 영역 E1 ∼ E12 각각에 대한 고주파 성분의 적산치, 각 시차 산출 영역 E1 ∼ E12 각각에 대한 휘도 컨트러스트 및 각 시차 산출 영역 E1 ∼ E12 각각에 대한 채도의 적산치가, 시차 산출 영역 E1 ∼ E12 마다의 영상의 원근에 따른 상기 화상 특징량이다.
또, 1필드 화면 내에는 실제로는 도 15에 도시된 바와 같이 6행 10열의 합계 60개의 시차 산출 영역 F1 ∼ F60이 설정되어 있지만, 설명의 편의상, 도 2에 도시된 바와 같이, 1필드 화면 내에, 3행 4열의 합계 12개의 시차 산출 영역 E1 ∼ E12가 설정되어 있는 것으로 한다.
CPU(3)은, 휘도 적산 회로(7), 고주파 성분 적산 회로(8), 휘도 컨트러스트 산출 회로(9) 및 채도 적산 회로(10)로부터 이송된 정보에 기초하여, 각 시차 산출 영역 E1 ∼ E12에 대한 시차 정보를 생성한다. 이 예에서는, 피사체와 같이 앞쪽에 있는 물체일수록 시차량이 적고, 배경과 같이 뒤쪽에 있는 물체일수록 시차량이 커지도록 시차 정보가 생성된다. 이 시차 정보의 생성 방법의 상세한 내용에 대해서는, 후술하겠다.
CPU(3)에 의해 산출된 각 시차 산출 영역 E1 ∼ E12에 대한 시차 정보는, 시차 제어 회로(4)로 이송된다. 시차 제어 회로(4)는, 각 시차 산출 영역 E1 ∼ E12 에 대한 시차 정보에 기초하여, 각 필드의 각 화소 위치마다의 시차 정보를 생성한다. 그리고, 얻어진 각 화소 위치마다의 시차 정보에 기초하여, 각 FIFO(11∼13, 21∼23)으로부터 영상 신호(Y 신호, R-Y 신호, B-Y 신호)를 독출할 때의 독출 어드레스가 좌측 영상용 임의 화소 지연 FIFO(11∼13)과 우측 영상용 임의 화소 지연 FIFO(21∼23) 사이에서 어긋나도록, 각 FIFO(11∼13, 21∼23)의 독출 어드레스를 제어한다. 따라서, 좌측 영상용 임의 화소 지연 FIFO(11∼13)으로부터 독출된 좌측 영상 신호의 수평 위상과, 우측 영상용 임의 화소 지연 FIFO(21∼23)으로부터 독출된 우측 영상 신호의 수평 위상이 달라진다.
좌측 영상용 임의 화소 지연 FIFO(11∼13)으로부터 독출된 좌측 영상 신호(YL신호, (R-Y) L신호, (B-Y) L신호)는, DA 변환 회로(DAC : 5)에 의해 아날로그 신호로 변환된 후, 도시하지 않은 입체 표시 장치로 이송된다. 우측 영상용 임의 화소 지연 FIFO(21∼23)으로부터 독출된 우측 영상 신호(YR 신호, (R-Y) R신호, (B-Y) R 신호)는, DA 변환 회로(DAC : 6)에 의해 아날로그 신호로 변환된 후, 도시하지 않은 입체 표시 장치로 이송된다.
좌측 영상 신호의 수평 위상과, 우측 영상 신호의 수평 위상은 다르므로, 좌측 영상과 우측 영상 사이에 시차가 발생한다. 이 결과, 좌측 영상을 좌측눈만으로 관찰하고, 우측 영상을 우측눈만으로 관찰하면, 피사체가 배경에 대해 전방 위치에 있는 듯한 입체 영상을 얻을 수 있다.
도 3은, 휘도 적산 회로(7)의 구성을 나타내고 있다.
도 2에서는, 각 시차 산출 영역 E1 ∼ E12의 수평 방향의 화소수를 m, 각 시차 산출 영역 E1 ∼ E12의 수직 방향의 화소수를 n, 제1 시차 산출 영역 E1의 좌측상의 좌표를 (a, b)로 하여, 수평 위치 (HAD) 및 수직 위치 (VAD)가 나타내어져 있다.
휘도 적산 회로(7)는, 타이밍 신호 발생 회로(201), 가산 회로(202) 및 휘도 적산 레지스터군(203) 및 선택 회로(SEL : 204)를 구비하고 있다. 휘도 적산 레지스터군(203)은, 각 시차 산출 영역 E1 ∼ E12에 각각 대응한 제1 ∼ 제12 휘도 적산 레지스터(211∼222)를 구비하고 있다.
타이밍 신호 발생 회로(201)에는, 입력 영상 신호의 수평 동기 신호 Hsync, 수직 동기 신호 Vsync 및 각 수평 기간의 수평 어드레스를 검출하기 위한 클럭 신호 CLK가 입력하고 있다.
타이밍 신호 발생 회로(201)는, 수평 동기 신호 Hsync, 수직 동기 신호Vsync 및 클럭 신호 CLK에 기초하여, 제1 ∼ 제12 인에이블 신호 EN1 ∼ EN12, 리셋 신호 RST 및 출력 타이밍 신호 DOUT를 출력한다.
각 인에이블 신호 EN1 ∼ EN12는, 각각 각 시차 산출 영역 E1 ∼ E12에 대응하고 있고, 항상 L 레벨이고, 입력 영상 신호의 수평 수직 위치가 대응하는 영역내에 있을 때에, H 레벨이 된다. 제1 ∼ 제12 인에이블 신호 EN1 ∼ EN12는, 각각 제1 ∼ 제12 휘도 적산 레지스터(211∼222)에, 기록 신호로서 입력된다. 또한, 제1 ∼ 제12 인에이블 신호 EN1 ∼ EN12는, 선택 회로(204)에도 이송된다. 선택 회로(204)는, H 레벨의 인에이블 신호에 대응하는 입력 데이타를 선택하여 출력한다.
리셋 신호 RST는, 입력 영상 신호에 있어서 각 필드의 유효 영상 개시 타이밍에서 출력되고, 각 휘도 적산 레지스터(211∼222)로 이송된다. 각 휘도 적산 레지스터(211∼222)에 리셋 신호 RST가 입력되면, 그 내용이 0으로 된다.
출력 타이밍 신호 DOUT는, 도 2에 도시된 바와 같이 입력 영상 신호의 수직 위치가, 최하단의 시차 산출 영역 E12의 하단의 수직 위치를 넘은 시점으로부터 일정 기간만 H 레벨이 된다. 출력 타이밍 신호 DOUT는, CPU3으로 이송된다.
입력 영상 신호에서의 유효 영상 개시 타이밍에 리셋 신호가 출력되고, 각 휘도 적산 레지스터(211 ∼ 222)의 내용이 0으로 된다. 입력 영상 신호의 수평 수직 위치가 제1 시차 산출 영역 E1 내인 경우에는, 제1 인에이블 신호 EN1이 H 레벨이 되므로, 제1 휘도 적산 레지스터(211)에 유지되어 있는 휘도치가 선택 회로(204)를 통해 가산 회로(202)로 이송됨과 동시에, 입력 영상 신호에서의 Y 신호가 가산 회로(202)에 입력한다.
따라서, 제1 휘도 적산 레지스터(211)에 유지되어 있던 휘도치와, 입력 영상 신호에서의 Y 신호가 가산 회로(202)에 의해 가산되고, 그 가산 결과가 제1 휘도 적산 레지스터(211)에 저장된다. 즉, 입력 영상 신호의 수평 수직 위치가 제1 시차 산출 영역 E1 내인 경우에는, 제1 시차 산출 영역 E1 내의 화소의 휘도치가 적산되어 가고, 그 적산 결과가 제1 휘도 적산 레지스터(211)에 축적된다.
이와 같이 함으로써, 각 시차 산출 영역 E1 ∼ E12 마다의 휘도 적산치가, 대응하는 휘도 적산 레지스터(211∼222)에 축적된다. 그리고, 출력 타이밍 신호 DOUT가 H 레벨로 되면, 각 휘도 적산 레지스터(211∼222)에 축적되어 있는 각 시차 산출 영역 E1 ∼ E12 마다의 휘도 적산치가, CPU(3)에 데이타 버스(DATA-BUS)를 통해 이송된다.
도 4는, 고주파 성분 적산 회로(8)의 구성을 나타내고 있다.
고주파 성분 적산 회로(8)는, 타이밍 신호 발생 회로(231), 고역 통과 필터(HPF : 232), 절대치화 회로(233), 슬라이스 처리 회로(234), 가산 회로(235) 및 고주파 성분 적산 레지스터군(236) 및 선택 회로(237)를 구비하고 있다. 고주파 성분 적산 레지스터군(236)은, 각 시차 산출 영역 E1 ∼ E12에 각각 대응한 제1 ∼ 제12 고주파 성분 적산 레지스터(241∼252)를 구비하고 있다.
타이밍 신호 발생 회로(231)의 입력 신호 및 출력 신호는, 도 3의 타이밍 신호 발생 회로(201)의 입력 신호 및 출력 신호와 동일하다.
고역 통과 필터(232)에서는, 예를 들면 도 5에 도시된 바와 같이, 5개의 D플립플롭(261∼265), 입력치의 2배의 출력을 얻기 위한 비트 시프트 회로(266), 가산기(267) 및 감산기(268)로 이루어지는, -1, 0, 2, 0 및 -1의 탭 계수를 갖는 고역 통과 필터가 이용된다.
또한, 슬라이스 처리 회로(234)로는, 도 6에 도시된 바와 같은 입출력 특성을 갖는 회로가 이용된다. 0 ∼ Ia까지의 입력에 대해서는, 출력을 0으로 하는 것은, 노이즈가 고주파 성분으로서 추출되지 않도록 하기 위해서다.
따라서, 입력 영상 신호에서의 Y 신호의 고주파 성분이 고역 통과 필터(232)에 의해 추출되고, 그 절대치가 절대치화 회로(233)에 의해 얻어지고, 슬라이스 처리 회로(234)에 의해 고주파 성분의 절대치로부터 노이즈가 제거된다.
입력 영상 신호에서의 유효 영상 개시 타이밍에 리셋 신호가 출력되고, 각 고주파 성분 적산 레지스터(241∼252)의 내용이 0이 된다. 입력 영상 신호의 수평 수직 위치가 제1 시차 산출 영역 E1 내인 경우에는, 제1 인에이블 신호 EN1이 H 레벨로 되므로, 제1 고주파 성분 적산 레지스터(241)에 유지되어 있는 고주파 성분이 선택 회로(237)를 통해 가산 회로(235)로 이송됨과 동시에, 입력 영상 신호에서의 Y 신호의 고주파 성분(슬라이스 처리 회로(234)의 출력)이 가산 회로(235)로 입력된다.
따라서, 제1 고주파 성분 적산 레지스터(241)에 유지되어 있던 고주파 성분과, 입력 영상 신호에서의 Y 신호의 고주파 성분이 가산 회로(235)에 의해 가산되고, 그 가산 결과가 제1 고주파 성분 적산 레지스터(241)에 저장된다. 즉, 입력 영상 신호의 수평 수직 위치가 제1 시차 산출 영역 E1 내인 경우에는, 제1 시차 산출 영역 E1 내의 화소의 고주파 성분이 적산되어 가고, 그 적산 결과가 제1 고주파 성분 적산 레지스터(241)에 축적된다.
이와 같이 함으로써, 각 시차 산출 영역 E1 ∼ E12 마다의 고주파 성분의 적산치가, 대응하는 고주파 성분 적산 레지스터(241 ∼ 252)에 축적된다. 그리고, 출력 타이밍 신호 DOUT가 H 레벨로 되면, 각 고주파 성분 적산 레지스터(241∼252)에 축적되어 있는 각 시차 산출 영역 E1 ∼ E12 마다의 고주파 성분의 적산치가, CPU(3)에 데이타 버스를 통해 이송된다.
도 7은, 고주파 성분 적산 회로(8)의 다른 예를 나타내고 있다.
이 고주파 성분 적산 회로(8)는, 타이밍 신호 발생 회로(238), 고역 통과 필터(232), 피크 검출 회로(239), 가산 회로(235), 고주파 성분 적산 레지스터군(236) 및 선택 회로(237)를 구비하고 있다.
타이밍 신호 발생 회로(238)는, 도 3의 타이밍 신호 발생 회로(201)와 거의 동일하지만, 도 2에 도시된 바와 같이 입력 영상 신호의 수평 위치가, 시차 산출 영역 E1, E5, E9 직전의 수평 위치 및 각 시차 산출 영역 E1 ∼ E12의 최후미의 수평위치에 달했을 때에, 트리거 펄스(영역 경계 신호 RST1)가 출력되는 점이, 도 3의 타이밍 신호 발생 회로(201)와 다르다. 영역 경계 신호 RST1은, 피크 검출 회로(239)로 이송된다.
고역 통과 필터(232)에 의해 추출된 Y 신호의 고주파 성분은, 피크 검출 회로(239)로 이송된다. 피크 검출 회로(239)는, 각 시차 산출 영역 E1 ∼ E12 내의 각수평 라인마다, 고주파 성분의 최대치를 검출한다. 피크 검출 회로(239)로는,도 8에 도시된 바와 같이, 비교 회로(271), 최대치 레지스터(272) 및 게이트(273)를 구비한 것이 이용된다. 도 9는, 입력 영상 신호의 수평 동기 신호 Hsync, 영역 경계 신호 RST1, 게이트(273) 등의 출력을 나타내고 있다.
최대치 레지스터(272)에는, 고역 통과 필터(232)에 의해 추출된 Y 신호의 고주파 성분, 영역 경계 신호 RST1, 비교 회로(271)의 판정 결과 신호 La 및 클럭 신호 CLK가 입력된다. 비교 회로(271)는, 최대치 레지스터(272)의 출력과 입력 영상 신호에서의 Y 신호의 고주파 성분을 비교하고, Y 신호의 고주파 성분이 최대치 레지스터(272)의 출력보다 클 때에 , 판정 결과 신호 La를 H 레벨로 한다.
영역 경계 신호 RST1이 H 레벨이 되면, 최대치 레지스터(272)의 내용은 0으로 된다. 영역 경계 신호 RST1이 L 레벨인 상태에서, 비교 회로(271)로부터의 판정 결과 신호 La가 H 레벨이면, Y 신호의 고주파 성분이 최대치 레지스터(272)에 저장된다. 즉, 최대치 레지스터(272)의 내용이 갱신된다. 따라서, 최대치 레지스터(272)에는, 영역 경계 신호 RST1이 L 레벨인 기간마다, 입력 영상 신호의 수평 수직 위치에 대응하는 시차 산출 영역 E1 ∼ E12 내의 1수평 라인의 각 화소에 대한 Y 신호의 고주파 성분 중 최대치가 축적된다.
게이트(273)는, 영역 경계 신호 RST1이 H 레벨이 되면, 최대치 레지스터(272)의 출력치를 출력하고, 영역 경계 신호 RST1이 L 레벨일 때에는 0을 출력한다. 즉, 게이트 회로(273)로부터는, 영역 경계 신호 RST1이 H 레벨이 될 때마다, 최대치 레지스터(272)에 축적되어 있던 소정의 시차 산출 영역 E1 ∼ E12 내의 1수평 라인에 대한 Y 신호의 고주파 성분의 최대치가 출력된다. 따라서, 각 고주파 성분 적산 레지스터(241∼252)(도 7참조)에는, 대응하는 시차 산출 영역 내의 각 수평 라인에 대한 Y 신호의 고주파 성분의 최대치의 적산치가 축적되게 된다.
도 10은, 휘도 컨트러스트 산출 회로(9)의 구성을 나타내고 있다.
휘도 컨트러스트 산출 회로(9)는, 타이밍 신호 발생 회로(301) 및 휘도 컨트러스트 검출 회로군(302)을 구비하고 있다. 휘도 컨트러스트 검출 회로군(302)은, 각 시차 산출 영역 E1 ∼ E12에 각각 대응한 제1 ∼ 제12 휘도 컨트러스트 검출 회로(311∼322)를 구비하고 있다.
타이밍 신호 발생 회로(301)의 입력 신호 및 출력 신호는, 도 3의 타이밍 신호 발생 회로(201)의 입력 신호 및 출력 신호와 동일하다.
각 휘도 컨트러스트 검출 회로(311∼322)는, 도 11에 도시된 바와 같이 제1 비교 회로(331), 최대치 레지스터(332), 제2 비교 회로(333), 최소치 레지스터(334) 및 감산기(335)를 구비하고 있다.
최대치 레지스터(332)에는, 입력 영상 신호에서의 Y 신호, 상기 휘도 컨트러스트 검출 회로에 대응하는 영역 E1 ∼ E12의 인에이블 신호 EN(N=1, 2···12), 리셋 신호 RST, 제1 비교 회로(331)로부터 출력되는 판정 신호 Lb 및 클럭 신호 CLK가 입력된다. 제1 비교 회로(331)는, 최대치 레지스터(332)의 출력치와 입력 영상 신호에서의 Y 신호를 비교하고, 입력 영상 신호에서의 Y 신호가 최대치 레지스터(332)의 출력치보다 클 때에 판정 신호 Lb를 H 레벨로 한다.
리셋 신호 RST가 H 레벨이 되면, 최대치 레지스터(332)의 내용은 0이 된다. 상기 휘도 컨트러스트 검출 회로에 대응하는 영역 E1 ∼ E12의 인에이블 신호 EN이H 레벨이고 또한 판정 신호 Lb가 H 레벨일 때에, Y 신호가 최대치 레지스터(332)에 저장된다. 즉, 최대치 레지스터(332)의 내용이 갱신된다. 따라서, 출력 타이밍 신호 DOUT가 출력되기 직전에 최대치 레지스터(332)에는, 상기 휘도 컨트러스트 검출 회로에 대응하는 시차 산출 영역 E1 ∼ E12 내의 각 화소의 휘도치 중 최대치가 축적된다.
최소치 레지스터(334)에는, 입력 영상 신호에서의 Y 신호, 상기 휘도 컨트러스트 검출 회로에 대응하는 영역 E1 ∼ E12의 인에이블 신호 EN(N=1, 2···12), 리셋 신호 RST, 제2 비교 회로(333)로부터 출력되는 판정 신호 Lc 및 클럭 신호 CLK가 입력된다. 제2 비교 회로(333)는, 최소치 레지스터(334)의 출력치와 입력 영상 신호에서의 Y 신호를 비교하고, 입력 영상 신호에서의 Y 신호가 최소치 레지스터(334)의 출력치보다 작을 때에 판정 신호 Lc를 H 레벨로 한다.
리셋 신호 RST가 H 레벨이 되면, 최소치 레지스터(334)에, 미리 정해진 최대치가 설정된다. 상기 휘도 컨트러스트 검출 회로에 대응하는 영역 E1 ∼ E12의 인에이블 신호 EN이 H 레벨이고 또한 판정 신호 Lc가 H 레벨일 때에, Y 신호가 최소치 레지스터(334)에 저장된다. 즉, 최소치 레지스터(334)의 내용이 갱신된다. 따라서, 출력 타이밍 신호 DOUT가 출력되기 직전에는, 최소치 레지스터(334)에는, 상기 휘도 컨트러스트 검출 회로에 대응하는 시차 산출 영역 E1 ∼ E12 내의 각 화소의 휘도치 중 최소치가 축적된다.
이 결과, 출력 타이밍 신호 DOUT가 출력되는 시점에는, 감산기(335)의 출력은, 대응하는 시차 산출 영역 E1 ∼ E12 내의 각 화소의 휘도치 중 최대치와 최소치와의 차(휘도 컨트러스트)에 대응한 값이 된다. 그리고, 출력 타이밍 신호 DOUT가 출력되면, 감산기(335)의 출력(휘도 컨트러스트)이 CPU(3)으로 이송된다.
도 12는, 채도 적산 회로(10)의 구성을 나타내고 있다.
채도 적산 회로(10)는, 타이밍 신호 발생 회로(341), 채도 산출 회로(342), 가산 회로(343), 채도 적산 레지스터군(344) 및 선택 회로(345)를 구비하고 있다. 채도 적산 레지스터군(344)은, 각 시차 산출 영역 E1 ∼ E12에 각각 대응한 제1 ∼ 제12 채도 적산 레지스터(351 ∼ 362)를 구비하고 있다.
타이밍 신호 발생 회로(341)의 입력 신호 및 출력 신호는, 도 3의 타이밍 신호 발생 회로(201)의 입력 신호 및 출력 신호와 동일하다.
채도 산출 회로(342)는, 입력 영상 신호에서의 R-Y 신호의 값을 (R-Y)로 하고, 입력 영상 신호에서의 B-Y 신호의 값을 (B-Y)로 하여, 다음 수학식 3의 연산을 행하여, 채도에 대응하는 값 SAI를 구한다.
입력 영상 신호에서의 유효 영상 개시 타이밍에 리셋 신호 RST가 출력되고, 각 채도 적산 레지스터(351 ∼ 362)의 내용이 0으로 된다. 입력 영상 신호의 수평 수직 위치가 제1 시차 산출 영역 E1 내인 경우에는, 제1 인에이블 신호 EN1이 H 레벨이 되므로, 제1 채도 적산 레지스터(351)에 유지되어 있는 채도가 선택 회로(345)를 통해 가산 회로(343)로 이송됨과 동시에, 채도 산출 회로(342)에 의해 연산된 채도가 가산 회로(343)에 입력한다.
따라서, 제1 채도 적산 레지스터(351)에 유지되어 있는 채도와, 채도 산출 회로(342)에 의해 연산된 채도가 가산 회로(343)에 의해 가산되고, 그 가산 결과가 제1 채도 적산 레지스터(351)에 저장된다. 즉, 입력 영상 신호의 수평 수직 위치가 제1 시차 산출 영역 E1 내인 경우에는, 제1 시차 산출 영역 E1 내의 화소의 채도가 적산되어 가고, 그 적산 결과가 제1 채도 적산 레지스터(351)에 축적된다.
이와 같이 함으로써, 각 시차 산출 영역 E1 ∼ E12 마다의 채도의 적산치가, 대응하는 채도 적산 레지스터(351∼362)에 축적된다. 그리고, 출력 타이밍 신호 DOUT가 H 레벨이 되면, 각 채도 적산 레지스터(351∼362)에 축적되어 있는 각 시차 산출 영역 E1 ∼ E12 마다의 채도의 적산치가, 데이타 버스를 통해 CPU(3)에 이송된다.
도 13은, CPU(3)에 의해 행해지는 시차량의 산출 방법을 나타내고 있다.
제1 정규화 수단(401)은, 각 시차 산출 영역 E1 ∼ E12 마다의 고주파 성분의 적산치를 0 ∼ 10의 범위의 값으로 정규화한다. 제2 정규화 수단(402)은, 각 시차 산출 영역 E1 ∼ E12 마다의 휘도 컨트러스트를 0 ∼ 10의 범위의 값으로 정규화한다. 제3 정규화 수단(403)은, 각 시차 산출 영역 E1 ∼ E12 마다의 휘도 적산치를 0 ∼ 10의 범위의 값으로 정규화한다. 제4 정규화 수단(404)은, 각 시차 산출 영역 E1 ∼ E12 마다의 채도 적산치를 0 ∼ 10 범위의 값으로 정규화한다.
정규화된 각 시차 산출 영역 E1 ∼ E12 마다의 고주파 성분의 적산치에는, 승산 수단(405)에 의해 계수 K1이 적산된 후, 가산 수단(409)으로 이송된다. 정규화된 각 시차 산출 영역 E1 ∼ E12 마다의 휘도 컨트러스트에는, 승산 수단(406)에의해 계수 K2가 적산된 후, 가산 수단(409)으로 이송된다. 정규화된 각 시차 산출 영역 E1 ∼ E12 마다의 휘도 적산치에는, 승산 수단(407)에 의해 계수 K3이 적산된 후, 가산 수단(409)으로 이송된다. 정규화된 각 시차 산출 영역 E1 ∼ E12 마다의 채도 적산치에는, 승산 수단(408)에 의해 계수 K4가 적산된 후, 가산 수단(409)으로 이송된다.
계수 K1, K2, K3, K4의 구체예로는, K1=0.6, K2=0.2, K3=0.1, K4=0.1을 들 수 있다. 또한, K1=0.75, K2=0.25, K3=0.0, K4=0.0을 들 수 있다.
이들 계수 K1 ∼ K4의 설정치를 제어함으로써, 고주파 성분의 적산치, 휘도 컨트러스트, 휘도 적산치 및 채도 적산치 중에서 선택된 임의의 하나 또는 임의의 조합을, 영상의 원근에 따른 상기 화상 특징량으로서 이용할 수 있다.
따라서, 영상의 원근에 따른 상기 화상 특징량으로서, 고주파 성분의 적산치만을 이용할 수도 있다. 영상의 원근에 따른 상기 화상 특징량으로서, 휘도 컨트러스트만을 이용할 수도 있다. 영상의 원근에 따른 상기 화상 특징량으로서, 고주파 성분의 적산치 및 휘도 컨트러스트를 이용할 수도 있다. 영상의 원근에 따른 상기 화상 특징량으로서, 고주파 성분의 적산치, 휘도 컨트러스트 및 휘도 적산치를 이용할 수도 있다. 영상의 원근에 따른 상기 화상 특징량으로서, 고주파 성분의 적산치, 휘도 컨트러스트 및 채도 적산치를 이용할 수도 있다. 영상의 원근에 따른 상기 화상 특징량으로서, 고주파 성분의 적산치, 휘도 컨트러스트, 휘도 적산치 및 채도 적산치를 이용할 수도 있다.
가산 수단(409)에서는, 각 승산 수단(405∼408)에 의해 얻어진 각 시차 산출영역 E1 ∼ E12 마다의 값이 가산된다. 가산 수단(409)에 의해 얻어진 각 시차 산출 영역 E1 ∼ E12 마다의 값은, 제5 정규화 수단(410)에 의해, 0 ∼ 10의 범위의 값(이하, 깊이 정보라고 함)으로 정규화된다. 도 14는, 가산 수단(409)의 출력치와 제5 정규화 수단(410)에 의해 얻어지는 깊이 정보와의 관계를 나타내고 있다. 각 시차 산출 영역 E1 ∼ E12 마다의 깊이 정보가, 시차 산출 영역 E1 ∼ E12 마다의 영상의 원근에 따른 정보이다. 제5 정규화 수단(410)에 의해, 얻어진 각 시차 산출 영역 E1 ∼ E12 마다의 깊이 정보는, 깊이 보정 수단(411)으로 이송된다.
일반적인 화상에서는, 피사체가 전방에 존재하고, 배경이 후방에 존재한다. 또한, 피사체에 대해 핀트를 맞추고 있는 영상이 많으므로, 가까이 있는 물건일수록, 고주파 성분, 컨트러스트, 휘도 및 채도가 높다고 생각되어진다. 그래서, 이 실시예에서는, 고주파 성분의 적산치, 휘도 컨트러스트, 휘도 적산치 및 채도 적산치가 큰 영역일수록, 전방에 존재하는 물체가 찍혀 있다고 가정한다.
따라서, 가산 수단(409)에 의해 얻어진 깊이 정보가 큰 영역일수록, 전방에 존재하는 물체가 찍혀 있는 영역이라고 판단할 수 있다. 가장 전방에 존재하는 물체가 찍혀 있는 영역의 입체시(視) 위치를 입체 표시 장치의 관면 위치로 설정하면, 가산 수단(409)에 의해 얻어진 깊이 정보와, 관면 위치로부터의 깊이량과는 반비례한다.
이하, 깊이 보정 수단(411)에 의한 깊이 보정 처리에 대해 설명한다.
깊이 보정 처리에 대해서는, 실제로 설정되어 있는 시차 산출 영역을 예로 들어 설명하는 편이 이해하기 쉬우므로, 1필드에 대해 실제로 설정되는 60개의 시차 산출 영역을 예로 들어, 깊이 보정 수단(411)에 의한 깊이 보정 처리를 설명한다. 도 15는, 1필드에 대해 실제로 설정되어 있는 60개의 시차 산출 영역 F1 ∼ F60을 나타내고 있다.
우선, 시차 산출 영역 F1 ∼ F60의 각 행마다, 깊이 정보의 평균치가 산출된다. 각 시차 산출 영역 F1 ∼ F60 마다의 깊이 정보가 도 16에 도시된 바와 같은 값인 경우에는, 제1 ∼ 제6행째 마다의 깊이 정보의 평균치는, 1.2, 3.6, 6.0, 7.2, 4.0, 1.2가 된다.
이어서, 시차 산출 영역의 각 행 중, 가까운 위치의 물체가 많이 비치고 있는 영역이 추출된다. 즉, 깊이 정보의 평균치가 가장 큰 행이 추출된다. 도 16의 예에서는, 제4 행째의 영역이 추출된다.
이어서, 추출된 행보다 하단에 있는 행의 각 영역에 대해서는, 바로 윗쪽의 영역에 대해, 급격히 깊이 정보가 작아지지 않도록, 추출된 행보다 하단에 있는 행의 각 영역의 깊이 정보가 조정된다. 구체적으로는, 추출된 행보다 하단에 있는 행의 각 영역의 깊이 정보가 바로 윗쪽의 영역에 대해 3 이상 작은 영역에 대해서는, 바로 윗쪽의 영역의 깊이 정보보다 2만큼 작은 값으로, 그 영역의 깊이 정보가 변경되어진다.
도 16의 예에서는, 도 17에 도시된 바와 같이, 우선 제5 행의 각 영역 F41 ∼ F50 중, 그 깊이 정보가 바로 윗쪽의 영역의 깊이 정보에 대해 3 이상 작은 영역 F42 ∼ F49에 대해, 깊이 정보가 보정된다. 이 후, 제6 행의 각 영역 F51 ∼ F60 중, 그 깊이 정보가 바로 윗쪽의 영역의 깊이 정보(보정 후의 깊이 정보)에 대해 3 이상 작은 영역 F53 ∼ F58에 대해, 깊이 정보가 보정된다.
즉, 임의의 수평 위치에서의 화면의 높이에 대한 깊이 정보의 관계가, 도 18에 곡선 U1로 나타낸 바와 같은 관계인 경우에는, 깊이 보정에 따라 화면의 높이에 대한 깊이 정보의 관계가, 도 18에 곡선 U2로 나타낸 바와 같은 관계가 되도록 보정된다.
이와 같이, 시차 산출 영역의 각 행 중, 가까운 위치의 물체가 많이 비치고 있는 영역보다 하단의 영역의 깊이 정보가 보정되는 것은 다음 이유에 따른 것이다.
일반적으로는, 화면의 하측에는 전방에 존재하는 물체가 비치고 있는 경우가 많다. 또한, 화면의 하측에 비치고 있는 물체는, 지면 등과 같이 변화가 적은 화상인 경우가 많다. 지면등과 같이 변화가 적은 화상은, 고주파 성분이 낮기 때문에, 전방에 있음에도 불구하고, 깊이 정보의 값은 작아진다. 그래서, 깊이 보정에 의해, 전방에 있는 물체로서 고주파 성분이 낮은 영상에 대한 깊이 정보를, 그 바로 윗쪽의 영역의 깊이 정보의 값보다 커지지 않을 정도로 크게 하는 것이다.
깊이 보정 수단(411)에 의해 깊이 정보가 보정된 각 영역(실제는 F1 ∼ F60 이지만, 설명의 편의상 E1 ∼ E12로 함) 마다의 깊이 정보는, 재정규화 수단(412)에 의해, 0 ∼ 10의 범위 내에서 정규화된다. 재정규화 수단(412)에 의해 얻어진 각 영역 E1 ∼ E12 마다의 깊이 정보는, 시차 정보 결정 수단(413)에 의해, 각 영역 E1 ∼ E12 마다의 시차 정보로 변환된다.
시차 정보 결정 수단(413)은, 미리 설정된 깊이 정보에 대한 시차 정보와의관계에 기초하여, 각 영역 E1 ∼ E12 마다, 깊이 정보를 시차 정보로 변환한다. 깊이 정보에 대한 시차 정보와의 관계는, 도 19에 직선 S1 또는 S2로 도시된 바와 같이, 반비례의 관계이다.
도 19에서, 직선 S1로 나타내는 깊이 정보에 대한 시차 정보와의 관계는, 입체감이 비교적 강한 입체 영상을 얻고 싶은 경우에 이용된다. 직선 S2로 도시되는 깊이 정보에 대한 시차 정보와의 관계는, 입체감이 비교적 약한 입체 영상을 얻고 싶은 경우에 이용된다. 깊이 정보에 대한 시차 정보와의 관계를, 직선 S1과 직선 S2 사이에서 조정함으로써, 입체감을 조정하는 것이 가능하다.
이와 같이 함으로써 얻어진 각 영역 E1 ∼ E12 마다의 시차 정보는, 시차 제어 회로(4)(도 1참조)로 이송된다. 또, 깊이 보정 수단(411)에 의한 깊이 보정을 생략해도 좋다.
도 20은, 주로 도 1의 시차 제어 회로 및 임의 화소 지연 FIFO의 구성을 나타내고 있다.
도 20에는, 임의 화소 지연 FIFO(11∼13, 21∼23) 중, Y 신호에 대한 좌측 영상용 임의 화소 지연 FIFO(11) 및 우측 영상용 임의 화소 지연 FIFO(21)밖에 도시되지 않았지만, 다른 임의 화소 지연 FIFO(12, 13, 22, 23)도 동일한 구성이고 또한 동일한 제어가 행해지므로, 다른 임의 화소 지연 FIFO(12, 13, 22, 23)의 구성 및 제어 방법에 대해서는, 그 설명을 생략한다.
그런데, CPU(3)에 의해 산출된 시차 정보는, 각 시차 산출 영역 E1 ∼ E12의 중심 위치에 대한 시차 정보이다. 시차 제어 회로(4)에서는, 각 시차 산출 영역E1 ∼ E12 의 중심 위치에 대한 시차 정보에 기초하여, 1필드 화면의 각 화소 위치에 대한 시차 정보를 구할 수 있다. 그리고, 각 화소 위치에 대한 2차원 영상 신호로부터, 그 화소 위치에 대한 시차 정보에 따른 시차를 갖는 좌측 영상과 우측 영상을 생성하기 위해, 각 화소 위치에 대한 시차 정보에 기초하여, 좌측 영상용 임의 화소 지연 FIFO(11∼13) 및 우측 영상용 임의 화소 지연 FIFO(21∼23)의 독출 어드레스가 제어된다.
1필드 화면의 각 화소 위치에 대한 시차 정보는, 타이밍 신호 발생 회로(51), 시차 보간 계수 발생 회로(52), 시차 정보 기억 수단(60), 시차 선택 회로(80), 제1 ∼ 제4 승산기(81∼84) 및 가산 회로(85)에 의해 생성된다.
입력 영상 신호의 수평 동기 신호 Hsync 및 수직 동기 신호 Vsync는, 타이밍 신호 발생 회로(51)에 입력된다. 또한, 각 수평 기간의 수평 어드레스를 검출하기 위한 클럭 신호 CLK도 타이밍 신호 발생 회로(51)로 입력된다.
타이밍 신호 발생 회로(51)는, 수평 동기 신호 Hsync, 수직 동기 신호 Vsync 및 클럭 신호 CLK에 기초하여, 입력 영상 신호의 절대적 수평 위치를 나타내는 수평 어드레스 신호 HAD, 입력 영상 신호의 절대적 수직 위치를 나타내는 수직 어드레스 신호 VAD, 입력 영상 신호의 상대적 수평 위치를 나타내는 상대적 수평 위치 신호 HPOS 및 입력 영상 신호의 상대적 수직 위치를 나타내는 상대적 수직 위치 신호 VPOS를 생성하여 출력한다.
입력 영상 신호의 상대적 수평 위치 및 상대적 수직 위치에 대해 설명한다.
도 21에 도시된 바와 같이, 도 2의 시차 산출 영역 E1 ∼ E12는, 다음과 같이 설정되어 있다. 화면 전체가, 도 21에 점선으로 나타낸 바와 같이, 4행 5열의 20개의 영역(이하, 제1 분할 영역이라고 함)으로 분할되어 있다. 그리고, 좌측 상단의 제1 분할 영역 중심, 우측 상단의 제1 분할 영역 중심, 좌측 하단의 제1 분할 영역 중심 및 우측 하단의 제1 분할 영역 중심을 4정점으로 하는 사각형 영역이 3행 4열의 12개 영역(이하, 제2 분할 영역이라고 함)으로 분할되고, 각 제2 분할 영역이 시차 산출 영역 E1 ∼ E12로 하여 설정되어 있다.
제1 분할 영역 및 제2 분할 영역의 수평 방향의 화소수가 m으로 나타내고, 제1 분할 영역 및 제2 분할 영역의 수직 방향의 화소수가 n으로서 나타내고 있다. 입력 영상 신호의 상대적 수평 위치는, 각 제1 분할 영역의 좌단을 0으로 하고, 우단을 m으로 하여, 0∼(m-1)로 나타낸다. 입력 영상 신호의 상대적 수직 위치는, 각 제1 분할 영역의 상단을 0으로 하고, 하단을 n으로 하여, 0∼(n-1)로 나타낸다.
입력 영상 신호의 상대적 수평 위치 신호 HPOS 및 상대적 수직 위치 VPOS는, 시차 보간 계수 발생 회로(52)로 이송된다. 시차 보간 계수 발생 회로(52)는, 상대적 수평 위치 신호 HPOS, 상대적 수직 위치 VPOS 및 다음 수학식 4에 기초하여, 제1 시차 보간 계수 KUL, 제2 시차 보간 계수 KUR, 제3 시차 보간 계수 KDL 및 제4 시차 보간 계수 KDR을 생성하여 출력한다.
1필드 화면의 각 화소 위치에 대한 시차 정보를 생성하는 방법의 기본적인 사고 방식에 대해, 도 22를 이용하여 설명한다. 수평 어드레스 신호 HAD 및 수직어드레스 신호 VAD에 의해 나타내는 수평 수직 위치(이하, 주목 위치라고 함)가 도 22의 Pxy라고 한다. 주목 위치 Pxy에 대한 시차 정보를 구하는 경우에 대해 설명한다.
(1) 우선, CPU(3)에 의해 산출된 각 시차 산출 영역 E1 ∼ E12에 대한 시차 정보 중에서, 주목 위치 Pxy가 포함되는 제1 분할 영역의 4 정점, 이 예에서는 PE1, PE2, PE5, PE6을 중심으로 하는 시차 산출 영역 E1, E2, E5, E6에 대한 시차 정보가, 각각 UL, UR, DL, DR로서 추출된다. 즉, 주목 위치 Pxy가 포함되는 제1 분할 영역의 4정점 중, 좌측상의 정점을 중심으로 하는 영역 E1의 시차 정보가 제1 시차 정보 UL로서, 우측상의 정점을 중심으로 하는 영역 E2의 시차 정보가 제2 시차 정보 UR로서, 좌측하의 정점을 중심으로 하는 영역 E5의 시차 정보가 제3 시차 정보 DL로서, 우측하의 정점을 중심으로 하는 영역 E6의 시차 정보가 제4 시차 정보 DR로서 추출된다.
단, 주목 위치가 포함되는 제1 분할 영역이 좌측 상단의 제1 분할 영역인 경우와 같이, 주목 위치가 포함되는 제1 분할 영역의 4 정점 중 하나의 정점만이 시차 검출 영역의 중심에 해당하는 것과 같은 경우에는, 그 시차 산출 영역의 시차 정보가, 제1 ∼ 제4 시차 정보 UL, UR, DL, DR로서 추출된다.
또한, 주목 위치가 포함되는 제1 분할 영역이 좌측 상단의 제1 분할 영역의 우측 옆의 제1 분할 영역인 경우와 같이, 주목 위치가 포함되는 제1 분할 영역의 4정점 중 하측의 2개의 정점만이 시차 산출 영역의 중심에 해당하는 것과 같은 경우에는, 주목 위치가 포함되는 제1 분할 영역의 4 정점 중 상측의 2개의 정점에 대응하는 시차 정보 UL, UR로서는, 그 하측의 정점을 중심으로 하는 시차 산출 영역의 시차 정보가 추출된다.
또한, 주목 위치가 포함되는 제1 분할 영역이, 좌측 상단의 제1 분할 영역의 하측 옆의 제1 분할 영역인 경우와 같이, 주목 위치가 포함되는 제1 분할 영역의 4정점 중 우측의 2개의 정점만이 시차 산출 영역의 중심에 해당하는 것과 같은 경우에는, 주목 위치가 포함되는 제1 분할 영역의 4정점 중 좌측의 2개의 정점에 대응하는 시차 정보 UL, DL로서는, 그 우측의 정점을 중심으로 하는 시차 산출 영역의 시차 정보가 추출된다.
또한, 주목 위치가 포함되는 제1 분할 영역이, 우측 하단의 제1 분할 영역의 좌측 옆의 제1 분할 영역인 경우와 같이, 주목 위치가 포함되는 제1 분할 영역의 4정점 중 상측의 2개의 정점만이 시차 산출 영역의 중심에 해당하는 것과 같은 경우에는, 주목 위치가 포함되는 제1 분할 영역의 4정점 중 하측의 2개의 정점에 대응하는 시차 정보 DL, DR로서는, 그 상측의 정점을 중심으로 하는 시차 산출 영역의 시차 정보가 추출된다.
또한, 주목 위치가 포함되는 제1 분할 영역이, 우측 하단의 제1 분할 영역의 상측 옆의 제1 분할 영역인 경우와 같이, 주목 위치가 포함되는 제1 분할 영역의 4정점 중 좌측의 2개의 정점만이 시차 산출 영역의 중심에 상기된 바와 같은 경우에는, 주목 위치가 포함되는 제1 분할 영역의 4정점 중 우측의 2개의 정점에 대응하는 시차 정보 UR, DR로서는, 그 좌측의 정점을 중심으로 하는 시차 산출 영역의 시차 정보가 추출된다.
(2) 이어서, 제1 ∼ 제4 시차 보간 계수 KUL, KUR, KDL 및 KDR을 구할 수 있다.
제1 시차 보간 계수 KUL은, 주목 위치 Pxy를 포함하는 제1 분할 영역 e의 수평 방향폭 m에 대한, 주목 위치 Pxy로부터 제1 분할 영역 e의 우측까지의 거리 △XR의 비{(m-HPOS)/m}와, 제1 분할 영역 e의 수직 방향 폭 n에 대한, 주목 위치 Pxy로부터 제1 분할 영역 e의 하변까지의 거리 △YD와의 비{(n-VPOS)/n}의 곱에 의해 구할 수 있다. 즉, 제1 시차 보간 계수 KUL은, 주목 위치 Pxy를 포함하는 제1 분할 영역 e의 좌측상 정점 PE1과 주목 위치 Pxy의 거리가 작을수록 커진다.
제2 시차 보간 계수 KUR은, 주목 위치 Pxy를 포함하는 제1 분할 영역 e의 수평 방향폭 m에 대한, 주목 위치 Pxy로부터 제1 분할 영역 e의 좌측변까지의 거리 △XL과의 비(HPOS/m)와, 제1 분할 영역 e의 수직 방향 폭 n에 대한, 주목 위치 Pxy로부터 제1 분할 영역 e의 하변까지의 거리 △YD와의 비{(n-VPOS)/n}의 곱에 의해 구할 수 있다. 즉, 제2 시차 보간 계수 KUR은, 주목 위치 Pxy를 포함하는 제1 분할 영역 e의 우측상 정점 PE2와 주목 위치 Pxy와의 거리가 작을수록 커진다.
제3 시차 보간 계수 KDL은, 주목 위치 Pxy를 포함하는 제1 분할 영역 e의 수평 방향 폭 m에 대한, 주목 위치 Pxy로부터 제1 분할 영역 e의 우측까지의 거리 △XR의 비{(m-HPOS)/m}와, 제1 분할 영역 e의 수직 방향 폭 n에 대한, 주목 위치 Pxy로부터 제1 분할 영역 e의 윗변까지의 거리 △YU와의 비(VPOS/n)의 곱에 의해구할 수 있다. 즉, 제3 시차 보간 계수 KDL은, 주목 위치 Pxy를 포함하는 제1 분할 영역 e의 좌측하 정점 PE5와 주목 위치 Pxy와의 거리가 작을수록 커진다.
제4 시차 보간 계수 KDR은, 주목 위치 Pxy를 포함하는 제1 분할 영역 e의 수평 방향 폭 m에 대한, 주목 위치 Pxy로부터 제1 분할 영역 e의 좌측변까지의 거리 △XL과의 비(HPOS/m)와, 제1 분할 영역 e의 수직 방향 폭 n에 대한, 주목 위치 Pxy로부터 제1 분할 영역 e의 윗변까지의 거리 △YU와의 비(VPOS/n)의 곱에 의해 구해진다. 즉, 제4 시차 보간 계수 KDR은, 주목 위치 Pxy를 포함하는 제1 분할 영역 e의 우측하 정점 PE6과 주목 위치 Pxy의 거리가 작을수록 커진다.
(3) 상기 (1)에서 추출된 제1 ∼ 제4 시차 정보 UL, UR, DL, DR에, 각각 상기 (2)에서 산출된 제1 ∼ 제4 시차 보간 계수 KUL, KUR, KDL, KDR이 각각 승산된다. 그리고, 얻어진 4개의 승산치가 가산됨에 따라, 주목 위치 Pxy에 대한 시차 정보가 생성된다.
시차 정보 기억 수단(60)은, 영역 E1 ∼ E12에 각각 대응하여 설치된 제1 ∼ 제12 시차 레지스터(61∼72)를 구비하고 있다. 제1 ∼ 제12 시차 레지스터(61∼72)에는, CPU(3)에 의해 생성된 각 영역 E1 ∼ E12에 대한 시차 정보가 저장된다.
시차 정보 기억 수단(60)의 후단에는, 시차 선택 회로(80)가 설치되어 있다. 시차선택 회로(80)에는, 각 시차 레지스터(61∼72)로부터 시차 정보가 각각 이송된다. 또한, 시차 선택 회로(80)에는, 타이밍 신호 발생 회로(51)로부터 수평 어드레스 신호 HAD 및 수직 어드레스 신호 VAD가 이송되고 있다.
시차 선택 회로(80)는, 도 23의 (a)에 도시되어 있는 규칙에 따라, 수평 어드레스 신호 HAD 및 수직 어드레스 신호 VAD에 대응하는 영역(도 22의 예에서는, 주목 위치를 포함하는 제1 영역의 좌측상 정점을 중심으로 하는 시차 산출 영역)에 대한 시차 정보를, 제1 시차 정보 UL로서 선택하여 출력한다. 또한, 시차 선택 회로(80)는, 도 23의 (b)에 도시되어 있는 규칙에 따라, 수평 어드레스 신호 HAD 및 수직 어드레스 신호 VAD에 대응하는 영역(도 22의 예에서는, 주목 위치를 포함하는 제1 영역의 우측상 정점을 중심으로 하는 시차 산출 영역)에 대한 시차 정보를, 제2 시차 정보 UR로서 선택하여 출력한다.
또한, 시차 선택 회로(80)는, 도 23의 (c)에 도시되어 있는 규칙에 따라, 수평 어드레스 신호 HAD 및 수직 어드레스 신호 VAD에 대응하는 영역(도 22의 예에서는, 주목 위치를 포함하는 제1 영역의 좌측하 정점을 중심으로 하는 시차 산출 영역)에 대한 시차 정보를, 제3 시차 정보 DL로서 선택하여 출력한다. 또한, 시차 선택 회로(80)는, 도 23의 (d)에 도시되어 있는 규칙에 따라, 수평 어드레스 신호 HAD 및 수직어드레스 신호 VAD에 대응하는 영역(도 22의 예에서는, 주목 위치를 포함하는 제1 영역의 우측하 정점을 중심으로 하는 시차 산출 영역)에 대한 시차 정보를, 제4 시차 정보 DR로서 선택하여 출력한다. 도 23에서, 예를 들면 0 ∼ m과 같이, a ∼ b로 표현되어 있는 기호 "∼"은, a 이상 b 미만을 의미하는 기호로서 이용되고 있다.
시차 선택 회로(80)에 의해 선택된 제1 시차 정보 UL, 제2 시차 정보 UR, 제3 시차 정보 DL 및 제4 시차 정보 DR은, 각각 제1, 제2, 제3 및 제4 승산기(81,82, 83, 84)에 입력한다.
제1, 제2, 제3 및 제4 승산기(81, 82, 83, 84)에는, 각각 시차 보간 계수 발생 회로(52)로부터의 제1 시차 보간 계수 KUL, 제2 시차 보간 계수 KUR, 제3 시차 보간 계수 KDL 및 제4 시차 보간 계수 KDR도 입력되어 있다.
제1 승산기(81)는, 제1 시차 정보 UL에 제1 시차 보간 계수 KUL을 승산한다. 제2 승산기(82)는, 제2 시차 정보 UR에 제2 시차 보간 계수 KUR을 승산한다. 제3 승산기(83)는, 제3 시차 정보 DL에 제3 시차 보간 계수 KDL을 승산한다. 제4 승산기(84)는, 제4 시차 정보 DR에 제4 시차 보간 계수 KDR을 승산한다.
각 승산기(81, 82, 83, 84)의 출력은, 가산 회로(85)에 의해 가산된다. 이에 따라, 주목 위치에 대한 시차 정보 PR을 얻을 수 있다.
각 임의의 화소 지연 FIFO(11, 21)은, 1화소보다 작은 단위에서의 수평 위상 제어를 행하기 위해, 각각 2개의 라인 메모리(11a, 11b, 21a, 21b)를 구비하고 있다. 각 임의의 화소 지연 FIFO(11, 21) 내의 2개의 라인 메모리(11a, 11b, 21a, 21b)에는, 각각 Y 신호가 입력되어 있음과 동시에 클럭 신호 CLK가 입력되어 있다.
타이밍 신호 발생 회로(51)로부터 출력되어 있는 수평 어드레스 신호 HAD는, 표준 어드레스 발생 회로(90)에도 입력되어 있다. 표준 어드레스 발생 회로(90)는, 각 임의 화소 지연 FIFO(11, 21) 내의 2개의 라인 메모리(11a, 11b, 21a, 21b)에 대한 표준 기록 어드레스 WAD 및 표준 독출 어드레스 RAD를 생성하여 출력한다. 또한, 표준 어드레스 발생 회로(90)는, 2D/3D 변환 장치에 의해 얻어지는 좌측 영상 신호 및 우측 영상 신호에 부가되는 동기 신호 Csync도 출력한다. 이 동기 신호 Csync에 의해 나타내는 수평 동기 신호는, 입력 영상 신호의 수평 동기 신호 Hsync보다, 소정 클럭수분 지연된 신호가 된다.
표준 독출 어드레스 RAD는, 표준 독출 어드레스에 의해 규정되는 기준 수평 위상에 대해, 각 임의 화소 지연 FIFO(11, 21)에 입력되는 영상 신호의 수평 위상을 선행시키거나 지연하거나 할 수 있도록 하기 위해, 표준 기록 어드레스 WAD에 대해, 소정 클럭수분 지연되고 있다. 표준 어드레스 발생 회로(90)로부터 출력되는 표준 기록 어드레스 WAD는, 각 임의 화소 지연 FIFO(11, 21) 내의 2개의 라인 메모리(11a, 11b, 21a, 21b)에, 기록 어드레스를 나타내는 기록 제어 신호로서 입력된다.
표준 어드레스 발생 회로(90)로부터 출력되는 표준 독출 어드레스 RAD는, 가산기(91) 및 감산기(92)에 각각 입력한다. 가산기(91) 및 감산기(92)에는, 가산 회로(85)로부터 출력되는 주목 위치의 시차 정보 PR도 입력되어 있다.
가산기(91)에서는, 표준 독출 어드레스 RAD에 시차 정보 PR이 가산된다. 이에 따라, 좌측 영상용 독출 어드레스 PRL을 얻을 수 있다.
좌측 영상용 독출 어드레스 PRL의 정수부 PRL1은, 좌측 영상용 임의 화소 지연 FIFO(11) 내의 제1 라인 메모리(11a)에 독출 어드레스 RADL1로서 입력한다. 따라서, 제1 라인 메모리(11a)의 어드레스 RADL1에 대응하는 어드레스로부터 Y 신호가 독출된다. 독출된 Y 신호는, 제1 좌측 영상용 승산기(101)에 입력한다.
좌측 영상용 독출 어드레스 PRL의 정수부 PRL1에 1이 가산된 어드레스치는, 좌측 영상용 임의 화소 지연 FIFO(11) 내의 제2 라인 메모리(11b)에 독출 어드레스RADL2로서 입력한다. 따라서, 제2 라인 메모리(11b)의 어드레스 RADL2에 대응하는 어드레스로부터 Y 신호가 독출된다. 독출된 Y 신호는, 제2 좌측 영상용 승산기(102)에 입력한다.
제1 라인 메모리(11a)에 대한 독출 어드레스 RADL1과, 제2 라인 메모리(11b)에 대한 독출 어드레스 RADL2는, 1만 다르므로, 제1 라인 메모리(11a)로부터 독출된 Y 신호와, 제2 라인 메모리(11b)로부터 독출된 Y 신호는, 수평 위치가 1만 어긋난 신호가 된다.
좌측 영상용 독출 어드레스 PRL의 소수부 PRL2는, 제2 좌측 영상 보간 계수로서 제2 좌측 영상용 승산기(102)에 입력한다. 좌측 영상용 독출 어드레스 PRL의 소수부 PRL2를 1에서 감산한 값(1-PRL2)은, 제1 좌측 영상 보간 계수로서 제1 좌측 영상용 승산기(101)에 입력한다.
따라서, 제1 좌측 영상용 승산기(101)에서는, 제1 라인 메모리(11a)로부터 독출된 Y 신호에 제1 좌측 영상 보간 계수(1-PRL2)가 승산된다. 제2 좌측 영상용 승산기(102)에서는, 제2 라인 메모리(11b)로부터 독출된 Y 신호에 제2 좌측 영상 보간 계수 PRL2가 승산된다. 그리고, 각 승산기(101, 102)에 의해 얻어진 Y 신호는 가산기(103)로 가산된 후, 좌측 영상용 Y 신호 YL-OUT로서 출력된다.
이에 따라, 표준 독출 어드레스 RAD에 의해 규정되는 기준 수평 위상에 대해, 수평 위상량이 주목 위치에 대한 시차 정보에 따른 양만큼 지연된 좌측 영상용 Y 신호를 얻을 수 있다.
감산기(92)에서는, 표준 독출 어드레스 RAD로부터 시차 정보 PR이 감산된다.이에 따라, 우측 영상용 독출 어드레스 PRR을 얻을 수 있다.
우측 영상용 독출 어드레스 PRR의 정수부 PRR1은, 우측 영상용 임의 화소 지연 FIFO(21) 내의 제1 라인 메모리(21a)에 독출 어드레스 RADR1로서 입력된다. 따라서, 제1 라인 메모리(21a)의 어드레스 RADR1에 대응하는 어드레스로부터 Y 신호가 독출된다. 독출된 Y 신호는, 제1 우측 영상용 승산기(111)에 입력한다.
우측 영상용 독출 어드레스 PRR의 정수부 PRR1에 1이 가산된 어드레스치는, 우측 영상용 임의 화소 지연 FIFO(21) 내의 제2 라인 메모리(21b)에 독출 어드레스 RADR2로서 입력한다. 따라서, 제2 라인 메모리(21b)의 어드레스 RADR2에 대응하는 어드레스로부터 Y 신호가 독출된다. 독출된 Y 신호는, 제2 우측 영상용 승산기(112)에 입력한다.
제1 라인 메모리(21a)에 대한 독출 어드레스 RADR1과, 제2 라인 메모리(21b)에 대한 독출 어드레스 RADR2는, 1만 다르므로 제1 라인 메모리(21a)로부터 독출된 Y 신호와, 제2 라인 메모리(21b)로부터 독출된 Y 신호는, 수평 위치가 1만 어긋난 신호가 된다.
우측 영상용 독출 어드레스 PRR의 소수부 PRR2는, 제2 우측 영상 보간 계수로서 제2 우측 영상용 승산기(112)에 입력한다. 우측 영상용 독출 어드레스 PRR의 소수부 PRR2를 1로부터 감산한 값(1-PRR2)은, 제1 우측 영상 보간 계수로서 제1 우측 영상용 승산기(111)에 입력한다.
따라서, 제1 우측 영상용 승산기(111)에서는, 제1 라인 메모리(21a)로부터 독출된 Y 신호에 제1 우측 영상 보간 계수(1-PRR2)가 승산된다. 제2 우측 영상용승산기(112)에서는, 제2 라인 메모리(21b)로부터 독출된 Y 신호에 제2 우측 영상 보간 계수 PRR2가 승산된다. 그리고, 각 승산기(111, 112)에 의해 얻어진 Y 신호는 가산기(113)에서 가산된 후, 우측 영상용 Y 신호 YR-OUT로서 출력된다.
이에 따라, 표준 독출 어드레스 RAD에 의해 규정되는 기준 수평 위상에 대해, 수평 위상량이 주목 위치에 대한 시차 정보에 따른 양만큼 선행된 우측 영상용 Y 신호를 얻을 수 있다.
도 24는, 주목 위치에 대한 시차 정보가 0인 경우, 각 부의 신호를 나타내고 있다.
시차 정보가 0인 경우에는, 가산기(91)로부터 출력되는 좌측 영상용 독출 어드레스 PRL과, 감산기(92)로부터 출력되는 우측 영상용 독출 어드레스 PRR은, 모두 표준 독출 어드레스 RAD와 같은 소수부가 없는 정수부만으로 이루어지는 어드레스가 된다.
따라서, 좌측 영상용 임의 화소 지연 FIFO(11) 내의 제1 라인 메모리(11a)에 대한 독출 어드레스 RADL1과, 우측 영상용 임의 화소 지연 FIFO(21) 내의 제1 라인 메모리(21a)에 대한 독출 어드레스 RADR1은, 표준 독출 어드레스 RAD와 같은 어드레스가 된다.
또한, 좌측 영상용 임의 화소 지연 FIFO(11) 내의 제2 라인 메모리(11b)에 대한 독출 어드레스 RADL2와, 우측 영상용 임의 화소 지연 FIFO21 내의 제2 라인 메모리(21b)에 대한 독출 어드레스 RADR2는, 표준 독출 어드레스 RAD보다 1만큼 큰 값이 된다.
또한, 제1 좌측 영상 보간 계수(1-PRL2) 및 제1 우측 영상 보간 계수(1-PRR2)는 1이 되고, 제2 좌측 영상 보간 계수 PRL2 및 제2 우측 영상 보간 계수PRR2는 0이 된다.
이 결과, 좌측 영상용 임의 화소 지연 FIFO(11) 내의 제1 라인 메모리(11a)의 표준 어드레스 RAD에 대응하는 어드레스로부터 독출된 Y 신호가 가산기(103)로부터 좌측 영상용 Y 신호 YL-OUT로서 출력되고, 우측 영상용 임의 화소 지연 F IFO21 내의 제1 라인 메모리(21a)의 표준 어드레스 RAD에 대응하는 어드레스로부터 독출된 Y 신호가 가산기(113)로부터 우측 영상용 Y 신호 YR-OUT로서 출력된다. 즉, 수평 방향의 위상 편차량이 동일한 2개의 Y 신호, 즉 시차가 없는 2개의 Y 신호가 좌측 영상용 Y 신호 및 우측 영상용 Y 신호로서 출력된다.
도 25는, 어떤 주목 위치에 대한 표준 기록 어드레스 WAD가 20이고, 상기 주목 위치에 대한 표준 독출 어드레스 RAD가 10이고, 상기 주목 위치에 대한 시차 정보가 1.2인 경우의, 각 어드레스치의 구체예를 나타내고 있다. 도 26은, 그 때의 각 부의 신호를 나타내고 있다.
이 경우에는, 가산기(91)로부터 출력되는 좌측 영상용 독출 어드레스 PRL은, 11.2가 되고, 그 정수부 PRL1은 11이 되고, 그 소수부 PRL2는 0.2로 된다.
따라서, 좌측 영상용 임의 화소 지연 FIFO(11) 내의 제1 라인 메모리(11a)에 대한 독출 어드레스 RADL1은 11이 되고, 제2 라인 메모리(11b)에 대한 독출 어드레스 RADL2는 12로 된다. 또한, 제1 좌측 영상 보간 계수 KL1{=(1-PRL2)}은 0.8이 되고, 제2 좌측 영상 보간 계수 KL2(=PRL2)는 0.2로 된다.
따라서, 좌측 영상용 임의 화소 지연 FIFO(11) 내의 제1 라인 메모리(11a)의 어드레스(11)로부터 Y 신호(Y11)가 독출되고, 제1 승산기(101)로부터는 독출된 Y 신호(Y11)의 0.8배의 신호(0.8×Y11)가 출력된다.
한편, 좌측 영상용 임의 화소 지연 FIFO(11) 내의 제2 라인 메모리(11b)의 어드레스(12)로부터 Y 신호(Y12)가 독출되고, 제2 승산기(102)로부터는 독출된 Y 신호(Y12)의 0.2배의 신호(0.2×Y12)가 출력된다. 그리고, 가산기(103)로부터는, 0.8×Y11+0.2×Y12에 상당하는 좌측 영상용 Y 신호 YL-OUT가 출력된다. 즉, 독출 어드레스 11.2에 상당하는 Y 신호가, 좌측 영상용 Y 신호 YL-OUT로서 출력된다.
감산기(92)로부터 출력되는 우측 영상용 독출 어드레스 PRR은, 8.8이 되고, 그 정수부 PRR1은 8이 되고, 그 소수부 PRR2는 0.8이 된다.
따라서, 우측 영상용 임의 화소 지연 FIFO(21) 내의 제1 라인 메모리(21a)에 대한 독출 어드레스 RADR1은 8이 되고, 제2 라인 메모리(21b)에 대한 독출 어드레스 RADR2는 9가 된다. 또한, 제1 우측 영상 보간 계수 KR1{=(1-PRR2)}은 0.2가 되고, 제2 우측 영상 보간 계수 KR2(=PRR2)는 0.8이 된다.
따라서, 우측 영상용 임의 화소 지연 FIFO(21) 내의 제1 라인 메모리(21a)의 어드레스(8)로부터 Y 신호(Y8)가 독출되고, 제1 승산기(111)로부터는 독출된 Y 신호(Y8)의 0.2배의 신호(0.2×Y8)가 출력된다.
한편, 우측 영상용 임의 화소 지연 FIFO(21) 내의 제2 라인 메모리(21b)의어드레스(9)로부터 Y 신호(Y9)가 독출되고, 제2 승산기(112)로부터는 독출된 Y 신호(Y9)의 0.8배의 신호(0.8×Y9)가 출력된다. 그리고, 가산기(113)로부터는, 0.2×Y8+0.8×Y9에 상당하는 우측 영상용 Y 신호 YR-OUT가 출력된다. 즉, 독출 어드레스 8.8에 상당하는 Y 신호가, 우측 영상용 Y 신호 YR-OUT로서 출력된다.
이 결과, 11.2-8.8=2.4의 시차, 즉 시차 정보 1.2의 2배의 시차를 상호 갖는 좌측 영상 및 우측 영상을 얻을 수 있다.
상기 실시예에 따른 2D/3D 영상 변환 장치에서는, 원래의 2차원 영상 신호에 대해 시간적으로 지연된 영상 신호를 생성하기 위한 필드 메모리가 불필요하기 때문에, 비용의 저렴화를 꾀할 수 있다. 또한, 상기 실시예에 따른 2D/3D 영상 변환 장치에서는, 원래의 2차원 영상 신호에 의해 나타내는 영상이 정지 영상이라도 입체 영상을 얻을 수 있다.
〔2〕 제2 실시예의 설명
도 2, 도 15, 도 27 ∼ 도 42를 참조하여, 본 발명의 제2 실시예에 대해 설명한다.
도 27은, 2차원 영상을 3차원 영상으로 변환하기 위한 2D/3D 영상 변환 장치의 전체적인 구성을 나타내고 있다. 도 27에서, 도 1과 대응하는 부분에는, 동일한 부호를 붙였다.
2차원 영상 신호를 구성하는 휘도 신호 Y, 색차 신호 R-Y 및 색차 신호 B-Y는, AD 변환 회로(ADC : 1)에 의해 각각 디지탈의 Y 신호, R-Y 신호 및 B-Y 신호로변환된다.
Y 신호는, 고주파 성분 적산 회로(8) 및 휘도 컨트러스트 산출 회로(9)로 이송됨과 동시에, 제1 좌측 영상용 임의 화소 지연 FIFO(11) 및 제1 우측 영상용 임의 화소 지연 FIFO(21)로 이송된다. R-Y 신호는, R-Y 성분 적산 회로(31)로 이송됨과 동시에, 제2 좌측 영상용 임의 화소 지연 FIFO(12) 및 제2 우측 영상용 임의 화소 지연 FIFO(22)로 이송된다. B-Y 신호는, B-Y 성분 적산 회로(32)로 이송됨과 동시에, 제3 좌측 영상용 임의 화소 지연 FIFO(13) 및 제3 우측 영상용 임의 화소 지연 FIFO(23)으로 이송된다.
고주파 성분 적산 회로(8)는, 도 1의 고주파 성분 적산 회로(8)와 동일한 구성이고, 1필드 마다, 도 2에 도시된 바와 같이, 1필드 화면 내에 미리 설정된 여러개의 시차 산출 영역 E1 ∼ E12 각각에 대한 고주파 성분의 적산치를 산출한다.
휘도 컨트러스트 산출 회로(9)는, 도 1의 휘도 컨트러스트 산출 회로(9)와 동일한 구성이고, 1필드마다 각 시차 산출 영역 E1 ∼ E12 각각에 대한 휘도 컨트러스트를 산출한다.
R-Y 성분 적산 회로(31)는, 1필드마다 각 시차 산출 영역 E1 ∼ E12 각각에 대한 R-Y 성분의 적산치를 산출한다. B-Y 성분 적산 회로(32)는, 1필드마다, 각 시차 산출 영역 E1 ∼ E12 각각에 대한 B-Y 성분의 적산치를 산출한다. R-Y 성분 적산 회로(31)의 구성 및 B-Y 성분 적산 회로(32)는, 기본적으로는 도 3에 도시되어 있는 휘도 적산 회로의 구성과 동일하다. 즉, 도 3의 휘도 적산 회로와 동일한 회로에 R-Y 성분을 입력하면 R-Y 성분 적산 회로(31)가 구성된다. 또한, 도 3의휘도 적산 회로와 동일한 회로에 B-Y 성분을 입력하면 B-Y 성분 적산 회로(32)가 구성된다.
각 시차 산출 영역 E1 ∼ E12 각각에 대한 고주파 성분의 적산치, 각 시차 산출 영역 E1 ∼ E12 각각에 대한 휘도 컨트러스트, 각 시차 산출 영역 E1 ∼ E12 각각에 대한 R-Y 성분의 적산치 및 각 시차 산출 영역 E1 ∼ E12 각각에 대한 B-Y 성분의 적산치는, 시차 산출 영역 E1 ∼ E12 마다의 영상의 원근에 따른 상기 화상 특징량으로서 이용된다.
또, 1필드 화면 내에는, 실제로는 도 15에 도시된 바와 같이 6행 10열의 합계 60개의 시차 산출 영역이 설정되어 있지만, 설명의 편의 상 도 2에 도시된 바와 같이, 1필드 화면 내에, 3행 4열의 합계 12개의 시차 산출 영역 E1 ∼ E12가 설정되어 있는 것으로 한다.
CPU(3)은, 고주파 성분 적산 회로(8), 휘도 컨트러스트 산출 회로(9), R-Y 성분 적산 회로(31) 및 B-Y 성분 적산 회로(32)로부터 보내져온 정보에 기초하여, 각 시차 산출 영역 E1 ∼ E12에 대한 시차 정보를 생성한다. 이 예에서는, 피사체와 같이 앞측에 있는 물체일수록 시차량이 적고, 배경과 같이 뒤측에 있는 물체일수록 시차량이 커지도록 시차 정보가 생성된다. 이 시차 정보의 생성 방법의 상세한 내용에 대해서는, 후술하겠다.
CPU(3)에 의해 산출된 각 시차 산출 영역 E1 ∼ E12에 대한 시차 정보는, 시차 제어 회로(4)로 이송된다. 시차 제어 회로(4)는, 각 시차 산출 영역 E1 ∼ E12 에 대한 시차 정보에 기초하여, 각 필드의 각 화소 위치마다의 시차 정보를 생성한다. 그리고, 얻어진 각 화소 위치마다의 시차 정보에 기초하여, 각 FIFO(11∼13, 21∼23)으로부터 영상 신호(Y 신호, R-Y 신호, B-Y 신호)를 독출할 때의 독출 어드레스가 좌측 영상용 임의 화소 지연 FIFO(11∼13)과 우측 영상용 임의 화소 지연 FIFO(21∼23) 사이에서 어긋나도록, 각 FIFO(11∼13, 21∼23)의 독출 어드레스를 제어한다. 따라서, 좌측 영상용 임의 화소 지연 FIFO(11∼13)으로부터 독출된 좌측 영상 신호의 수평 위상과, 우측 영상용 임의 화소 지연 FIFO(21∼23)으로부터 독출된 우측 영상 신호의 수평 위상이 다르게 된다.
좌측 영상용 임의 화소 지연 FIFO(11∼13)으로부터 독출된 좌측 영상 신호(YL신호, (R-Y)L신호, (B-Y)L신호)는, DA 변환 회로(DAC : 5)에 의해 아날로그 신호로 변환된 후, 도시하지 않은 입체 표시 장치로 이송된다. 우측 영상용 임의 화소 지연 FIFO(21∼23)으로부터 독출된 우측 영상 신호(YR 신호, (R-Y)R신호, (B-Y)R신호)는, DA 변환 회로(DAC : 6)에 의해 아날로그 신호로 변환된 후, 도시하지 않은 입체 표시 장치로 이송된다.
좌측 영상 신호의 수평 위상과, 우측 영상 신호의 수평 위상은 다르므로, 좌측 영상과 우측 영상 사이에 시차가 발생한다. 이 결과, 좌측 영상을 좌측눈만으로 관찰하고, 우측 영상을 우측눈만으로 관찰하면, 피사체가 배경에 대해 전방 위치에 있는듯한 입체 영상을 얻을 수 있다.
도 28은, CPU(3)에 의해 행해지는 시차 산출 영역마다의 시차 정보 생성 처리 순서를 나타내고 있다.
분할 영역마다의 시차 정보 생성 처리에서는, 그룹 분리 처리(단계는 1), 공간 분리 처리(단계 2), 특이점 처리(단계 3), 그룹간 결합 처리(단계 4), 그룹마다의 깊이 정보 생성 처리(단계 5), 전영역에 대한 깊이 정보 보정 처리(단계 6), 그룹 경계에 대한 깊이 정보 보정 처리(단계 7), 그룹 내부에 대한 깊이 정보 보정 처리(단계 8) 및 시차 정보 산출 처리(단계 9)가 행해진다.
1필드에 대해 실제로 설정되어 있는 60개의 시차 산출 영역을 예로 들어, 시차 정보 생성 처리를 설명한다. 도 15는, 1필드에 대해 실제로 설정되어 있는 60개의 시차 산출 영역 F1 ∼ F60을 나타내고 있다.
(1) 그룹 분리 처리의 설명
단계 1의 그룹 분리 처리는, 1매의 화상을 구성하는 전영역을, 그 화상에 포함되는 물체마다 그룹 분리하는 것을 목적으로 하여 행해지는 최초의 처리이다.
그룹 분리의 방법에는 다음에 진술된 바와 같이 2개의 방법이 있다.
(1-1) 제1 방법
우선, 시차 산출 영역 F1 ∼ F60 마다에 얻어진 고주파 적산치를, 소정 범위(예를 들면, 0∼ 20)의 값으로 정규화한다. 그리고, 고주파 적산치의 각 정규화치에 속하는 시차 산출 영역의 수의 분포(히스토그램)를 생성한다. 도 29에, 생성된 히스토그램의 일례를 나타낸다. 그리고, 히스토그램의 골과 골 사이의 산에 포함되어 있는 시차 산출 영역끼리를, 하나의 그룹으로 한다. 고주파 적산치를 대신하여 휘도 컨트러스트를 이용해도 좋다. 도 30은, 이와 같이 함으로써 각 시차 산출 영역 F1 ∼ F60이, 그룹 분리된 결과를 나타내고 있다. 도 30에서, Gl ∼ G4의 숫자는, 그룹 번호를 나타내고 있다.
(1-2) 제2 방법
시차 산출 영역 F1 ∼ F60마다 얻어진 R-Y 성분의 적산치를, 0 ∼ 20의 범위의 값으로 정규화한다. 그리고, R-Y 성분 적산치의 각 정규화치에 속하는 시차 산출 영역의 수의 분포(히스토그램)를 생성한다. 이 히스토그램에 기초하여, R-Y 성분 적산치의 정규화치 중에서, 그룹사이의 경계치를 구한다.
또한, 시차 산출 영역 F1 ∼ F60마다 얻어진 B-Y 성분의 적산치를, 0 ∼ 10의 범위의 값으로 정규화한다. 그리고, B-Y 성분 적산치의 각 정규화치에 속하는 시차 산출 영역의 수의 분포(히스토그램)를 생성한다. 이 히스토그램에 기초하여, B-Y 성분 적산치의 정규화치 중에서, 그룹사이의 경계치를 구한다.
그리고, 도 31에 도시된 바와 같이, 이와 같이 함으로써 얻어진 2종류의 경계치를 이용하여, 전체 시차 산출 영역을 그룹화한다. 도 32 및 도 33은, 이와 같이 함으로써 각 시차 산출 영역 F1 ∼ F60이, 그룹 분리된 결과를 나타내고 있다. 도 32 및 도 33에서, G1 ∼ G5는, 그룹 번호를 나타내고 있다.
이 실시예에서는, 제2 방법에 따라 그룹 분리 처리가 행해진 것으로 한다.
(2) 공간 분리 처리의 설명
단계 2의 공간 분리 처리에서는, 단계 1의 처리에 따라 동일한 그룹에 속해 있는 시차 산출 영역 중, 공간적으로 인접하고 있는 시차 산출 영역끼리 하나의 그룹이 된다. 즉, 단계 1의 처리에 따라 동일한 그룹에 속해 있는 시차 산출 영역이라도, 공간적으로 다른 그룹에 의해 분리되는 시차 산출 영역끼리는, 별도의 그룹으로 된다.
구체적으로는, 도 34에 도시된 것과 같이 단계 1에서 그룹 3(G3)에 속한 시차 산출 영역은, 그룹 31(G31), 그룹 32(G32) 및 그룹 33(G33)의 3개의 그룹으로 분리된다.
(3) 특이점 처리의 설명
이 특이점 처리에서는, 하나의 시차 산출 영역만으로 구성되어 있는 그룹이 존재하는 경우에, 그 하나의 시차 산출 영역이 인접하는 다른 그룹과는 별도의 물체에 대응하고 있는지, 인접하는 다른 그룹의 물체와 동일한 물체에 대응하는지가 판정된다.
예를 들면, 도 35에 도시된 바와 같이 어떤 그룹이 하나의 시차 산출 영역 A만으로 구성되어 있는 그룹이라고 하자. 시차 산출 영역 A의 상측 방향에 있는 2개의 시차 산출 영역을, 시차 산출 영역 A에 가까운 것부터 U1, U2로 한다. 시차 산출 영역 A의 하측 방향에 있는 2개의 시차 산출 영역을, 시차 산출 영역 A에 가까운 것부터 D1, D2로 한다. 시차 산출 영역 A의 좌측 방향에 있는 2개의 시차 산출 영역을, 시차 산출 영역 A에 가까운 것부터 L1, L2로 한다. 시차 산출 영역 A의 우측 방향에 있는 2개의 시차 산출 영역을, 시차 산출 영역 A에 가까운 것부터 R1, R2로 한다.
이 경우에, 영역 A를 중심으로 하는 상하좌우 각각의 방향에 대해, 영역 A와 그것의 하나 외측의 영역 U1, D1, L1, R1과의 색거리가, 영역 A로부터 하나 외측의 영역 U1, D1, L1, R1과 또한 그 하나 외측의 영역 U2, D2, L2, R2의 색거리보다 큰경우에는, 영역 A만으로 구성되어 있는 그룹은 단독으로 하나의 그룹을 형성한다고판별된다. 그렇지 않은 경우에는, 영역 A는 그 주위의 그룹에 속한다고 판별된다. 즉, 그룹 분리가 수정된다.
색거리의 정의에 대해 설명한다. 어떤 시차 산출 영역 Fa에 대한 B-Y 성분 적산치, R-Y 성분 적산치를 각각 Fa(B-Y), Fa(R-Y)로 나타내고, 어떤 시차 산출 영역 Fb에 대한 B-Y 성분 적산치, R-Y 성분 적산치를 각각 Fb(B-Y), Fb(R-Y)로 나타내면, 영역 Fa와 영역 Fb 사이의 색거리 dist는, 다음 수학식 5로 정의된다.
예를 들면, 도 35의 영역 A의 (B-Y 성분 적산치, R-Y 성분 적산치)가 (-4, 5)이고, 영역 U1의 (B-Y 성분 적산치, R-Y 성분 적산치)가 (-5, 4)이고, 영역 U2의 (B-Y 성분 적산치, R-Y 성분 적산치)가 (-7, 2)로 한다. 영역 A와 영역 U1과의 색거리 dist는 "2"가 되고, 영역 U1과 영역 U2의 색거리 dist는 "4"가 된다.
도 34의 그룹 31(G31)이 하나의 시차 산출 영역만으로 구성되어 있고, 상기된 것과 같은 특이점 처리에 의해, 그룹 1(G1)에 속한다고 판별되었다고 하면, 도 36에 도시된 바와 같이 그룹 분리가 수정된다.
(4) 그룹간 결합 처리의 설명
단계 4의 그룹간 결합 처리에서는, 우선 각 그룹마다 그 그룹을 구성하는 시차 산출 영역의 R-Y 성분 적산치의 평균치 및 B-Y 성분 적산치의 평균치가 산출된다.
이어서, 인접하고 있는 2개의 그룹끼리의 색거리가 산출된다. 즉, 인접하고있는 2개의 그룹을 Ga, Gb로 한다. 그룹 Ga가 n 개의 시차 산출 영역 a1, a2, ··· an으로 구성되어 있다고 하면, 그룹 Ga의 B-Y 성분 적산치의 평균치 *Ga(B-Y) 및 R-Y 성분 적산치의 평균치 *Ga(R-Y)는, 다음 수학식 6으로 구할 수 있다.
또한, 그룹 Gb가 m 개의 시차 산출 영역 b1, b2, ··· bm으로 구성되어 있다고 하면, 그룹 Gb의 B-Y 성분 적산치의 평균치 *Gb(B-Y) 및 R-Y 성분 적산치의 평균치 *Gb(R-Y)는, 다음 수학식 7로 구할 수 있다.
그룹 Ga와 그룹 Gb 사이의 색거리 dist는, 다음 수학식 8에 의해 정의된다.
그리고, 인접하는 2개의 그룹사이의 색거리가 임계치보다 작은지의 여부가 판별되고, 색거리가 임계치보다 작을 때에는, 이들 2개의 그룹이 결합된다. 즉, 이들 2개의 그룹이 하나의 그룹으로 통합된다.
(5) 그룹마다의 깊이 정보 생성 처리의 설명
단계 5의 그룹마다의 깊이 정보 생성 처리에서는, 우선 시차 산출 영역 F1∼ F60마다 얻어진 고주파 성분의 적산치가, 0 ∼ 10의 범위의 값으로 정규화된다. 또한, 시차 산출 영역 F1 ∼ F60마다 얻어진 휘도 컨트러스트가, 0 ∼ 10의 범위의 값으로 정규화된다.
그리고, 얻어진 고주파 성분의 적산치의 정규화치와, 휘도 컨트러스트의 정규화치와, 도 37에 도시된 바와 같이 각 시차 산출 영역 F1 ∼ F60 마다 미리 부여된 배경 가중 성분에 기초하여, 그룹마다의 깊이 정보가 생성된다.
임의의 하나의 그룹에 대한 깊이 정보의 생성 방법에 대해 설명한다. 우선, 상기 그룹에 속해 있는 시차 산출 영역수 n을 구할 수 있다. 또한, 상기 그룹에 속해 있는 시차 산출 영역에 대한 고주파 성분의 적산치의 정규화치 a의 총합 Σa가 산출된다. 또한, 상기 그룹에 속해 있는 시차 산출 영역에 대한 휘도 컨트러스트의 정규화치 b의 총합 Σb가 산출된다. 또한, 상기 그룹에 속해 있는 시차 산출 영역에 대한 배경 가중 성분 c의 총합 Σc가 산출된다.
그리고, 다음 수학식 9에 기초하여, 상기 그룹에 대한 깊이 정보 H가 생성된다.
상기된 수학식 9에서, K1, K2 및 K3은 계수이고, 예를 들면 K1=3/8, K2=1/8, K3=4/8로 설정되어 있다.
(6) 전영역에 대한 깊이 정보 보정 처리의 설명
단계 5의 그룹마다의 깊이 정보 보정 처리에서는, 우선 시차 산출 영역 F1∼ F60의 각 행마다 깊이 정보의 평균치가 산출된다. 각 시차 산출 영역 F1 ∼ F60 마다의 깊이 정보가, 예를 들면 도 38에 도시된 바와 같은 값인 경우에는, 제1 ∼ 제6 행째마다의 깊이 정보의 평균치는, 1.2, 3.6, 6.0, 7.2, 4.0, 1.2로 된다.
이어서, 시차 산출 영역의 각 행 중, 가까운 위치의 물체가 많이 비쳐지는 영역이 추출된다. 즉, 깊이 정보의 평균치가 가장 큰 행이 추출된다. 도 38의 예에서는, 제4 행째의 영역이 추출된다.
이어서, 추출된 행보다 하단에 있는 행의 각 영역에 대해서는, 바로 윗쪽의 영역에 대해, 급격히 깊이 정보가 작아지지 않도록, 추출된 행보다 하단에 있는 행의 각 영역의 깊이 정보가 조정된다. 구체적으로는, 추출된 행보다 하단에 있는 행의 각 영역의 깊이 정보가 바로 윗쪽의 영역에 대해 3이상 작은 영역에 대해서는, 바로 윗쪽 영역의 깊이 정보보다 2만 작은 값으로, 그 영역의 깊이 정보가 변경된다.
도 38의 예에서는, 도 39에 도시된 바와 같이 우선 제5 행의 각 영역 F41 ∼ F50 중, 그 깊이 정보가 바로 윗쪽의 영역의 깊이 정보에 대해 3이상 작은 영역 F42 ∼ F49에 대해 깊이 정보가 보정된다. 이 후, 제6행의 각 영역 F51 ∼ F60 중, 그 깊이 정보가 바로 윗쪽 영역의 깊이 정보(보정 후의 깊이 정보)에 대해 3 이상 작은 영역 F53 ∼ F58에 대해, 깊이 정보가 보정된다.
즉, 임의의 수평 위치에서의 화면의 높이에 대한 깊이 정보의 관계가, 도 25에 곡선 U1로 도시된 바와 같은 관계인 경우에는, 깊이 보정에 의해 화면의 높이에 대한 깊이 정보의 관계가, 도 40에 곡선 U2로 도시된 바와 같은 관계가 되도록 보정된다.
이와 같이, 시차 산출 영역의 각 행 중, 가까운 위치의 물체가 많이 비치고 있는 영역보다 하단의 영역의 깊이 정보가 보정되는 것은 다음 이유에 따른 것이다.
일반적으로는, 화면의 하측에는 전방에 존재하는 물체가 비치고 있는 경우가 많다. 또한, 화면의 하측에 비치고 있는 물체는, 지면등과 같이 변화가 적은 화상인 경우가 많다. 지면등과 같이 변화가 적은 화상은, 고주파 성분이 낮기 때문에, 전방에 있음에도 불구하고, 깊이 정보의 값은 작아진다. 그래서, 깊이 보정에 따라, 전방에 있는 물체로서 고주파 성분이 낮은 영상에 대한 깊이 정보를, 그 바로 윗쪽 영역의 깊이 정보의 값보다 커지지 않을 정도로 크게 하는 것이다.
(7) 그룹 경계에 대한 깊이 정보 보정 처리의 설명
인접하는 2개의 그룹사이의 경계부에서는, 정확하게 그룹 분리가 행해지지 않는 경우가 있다. 또한, 인접하는 2개의 그룹사이의 경계부에서, 그룹마다의 깊이 추정치가 크게 다르면, 화상의 왜곡이 현저해진다.
그래서, 단계 7의 그룹 경계에 대한 깊이 정보 보정 처리에서는, 우선 인접하는 2개의 그룹사이의 경계부마다, 한쪽 그룹의 시차 산출 영역의 깊이 정보와, 다른쪽 그룹의 시차 산출 영역의 깊이 정보와의 차가, 미리 정해진 소정치 이상인지의 여부가 판별된다. 그리고, 양자의 깊이 정보의 차가 소정치 이상인 경우에는, 양자의 깊이 정보의 차가 소정치보다 작아지도록, 깊이 정보가 작은 쪽(즉, 후방에 위치하는 쪽)의 시차 산출 영역에 대한 깊이 정보를 증가시킨다.
(8) 그룹 내부에 대한 깊이 정보 보정 처리의 설명
상기 단계 6 및 7의 보정 처리에 의해, 동일 그룹 내에서도 영역에 따라 깊이 정보에 차가 생긴다. 이 차가 커지면, 화상의 왜곡이 현저해진다. 그래서, 단계 8의 그룹 내부에 대한 깊이 정보 보정 처리에서는, 각 그룹마다, 그룹 내의 깊이 추정치가 평활화된다.
즉, 도 41에 도시된 바와 같이, 동일한 그룹 내에서 주목 영역을 A, 그것에 대한 깊이 정보를 HA로 하고, 그에 인접하는 4개의 영역을 U, D, L, R, 이들에 대한 깊이 정보를 HU, HD, HL, HR 로 하면, 주목 영역 A에 대한 깊이 추정치 HA는 다음 수학식 10에 의해, 보정된다.
이와 같이 함으로써 얻어진 각 시차 산출 영역 F1 ∼ F60 마다의 깊이 정보는, 재차 0 ∼ 10의 범위 내에서 정규화된다.
(9) 시차 정보 산출 처리의 설명
단계 9의 시차 정보 산출 처리에서는, 각 시차 산출 영역 F1 ∼ F60 마다의 깊이 정보가 각 영역 F1 ∼ F60 마다의 시차 정보로 변환된다.
즉, 미리 설정된 깊이 정보에 대한 시차 정보와의 관계에 기초하여, 각 영역F1 ∼ F60 마다, 깊이 정보를 시차 정보로 변환한다. 깊이 정보에 대한 시차 정보와의 관계는, 도 42에 직선 S1 또는 S2로 나타낸 바와 같이, 반비례의 관계이다.
도 42에서, 직선 S1로 나타내는 깊이 정보에 대한 시차 정보와의 관계는, 입체감이 비교적 강한 입체 영상을 얻고 싶은 경우에 이용된다. 직선 S2로 나타내는 깊이 정보에 대한 시차 정보와의 관계는, 입체감이 비교적 약한 입체 영상을 얻고 싶은 경우에 이용된다. 깊이 정보에 대한 시차 정보와의 관계를, 직선 S1과 직선 S2 사이에서 조정함으로써, 입체감을 조정하는 것이 가능하다.
이와 같이 함으로써 얻어진 각 시차 산출 영역마다의 시차 정보는, 시차 제어 회로(4)(도 27 참조)로 이송된다.
제2 실시예에서의 시차 제어 회로(4)의 구성 및 동작은, 제1 실시예에서의 도 1 및 도 20에 도시되어 있는 시차 제어 회로와 동일하므로, 그 구성 및 동작의 설명을 생략한다.
상기 실시예에 따른 2D/3D 영상 변환 장치에서는, 원래의 2차원 영상 신호에 대해 시간적으로 지연된 영상 신호를 생성하기 위한 필드 메모리가 불필요하기 때문에, 비용의 저렴화를 꾀할 수 있다. 또한, 상기 실시예에 따른 2D/3D 영상 변환 장치에서는 원래의 2차원 영상 신호에 의해 나타내는 영상이 정지 영상이라도 입체 영상을 얻을 수 있다.
또한, 1필드 화면 내의 전체 영역을 그 화면에 포함되어 있는 물체마다 그룹 분리를 행하여 각 그룹마다의 영상의 원근에 따른 정보를 생성하고 있으므로, 동일한 물체 내의 각 부의 시차 변동이 억압된다. 이 결과, 동일한 물체 내에서 화상의 왜곡이 경감되고, 양호한 입체시(視)가 가능해진다.
☞〔3〕 제3 실시예의 설명
이하, 도 21, 도 43 ∼ 도 45를 참조하여, 본 발명의 제3 실시예에 대해 설명한다.
도 43은, 2D/3D 영상 변환 장치의 구성을 나타내고 있다. 도 43에서, 도 1과 대응하는 부분에는, 동일한 부호를 붙인다.
2차원 영상 신호를 구성하는 휘도 신호 Y, 색차 신호 R-Y 및 색차 신호 B-Y는, AD 변환 회로(ADC : 1)에 의해 각각 디지탈의 Y 신호, R-Y 신호 및 B-Y 신호로 변환된다.
Y 신호는, 이동 벡터 검출 회로(2)로 이송됨과 동시에, 제1 좌측 영상용 임의 화소 지연 FIFO(11) 및 제1 우측 영상용 임의 화소 지연 FIFO(21)로 이송된다. R-Y 신호는, 제2 좌측 영상용 임의 화소 지연 FIFO(12) 및 제2 우측 영상용 임의 화소 지연 FIFO(22)로 이송된다. B-Y 신호는, 제3 좌측 영상용 임의 화소 지연 FIFO(13) 및 제3 우측 영상용 임의 화소 지연 FIFO(23)으로 이송된다.
이동 벡터 검출 회로(2)는, 1필드마다, 도 21에 도시된 바와 같이 1필드 화면 내에 설정된 12개의 이동 벡터 검출 영역(이하, 시차 산출 영역이라고 함) E1 ∼ E12 각각에 대한 이동 벡터를 산출한다. 그리고, 이동 벡터 검출 회로(2)는, 산출된 이동 벡터의 신뢰성이 낮은 영역(이하, NG 영역이라고 함)을 나타내는 데이타, NG 영역이외의 각 영역 E1 ∼ E12 마다의 X 방향의 이동 벡터, NG 영역이외의 각 영역 E1 ∼ E12의 X 방향의 이동 벡터 중 최대치(X 방향의 이동 벡터가 최대치인 영역의 데이타를 포함함), NG 영역이외의 각 영역 E1 ∼ E12의 X 방향의 이동 벡터 중 최소치(X 방향의 이동 벡터가 최소치인 영역의 데이타를 포함함) 및 NG 영역이외의 각 영역 E1 ∼ E12의 X 방향의 이동 벡터의 절대치의 적산치를, 각 필드마다 CPU(3)으로 보낸다.
CPU(3)은, 이동 벡터 검출 회로(2)로부터 보내온 정보에 기초하여, 각 시차 산출 영역 E1 ∼ E12 에 대한 깊이량 또는 돌출량을 산출하고, 산출된 깊이량 또는 돌출량에 기초하여 각 시차 산출 영역 E1 ∼ E12 마다 시차 정보를 생성한다. 이 예에서는, 배경이 존재하는 영역에 대해서는 깊이량이 커지고, 피사체가 존재하는 영역에서는 깊이량이 작아지도록, 각 시차 산출 영역 E1 ∼ E12에 대한 깊이량이 산출된다. 이 깊이량의 산출 방법의 상세한 내용에 대해서는, 후술하겠다.
CPU(3)에 의해 산출된 각 시차 산출 영역 E1 ∼ E12 마다의 시차 정보는, 시차 제어 회로(4)로 이송된다. 시차 제어 회로(4)는, 각 시차 산출 영역 E1 ∼ E12 마다의 시차 정보에 기초하여, 각 필드의 각 화소 위치마다의 시차 정보를 생성한다. 그리고, 얻어진 각 화소 위치마다의 시차 정보에 기초하여, 각 FIFO(11∼13, 21∼23)으로부터 영상 신호(Y 신호, R-Y 신호, B-Y 신호)를 독출할 때의 독출 어드레스가 좌측 영상용 임의 화소 지연 FIFO(11∼13)과 우측 영상용 임의 화소 지연 FIFO(21∼23) 사이에서 어긋나도록, 각 FIFO(11∼13, 21∼23)의 독출 어드레스를 제어한다. 따라서, 좌측 영상용 임의 화소 지연 FIFO(11∼13)으로부터 독출된 좌측 영상 신호의 수평 위상과, 우측 영상용 임의 화소 지연 FIFO(21∼23)으로부터 독출된 우측 영상 신호의 수평 위상이 달라지게 된다.
좌측 영상용 임의 화소 지연 FIFO(11∼13)으로부터 독출된 좌측 영상 신호(YL 신호, (R-Y) L 신호, (B-Y) L 신호)는, DA 변환 회로(DAC : 5)에 의해 아날로그 신호로 변환된 후, 도시하지 않은 입체 표시 장치로 이송된다. 우측 영상용 임의 화소 지연 FIFO(21∼23)으로부터 독출된 우측 영상 신호(YR 신호, (R-Y) R 신호, (B-Y) R 신호)는, DA 변환 회로(DAC : 6)에 의해 아날로그 신호로 변환된 후, 도시하지 않은 입체 표시 장치로 이송된다.
좌측 영상 신호의 수평 위상과, 우측 영상 신호의 수평 위상은 다르므로, 좌측 영상과 우측 영상 사이에 시차가 발생한다. 이 결과, 좌측 영상을 좌측눈만으로 관찰하고, 우측 영상을 우측눈만으로 관찰하면, 피사체가 배경에 대해 전방 위치에 있는 듯한 입체 영상을 얻을 수 있다.
도 44는, CPU(3)에 의해 행해지는 시차 정보의 생성 방법을 나타내고 있다.
피사체/배경 판별 수단(131)은, NG 영역 이외의 각 시차 산출 영역 E1 ∼ E12의 X 방향의 이동 벡터에 기초하여, NG 영역 이외의 각 시차 산출 영역마다 그 영역의 영상이 피사체인지 배경인지를 판별한다. 이 판별 방법으로는, 예를 들면 특개평8-149517호 공보에 나타낸 방법이 이용된다.
깊이 정보 생성 수단(132)은, NG 영역 이외의 각 시차 산출 영역 E1 ∼ E12 마다의 X 방향의 이동 벡터, NG 영역 이외의 각 시차 산출 영역 E1 ∼ E12의 X 방향의 이동 벡터 중 최대치(X 방향의 이동 벡터가 최대치인 영역의 데이타를 포함함), NG 영역 이외의 각 시차 산출 영역 E1 ∼ E12의 X 방향의 이동 벡터 중 최소치(X 방향의 이동 벡터가 최소치인 영역의 데이타를 포함함) 및 NG 영역을 나타내는 데이타에 기초하여, 각 시차 산출 영역 E1 ∼ E12 마다 깊이량(깊이 정보)를 결정한다.
즉, 피사체/배경 판별 수단(131)에 의한 NG 영역 이외의 각 시차 산출 영역 E1 ∼ E12 마다의 판별 결과와, NG 영역 이외의 각 시차 산출 영역 E1 ∼ E12의 X 방향의 이동 벡터 중 최대치(X 방향의 이동 벡터가 최대치인 영역의 데이타를 포함함)와, NG 영역이외의 각 시차 산출 영역 E1 ∼ E12의 X 방향의 이동 벡터 중 최소치(X 방향의 이동 벡터가 최소치인 영역의 데이타를 포함함)에 기초하여, X 방향의 이동 벡터가 최대치인 시차 산출 영역 및 X 방향의 이동 벡터가 최소치인 시차 산출 영역 중 한 쪽의 입체시(視) 위치를 관면 위치 PPF로 결정하고, 다른 쪽 시차 산출 영역의 입체시 위치를 가장 안쪽 위치 PPR로 결정한다.
예를 들면, X 방향의 이동 벡터가 최대치인 시차 산출 영역의 영상이 피사체이고, X 방향의 이동 벡터가 최소치인 시차 산출 영역의 영상이 배경인 경우에는, 도 45에 도시된 바와 같이, X 방향의 이동 벡터가 최대치인 시차 산출 영역의 입체시 위치가 관면 위치 PPF에 결정되고, X 방향의 이동 벡터가 최소치인 시차 산출 영역의 입체시 위치가 가장 안쪽 위치 PPR로 결정된다.
X 방향의 이동 벡터가 최대치인 시차 산출 영역의 영상이 배경이고, X 방향의 이동 벡터가 최소치인 시차 산출 영역의 영상이 피사체인 경우에는, X 방향의 이동 벡터가 최대치인 시차 산출 영역의 입체시 위치가 가장 안쪽 위치 PPR로 결정되고, X 방향의 이동 벡터가 최소치인 시차 산출 영역의 입체시 위치가 관면 위치 PPF로 결정된다.
여기서는, X 방향의 이동 벡터가 최대치인 시차 산출 영역의 영상이 피사체이고, X 방향의 이동 벡터가 최소치인 시차 산출 영역의 영상이 배경이며, 도 45에도시된 바와 같이, X 방향의 이동 벡터가 최대치인 시차 산출 영역의 입체시 위치가 관면 위치 PPF에 결정되고, X 방향의 이동 벡터가 최소치인 시차 산출 영역의 입체시 위치가 가장 안쪽 위치 PPR로 결정된 것으로 하여, 각 시차 산출 영역 E1 ∼ E12의 깊이량의 결정 방법에 대해 설명한다.
X 방향의 이동 벡터가 최대치의 시차 산출 영역 및 최소치의 시차 산출 영역 이외의 시차 산출 영역 중, NG 영역이외의 각 시차 산출 영역의 입체시 위치는, 관면 위치 PPF와 가장 안쪽 위치 PPR 사이에서, 그 시차 산출 영역의 X 방향의 이동 벡터에 따른 위치로 결정된다. 이 예에서는, X 방향의 이동 벡터가 큰 영역일수록, 그 입체시 위치가 관면 위치 PPF에 가까운 위치에 결정되고, X 방향의 이동 벡터가 작은 영역일수록, 그 입체시 위치가 가장 안쪽 위치 PPR에 가까운 위치로 결정된다.
각 NG 영역의 입체시 위치는, 그 NG 영역이 화면의 상단(영역 E1 ∼ E4)에 있는지, 중간(영역 E5 ∼ E8)에 있는지, 화면의 하단(영역 E9 ∼ E12)에 있는지에 따라 결정된다.
화면의 하단에 있는 NG 영역의 입체시 위치는, 관면 위치 PPF와 가장 안쪽 위치 PPR 사이의 중앙 위치 Pa로 결정된다. 화면의 상단에 있는 NG 영역의 입체시 위치는, 가장 안쪽 위치 PPR와 동일한 위치 Pc로 결정된다. 화면의 중간에 있는 NG 영역의 입체시 위치는, 화면의 하단에 있는 NG 영역의 입체시 위치 Pa와, 화면의 상단에 있는 NG 영역의 입체시 위치 Pc 사이의 중앙 위치 Pb로 결정된다.
NG 영역의 입체시 위치를 상기된 바와 같이 함으로써 결정하는 이유에 대해설명한다. NG 영역은, 그 영상이 배경이라고 추정된다. 그리고, 통상, 배경은 화면하측에 있는 것일수록 가까운 배경이고, 화면 상측에 있는 것일수록 먼 배경이다. 따라서, 화면의 상측의 NG 영역일수록 그 입체시 위치가 관면 위치 PPF에서보다 안쪽 위치가 되도록, 각 NG 위치의 입체시 위치가 결정되는 것이다. 또한, NG 영역의 영상이 배경이라고 추정되기 때문에, 화면 하측의 NG 영역의 입체시 위치가, 피사체가 존재하는 영역의 입체시 위치보다 안쪽 위치로 결정되는 것이다.
이와 같이 함으로써, 각 시차 산출 영역 E1 ∼ E12의 입체시 위치가 결정됨에 따라, 각 시차 산출 영역 E1 ∼ E12의 관면 위치 PPF로부터의 깊이량(깊이 정보)이 결정된다.
깊이 정보 선택 수단(133)에는, 깊이 정보 생성 수단(132)에 의해 생성된 현필드의 각 시차 산출 영역 E1 ∼ E12 에 대한 깊이 정보와, 이전 회에서 깊이 정보 선택 수단(133)에 의해 선택된 이전 필드의 각 시차 산출 영역 E1 ∼ E12에 대한 깊이 정보가 입력되어 있다. 또한, 깊이 정보 선택 수단(133)에는, NG 영역이외의 각 시차 산출 영역 E1 ∼ E12의 X 방향의 이동 벡터의 절대치의 적산치를 나타내는 데이타가 이송된다.
깊이 정보 선택 수단(133)은, NG 영역이외의 각 시차 산출 영역 E1 ∼ E12의 X 방향의 이동 벡터의 절대치의 적산치가 소정치 이상인 경우, 즉 이전 필드에 대한 현재 필드의 영상의 움직임이 큰 경우에는, 현재 필드의 깊이 정보를 선택하여 출력한다. NG 영역이외의 각 시차 산출 영역 E1 ∼ E12의 X 방향의 이동 벡터의 절대치의 적산치가 소정치보다 작은 경우, 즉 이전 필드에 대한 현재 필드의 영상의 움직임이 작은경우에는, 깊이 정보 선택 수단(133)은 이전 필드의 깊이 정보를 선택하여 출력한다.
깊이 정보 선택 수단(133)으로부터 출력된 각 시차 산출 영역 E1 ∼ E12 마다의 깊이 정보(이하, 각 영역 E1 ∼ E12 마다의 제1 깊이 정보라고 함)는, 깊이 정보가 인접하는 필드간 급격한 변화를 방지하기 위한 평활화 처리 수단(140)으로 보내지고, 평활화된다. 평활화 처리 수단(140)은, 제1 승산 수단(134), 가산 수단(135) 및 제2 승산 수단(136)으로 구성되어 있다.
각 시차 산출 영역 E1 ∼ E12 마다의 제1 깊이 정보는, 제1 승산 수단(134)에 의해 계수α가 승산된다. 계수α는, 통상은 예를 들면 1/8로 설정되어 있다. 단, 현재 필드의 장면이, 이전 필드의 장면으로부터 변화(장면 체인지)했을 때에는, 계수α는 1로 설정된다. 이러한 장면 체인지의 검출 방법으로는, 예를 들면 특개평8-149514호 공보에 개시되어 있는 방법이 이용된다.
제1 승산 수단(134)의 출력(이하, 각 영역 E1 ∼ E12 마다의 제2 깊이 정보라고 함)은, 가산 수단(135)으로 이송된다. 가산 수단(135)에는, 제2 승산 수단(136)의 출력(이하, 각 영역 E1 ∼ E12 마다의 제4 깊이 정보라고 함)도 이송되고, 각 시차 산출 영역 E1 ∼ E12 마다의 제1 깊이 정보와, 대응하는 시차 산출 영역의 제4 깊이 정보와의 합이 산출된다.
제2 승산 수단(136)에서는, 이전 회의 가산 수단(135)의 출력(이하, 각 영역 E1 ∼ E12 마다의 제3 깊이 정보라고 함)에 대해 수β가 승산된다. 계수β는, 통상은 예를 들면 7/8로 설정되어 있다. 단, 현재 필드의 장면이, 이전 필드의 장면으로부터 변화(장면 체인지)했을 때에는, 계수β는 0으로 설정된다.
따라서, 현재 필드의 장면이, 이전 필드의 장면으로부터 변화하지 않는 경우에는, 제1 승산 수단(134)에 의해, 깊이 정보 선택 수단(133)으로부터 출력된 각 시차 산출 영역 E1 ∼ E12 마다의 제1 깊이 정보에 1/8이 각각 승산된다. 이에 따라, 각 시차 산출 영역 E1 ∼ E12 마다의 제2 깊이 정보를 얻을 수 있다.
각 시차 산출 영역 E1 ∼ E12 마다의 제2 깊이 정보는, 가산 수단(135)으로 이송된다. 가산 수단(135)에는, 또한 가산 수단(135)으로부터 이전 회 출력된 각 시차 산출 영역 E1 ∼ E12 마다의 제3 깊이 정보에 제2 승산 수단(136)에 의해 7/8이 승산되어 얻어진 각 시차 산출 영역 E1 ∼ E12 마다의 제4 깊이 정보도 입력되고 있다.
가산 수단(135)에서는, 각 시차 산출 영역 E1 ∼ E12의 제2 깊이 정보와, 대응하는 시차 산출 영역의 제4 깊이 정보와의 합이 각각 산출된다. 이에 따라, 각 시차 산출 영역 E1 ∼ E12 마다의 제3 깊이 정보를 얻을 수 있다. 이 각 시차 산출 영역 E1 ∼ E12 마다의 제3 깊이 정보가, 시차 정보로서, 시차 제어 회로(4) (도 43 참조)로 이송된다.
현재 필드의 장면이, 이전 필드의 장면으로부터 변화하는 경우에는, 제1 승산 수단(134)에 의해, 깊이 정보 선택 수단(133)으로부터 출력된 각 시차 산출 영역 E1 ∼ E12 마다의 깊이 정보에 1이 각각 승산된다. 따라서, 제1 승산 수단(134)으로부터는, 깊이 정보 선택 수단(133)으로부터 출력된 각 시차 산출 영역 E1 ∼ E12 마다의 깊이 정보가 그대로 출력된다.
제2 승산 수단(136)의 계수는 0이므로, 제2 승산 수단(136)의 출력은 0이다. 따라서, 가산 수단(135)으로부터는, 깊이 정보 선택 수단(133)으로부터 출력된 각 시차 산출 영역 E1 ∼ E12 마다의 깊이 정보가 그대로 출력된다. 즉, 현재 필드의 장면이, 이전 필드의 장면으로부터 변화하는 경우에는, 깊이 정보 선택 수단(133)으로부터 출력된 각 시차 산출 영역 E1 ∼ E12 마다의 깊이 정보가, 시차 정보로서, 시차 제어 회로(4)(도 43참조)로 이송된다.
제3 실시예에서의 시차 제어 회로(4)의 구성 및 동작은, 제1 실시예에서의 도 1 및 도 20에 도시되어 있는 시차 제어 회로와 동일하므로, 그 구성 및 동작의 설명을 생략한다.
상기 2D/3D 영상 변환 장치에서는, 원래의 2차원 영상 신호에 대해 시간적으로 지연된 영상 신호를 생성하기 위한 필드 메모리가 불필요하기 때문에, 비용의 저렴화를 꾀할 수 있다.
〔4〕제4 실시예의 설명
도 46 ∼ 도 51을 참조하여, 본 발명의 제4 실시예에 대해 설명한다.
〔4-1〕 본 발명을 2D/3D 영상 변환 시스템에 적용한 경우의 실시예에 대해 설명한다.
도 46은, 2D/3D 영상 변환 시스템의 구성을 나타내고 있다.
이 2D/3D 영상 변환 시스템은, 2차원 영상을 3차원 영상으로 변환하기 위한 2D/3D 영상 변환 장치(501) 및 2D/3D 영상 변환 장치(501)에 의해 얻어진 3차원 영상 신호에 대해 입체감을 조정하는 입체감 조정 회로(502)를 구비하고 있다.
2D/3D 영상 변환 장치(501)에는, 2차원 영상 신호를 구성하는 휘도 신호 Y-IN, 색차 신호(R-Y)-IN 및 색차 신호(B-Y)-IN이 입력된다. 2D/3D 영상 변환 장치(501)로부터는, 좌측 영상 신호를 구성하는 휘도 신호 YL, 색차 신호(R-Y)L 및 색차 신호(B-Y)L과, 우측 영상 신호를 구성하는 휘도 신호 YR, 색차 신호(R-Y)R 및 색차 신호(B-Y)R과, 각 화소마다의 시차 정보 PR을 출력한다.
2D/3D 영상 변환 장치(501)의 각 출력 신호는 입체감 조정 회로(502)로 이송된다. 입체감 조정 회로(502)로부터는, 입체감 조정 후의 좌측 영상 신호를 구성하는 휘도 신호 YL-OUT, 색차 신호(R-Y)L-OUT 및 색차 신호(B-Y)L-OUT와, 입체감 조정 후의 우측 영상 신호를 구성하는 휘도 신호 YR-OUT, 색차 신호(R-Y)R-OUT 및 색차 신호(B-Y)R-OUT이 출력된다.
2D/3D 영상 변환 장치(501)로는, 예를 들면 제1 실시예에서 설명한 2D/3D영상 변환 장치(도 1참조), 제2 실시예에서 설명한 2D/3D 영상 변환 장치(도 27참조) 또는 제3 실시예에서 설명한 2D/3D 영상 변환 장치(도 43 참조)가 이용된다.
도 47은 입체감 조정 회로(502)의 구성을 나타내고 있다.
입체감 조정 회로(502)는, 계수 생성 회로(601), 좌측 영상 신호에 대해 입체감 조정 처리를 행하는 좌측 영상용 입체감 조정 회로(602) 및 우측 영상 신호에 대해 입체감 조정 처리를 행하는 우측 영상용 입체감 조정 회로(603)를 구비하고 있다.
좌측 영상용 입체감 조정 회로(602)의 구성과, 우측 영상용 입체감 조정 회로(603)의 구성과는 동일하므로, 좌측 영상용 입체감 조정 회로(602)에 대해서만설명하겠다.
계수 생성 회로(601)는, 2D/3D 영상 변환 장치(501)로부터 이송되는 화소마다의 시차 정보 PR(영상의 원근에 따른 정보)에 기초하여, 제1 계수 KL, 제2 계수 KH 및 제3 계수 KC를 생성한다. 제1 계수 KL은, 0 이상 1 이하의 범위 내(0≤KL≤1)에서 생성되고, 영상의 저주파 성분의 비율을 조정하기 위한 계수이다. 즉, 제1 계수 KL은, 영상 윤곽을 흐릿하게 하기 위한 계수, 즉 영상 윤곽의 선명도를 저하시키기 위한 계수이고, 제1 계수 KL의 값이 커질수록, 윤곽이 희미해진 영상을 얻을 수 있게 된다.
계수 생성 회로(601)는, 전방에 있는 영상이 비치고 있는 화소에 대해서는, 제1 계수 KL을 작게 하고, 후방에 있는 영상이 비치고 있는 화소에 대해서는, 제1 계수 KL을 크게 한다. 상술된 바와 같이, 이 실시예에서는, 전방에 있는 영상이 비치고 있는 화소에 대한 시차 정보 PR은 작고, 후방에 있는 영상이 비치고 있는 화소에 대한 시차 정보 PR은 크다. 이 때문에, 도 48에 도시된 바와 같이, 계수 생성 회로(601)는, 시차 정보 PR이 소정치 이하의 범위에서는, 제1 계수 KL의 값을 0으로 하고, 시차 정보 PR이 소정치보다 큰 범위에서는, 시차 정보 PR이 커질수록 제1 계수 KL의 값을 크게 한다.
제2 계수 KH는, 0 이상 1 이하의 범위 내(0≤KH≤1)에서 생성되고, 영상의 고주파 성분의 비율을 조정하기 위한 계수이다. 즉, 제2 계수 KH는, 영상 윤곽을 또렷하게 하기 위한 계수, 즉 영상 윤곽의 선명도를 높이기 위한 계수이고, 제2 계수 KH의 값이 커질수록 윤곽이 확실한 영상을 얻을 수 있게 된다.
계수 생성 회로(601)는, 전방에 있는 영상이 비치고 있는 화소에 대해서는, 제2 계수 KH를 크게 하고, 후방에 있는 영상이 비치고 있는 화소에 대해서는, 제2 계수 KH를 작게 한다. 상술된 바와 같이, 이 실시예에서는 전방에 있는 영상이 비치고 있는 화소에 대한 시차 정보 PR은 작고, 후방에 있는 영상이 비치고 있는 화소에 대한 시차 정보 PR은 크다. 이 때문에, 도 49에 도시된 바와 같이, 계수 생성 회로(601)는, 시차 정보 PR이 소정치 이하의 범위에서는, 시차 정보 PR이 커질수록 제2 계수 KH의 값을 작게 하고, 시차 정보 PR이 소정치보다 큰 범위에서는, 제2 계수 KH의 값을 0으로 한다.
제3 계수 KC는, 영상의 채도를 조정하기 위한 계수이고, 제3 계수 KC가 커질수록 영상의 채도가 강조된다. 계수 생성 회로(601)는, 전방에 있는 영상이 비치고 있는 화소에 대해서는, 제3 계수 KC를 크게 하고, 후방에 있는 영상이 비치고 있는 화소에 대해서는, 제3 계수 KC를 작게 한다. 상술된 바와 같이, 이 실시예에서는, 전방에 있는 영상이 비치고 있는 화소에 대한 시차 정보 PR은 작고, 후방에 있는 영상이 비치고 있는 화소에 대한 시차 정보 PR은 크다. 이 때문에, 도 50에 도시된 바와 같이, 계수 생성 회로(601)는, 시차 정보 PR이 커질수록 제3 계수 KC의 값을 작게 한다.
좌측 영상용 입체감 조정 회로(602)에는, 2D/3D 영상 변환 장치(501)로부터 이송돼 오는 좌측 영상을 구성하는 휘도 신호 YL, 색차 신호 (R-Y)L 및 색차 신호(B-Y)L이 입력된다.
좌측 영상용 입체감 조정 회로(602)에는, 영상 윤곽의 선명도를 조정하는 회로(610) 및 영상의 채도를 조정하는 회로(620)가 설치되어 있다.
영상 윤곽의 선명도를 조정하는 회로(610)에 대해 설명한다. 영상 윤곽의 선명도를 조정하는 회로(610)는, 영상의 저주파 성분의 비율을 조정하는 회로(611)와 영상의 고주파 성분의 비율을 조정하는 회로(612) 및 이들의 출력을 가산하는 가산 회로(613)로 이루어진다.
영상의 저주파 성분의 비율을 조정하는 회로(611)는, 휘도 신호 YL의 저주파 성분을 추출하는 저역 통과 필터(LPF : 701), 저역 통과 필터(701)에 의해 추출된 휘도 신호 YL의 저주파 성분에 제1 계수 KL을 승산하는 제1 승산기(702), 1-KL의 연산을 행하는 연산기(703), 휘도 신호 YL에 연산기(703)의 출력인 (1-KL)을 승산하는 제2 승산기(704) 및 제1 승산기(702)의 출력과 제2 승산기(704)의 출력을 가산하는 제1 가산기(705)를 구비하고 있다.
영상의 고주파 성분의 비율을 조정하는 회로(612)는, 휘도 신호 YL의 고주파 성분을 추출하는 고역 통과 필터(HPF : 711) 및 고역 통과 필터(711)에 의해 추출된 휘도 신호 YL의 고주파 성분에 제2 계수 KH를 승산하는 제3 승산기(712)를 구비하고 있다.
영상의 저주파 성분의 비율을 조정하는 회로(611)의 출력(제1 가산기(705)의 출력)과, 영상의 고주파 성분의 비율을 조정하는 회로(612)의 출력(제3 승산기(712)의 출력)은, 가산 회로(613)에 의해 가산된다. 이 가산 회로(613)의 출력 YL-OUT가, 도시하지 않은 입체 표시 장치로 이송된다.
상술된 바와 같이, 전방에 있는 영상이 비치고 있는 화소에 대해서는, 제1계수 KL은 작아지고, 제2 계수 KH는 커진다. 따라서, 전방에 있는 영상이 비치고 있는 화소에 대해서는, 휘도 신호 YL의 저주파 성분의 비율은 낮고, 휘도 신호 YL의 고주파 성분의 비율이 높아진다. 이 때문에, 전방에 있는 영상이 비치고 있는 화소에 대한 영상은, 윤곽이 또렷한 영상이 된다.
한편, 후방에 있는 영상이 비치고 있는 화소에 대해서는, 제1 계수 KL은 커지고, 제2 계수 KH는 작아진다. 따라서, 후방에 있는 영상이 비치고 있는 화소에 대해서는, 휘도 신호 YL의 저주파 성분의 비율은 높고, 휘도 신호 YL의 고주파 성분의 비율이 낮아진다. 이 때문에, 후방에 있는 영상이 비치고 있는 화소에 대한 영상은, 윤곽이 희미해진 영상이 된다. 이와 같이, 전방에 있는 영상이 비치고 있는 화소에 대한 영상은 윤곽이 또렷한 영상이 되고, 후방에 있는 영상이 비치고 있는 화소에 대한 영상은 윤곽이 희미해진 영상이 되기 때문에, 입체감이 강조된다.
영상의 채도를 조정하는 회로(620)에 대해 설명한다. 영상의 채도를 조정하는 회로(620)는, 색차 신호 (R-Y)L에 제3 계수 KC를 승산하는 제5 승산기(721) 및 색차 신호(B-Y)L에 제3 계수 KC를 승산하는 제6 승산기(722)를 구비하고 있다. 제5 승산기(721)의 출력(R-Y)L-OUT 및 제6 승산기(722)의 출력(B-Y)L-OUT이, 도시하지 않은 입체 표시 장치로 이송된다.
상술된 바와 같이, 전방에 있는 영상이 비치고 있는 화소에 대해서는, 제3 계수 KC는 커진다. 따라서, 전방에 있는 영상이 비치고 있는 화소에 대해서는, 색차 신호(R-Y)L 및 (B-Y)L의 값이 커지고, 채도가 높아진다. 한편, 후방에 있는 영상이 비치고 있는 화소에 대해서는, 제3 계수 KC는 작아진다. 따라서, 후방에 있는 영상이 비치고 있는 화소에 대해서는, 색차 신호(R-Y)L 및 (B-Y)L의 값이 작아지고, 채도가 저하한다. 이와 같이, 전방에 있는 영상이 비치고 있는 화소에 대한 영상의 채도가 높아지고, 후방에 있는 영상이 비치고 있는 화소에 대한 영상의 채도가 낮아지므로, 입체감이 강조된다.
〔4-2〕 본 발명을, 2 대의 카메라를 이용하여 촬상한 좌측 영상 신호와 우측 영상 신호로 이루어지는 3차원 영상 신호의 입체감을 조정하는 시스템에 대해 적용한 경우의 실시예에 대해 설명한다.
도 51은, 입체감 조정 시스템의 구성을 나타내고 있다.
이 입체감 조정 시스템은, 3차원 영상 신호로부터, 1필드마다 화소마다의 시차 정보 PR을 검출하기 위한 시차 검출 회로(801) 및 시차 검출 회로(801)에 의해 얻어진 화소마다의 시차 정보 PR에 기초하여, 3차원 영상 신호에 대해 입체감을 조정하는 입체감 조정 회로(802)를 구비하고 있다.
시차 검출 회로(801)는, 선택 회로(901), 이동 벡터 검출 회로(902), 벡터 보정 회로(903) 및 시차 정보 생성 회로(904)를 구비하고 있다.
선택 회로(901)에는, 3차원 영상을 구성하는 좌측 영상의 휘도 신호 YL-IN과, 3차원 영상을 구성하는 우측 영상의 휘도 신호 YR-IN이 입력된다. 또한, 선택 회로에는, 필드 식별 신호 FLD가 제어 신호로서 입력된다.
선택 회로(901)는, 필드 식별 신호 FLD에 기초하여, 좌측 영상에서의 휘도 신호 YL-IN과 우측 영상에서의 휘도 신호 YR-IN을 1필드 단위로 전환하여 출력한다. 이 예에서는, 필드 식별 신호 FLD는, 입력 영상 신호의 필드가 홀수 필드인경우에는 H 레벨이 되고, 입력 영상 신호의 필드가 짝수 필드인 경우에는 L 레벨이 된다. 그리고, 선택 회로(901)는, 필드 식별 신호 FLD가 H 레벨(홀수 필드)인 경우에는, 좌측 영상에서의 휘도 신호 YL-IN을 선택하여 출력하고, 필드 식별 신호 FLD가 L 레벨(짝수 필드)인 경우에는, 우측 영상에서의 휘도 신호 YR-IN을 선택하여 출력한다.
이동 벡터 검출 회로(902)는, 선택 회로(901)로부터 출력되는 영상 신호로부터, 1필드마다, 도 21에 도시된 바와 같이 1필드 화면 내에 설정된 12개의 이동 벡터 검출 영역(이하, 시차 산출 영역이라고 함) E1 ∼ E12 각각에 대한 X 방향 이동 벡터를 산출한다.
이동 벡터 검출 회로(902)에 의해 얻어진 각 시차 산출 영역 E1 ∼ E12 각각에 대한 X 방향 이동 벡터는, 벡터 보정 회로(903)로 이송된다. 이동 벡터 검출 회로(902)에 의해 얻어진 각 시차 산출 영역 E1 ∼ E12 각각에 대한 X 방향 이동 벡터는, 각 시차 산출 영역 E1 ∼ E12 마다의 좌측 영상과 우측 영상 사이의 영상의 수평 방향 움직임을 나타내고 있다. 좌측 영상과 우측 영상은 시차를 갖고 있으므로, 동일한 물체라도 카메라로부터의 거리에 따라 양 영상 사이에서 수평 위치가 다르다. 따라서, 각 시차 산출 영역 E1 ∼ E12 마다의 X 방향 이동 벡터는, 각 시차 산출 영역 E1 ∼ E12 마다의 양 영상 사이의 시차에 대응한다.
그러나, 동일한 방향으로 물체가 이동하고 있는 경우라도, 좌측 영상으로부터 우측 영상으로 변화한 경우에 얻어지는 X 방향 벡터와, 우측 영상으로부터 좌측 영상으로 변화한 경우에 얻어지는 X 방향 벡터에서는, X 방향의 이동 벡터의 부호가 반대 방향이 된다. 그래서, 동일한 방향으로 물체가 이동하는 경우에, 얻어지는 X 방향 벡터의 부호를 일치시키기 위해, 벡터 보정 회로(903)가 설치되어 있다.
벡터 보정 회로(903)는, 필드 식별 신호 FLD가 H 레벨(홀수 필드)인 경우에는, 이동 벡터 검출 회로(902)로부터 이송된 시차 산출 영역 E1 ∼ E12 각각에 대한 X 방향 이동 벡터를 시차 정보 생성 회로(904)에 그대로 이송한다.
필드 식별 신호 FLD가 L 레벨(짝수 필드)인 경우에는, 벡터 보정 회로(903)는, 이동 벡터 검출 회로(902)로부터 이송된 시차 산출 영역 E1 ∼ E12 각각에 대한 X 방향 이동 벡터의 부호를 반전시켜, 시차 정보 생성 회로(904)로 이송한다.
시차 정보 생성 회로(904)에서는, 벡터 보정 회로(903)로부터 이송되는 각 시차 산출 영역 E1 ∼ E12 마다의 X 방향 이동 벡터에 기초하여, 각 화소마다의 시차 정보 PR을 생성한다.
즉, 벡터 보정 회로(903)로부터 이송되 온 각 시차 산출 영역 E1 ∼ E12 마다의 X 방향 이동 벡터를, 각 시차 산출 영역 E1 ∼ E12에 대한 시차 정보로 하고, 도 21을 이용하여 설명한 바와 같이 함으로써, 각 시차 산출 영역 E1 ∼ E12에 대한 시차 정보로부터 각 화소마다의 시차 정보 PR을 생성한다.
입체감 조정 회로(802)는, 시차 검출 회로(801)에 의해 얻어진 화소마다의 시차 정보 PR에 기초하여, 3차원 영상 신호에 대해 입체감을 보정하기 위한 처리를 행한다. 이 입체감 보정 회로(802)는, 도 46의 입체감 조정 회로(502)와 동일하므로, 그 구성 및 동작의 설명을 생략한다.
상기 제4 실시예에 따르면, 3차원 영상 신호에 의해 얻어지는 입체 영상의입체감을 조정할 수 있게 된다.
〔5〕제5 실시예의 설명
도 52 ∼ 도 55를 참조하여, 본 발명의 제5 실시예에 대해 설명한다.
도 52는, 2차원/3차원 영상 변환 장치의 구성을 나타내고 있다.
2차원/3차원 영상 변환 장치는, 2차원 영상 신호를 3차원 영상 신호로 변환하기 위한 집적 회로(LSI : 1010)와, 집적 회로(1010)에 접속된 복수의 지연용 필드 메모리(1020)로 구성되어 있다.
도 52에서는, 집적 회로(1010)의 구성 요소에서는, 지연용 필드 메모리 (1020)에의 데이타의 기록 및 지연용 필드 메모리(1020)로부터의 데이타의 독출에 관계하는 부분만이 도시되어 있다. 즉, 집적 회로(1010)의 구성 요소로는, 라이트측 데이타 패스(1011), 라이트계 타이밍 발생부(1012), 리드측 데이타 패스(1013) 및 리드계 타이밍 발생부(1014)가 도시되어 있다. 집적 회로(1010)는, 이들의 구성 요소 외, 이동 벡터 검출부, CPU에 접속되는 인터페이스등을 구비하고 있다.
집적 회로(1010)에는, 2차원 영상 신호를 구성하는 휘도 신호(Y 신호) 및 색차 신호(R-Y 신호 및 B-Y 신호)가 입력한다. 집적 회로(1010)로부터는, 상대적으로 시간차를 갖는 우안용 영상 신호 및 좌안용 영상 신호가 출력된다. 우안용 영상 신호는, 우안용 휘도 신호 Y(R)와 우안용 색차 신호 R-Y(R) 및 우안용 색차 신호 B-Y(R)로 이루어진다. 좌안용 영상 신호는, 좌안용 휘도 신호Y(L)와 좌안용 색차 신호 R-Y(L) 및 좌안용 색차 신호 B-Y(L)로 이루어진다.
이 2차원/3차원 영상 변환 장치에는, 2차원/3차원 영상 변환 모드로서, 다음3개의 모드가 있다.
(1) 제1 통상 속도 변환 모드
제1 통상 속도 변환 모드는, 2차원 영상 신호와 수평, 수직 주파수가 동일한 3차원 영상 신호를 생성하기 위한 모드이고, 또한 우안용 영상 신호 및 좌안용 영상 신호중 한쪽이, 필드 메모리를 통하지 않고 리드측 데이타 패스(1013)로 이송된 2차원 영상 신호에 기초하여 생성되는 모드이다.
(2) 제2 통상 속도 변환 모드
제2 통상 속도 변환 모드는, 2차원 영상 신호와 수평, 수직 주파수가 동일한 3차원 영상 신호를 생성하기 위한 모드이고, 또한 우안용 영상 신호 및 좌안용 영상 신호의 양방이 필드 메모리를 통해 리드측 데이타 패스(1013)로 이송된 2차원 영상 신호에 기초하여 생성되는 모드이다.
(3) 배속 변환 모드
배속 변환 모드는, 2차원 영상 신호에 대해 수평, 수직 주파수가 2배인 3차원 영상 신호를 생성하기 위한 모드이다. 이 경우에는, 우안용 영상 신호 및 좌안용 영상 신호의 양방이 필드 메모리를 통해 리드측 데이타 패스(1013)로 이송된 2차원 영상 신호에 기초하여 생성된다.
집적 회로(1010)에는, 2차원 영상 신호의 수평 동기 신호 HSYNC에 기초하여 생성된 제1 기준 클럭 신호 CLK1, 2차원 영상 신호의 수평 동기 신호 HSYNC에 기초하여 생성된 제2 기준 클럭 신호 CLK2, 2차원 영상 신호의 수직 동기 신호 VSYNC, 2차원 영상 신호의 수평 동기 신호 HSYNC에 기초하여 제1 기준 클럭 신호 CLK1에서생성된 제1 수평 동기 신호 HD1 및 2차원 영상 신호의 수평 동기 신호 HSYNC에 기초하여 제2 기준 클럭 신호 CLK2에서 생성된 제2 수평 동기 신호 HD2가 입력된다.
도 53은, 제1 기준 클럭 신호 CLK1 및 제1 수평 동기 신호 HD1을 발생시키기 위한 위상 동기 회로(PLL 회로)를 나타내고 있다.
위상 동기 회로의 입력은 2차원 영상 신호의 수평 동기 신호 HSYNC이고, 위상 동기 회로의 출력은 제1 수평 동기 신호 HD1이다. 위상 동기 회로의 입력인 수평 동기 신호 HSYNC와, 위상 동기 회로의 출력인 제1 수평 동기 신호 HD1의 위상 비교 결과가 위상 비교부(1031)에 의해 전압으로 변환된다. 위상 비교부(1031)의 출력 전압은, 저대역 통과 필터(LPF : 1032)에서 평활화된 후, 전압 제어 발진기(VCO : 1033)로 이송된다. 전압 제어 발진기(1033)에서는, 그 입력 전압에 따른 주파수의 신호를 출력한다.
전압 제어 발진기(1033)의 출력(신호 a)은, 제1 기준 클럭 신호 CLK1로서 추출됨과 동시에 2분주 회로(1034)로 이송된다. 2분주 회로(1034)로부터는, 전압 제어 발진기(1033)의 출력 신호 a의 주파수가 1/2로 된 신호 b가 출력된다. 2분주 회로(1034)의 출력 신호 b는, 910분주 회로(1035)로 이송된다. 910분주 회로(1035)로부터는, 2분주 회로(1034)의 출력 신호 b의 주파수가 1/910으로 된 신호 HD1이 출력된다.
전압 제어 발진기(1033)로부터 출력되는 신호(제1 기준 클럭 신호 CLK1)의 주파수 fCLK1은, 위상 동기 회로의 입출력의 위상차가 0인 경우에는, 수평 동기 신호HSYNC의 주파수 fH(15.75〔㎑〕)의 1820배이다. 즉, 제1 기준 클럭 신호 CLK1의 주파수 fCLK1은, 1820fH이고, 약 28.6〔㎒〕가 된다.
제1 기준 클럭 신호 CLK1은, 2차원 영상 신호의 수평 동기 신호 HSYNC의 1 주기가 1820 클럭으로 분할된 신호가 된다. 2차원 영상 신호가 VTR로 재생된 영상인 경우에는, 수평 동기 신호 HSYNC의 주파수가 변동하는 경우가 있다. 제1 기준 클럭 신호 CLK1의 주파수는, 수평 동기 신호 HSYNC의 주파수의 변동에 따라 변동한다.
제2 기준 클럭 신호 CLK2 및 제2 수평 동기 신호 HD2도, 도 53과 동일한 위상 동기 회로에 의해 생성된다. 제2 기준 클럭 신호 CLK2의 주파수 fCLK2는, 위상 동기 회로의 입출력의 위상차가 0인 경우에는, 수평 동기 신호 HSYNC의 주파수fH(15.75〔㎑〕)의 1820배이다. 즉, 제2 기준 클럭 신호 CLK2의 주파수 fCLK2는, 1820fH이고, 약 28.6〔㎒〕이 된다.
제2 기준 클럭 신호 CLK2 및 제2 수평 동기 신호 HD2를 생성하기 위한 위상 동기 회로에서는, 저대역 통과 필터(LPF)의 차단 주파수가, 도 53의 저대역 통과 필터(LPF : 1032)의 차단 주파수보다 낮게 설정되어 있다. 이 때문에, 제2 기준 클럭 신호 CLK2는, 수평 동기 신호 HSYNC의 주파수가 변동해도, 주파수 변동이 적은 신호가 된다.
도 52에 도시된 바와 같이, 제1 기준 클럭 신호 CLK1은, 2분주 회로(1015)에 의해 2분주된다. 2분주 회로(1015)로부터 출력되는 제3 클럭 신호 CLK3은, 라이트계 타이밍 발생부(1012) 및 제1 셀렉터(1016)로 이송된다. 제3 클럭 신호 CLK3의 주파수 fCLK3은, 제1 기준 클럭 신호 CLK1의 주파수 fCLK1의 1/2이다.
제2 기준 클럭 신호 CLK2는, 제1 셀렉터(1016)로 이송됨과 동시에, 2분주 회로(1017)로 이송된다. 2분주 회로(1017)로부터 출력되는 제4 클럭 신호 CLK4는, 제1 셀렉터(1016)로 이송된다. 제4 클럭 신호 CLK4의 주파수 fCLK4는, 제2 기준 클럭 신호 CLK2의 주파수 fCLK2의 1/2이다.
수직 동기 신호 VSYNC는, 라이트계 타이밍 발생부(1012) 및 리드계 타이밍 발생부(1014)로 이송된다. 제1 수평 동기 신호 HD1은, 라이트계 타이밍 발생부(1012)로 이송됨과 동시에 제2 셀렉터(1018)로 이송된다. 제2 수평 동기 신호 HD2는 제2 셀렉터(1018)로 이송된다.
제1 셀렉터(1016)는, 설정되어 있는 2차원/3차원 영상 변환 모드에 따라, 제3 클럭 신호 CLK3, 제2 기준 클럭 신호 CLK2 및 제4 클럭 신호 CLK4 중에서, 하나를 선택하여 리드계 타이밍 발생부(1014)에 이송한다.
제2 셀렉터(1018)는, 설정되어 있는 2차원/3차원 영상 변환 모드에 따라, 제1 수평 동기 신호 HD1 및 제2 수평 동기 신호 HD2 중에서, 하나를 선택하여 리드계 타이밍 발생부(1014)로 보낸다.
2차원/3차원 영상 변환 모드로서 제1 통상 속도 변환 모드가 설정되어 있는 경우에는, 제1 셀렉터(1016)는, 제3 클럭 신호 CLK3을 선택하여 리드계 타이밍 발생부(1014)로 보낸다. 이 경우에는, 필드 메모리(1020)의 기록 클럭 및 독출 클럭은, 제1 기준 클럭 신호 CLK1이 2분주된 제3 클럭 신호 CLK3이 된다. 따라서, 집적 회로(1010)의 동작은, 도 55의 집적 회로(1100)의 동작과 완전히 동일해진다.
2차원/3차원 영상 변환 모드로서 제2 통상 속도 변환 모드가 설정되어 있는 경우에는, 제1 셀렉터(1016)는, 제4 클럭 신호 CLK4를 선택하여 리드계 타이밍 발생부(1014)로 보낸다. 이 경우에는, 필드 메모리(1020)의 기록 클럭은, 제1 기준 클럭 신호 CLK1이 2분주된 제3 클럭 신호 CLK3이 되고, 필드 메모리(1020)의 독출 클럭은 제2 기준 클럭 신호 CLK2가 2분주된 제4 클럭 신호 CLK4가 된다. 따라서, 2차원 영상 신호의 수평 동기 신호 HSYNC의 주파수가 변동해도, 지터가 흡수된다.
2차원/3차원 영상 변환 모드로서 배속 변환 모드가 설정되어 있는 경우에는, 제1 셀렉터(1016)는, 제2 기준 클럭 신호 CLK2를 선택하여 리드계 타이밍 발생부(1014)로 보낸다. 이 경우에는, 필드 메모리(1020)의 기록 클럭은, 제1 기준 클럭 신호 CLK1이 2분주된 제3 클럭 신호 CLK3이 되고, 필드 메모리(1020)의 독출 클럭은 제2 기준 클럭 신호 CLK2가 된다.
즉, 2차원/3차원 영상 변환 모드로서 배속 변환 모드가 설정되는 경우에는, 필드 메모리(1020)의 독출 클럭의 주파수는, 기록 클럭의 주파수의 2배로 되어 있다. 따라서, 집적 회로(1010)로부터 출력되는 3차원 영상 신호는, 2차원 영상 신호에 대해 수평, 수직 주파수가 2배의 신호가 된다. 또한, 2차원 영상 신호의 수평 동기 신호 HSYNC의 주파수가 변동해도, 지터가 흡수된다.
도 54는, 2차원/3차원 영상 변환 모드로서 배속 변환 모드가 설정되어 있는 경우의 각 부의 신호를 나타내고 있다. 또, 이 도 54는, 지연용 필드 메모리가 4개 설치되어 있고, 또한 좌안용 영상 신호가 우안용 영상 신호에 대해, 2필드 지연하는 경우의 예를 나타내고 있다.
이 실시예에서는, 도 55에 도시된 종래의 2차원/3차원 영상 변환 장치에 비교하여 배속화 회로가 불필요해지기 때문에, 회로의 단순화를 꾀할 수 있음과 동시에 비용의 저렴화를 꾀할 수 있다.

Claims (47)

  1. 2차원 영상 신호를 3차원 영상 신호로 변환하는 장치에 있어서,
    상기 2차원 입력 영상 신호에 기초하여, 각 필드마다, 1필드 화면 내에 설정된 복수의 시차 산출 영역의 각각에 대해, 영상의 원근에 따른 상기 화상 특징량을 추출하는 특징량 추출 수단;
    각 시차 산출 영역마다 추출된 상기 화상 특징량에 기초하여, 1필드 화면 내의 소정 단위 영역마다의 시차 정보를 생성하는 시차 정보 생성 수단; 및
    상기 2차원 입력 영상 신호의 각 소정 단위 영역 내의 신호로부터, 그 소정 단위 영역에 대응하는 시차 정보에 따른 수평 위상차를 갖는 제1 영상 신호와 제2 영상 신호를 각각 생성하는 위상 제어 수단
    을 구비하는 2차원 영상을 3차원 영상으로 변환하는 장치.
  2. 제1항에 있어서, 상기 시차 정보 생성 수단은,
    시차 산출 영역마다의 영상의 원근에 따른 상기 화상 특징량에 기초하여, 각 시차 산출 영역마다 영상의 원근에 따른 정보를 생성하는 수단; 및
    각 시차 산출 영역마다의 영상의 원근에 따른 상기 정보를, 각 시차 산출 영역마다의 시차 정보로 변환하는 수단
    을 구비하는 2차원 영상을 3차원 영상으로 변환하는 장치.
  3. 제1항에 있어서, 상기 시차 정보 생성 수단은,
    시차 산출 영역마다의 영상의 원근에 따른 상기 화상 특징량에 기초하여, 각 시차 산출 영역마다 영상의 원근에 따른 정보를 생성하는 수단;
    화면의 높이 위치 중, 영상의 원근에 따른 상기 정보에 의해 나타내는 원근 위치가 가장 가까운 높이 위치보다 하측인 각 시차 산출 영역 중, 그 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 원근 위치가, 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 원근 위치보다 소정치 이상 먼 위치인 시차 산출 영역에 대해서는, 그 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 상기 원근 위치가 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 상기 원근 위치에 접근하도록, 그 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보를 보정하는 수단; 및
    보정 후의 각 시차 산출 영역마다의 영상의 원근에 따른 정보를, 각 시차 산출 영역마다의 시차 정보로 변환하는 수단
    을 구비하는 2차원 영상을 3차원 영상으로 변환하는 장치.
  4. 제1항에 있어서, 상기 시차 정보 생성 수단은,
    시차 산출 영역마다의 영상의 원근에 따른 상기 화상 특징량에 기초하여, 1필드 화면 내의 전영역을 그 화면에 포함되어 있는 물체마다 그룹 분리를 행하는 제1 수단;
    상기 제1 수단에 의한 그룹 분리 결과와, 시차 산출 영역마다의 영상의 원근에 따른 상기 화상 특징량에 기초하여, 각 그룹마다의 영상의 원근에 따른 정보를 생성하는 제2 수단;
    각 그룹마다의 영상의 원근에 따른 상기 정보에 기초하여, 각 시차 산출 영역마다의 영상의 원근에 따른 정보를 생성하는 제3 수단; 및
    각 시차 산출 영역마다의 영상의 원근에 따른 상기 정보를, 각 시차 산출 영역마다의 시차 정보로 변환하는 제4 수단
    을 구비하는 2차원 영상을 3차원 영상으로 변환하는 장치.
  5. 제4항에 있어서, 상기 제1 수단은 영상의 원근에 따른 상기 화상 특징량의 크기에 대한 시차 산출 영역수를 나타내는 횟수 분포에 기초하여, 영상의 원근에 따른 상기 화상 특징량의 크기가 근사하는 영역이 동일 그룹이 되도록 1필드 화면 내의 전영역을 그룹 분리하는 2차원 영상을 3차원 영상으로 변환하는 장치.
  6. 제4항에 있어서, 상기 제1 수단은,
    영상의 원근에 따른 상기 화상 특징량의 크기에 대한 시차 산출 영역수를 나타내는 횟수 분포에 기초하여, 영상의 원근에 따른 상기 화상 특징량의 크기가 근사하는 영역이 동일 그룹이 되도록 1필드 화면 내의 전영역을 그룹 분리하는 수단; 및
    동일한 그룹 내에 상호 공간적으로 떨어져 있는 복수의 영역이 존재하는 경우에는, 이들의 영역이 각각 다른 그룹이 되도록, 그룹 분리를 행하는 수단
    을 구비하는 2차원 영상을 3차원 영상으로 변환하는 장치.
  7. 제4항에 있어서, 상기 제1 수단은,
    영상의 원근에 따른 상기 화상 특징량의 크기에 대한 시차 산출 영역수를 나타내는 횟수 분포에 기초하여, 영상의 원근에 따른 상기 화상 특징량의 크기가 근사하는 영역이 동일 그룹이 되도록 1필드 화면 내의 전영역을 그룹 분리하는 수단;
    동일한 그룹 내에 상호 공간적으로 떨어져 있는 복수의 영역이 존재하는 경우에는, 이들의 영역이 각각 다른 그룹이 되도록, 그룹 분리를 행하는 수단; 및
    소정수 이하의 시차 산출 영역으로 구성되어 있는 그룹이 존재하는 경우에는, 상기 그룹 내 및 그 주위의 시차 산출 영역에 대한 영상의 원근에 따른 상기 화상 특징량에 기초하여, 상기 그룹을 주위의 그룹에 속하게 해야하는지의 여부를 판별하고, 상기 그룹을 주위의 그룹에 속하게 해야 한다고 판별한 경우에는, 상기 그룹을 주위의 그룹에 속하게 하는 수단
    을 구비하는 2차원 영상을 3차원 영상으로 변환하는 장치.
  8. 제4항에 있어서, 상기 제1 수단은,
    영상의 원근에 따른 상기 화상 특징량의 크기에 대한 시차 산출 영역수를 나타내는 횟수 분포에 기초하여, 영상의 원근에 따른 상기 화상 특징량의 크기가 근사하는 영역이 동일 그룹이 되도록 1필드 화면 내의 전영역을 그룹 분리하는 수단;
    동일한 그룹내에 상호 공간적으로 떨어져 있는 복수의 영역이 존재하는 경우에는, 이들의 영역이 각각 다른 그룹이 되도록, 그룹 분리를 행하는 수단;
    소정수 이하의 시차 산출 영역으로 구성되어 있는 그룹이 존재하는 경우에는, 상기 그룹 내 및 그 주위의 시차 산출 영역에 대한 영상의 원근에 따른 상기 화상 특징량에 기초하여, 상기 그룹을 주위의 그룹에 속하게 해야하는지의 여부를 판별하고, 그 그룹을 주위의 그룹에 속하게 해야 한다고 판별한 경우에는, 상기 그룹을 주위의 그룹에 속하게 하는 수단; 및
    인접하는 2개의 그룹 중, 한 쪽 그룹 내 및 다른 쪽 그룹 내의 시차 산출 영역에 대한 영상의 원근에 따른 상기 화상 특징량에 기초하여, 상기 양그룹을 결합시켜야 하는지의 여부를 판별하고, 상기 양그룹을 결합시킨다고 판별한 경우에는, 상기 양그룹을 결합시키는 수단
    을 구비하는 2차원 영상을 3차원 영상으로 변환하는 장치.
  9. 제4항에 있어서, 상기 제2 수단은,
    각 그룹내의 시차 산출 영역마다의 영상의 원근에 따른 상기 화상 특징량 및 각 시차 산출 영역마다 미리 설정된 가중 계수에 기초하여, 각 그룹마다 영상의 원근에 따른 정보를 산출하는 2차원 영상을 3차원 영상으로 변환하는 장치.
  10. 제4항에 있어서, 상기 제3 수단은,
    화면의 높이 위치 중, 영상의 원근에 따른 상기 정보에 의해 나타내는 원근위치가 가장 가까운 높이 위치보다 하측인 각 시차 산출 영역 중, 그 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 원근 위치가, 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 원근 위치보다 소정치 이상 먼 위치인 시차 산출 영역에 대해서는, 그 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 상기 원근 위치가 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 상기 원근 위치에 접근하도록, 그 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보를 보정하는 수단을 구비하는 2차원 영상을 3차원 영상으로 변환하는 장치.
  11. 제4항에 있어서, 상기 제3 수단은,
    화면의 높이 위치 중, 영상의 원근에 따른 상기 정보에 의해 나타내는 원근 위치가 가장 가까운 높이 위치보다 하측인 각 시차 산출 영역 중, 그 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 원근 위치가, 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 원근 위치보다 소정치 이상 먼 위치인 시차 산출 영역에 대해서는, 그 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 원근 위치가 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 원근 위치에 접근하도록, 그 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보를 보정하는 수단; 및
    인접하는 2개의 그룹 경계부에서, 영상의 원근에 따른 상기 정보가 양그룹사이에서 소정 범위 이내가 되도록, 인접하는 2개의 그룹 경계부의 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보를 보정하는 수단
    을 구비하는 2차원 영상을 3차원 영상으로 변환하는 장치.
  12. 제4항에 있어서, 상기 제3 수단은,
    화면의 높이 위치 중, 영상의 원근에 따른 상기 정보에 의해 나타내는 원근 위치가 가장 가까운 높이 위치보다 하측인 각 시차 산출 영역 중, 그 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 원근 위치가, 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 원근 위치보다 소정치 이상 먼 위치인 시차 산출 영역에 대해서는, 그 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 상기 원근 위치가 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 상기 원근 위치에 접근하도록, 그 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보를 보정하는 수단;
    인접하는 2개의 그룹 경계부에 있어서, 영상의 원근에 따른 상기 정보가 양그룹사이에서 소정 범위 이내가 되도록, 인접하는 2개의 그룹 경계부의 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보를 보정하는 수단; 및
    동일한 그룹 내의 각 시차 산출 영역사이에서, 영상의 원근에 따른 상기 정보의 차가 소정 범위 이내가 되도록, 각 그룹내의 영상의 원근에 따른 상기 정보를 평활화시키는 수단
    을 구비하는 2차원 영상을 3차원 영상으로 변환하는 장치.
  13. 제1항에 있어서, 상기 위상 제어 수단은,
    상기 2차원 입력 영상 신호를 1수평 라인분 이하의 복수 화소수만큼 기억할 수 있는 용량을 구비하고, 또한 상기 2차원 입력 영상 신호를 일차적으로 기억하는 제1 기억 수단;
    상기 2차원 입력 영상 신호를 1수평 라인분이하의 복수 화소수만큼 기억할 수 있는 용량을 구비하고, 또한 상기 2차원 입력 영상 신호를 일차적으로 기억하는 제2 기억 수단;
    상기 제1 기억 수단의 독출 어드레스를, 상기 2차원 입력 영상 신호의 수평 수직 위치에 따라 결정된 표준 독출 어드레스에 대해, 상기 2차원 입력 영상 신호의 수평 수직 위치가 속하는 소정 단위 영역에 대응하는 시차 정보에 기초하여 제어함으로써, 상기 표준 독출 어드레스에 의해 규정되는 기준 수평 위상에 대해 상기 시차 정보에 따른 양만큼 수평 위상이 선행된 제1 영상 신호를 생성하는 제1 독출 어드레스 제어 수단; 및
    상기 제2 기억 수단의 독출 어드레스를, 상기 표준 독출 어드레스에 대해, 상기 2차원 입력 영상 신호의 수평 수직 위치가 속하는 소정 단위 영역에 대응하는 시차 정보에 기초하여 제어함에 따라, 상기 표준 독출 어드레스에 의해 규정되는 기준 수평 위상에 대해 상기 시차 정보에 따른 양만큼 수평 위상이 지연된 제2 영상 신호를 생성하는 제2 독출 어드레스 제어 수단
    을 구비하는 2차원 영상을 3차원 영상으로 변환하는 장치.
  14. 제1항에 있어서, 영상의 원근에 따른 상기 화상 특징량이, 휘도 고주파 성분의 적산치, 휘도 컨트러스트, 휘도 적산치, R-Y 성분의 적산치, B-Y 성분의 적산치 및 채도 적산치 중에서 선택된 임의의 하나 또는 임의의 조합인 2차원 영상을 3차원 영상으로 변환하는 장치.
  15. 제1항에 있어서, 소정 단위 영역이 1화소 단위의 영역인 2차원 영상을 3차원 영상으로 변환하는 장치.
  16. 2차원 영상을 3차원 영상으로 변환하는 방법에 있어서,
    2차원 입력 영상 신호에 기초하여, 각 필드마다 1필드 화면 내에 설정된 복수의 시차 산출 영역의 각각에 대해, 영상의 원근에 따른 화상 특징량을 추출하는 제1 단계;
    각 시차 산출 영역마다 추출된 상기 화상 특징량에 기초하여, 1필드 화면 내의 소정 단위 영역마다의 시차 정보를 생성하는 제2 단계; 및
    상기 2차원 입력 영상 신호의 각 소정 단위 영역 내의 신호로부터, 그 소정 단위 영역에 대응하는 시차 정보에 따른 수평 위상차를 갖는 제1 영상 신호와 제2 영상 신호를 각각 생성하는 제3 단계
    를 구비하는 2차원 영상을 3차원 영상으로 변환하는 방법.
  17. 제16항에 있어서, 상기 제2 단계는,
    시차 산출 영역마다의 영상의 원근에 따른 상기 화상 특징량에 기초하여, 각 시차 산출 영역마다 영상의 원근에 따른 정보를 생성하는 단계; 및
    각 시차 산출 영역마다의 영상의 원근에 따른 상기 정보를, 각 시차 산출 영역마다의 시차 정보로 변환하는 단계
    를 구비하는 2차원 영상을 3차원 영상으로 변환하는 방법.
  18. 제16항에 있어서, 상기 제2 단계는,
    시차 산출 영역마다의 영상의 원근에 따른 상기 화상 특징량에 기초하여, 각 시차 산출 영역마다 영상의 원근에 따른 정보를 생성하는 단계;
    화면의 높이 위치 중, 영상의 원근에 따른 상기 정보에 의해 나타내는 원근 위치가 가장 가까운 높이 위치보다 하측인 각 시차 산출 영역 중, 그 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 원근 위치가, 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 원근 위치보다 소정치 이상 먼 위치인 시차 산출 영역에 대해서는, 그 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 상기 원근 위치가 그 바로 윗쪽의 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보에 의해 나타내는 상기 원근 위치에 접근하도록, 그 시차 산출 영역에 대한 영상의 원근에 따른 상기 정보를 보정하는 단계; 및
    보정 후의 각 시차 산출 영역마다의 영상의 원근에 따른 상기 정보를, 각 시차 산출 영역마다의 시차 정보로 변환하는 단계
    를 구비하는 2차원 영상을 3차원 영상으로 변환하는 방법.
  19. 제16항에 있어서, 상기 제3 단계는,
    상기 2차원 입력 영상 신호를 1수평 라인분 이하의 복수 화소수만큼 기억할 수 있는 용량을 갖는 제1 기억 수단 및 제2 기억 수단에, 상기 2차원 입력 영상 신호를 일차적으로 기억하는 단계;
    상기 제1 기억 수단의 독출 어드레스를, 상기 2차원 입력 영상 신호의 수평 수직 위치에 따라 결정된 표준 독출 어드레스에 대해, 상기 2차원 입력 영상 신호의 수평 수직 위치가 속하는 소정 단위 영역에 대응하는 시차 정보에 기초하여 제어함으로써, 상기 표준 독출 어드레스에 의해 규정되는 기준 수평 위상에 대해 상기 시차 정보에 따른 양만큼 수평 위상이 선행된 제1 영상 신호를 생성하는 단계; 및
    상기 제2 기억 수단의 독출 어드레스를, 상기 표준 독출 어드레스에 대해, 상기 2차원 입력 영상 신호의 수평 수직 위치가 속하는 소정 단위 영역에 대응하는 시차 정보에 기초하여 제어함으로써, 상기 표준 독출 어드레스에 의해 규정되는 기준 수평 위상에 대해 상기 시차 정보에 따른 양만큼 수평 위상이 지연된 제2 영상 신호를 생성하는 단계
    를 구비하는 2차원 영상을 3차원 영상으로 변환하는 방법.
  20. 제16항에 있어서, 영상의 원근에 따른 상기 화상 특징량이, 휘도 고주파 성분의 적산치, 휘도 컨트러스트, 휘도 적산치 및 채도 적산치 중에서 선택된 임의의 하나 또는 임의의 조합인 2차원 영상을 3차원 영상으로 변환하는 방법.
  21. 제16항에 있어서, 소정 단위 영역이 1화소 단위의 영역인 2차원 영상을 3차원 영상으로 변환하는 방법.
  22. 2차원 영상을 3차원 영상으로 변환하는 장치에 있어서,
    2차원 입력 영상 신호에 기초하여, 각 필드마다, 1필드 화면 내에 설정된 복수의 이동 벡터 검출 영역의 각각에 대한 이동 벡터를 검출하는 이동 벡터 검출 수단;
    각 이동 벡터 검출 영역마다 검출된 상기 이동 벡터의 수평 방향 성분에 기초하여, 1필드 화면내의 소정 단위 영역마다의 시차 정보를 생성하는 시차 정보 생성 수단; 및
    상기 2차원 입력 영상 신호의 각 소정 단위 영역 내의 신호로부터, 그 소정 단위 영역에 대응한 시차 정보에 따른 수평 위상차를 갖는 제1 영상 신호와 제2 영상 신호를 각각 생성하는 위상 제어 수단
    을 구비하는 2차원 영상을 3차원 영상으로 변환하는 장치.
  23. 제22항에 있어서,상기 시차 정보 생성 수단은,
    각 이동 벡터 검출 영역마다 검출된 상기 이동 벡터의 수평 방향 성분, 수평 방향 성분의 최대치, 수평 방향 성분이 최대치인 이동 벡터 검출 영역, 수평 방향 성분의 최소치, 수평 방향 성분이 최소치인 이동 벡터 검출 영역 및 각 이동 벡터 검출 영역의 영상이 배경인지 피사체인지를 나타내는 정보에 기초하여, 1필드 화면 내의 소정 단위 영역마다의 시차 정보를 생성하는 2차원 영상을 3차원 영상으로 변환하는 장치.
  24. 제22항에 있어서, 상기 위상 제어 수단은,
    상기 2차원 입력 영상 신호를 1수평 라인분 이하의 복수 화소수만큼 기억할 수 있는 용량을 구비하고, 또한 상기 2차원 입력 영상 신호를 일차적으로 기억하는 제1 기억 수단;
    상기 2차원 입력 영상 신호를 1수평 라인분 이하의 복수 화소수만큼 기억할 수 있는 용량을 구비하고, 또한 상기 2차원 입력 영상 신호를 일차적으로 기억하는 제2 기억 수단;
    상기 제1 기억 수단의 독출 어드레스를, 상기 2차원 입력 영상 신호의 수평 수직 위치에 따라 결정된 표준 독출 어드레스에 대해, 상기 2차원 입력 영상 신호의 수평 수직 위치가 속하는 소정 단위 영역에 대응하는 시차 정보에 기초하여 제어함으로써, 상기 표준 독출 어드레스에 의해 규정되는 기준 수평 위상에 대해 상기 시차 정보에 따른 양만큼 수평 위상이 선행된 제1 영상 신호를 생성하는 제1 독출 어드레스 제어 수단; 및
    상기 제2 기억 수단의 독출 어드레스를, 상기 표준 독출 어드레스에 대해, 상기 2차원 입력 영상 신호의 수평 수직 위치가 속하는 소정 단위 영역에 대응하는 시차 정보에 기초하여 제어함으로써, 상기 표준 독출 어드레스에 의해 규정되는 기준 수평 위상에 대해 상기 시차 정보에 따른 양만큼 수평 위상이 지연된 제2 영상 신호를 생성하는 제2 독출 어드레스 제어 수단
    을 구비하는 2차원 영상을 3차원 영상으로 변환하는 장치.
  25. 제22항에 있어서, 소정 단위 영역이 1화소 단위의 영역인 2차원 영상을 3차원 영상으로 변환하는 장치.
  26. 2차원 입력 영상 신호에 기초하여, 각 필드마다, 1필드 화면 내에 설정된 복수의 이동 벡터 검출 영역의 각각에 대한 이동 벡터를 검출하는 제1 단계;
    각 이동 벡터 검출 영역마다 검출된 상기 이동 벡터의 수평 방향 성분에 기초하여, 1필드 화면 내의 소정 단위 영역마다의 시차 정보를 생성하는 제2 단계; 및
    상기 2차원 입력 영상 신호의 각 소정 단위 영역 내의 신호로부터, 그 소정 단위 영역에 대응하는 시차 정보에 따른 수평 위상차를 갖는 제1 영상 신호와 제2 영상 신호를 각각 생성하는 제3 단계
    를 구비하는 2차원 영상을 3차원 영상으로 변환하는 방법.
  27. 제26항에 있어서, 상기 제2 단계에서는,
    각 이동 벡터 검출 영역마다 검출된 상기 이동 벡터의 수평 방향 성분, 수평 방향 성분의 최대치, 수평 방향 성분이 최대치인 이동 벡터 검출 영역, 수평 방향 성분의 최소치, 수평 방향 성분이 최소치인 이동 벡터 검출 영역 및 각 이동 벡터 검출 영역의 영상이 배경인지 피사체인지를 나타내는 정보에 기초하여, 1필드 화면 내의 소정 단위 영역마다의 시차 정보가 생성되는 2차원 영상을 3차원 영상으로 변환하는 방법.
  28. 제26항에 있어서, 상기 제3 단계는,
    상기 2차원 입력 영상 신호를 1수평 라인분 이하의 복수 화소수만큼 기억할 수 있는 용량을 갖는 제1 기억 수단 및 제2 기억 수단에, 상기 2차원 입력 영상 신호를 일차적으로 기억하는 단계;
    상기 제1 기억 수단의 독출 어드레스를, 상기 2차원 입력 영상 신호의 수평 수직 위치에 따라 결정된 표준 독출 어드레스에 대해, 상기 2차원 입력 영상 신호의 수평 수직 위치가 속하는 소정 단위 영역에 대응하는 시차 정보에 기초하여 제어함으로써, 상기 표준 독출 어드레스에 의해 규정되는 기준 수평 위상에 대해 상기 시차 정보에 따른 양만큼 수평 위상이 선행된 제1 영상 신호를 생성하는 단계; 및
    상기 제2 기억 수단의 독출 어드레스를, 상기 표준 독출 어드레스에 대해,상기 2차원 입력 영상 신호의 수평 수직 위치가 속하는 소정 단위 영역에 대응하는 시차 정보에 기초하여 제어함으로써, 상기 표준 독출 어드레스에 의해 규정되는 기준 수평 위상에 대해 상기 시차 정보에 따른 양만큼 수평 위상이 지연된 제2 영상 신호를 생성하는 단계
    를 구비하는 2차원 영상을 3차원 영상으로 변환하는 방법.
  29. 제26항에 있어서, 소정 단위 영역이 1화소 단위의 영역인 2차원 영상을 3차원 영상으로 변환하는 방법.
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
KR10-1999-7000337A 1996-07-18 1997-07-16 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법 KR100445619B1 (ko)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP18962996A JP3957343B2 (ja) 1996-07-18 1996-07-18 ２次元映像を３次元映像に変換する装置および方法
JP1996-189629 1996-07-18
JP8208173A JP3005474B2 (ja) 1996-08-07 1996-08-07 ２次元映像を３次元映像に変換する装置および方法
JP1996-208172 1996-08-07
JP20817296A JP3235776B2 (ja) 1996-08-07 1996-08-07 立体感調整方法および立体感調整装置
JP1996-208173 1996-08-07
JP1996-240408 1996-09-11
JP8240408A JP2846858B2 (ja) 1996-09-11 1996-09-11 ２次元／３次元映像変換装置
JP9159949A JP2951291B2 (ja) 1997-06-17 1997-06-17 ２次元映像を３次元映像に変換する装置および方法
JP1997-159949 1997-06-17

Publications (2)

Publication Number Publication Date
KR20000067890A KR20000067890A (ko) 2000-11-25
KR100445619B1 true KR100445619B1 (ko) 2004-08-25

Family

ID=27528218

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1999-7000337A KR100445619B1 (ko) 1996-07-18 1997-07-16 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법

Country Status (5)

Country Link
US (1) US6445833B1 (ko)
EP (1) EP0918439B1 (ko)
KR (1) KR100445619B1 (ko)
DE (1) DE69739179D1 (ko)
WO (1) WO1998004087A1 (ko)

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998009253A1 (fr) * 1996-08-29 1998-03-05 Sanyo Electric Co., Ltd. Procede permettant de fournir des informations sur une texture, procede d'extraction d'objet, procede de production de modeles tridimensionnels et appareillage associe a ceux-ci
AU4318597A (en) * 1996-09-17 1998-04-14 Imard Kabushikigaisha Image signal processor
US6906762B1 (en) 1998-02-20 2005-06-14 Deep Video Imaging Limited Multi-layer display and a method for displaying images on such a display
KR100381817B1 (ko) * 1999-11-17 2003-04-26 한국과학기술원 제트버퍼를 이용한 입체영상 생성방법 및 기록매체
DE10016074B4 (de) * 2000-04-01 2004-09-30 Tdv Technologies Corp. Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern
KR100372177B1 (ko) * 2000-04-26 2003-02-14 이승현 2차원 영상을 3차원 영상으로 변환하는 방법
US6965379B2 (en) * 2001-05-08 2005-11-15 Koninklijke Philips Electronics N.V. N-view synthesis from monocular video of certain broadcast and stored mass media content
NZ514500A (en) 2001-10-11 2004-06-25 Deep Video Imaging Ltd A multiplane visual display unit with a transparent emissive layer disposed between two display planes
KR100450836B1 (ko) * 2001-12-11 2004-10-01 삼성전자주식회사 이차원 영상의 입체화 장치 및 방법
US8369607B2 (en) 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US7081892B2 (en) * 2002-04-09 2006-07-25 Sony Computer Entertainment America Inc. Image with depth of field using z-buffer image data and alpha blending
KR100430528B1 (ko) * 2002-07-09 2004-05-10 한국전자통신연구원 오버샘플링 및 가변 어드레싱에 의한 주시각 제어 장치 및그 방법과, 그를 이용한 평행축 입체 카메라 시스템
KR20050083060A (ko) 2002-07-15 2005-08-24 디프 비디오 이미징 리미티드 개선된 다층 영상 스크린
CN1675937B (zh) * 2002-08-20 2011-08-24 江良一成 生成立体图像的方法和装置
US20060103664A1 (en) * 2002-08-27 2006-05-18 Sharp Kabushiki Kaisha Contents reproduction device capable of reproducing a contents in optimal reproduction mode
US7880784B2 (en) * 2003-03-14 2011-02-01 Trident Microsystems (Far East) Ltd. Arrangement for generating a 3D video signal
US7428329B2 (en) * 2003-05-28 2008-09-23 Fuji Machine Mfg. Co., Ltd. Pickup image processing device of electronic part mounting device and pickup image processing method
JP2005110010A (ja) * 2003-09-30 2005-04-21 Toshiba Corp 立体画像生成方法および立体画像表示装置
KR100607072B1 (ko) * 2004-06-21 2006-08-01 최명렬 2차원 영상신호를 3차원 영상신호로 변환하는 장치 및 방법
JP4523368B2 (ja) * 2004-09-10 2010-08-11 株式会社マーキュリーシステム 立体視画像生成装置およびプログラム
US20060087556A1 (en) * 2004-10-21 2006-04-27 Kazunari Era Stereoscopic image display device
JP2006178900A (ja) * 2004-12-24 2006-07-06 Hitachi Displays Ltd 立体画像生成装置
WO2007052216A1 (en) * 2005-11-04 2007-05-10 Koninklijke Philips Electronics N.V. Rendering of image data for multi-view display
KR100745982B1 (ko) * 2006-06-19 2007-08-06 삼성전자주식회사 자발광형 디스플레이의 전력 저감을 위한 영상 처리 장치및 방법
US8970680B2 (en) * 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
KR20080059937A (ko) * 2006-12-26 2008-07-01 삼성전자주식회사 3ｄ영상 디스플레이 장치 및 그의 3ｄ영상신호 처리방법과3ｄ영상 처리시스템
JP2008209885A (ja) * 2007-02-23 2008-09-11 Samsung Sdi Co Ltd 低電力駆動制御部及びこれを備える有機電界発光表示装置
KR100928523B1 (ko) * 2008-02-04 2009-11-26 (주)레드로버 입체 프리젠테이션 시스템
US9171221B2 (en) 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
US10585344B1 (en) 2008-05-19 2020-03-10 Spatial Cam Llc Camera system with a plurality of image sensors
US10896327B1 (en) 2013-03-15 2021-01-19 Spatial Cam Llc Device with a camera for locating hidden object
US9736368B2 (en) 2013-03-15 2017-08-15 Spatial Cam Llc Camera in a headframe for object tracking
US20110098083A1 (en) * 2008-05-19 2011-04-28 Peter Lablans Large, Ultra-Thin And Ultra-Light Connectable Display For A Computing Device
US10354407B2 (en) 2013-03-15 2019-07-16 Spatial Cam Llc Camera for locating hidden objects
US11119396B1 (en) 2008-05-19 2021-09-14 Spatial Cam Llc Camera system with a plurality of image sensors
JP5347717B2 (ja) * 2008-08-06 2013-11-20 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5012729B2 (ja) * 2008-08-08 2012-08-29 ソニー株式会社 表示パネルモジュール、半導体集積回路、画素アレイ部の駆動方法及び電子機器
KR101520620B1 (ko) 2008-08-18 2015-05-18 삼성전자주식회사 2차원/3차원 재생 모드 결정 방법 및 장치
JP4636149B2 (ja) * 2008-09-09 2011-02-23 ソニー株式会社 画像データ解析装置、および画像データ解析方法、並びにプログラム
US20110169824A1 (en) * 2008-09-29 2011-07-14 Nobutoshi Fujinami 3d image processing device and method for reducing noise in 3d image processing device
JP5321011B2 (ja) * 2008-11-25 2013-10-23 ソニー株式会社 画像信号処理装置、画像信号処理方法および画像投射装置
US9172940B2 (en) 2009-02-05 2015-10-27 Bitanimate, Inc. Two-dimensional video to three-dimensional video conversion based on movement between video frames
KR20100093638A (ko) * 2009-02-17 2010-08-26 삼성전자주식회사 디스플레이 시스템과, 디스플레이장치 및 그 제어 방법
KR20100099896A (ko) * 2009-03-04 2010-09-15 삼성전자주식회사 메타데이터 생성 방법 및 장치, 그 메타데이터를 이용하여 영상을 처리하는 방법 및 장치
US8436893B2 (en) 2009-07-31 2013-05-07 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
WO2011014419A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
JP2011053554A (ja) * 2009-09-03 2011-03-17 Toshiba Mobile Display Co Ltd 有機ｅｌ表示装置
EP2494785A1 (en) * 2009-10-27 2012-09-05 Worth Keeping APS Method for creating a 3d presentation
JP5521913B2 (ja) 2009-10-28 2014-06-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5387377B2 (ja) 2009-12-14 2014-01-15 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20110149021A1 (en) * 2009-12-17 2011-06-23 Samir Hulyalkar Method and system for sharpness processing for 3d video
WO2011115142A1 (ja) * 2010-03-19 2011-09-22 Ｏｋｉセミコンダクタ株式会社 画像処理装置、方法、プログラム及び記録媒体
JP5227993B2 (ja) * 2010-03-31 2013-07-03 株式会社東芝 視差画像生成装置、及びその方法
JP5556386B2 (ja) * 2010-05-31 2014-07-23 ソニー株式会社 表示装置、表示方法およびコンピュータプログラム
RU2010123652A (ru) * 2010-06-10 2011-12-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR) Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
JP5238767B2 (ja) * 2010-07-26 2013-07-17 株式会社東芝 視差画像生成方法及び装置
US20120218382A1 (en) 2010-08-02 2012-08-30 Ron Zass Multiclass clustering with side information from multiple sources and the application of converting 2d video to 3d
US9100640B2 (en) * 2010-08-27 2015-08-04 Broadcom Corporation Method and system for utilizing image sensor pipeline (ISP) for enhancing color of the 3D image utilizing z-depth information
JP5150698B2 (ja) * 2010-09-30 2013-02-20 株式会社東芝 デプス補正装置及び方法
JP4997327B2 (ja) * 2010-10-01 2012-08-08 株式会社東芝 多視差画像受信装置
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US20120120190A1 (en) * 2010-11-16 2012-05-17 Hung-Chia Lee Display device for use in a frame sequential 3d display system and related 3d display system
US20120120191A1 (en) * 2010-11-17 2012-05-17 Hung-Chia Lee Image processor for use in a frame sequential 3d display system and related 3d display system
JP2012120057A (ja) * 2010-12-02 2012-06-21 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012138787A (ja) * 2010-12-27 2012-07-19 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
WO2012092246A2 (en) 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP5909704B2 (ja) * 2011-01-13 2016-04-27 パナソニックＩｐマネジメント株式会社 立体画像処理装置、立体画像処理方法およびプログラム
JP5444505B2 (ja) 2011-05-03 2014-03-19 オリンパスイメージング株式会社 立体画像処理装置および立体画像処理方法
CN103535030B (zh) * 2011-05-16 2016-04-13 富士胶片株式会社 视差图像显示装置、视差图像生成方法、视差图像打印
JP2012249038A (ja) * 2011-05-27 2012-12-13 Hitachi Consumer Electronics Co Ltd 画像信号処理装置、画像信号処理方法
CN103037236A (zh) * 2011-08-22 2013-04-10 联发科技股份有限公司 图像处理方法以及装置
US9113140B2 (en) 2011-08-25 2015-08-18 Panasonic Intellectual Property Management Co., Ltd. Stereoscopic image processing device and method for generating interpolated frame with parallax and motion vector
CN103875244A (zh) 2011-10-14 2014-06-18 松下电器产业株式会社 影像信号处理装置
US8687470B2 (en) 2011-10-24 2014-04-01 Lsi Corporation Optical disk playback device with three-dimensional playback functionality
CN102630029A (zh) * 2012-03-31 2012-08-08 彩虹集团公司 一种基于对比度统计实现2d 转3d 的方法
KR20140063272A (ko) * 2012-11-16 2014-05-27 엘지전자 주식회사 영상표시장치, 및 그 동작방법
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
JP6544978B2 (ja) * 2015-04-15 2019-07-17 キヤノン株式会社 画像出力装置およびその制御方法、撮像装置、プログラム
US10404963B1 (en) * 2016-05-03 2019-09-03 David Gerald Kenrick System for processing 2D content for 3D viewing
US10887573B1 (en) 2016-05-03 2021-01-05 Erin Sanaa Kenrick System for processing 2D content for 3D viewing
CN112188181B (zh) * 2019-07-02 2023-07-04 中强光电股份有限公司 图像显示设备、立体图像处理电路及其同步信号校正方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63232790A (ja) * 1987-03-20 1988-09-28 Sanyo Electric Co Ltd 立体映像信号変換回路
JPH07222201A (ja) * 1994-02-04 1995-08-18 Sanyo Electric Co Ltd ２次元画像から３次元画像への変換方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107518A (ja) * 1993-10-01 1995-04-21 Seiko Epson Corp 疑似立体表示装置
US5510832A (en) * 1993-12-01 1996-04-23 Medi-Vision Technologies, Inc. Synthesized stereoscopic imaging system and method
JP3086577B2 (ja) 1993-12-22 2000-09-11 三洋電機株式会社 ２次元画像の３次元化方法
KR100358021B1 (ko) 1994-02-01 2003-01-24 산요 덴키 가부시키가이샤 2차원영상을3차원영상으로변환시키는방법및입체영상표시시스템
KR100374463B1 (ko) * 1994-09-22 2003-05-09 산요 덴키 가부시키가이샤 2차원영상을3차원영상으로변환하는방법
US5777666A (en) * 1995-04-17 1998-07-07 Sanyo Electric Co., Ltd. Method of converting two-dimensional images into three-dimensional images
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
US5748199A (en) * 1995-12-20 1998-05-05 Synthonics Incorporated Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
US5891030A (en) * 1997-01-24 1999-04-06 Mayo Foundation For Medical Education And Research System for two dimensional and three dimensional imaging of tubular structures in the human body

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63232790A (ja) * 1987-03-20 1988-09-28 Sanyo Electric Co Ltd 立体映像信号変換回路
JPH07222201A (ja) * 1994-02-04 1995-08-18 Sanyo Electric Co Ltd ２次元画像から３次元画像への変換方法

Also Published As

Publication number Publication date
DE69739179D1 (de) 2009-02-05
EP0918439B1 (en) 2008-12-24
KR20000067890A (ko) 2000-11-25
US6445833B1 (en) 2002-09-03
EP0918439A4 (en) 1999-09-08
EP0918439A1 (en) 1999-05-26
WO1998004087A1 (fr) 1998-01-29

Similar Documents

Publication Publication Date Title
KR100445619B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법
US6584219B1 (en) 2D/3D image conversion system
US7511730B2 (en) Image processing apparatus and method and image pickup apparatus
JP6370708B2 (ja) 例示的な類似画像と関連した例示的な近似奥行きマップを用いた、入力画像に対する奥行きマップの生成
JP4762994B2 (ja) 視差マップ
KR101385514B1 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
US9036007B2 (en) System and method for converting two dimensional to three dimensional video
US9398289B2 (en) Method and apparatus for converting an overlay area into a 3D image
US9922441B2 (en) Image processing device, image processing method, and program
JP2002123842A (ja) 立体視画像生成装置および情報記憶媒体
JP3005474B2 (ja) ２次元映像を３次元映像に変換する装置および方法
JP2001320731A (ja) ２次元映像を３次元映像に変換する装置及びその方法
KR20120012874A (ko) 외삽 뷰 생성을 위한 장치 및 방법
JP3276931B2 (ja) ３次元映像の立体感調整方法及び立体感調整装置
JP3235776B2 (ja) 立体感調整方法および立体感調整装置
JP3500056B2 (ja) ２次元映像を３次元映像に変換する装置および方法
JPH10191397A (ja) 意図適応型の２次元映像を３次元映像に変換する装置
JP2951291B2 (ja) ２次元映像を３次元映像に変換する装置および方法
JP3540626B2 (ja) ２次元映像を３次元映像に変換する装置および方法
JP3957343B2 (ja) ２次元映像を３次元映像に変換する装置および方法
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
JP3485764B2 (ja) ２次元映像を３次元映像に変換する装置および方法
JP3454684B2 (ja) ２次元映像を３次元映像に変換する装置
JP2012060246A (ja) 画像処理装置、集積回路装置
JPH10178594A (ja) ３次元映像伝送方法、デジタル放送システムおよびデジタル放送システムにおけるユーザ側端末

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20070808

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee