KR100503276B1 - 2차원 영상신호를 3차원 영상신호로 변환하는 장치 - Google Patents

2차원 영상신호를 3차원 영상신호로 변환하는 장치 Download PDF

Info

Publication number
KR100503276B1
KR100503276B1 KR10-2003-0055844A KR20030055844A KR100503276B1 KR 100503276 B1 KR100503276 B1 KR 100503276B1 KR 20030055844 A KR20030055844 A KR 20030055844A KR 100503276 B1 KR100503276 B1 KR 100503276B1
Authority
KR
South Korea
Prior art keywords
signal
image
output
unit
luminance
Prior art date
Application number
KR10-2003-0055844A
Other languages
English (en)
Other versions
KR20050018034A (ko
Inventor
최명렬
권병헌
Original Assignee
최명렬
권병헌
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최명렬, 권병헌 filed Critical 최명렬
Priority to KR10-2003-0055844A priority Critical patent/KR100503276B1/ko
Publication of KR20050018034A publication Critical patent/KR20050018034A/ko
Application granted granted Critical
Publication of KR100503276B1 publication Critical patent/KR100503276B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

NTSC(National Television Standards Committee) 방식의 2차원 복합 영상신호를 간단히 3차원 영상신호로 변환한다.
NTSC 방식의 2차원 복합 영상신호를 디코더가 디코딩하여 수평 및 수직 동기신호와, 휘도신호 및 칼라신호를 분리 출력하고, 상기 디코더가 출력하는 휘도신호 및 칼라신호를 제 1 지연기가 소정의 시간동안 지연함과 아울러 그 디코더에서 출력되는 수평 및 수직 동기신호에 따라 저장/독출 제어부가 상기 제 1 지연기의 지연을 제어하고, 제 1 지연기에서 지연된 휘도신호와 칼라신호의 저장 및 독출을 제어하며, 제 1 지연기에서 지연된 휘도신호와 칼라신호를 상기 저장/독출 제어부의 제어에 따라 영상신호 저장부가 저장 및 독출하며, 상기 영상신호 저장부에서 독출되는 바로 전의 프레임의 휘도신호 및 칼라신호와 상기 제 1 지연기에서 출력되는 현재 프레임의 휘도신호 및 칼라신호를 3차원 영상 변환부가 비교하여 3차원 영상신호로 변환하며, 3차원 영상 변환부에서 출력되는 3차원 영상신호를 엔코더가 엔코딩하여 표시패널에 표시한다.

Description

2차원 영상신호를 3차원 영상신호로 변환하는 장치{Apparatus for converting 2D image signal into 3D image signal}
본 발명은 2차원 영상신호를 3차원 영상신호로 변환하는 장치에 관한 것으로 특히 NTSC(National Television Standards Committee) 방식의 2차원 복합 영상신호를 3차원 복합 영상신호로 변환하는 2차원 영상신호를 3차원 영상신호로 변환하는 장치에 관한 것이다.
3차원 입체영상의 기술은 차세대 정보통신 서비스의 총아로서 사회의 선진화와 더불어 수요가 높고, 기술개발의 경쟁이 치열한 첨단의 고도화 기술중의 하나이다. 또한 3차원 입체영상의 기술은 정보통신, 방송, 의료, 교육 훈련, 군사, 게임, 애니메이션, 가상현실, CAD 및 산업기술 등을 비롯한 여러 분야에서 다양하게 사용할 수 있는 것으로서 그 응용 분야가 매우 다양하고, 여러 분야에서 공통적으로 요구하고 있는 차세대의 임장감을 제공하는 3차원 입체 멀티미디어 정보통신의 핵심 기반기술이라고 할 수 있다.
통상적으로 사람들이 실제로 눈을 통해 소정의 사물을 보는 정보는 입체영상이므로 영상 시스템에서는 사람들이 일상적으로 보고 있는 자연계의 정경에 보다 가깝고 자연스럽게 보이도록 하는 하는데 많은 노력을 기울이고 있다. 그리고 현재 세계 여러 국가에서는 '보고 듣는' 멀티미디어형의 서비스로부터 3차원 정보 중심의 '보다 자연스럽고 실감 있게 보고 즐길 수 있는' 실감형의 3차원 입체 멀티미디어 서비스를 개발하고 있는 추세이다.
3차원 정보기술은 차세대 고부가가치의 핵심기술로서 세계 여러 국가에서는 미래의 정보통신 시장에서의 기술선점이라는 차원에서 3차원 정보기술의 실용화에 경쟁적으로 나서고 있다. 또한 3차원 정보기술은 현재 전 세계적으로 기술 개발의 초기 단계에 있으므로 아직 해외기술의 의존도가 낮으며, 대한민국만의 독자적인 기술을 보유할 수 있는 유망 기술로 전망되고 있다.
따라서 대한민국에서 앞을 다투어 선점해야 할 3차원 정보기술 중의 하나는 2차원 영상신호를 자동으로 3차원 영상신호로 실시간 변환하는 기술이다.
사람들이 소정의 사물을 3차원으로 볼 수 있는 것은 양안시차(binocular disparity)에 의한 것으로, 양안시차는 인간이 동일 물체를 볼 때 우안과 좌안을 통해 서로 다른 영상을 보는 것이다. 이렇게 서로 다른 2가지의 영상을 뇌에서 하나의 입체 영상으로 만드는 것이다.
그러나 텔레비전 수상기 또는 모니터 등의 영상 표시기기들은 평면에 2차원 영상을 표시하는 것이므로 좌안과 우안이 모두 동일한 영상을 보게 되고, 이로 인하여 사용자가 일상적으로 사물을 볼 때의 입체효과를 느낄 수 없다.
그러므로 텔레비전 수상기 또는 모니터 등으로 소정의 영상을 볼 경우에 사용자가 입체 효과를 느낄 수 있도록 하기 위해서 종래에는 입체 카메라로 촬영하여 3차원 영상을 만들거나 또는 수작업을 통하여 2차원 영상신호를 3차원 영상신호로 변환하였다.
그러나 상기한 종래의 기술은 많은 비용과 시간이 소비되고, 이로 인하여 기존의 방대한 양의 2차원 영상신호를 3차원 영상신호로 변환하는 것은 불가능하다고 볼 수 있다. 무엇보다도 이렇게 변환된 3차원 영상신호는 일반 사용자가 사용하기 위하여 구입하는 데에는 상당한 비용이 들기 때문에 실효성이 없다고 할 수 있다.
그리고, 종래의 3차원 영상은 미리 2차원의 평면 영상에서 양안의 수렴과 양안의 시차를 고려하여 좌안 영상과 우안 영상으로 분리하거나, 좌안용과 우안용 카메라로 양안 시차에 맞게 영상을 촬영한 다음 적절한 패럴랙스(parallax)를 갖는 3차원 영상으로 변환하는 작업이 필요하다.
그러므로, 3차원 정지 및 동영상을 시청하려면 3차원 영상의 재생장치뿐만 아니라, 3차원 영상원(映像源)이 미리 준비되어 있어야 한다.
본 발명의 목적은 NTSC 방식의 2차원 복합 영상신호를 간단히 3차원 복합 영상신호로 변환할 수 있는 2차원 영상신호를 3차원 영상신호로 변환하는 장치를 제공하는데 있다.
본 발명의 다른 목적은 NTSC 방식의 2차원 복합 영상신호를 외부의 표시기기의 포맷에 적합한 3차원 영상신호로 변환할 수 있는 2차원 영상신호를 3차원 영상신호로 변환하는 장치를 제공하는데 있다.
이러한 목적을 가지는 본 발명의 2차원 영상신호를 3차원 영상신호로 변환하는 장치는 2차원 영상신호에서 운동 시차를 이용하여 영상 내 운동 물체의 운동 방향 및 속도와는 상관없이 서로 다른 원근 깊이를 갖는 입체 영상을 실시간으로 변환한다.
여기서, 본 발명은 실시간 처리를 위한 것으로서 연산량이 많을 경우에 처리가 곤란하다. 그러므로 본 발명에서는 효율적인 계산과 실시간 처리를 위하여 현재 및 이전 영상의 해상도보다 작은 해상도의 영상을 등간격으로 샘플링한다. 등간격으로 샘플링한 영상은 원영상의 형태 정보인 휘도 분포 특성이 동일하다. 이것은 샘플링 영상과 원영상의 히스토그램 평균 및 표준편차가 동일하여 운동 시차를 실시간으로 계산할 때 샘플링 영상을 사용해도 문제가 없음을 말한다.
취득된 샘플링 영상의 형태 정보를 추출하기 위해서 영상신호를 컬러 신호와 휘도 신호로 변환한다. 샘플링된 영상의 휘도 신호에서 현재와 이전 영상의 픽셀 차의 절대값을 구하고, 임계값을 비교하여 정지 픽셀과, 움직임 픽셀로 구분한다.
여기서 정지 픽셀은 일반적으로 배경을 이루는 픽셀로서 상대적으로 먼 거리에 위치해 있는 것으로 하고, 반대로 움직임 픽셀은 상대적으로 가까운 위치에 있는 것으로 한다.
검출된 픽셀은 배경이나 객체를 나타내는 픽셀들로, 배경과 영역을 구분하기 위하여 샘플 영상을 수직 방향으로 8등분하여, 각 영역에서 움직임 픽셀 값들에 대한 평균과 표준 편차를 계산한다.
샘플 영상에서 각 영역당 계산된 8개의 평균과 표준 편차를 이용하여 원영상의 깊이 지도(Depth map)를 작성한다. 즉, 원영상의 픽셀 값이 상하위 각 영역의 평균값에 각 영역의 표준편차를 더하거나 뺀 값의 범위에 있으면 원영상의 픽셀을 움직이는 물체를 구성하는 픽셀군으로 정하고, 상대적으로 가까운 위치에 있는 영역이므로 깊이 값을 작게 설정해주며, 그 외의 픽셀군은 깊이 값을 크게 설정한다.
생성된 깊이 지도에서 야기되는 임펄스 노이즈를 제거하여 자연스런 입체 영상이 생성되도록 마스킹 처리를 한다. 배경 및 운동 물체의 시차 처리는 모두 양안 시차 처리(Positive Parallax)를 행하여 움직이는 물체가 화면 안쪽에 위치하고 배경 또한 움직이는 물체보다 더 뒤쪽으로 화면 안쪽에 위치하도록 한다. 그리고 깊이에 의한 교합(Occlusion) 문제는 배경 픽셀을 그대로 복사하여 사용한다.
그러므로 본 발명의 2차원 영상신호를 3차원 영상신호로 변환하는 장치는, NTSC 방식의 2차원 복합 영상신호를 디코딩하여 수평 및 수직 동기신호와, 휘도신호 및 칼라신호를 출력하는 디코더와, 상기 디코더에서 출력되는 휘도신호 및 칼라신호를 지연하는 제 1 지연기와, 상기 디코더에서 출력되는 수평 및 수직 동기신호에 따라 상기 제 1 지연기의 지연을 제어함과 아울러 그 제 1 지연기에서 지연된 휘도신호와 칼라신호의 영상신호의 저장 및 독출을 제어하는 저장/독출 제어부와, 상기 제 1 지연기에서 지연된 휘도신호와 칼라신호를 상기 저장/독출 제어부의 제어에 따라 저장 및 독출하는 영상신호 저장부와, 상기 영상신호 저장부에서 독출되는 휘도신호와 칼라신호를 3차원 영상신호로 변환하는 3차원 영상 변환부와, 상기 3차원 영상 변환부에서 출력되는 3차원 영상신호를 엔코딩하는 엔코더로 구성됨을 특징으로 한다.
그리고 상기 디코더에서 출력되는 수평 및 수직 동기신호를 소정의 시간 지연시키는 제 2 지연기와, 상기 제 2 지연기에서 지연된 수평 및 수직 동기신호에 따라 셔터 고글의 좌안 및 우안의 셔터를 교대로 동작시키는 셔터 구동부를 더 포함하는 것을 특징으로 한다.
상기 영상신호 저장부는, 상기 제 1 지연기에서 출력되는 휘도신호와 칼라신호를 상기 저장/독출 제어부의 제어에 따라 스위칭하여 출력하는 멀티플렉서와, 상기 멀티플렉서에서 스위칭되는 휘도신호와 칼라신호를 상기 저장/독출 제어부의 제어에 따라 저장하고 독출하는 제 1 내지 제 3 메모리와, 상기 제 1 내지 제 3 메모리가 출력하는 휘도신호와 칼라신호를 선택 출력하는 제 1 및 제 2 디멀티플렉서로 구성됨을 특징으로 한다.
상기 3차원 영상 변환부는, 상기 영상신호 저장부에서 출력되는 휘도신호를 샘플링하고 영역을 분할하는 영역분할 샘플링부와, 상기 영역분할 샘플링부에서 샘플링된 휘도신호와 상기 제 1 지연기의 출력 휘도신호를 비교하여 움직임을 검출하는 움직임 검출부와, 상기 영상신호 저장부의 출력 영상신호에 대하여 상기 움직임 검출부가 검출한 움직임에 따른 깊이 지도를 생성하는 깊이지도 생성부와, 상기 영상신호 저장부의 출력 영상신호를 상기 깊이지도 생성부에서 생성된 깊이지도에 따라 패럴렉스 값을 주어 3차원 영상신호로 변환하는 패럴렉스 처리부로 구성되고, 상기 영역분할 샘플링부는, 샘플링한 휘도신호의 영역을 수평으로 분할하는 것을 특징으로 한다.
또한 본 발명은 상기 3차원 영상 변환부에서 출력되는 3차원 영상신호의 포맷을 복수의 외부 디스플레이 장치에 적합한 복수의 포맷으로 변환하여 상기 엔코더로 출력하는 포맷 변환부를 더 포함하고, 상기 엔코더는, 상기 포맷 변환부에서 포맷 변환된 복수의 3차원 영상신호를 각기 엔코딩하는 HMD(Head Mount Display)용 엔코더, 3차원 텔레비전 수상기용 엔코더 및 2차원 텔레비전 수상기용 엔코더를 더 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 2차원 영상신호를 3차원 영상신호로 변환하는 장치를 상세히 설명한다.
도 1은 본 발명의 2차원 영상신호를 3차원 영상신호로 변환하는 장치의 일 실시 예의 구성을 보인 블록도이다. 이에 도시된 바와 같이 입력되는 NTSC 방식의 2차원 복합 영상신호를 디코딩하여 수평 동기신호(HS) 및 수직 동기신호(VS)를 분리함과 아울러 휘도신호(Y) 및 칼라신호(CB, CR)를 출력하는 디코더(100)와, 상기 디코더(100)에서 출력되는 휘도신호(Y) 및 칼라신호(CB, CR)를 지연하는 제 1 지연기(110)와, 상기 디코더(100)에서 출력되는 수평 및 수직 동기신호(HS, VS)에 따라 상기 제 1 지연기(110)의 지연을 제어함과 아울러 그 제 1 지연기(110)에서 지연된 휘도신호(Y)와 칼라신호(CB, CR)의 저장 및 독출을 제어하는 저장/독출 제어부(120)와, 상기 제 1 지연기(110)에서 지연된 휘도신호(Y)와 칼라신호(CB, CR)를 상기 저장/독출 제어부(120)의 제어에 따라 저장 및 독출하는 영상신호 저장부(130)와, 상기 영상신호 저장부(130)에서 독출되는 휘도신호(Y)와 칼라신호(CB, CR)를 3차원 영상신호로 변환하는 3차원 영상 변환부(140)와, 상기 3차원 영상 변환부(140)에서 출력되는 3차원 영상신호를 엔코딩하는 엔코더(150)와, 상기 디코더(100)에서 출력되는 수평 및 수직 동기신호(HS, VS)를 소정의 시간동안 지연시키는 제 2 지연기(160)와, 상기 제 2 지연기(160)에서 지연된 수평 및 수직 동기신호(HS, VS)에 따라 셔터 고글(180)의 좌안 및 우안의 셔터를 교대로 동작시키는 셔터 구동부(170)로 구성하였다.
상기 영상신호 저장부(130)는, 상기 제 1 지연기(110)에서 출력되는 휘도신호(Y)와 칼라신호(CB, CR)를 상기 저장/독출 제어부(120)의 제어에 따라 스위칭하는 멀티플렉서(131)와, 상기 멀티플렉서(131)가 스위칭하는 휘도신호(Y)와 칼라신호(CB, CR)를 상기 저장/독출 제어부(120)의 제어에 따라 저장하고 독출하는 제 1 내지 제 3 메모리(132, 133, 134)와, 상기 제 1 내지 제 3 메모리(132, 133, 134)가 독출하는 휘도신호(Y)와 칼라신호(CB, CR)를 선택하여 출력하는 제 1 및 제 2 디멀티플렉서(135, 136)로 구성하였다.
상기 3차원 영상 변환부(140)는, 상기 제 1 디멀티플렉서(135)에서 출력되는 바로 전의 프레임의 휘도신호(Y) 및 칼라신호(CB, CR)를 샘플링하고 분할하는 영역분할 샘플링부(141)와, 상기 영역분할 샘플링부(141)에서 분할된 휘도신호(Y)와 상기 제 1 지연기(110)에서 출력되는 현재 프레임의 휘도신호(Y)를 비교하여 움직임을 검출하는 움직임 검출부(142)와, 상기 제 2 디멀티플렉서(136)의 출력 휘도신호(Y) 및 칼라신호(CB, CR)에 대하여 상기 움직임 검출부(142)가 검출한 움직임에 따른 깊이 지도를 생성하는 깊이지도 생성부(143)와, 상기 제 2 디멀티플렉서(136)의 출력 휘도신호(Y) 및 칼라신호(CB, CR)에 상기 깊이지도 생성부(143)에서 생성된 깊이지도에 따라 패럴렉스 값을 주어 3차원 영상신호로 변환하는 패럴렉스 처리부(140)로 구성하였다.
이와 같이 구성된 본 발명의 2차원 영상신호를 3차원 영상신호로 변환하는 장치는 NTSC 방식의 2차원 복합 영상신호가 디코더(100)에서 디코딩되어 수평 동기신호(HS) 및 수직 동기신호(VS)가 분리됨과 아울러 휘도신호(Y)와 칼라신호(CB, CR)가 출력되어 제 1 지연기(110)로 입력된다.
그러면, 상기 디코더(100)에서 출력되는 수평 및 수직 동기신호(HS, VS)에 따라 저장/독출 제어부(120)가 상기 제 1 지연기(110)의 지연 동작을 제어하고, 또한 영상신호 저장부(130)의 멀티플렉서(131)를 제어하여 상기 제 1 지연기(110)에서 출력되는 휘도신호(Y)와 칼라신호(CB, CR)를 스위칭 출력하게 함과 아울러 멀티플렉서(131)의 제어와 동기로 제 1 내지 제 3 메모리(132, 133, 134)를 선택적으로 제어하여 멀티플렉서(131)에서 스위칭된 휘도신호(Y)와 칼라신호(CB, CR)를 순차적으로 저장 및 독출되게 한다.
예를 들면, 도 2a에 도시된 바와 같이 제 1 지연기(110)에서 각기 제 1 필드 및 제 2 필드를 가지는 복수의 프레임의 휘도신호(Y) 및 칼라신호(CB, CR)가 순차적으로 출력된다고 가정하고, 제 1 지연기(110)에서 제 1 프레임의 제 1 필드 및 제 2 필드의 휘도신호(Y) 및 칼라신호(CB, CR)가 출력될 경우에 저장/독출 제어부(120)는 멀티플렉서(131)를 제어함과 아울러 제 1 메모리(132)를 도 2b에 도시된 바와 같이 저장 인에이블시켜 상기 제 1 지연기(110)에서 출력되는 제 1 프레임의 제 1 필드 및 제 2 필드의 휘도신호(Y) 및 칼라신호(CB, CR)가 멀티플렉서(131)를 통해 제 1 메모리(132)로 입력, 저장되게 한다. 그리고 제 1 지연기(110)에서 제 2 프레임의 휘도신호(Y) 및 칼라신호(CB, CR)가 출력될 경우에 저장/독출 제어부(120)는 멀티플렉서(131)를 제어함과 아울러 제 2 메모리(133)를 도 2c에 도시된 바와 같이 저장 인에이블시켜 상기 제 1 지연기(110)에서 출력되는 제 1 프레임의 휘도신호(Y) 및 칼라신호(CB, CR)가 멀티플렉서(131)를 통해 제 2 메모리(133)로 입력, 저장되게 하며, 제 1 지연기(110)에서 제 3 프레임의 휘도신호(Y) 및 칼라신호(CB, CR)가 출력될 경우에 저장/독출 제어부(120)는 멀티플렉서(131)를 제어함과 아울러 제 3 메모리(134)를 도 2d에 도시된 바와 같이 저장 인에이블시켜 상기 제 1 지연기(110)에서 출력되는 제 3 프레임의 휘도신호(Y) 및 칼라신호(CB, CR)가 멀티플렉서(131)를 통해 제 3 메모리(134)로 입력, 저장되게 하는 것을 반복 수행한다.
즉, 제 1 지연기(110)에서 출력되는 각 프레임의 휘도신호(Y)와 칼라신호(CB, CR)는 제 1 내지 제 3 메모리(132, 133, 134)에 순차적으로 순환되면서 저장된다.
그리고 저장/독출 제어부(120)는 제 1 지연기(110)에서 현재 프레임의 휘도신호(Y) 및 칼라신호(CB, CR)가 출력되어 영상신호 저장부(130)에 저장할 경우에 영상신호 저장부(130)에 저장되어 있는 바로 전의 휘도신호(Y) 및 칼라신호(CB, CR)를 독출한다.
예를 들면, 제 1 메모리(132)에 제 1 프레임의 휘도신호(Y) 및 칼라신호(CB, CR)를 저장한 후 제 1 지연기(110)에서 제 2 프레임의 휘도신호(Y) 및 칼라신호(CB, CR)가 출력되어 제 2 메모리(133)에 저장할 때, 저장/독출 제어부(120)는 제 1 메모리(132) 및 제 1 및 제 2 디멀티플렉서(135)(136)를 제어하여 저장되어 있는 제 1 프레임의 휘도신호(Y) 및 칼라신호(CB, CR)를 독출하고, 독출한 휘도신호(Y) 및 칼라신호(CB, CR)가 제 1 및 제 2 디멀티플렉서(135)(136)를 통해 출력되게 하여, 도 2e에 도시된 바와 같이 3차원 영상 변환부(140)가 영상신호 저장부(130)에서 출력되는 제 1 프레임의 휘도신호(Y) 및 칼라신호(CB, CR)와, 제 1 지연기(110)에서 출력되는 제 2 프레임의 휘도신호(Y) 및 칼라신호(CB, CR)로 3차원 영상신호를 생성하고, 생성한 3차원 영상신호를 도 2f에 도시된 바와 같이 출력하게 하며, 영상신호 저장부(130)에 제 3 프레임 및 제 4 프레임의 휘도신호(Y) 및 칼라신호(CB, CR)를 각기 저장할 경우에 영상신호 저장부(130)가 제 2 프레임 및 제 3 프레임의 휘도신호(Y) 및 칼라신호(CB, CR)를 순차적으로 출력하도록 하여 3차원 영상 변환부(140)가 영상신호 저장부(130)에서 출력되는 제 2 프레임 및 제 3 프레임의 휘도신호(Y) 및 칼라신호(CB, CR)와, 제 1 지연기(110)에서 출력되는 제 3 프레임 및 제 4 프레임의 휘도신호(Y) 및 칼라신호(CB, CR)로 3차원 영상신호를 순차적으로 생성하게 한다.
이와 같이 영상신호 저장부(130)에서 바로 전의 휘도신호(Y)와 칼라신호(CB, CR)가 출력되면, 3차원 영상 변환부(140)의 영역분할 샘플링부(141)는 영상의 해상도 보다 작은 해상도의 영상을 등간격으로 휘도 신호를 샘플링하고, 샘플링한 영상을 소정의 개수로 수평 분할한다.
즉, 전체 화면을 한꺼번에 연산할 경우에 연산량이 많고, 많은 시간이 소요되므로 본 발명에서는 효율적인 계산과 실시간 처리를 위하여 3차원 영상 변환부(140)의 영역분할 샘플링부(141)에서 영상의 해상도 보다 작은 해상도의 영상을 등간격으로 휘도 신호를 샘플링하고, 예를 들면, 수평으로 8등분한다. 이렇게 샘플링 된 영상에는 원영상의 휘도 신호와 동일한 휘도 신호가 존재하고, 샘플링된 영상을 8등분하는 것은 움직이는 픽셀 값이 영상 전역에 걸쳐 동일한 계조 값이 아닌 서로 다른 계조 값으로 이루어져 있을 경우에 검출 에러를 줄이기 위한 것이다.
상기 영역분할 샘플링부(141)에서 분할된 영상이 움직임 검출부(142)로 입력되면, 움직임 검출부(142)는 제 1 지연기(110)로부터 입력되는 현재 프레임의 제 1 및 제 2 필드의 휘도신호(Y)의 값과, 영역분할 샘플링부(141)로부터 입력되는 바로 전의 8등분된 휘도신호(Y)의 값을 각각의 픽셀별로 비교하여 각 부분의 움직임에 대한 대표 값을 구하고, 그 구한 대표 값을 깊이지도 생성부(143)로 출력한다.
그러면, 깊이 지도 생성부(143)는 상기 8등분된 휘도신호의 각 영역당 계산된 8개의 움직임에 대한 대표값을 현재 입력되는 휘도신호(Y)와 칼라신호(CB, CR)에 따른 픽셀 값과 비교하고, 비교 결과 움직임 대표 값 보다 크면 움직임 픽셀로 결정하고 작으면 정지 영상으로 결정하여 패럴렉스 처리부(144)로 출력한다.
패럴렉스 처리부(144)에서는 상기 깊이 지도 생성부(143)의 출력신호에 따라 움직임 픽셀과 정지화 픽셀을 구분하여 움직임 픽셀에 대해서는 패럴렉스 값을 낮게 주고, 정지 픽셀에 대해서는 패렐렉스 값을 많이 주어 정지화 픽셀을 배경으로 처리하면서 3차원 영상신호로 변환한다.
상기 패럴렉스 처리부(144)에서 변환된 3차원 영상신호는 엔코더(150)에서 엔코딩되어 복합 영상신호로 변환된 후 출력되어 표시패널 등에 표시된다.
그리고 상기 디코더(100)에서 출력되는 수평 동기신호(HS) 및 수직 동기신호(VS)는 제 2 지연기(160)에서, 상기한 바와 같이 엔코더(150)에서 3차원의 복합 영상신호가 출력될 때까지 소요되는 시간이 지연되고, 그 제 2 지연기(160)의 출력신호에 따라 셔터 구동부(170)가 셔터 고글(180)의 좌안과 우안의 셔터를 선택적으로 동작시켜 사용자가 셔터 고글(180)을 쓰고, 표시패널 등에 표시되는 3차원 영상을 시청하게 한다.
도 3은 본 발명의 2차원 영상신호를 3차원 영상신호로 변환하는 장치의 다른 실시 예의 구성을 보인 블록도이다. 이에 도시된 바와 같이 본 발명의 다른 실시 예는, 상기 3차원 영상 변환부(140)의 패럴렉스 처리부(144)에서 출력되는 3차원 영상신호의 포맷을 복수의 외부 디스플레이 장치에 적합한 복수의 포맷으로 변환하여 엔코더(150)로 출력하는 포맷 변환부(200)를 더 구비하고, 상기 엔코더(150)는, 상기 포맷 변환부(200)에서 포맷 변환된 복수의 3차원 영상신호를 각기 엔코딩하는 HMD(Head Mount Display)용 엔코더(210), 3차원 텔레비전 수상기용 엔코더(220) 및 2차원 텔레비전 수상기용 엔코더(230)를 구비한다.
이와 같이 구성된 본 발명의 다른 실시 예는 3차원 영상 변환부(140)의 패럴렉스 처리부(144)에서 출력되는 3차원 영상신호를 포맷 변환부(200)가 입력받아 복수의 외부 디스플레이 장치에 적합한 복수의 포맷으로 변환하여 엔코더(150)로 출력한다. 예를 들면, 상기 포맷 변환부(200)는 3차원 영상신호를 HMD(Head Mount Display), 3차원 텔레비전 수상기 및 2차원 텔레비전 수상기에 적합한 포맷으로 변환하여 엔코더(150)로 출력한다.
상기 포맷 변환부(200)에서 포맷 변환된 3차원 영상신호는 엔코더(150)에서 엔코딩되어 외부로 출력 즉, HMD의 포맷으로 변환된 3차원 영상신호는 HMD용 엔코더(210)에서 엔코딩되어 HMD용 3차원 영상신호로 변환된 후 출력되어 HMD에 표시되며, 3차원 텔레비전 수상기의 포맷으로 변환된 3차원 영상신호는 3차원 텔레비전 수상기용 엔코더(320)에서 엔코딩되어 3차원 텔레비전 수상기용 3차원 영상신호로 변환된 후 출력되어 3차원 텔레비전 수상기에 표시되며, 2차원 텔레비전 수상기의 포맷으로 변환된 3차원 영상신호는 2차원 텔레비전 수상기용 엔코더(330)에서 엔코딩되어 2차원 텔레비전 수상기용 3차원 영상신호로 변환된 후 출력되어 2차원 텔레비전 수상기에 표시된다.
한편, 상기에서는 본 발명을 특정의 바람직한 실시 예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 마련되는 본 발명의 정신이나 분야를 이탈하지 않는 한도 내에서 본 발명이 다양하게 개조 및 변화될 수 있다는 것을 당 업계에서 통상의 지식을 가진 자는 용이하게 알 수 있다. 예를 들면, 상기에서는 본원발명의 3차원 영상신호의 포맷을 변환하여 HMD, 3차원 텔레비전 수상기 및 2차원 텔레비전 수상기로 제공하는 것으로 설명하였으나, 본 발명을 실시함에 있어서는 이에 한정되지 않고, 패럴렉스 처리부에서 출력되는 3차원 영상신호의 포맷을 다양하게 변환하여 프로젝션 TV, 프로젝터 및 홀로그램 3차원 텔레비전 수상기 등의 영상 표시기기로 출력하게 구성할 수도 있다.
이상에서 설명한 바와 같이 본 발명은 움직임 정보를 이용하여 간단하게 3차원 이미지 소스를 만들 수 있는 것으로서 본 발명을 이용하여 실시간으로 2차원 영상신호를 3차원 영상신호로 변환하는 3차원 변환장치를 만들 수 있으며, 그 3차원 변환장치로 일반가정에서도 고가의 전문장비를 구입하지 않고서도 쉽게 3차원 영상을 즐길 수 있다.
도 1은 본 발명 장치의 일 실시 예의 구성을 보인 블록도.
도 2는 도 1의 각 부의 동작 파형도.
도 3은 본 발명 장치의 다른 실시 예의 구성을 보인 블록도.
* 도면의 주요 부분에 대한 부호의 설명 *
100 : 디코더 110 : 제 1 지연기
120 : 저장/독출 제어부 130 : 영상신호 저장부
131 : 멀티플렉서 132∼134 : 제 1 내지 제 3 메모리
135, 136 : 제 1 및 제 2 디멀티플렉서 140 : 3차원 영상 변환부
141 : 영역분할 샘플링부 142 : 움직임 검출부
143 : 깊이지도 생성부 144 : 패럴렉스 처리부
150 : 엔코더 160 : 제 2 지연기
170 : 셔터 구동부 180 : 셔터 고글
200 : 포맷 변환부 210 : HMD용 엔코더
220 : 3차원 텔레비전 수상기용 엔코더
230 : 2차원 텔레비전 수상기용 엔코더

Claims (6)

  1. NTSC 방식의 2차원 복합 영상신호를 디코딩하여 수평 및 수직 동기신호와, 휘도신호 및 칼라신호를 출력하는 디코더;
    상기 디코더에서 출력되는 휘도신호 및 칼라신호를 지연하는 제 1 지연기;
    상기 제 1 지연기에서 지연된 휘도신호와 칼라신호를 저장 및 독출하는 영상신호 저장부;
    상기 디코더에서 출력되는 수평 및 수직 동기신호에 따라 상기 제 1 지연기의 지연을 제어함과 아울러 상기 영상신호 저장부가 제 1 지연기에서 지연된 휘도신호와 칼라신호의 저장 및 독출을 제어하는 저장/독출 제어부;
    상기 영상신호 저장부에서 독출되는 휘도신호와 칼라신호를 3차원 영상신호로 변환하는 3차원 영상 변환부; 및
    상기 3차원 영상 변환부에서 출력되는 3차원 영상신호를 엔코딩하는 엔코더로 구성된 2차원 영상신호를 3차원 영상신호로 변환하는 장치.
  2. 제 1 항에 있어서,
    상기 디코더에서 출력되는 수평 및 수직 동기신호를 소정의 시간 지연시키는 제 2 지연기;
    상기 제 2 지연기에서 지연된 수평 및 수직 동기신호에 따라 셔터 고글의 좌안 및 우안의 셔터를 교대로 동작시키는 셔터 구동부를 더 포함하는 것을 특징으로 하는 2차원 영상신호를 3차원 영상신호로 변환하는 장치.
  3. 제 1 항에 있어서, 상기 영상신호 저장부는;
    상기 제 1 지연기에서 출력되는 휘도신호와 칼라신호를 상기 저장/독출 제어부의 제어에 따라 스위칭하여 출력하는 멀티플렉서;
    상기 멀티플렉서에서 스위칭되는 휘도신호와 칼라신호를 상기 저장/독출 제어부의 제어에 따라 저장하고 독출하는 제 1 내지 제 3 메모리; 및
    상기 제 1 내지 제 3 메모리가 출력하는 휘도신호와 칼라신호를 선택 출력하는 제 1 및 제 2 디멀티플렉서로 구성됨을 특징으로 하는 2차원 영상신호를 3차원 영상신호로 변환하는 장치.
  4. 제 1 항에 있어서, 상기 3차원 영상 변환부는;
    상기 영상신호 저장부의 출력신호에서 휘도신호를 샘플링하고 영역을 분할하는 영역분할 샘플링부;
    상기 영역분할 샘플링부에서 샘플링된 휘도신호의 값과 상기 제 1 지연기의 출력 휘도신호의 값을 각 픽셀별로 비교하여 영상의 움직임을 검출하는 움직임 검출부;
    상기 영상신호 저장부의 출력신호에 대하여 상기 움직임 검출부가 검출한 움직임에 따른 깊이 지도를 생성하는 깊이지도 생성부;
    상기 영상신호 저장부의 출력 영상신호를 상기 깊이지도 생성부에서 생성된 깊이지도에 따라 패럴렉스 값을 주어 3차원 영상신호로 변환하는 패럴렉스 처리부로 구성됨을 특징으로 하는 2차원 영상신호를 3차원 영상신호로 변환하는 장치.
  5. 제 4 항에 있어서, 상기 영역분할 샘플링부는;
    샘플링한 휘도신호의 영역을 수평으로 분할하는 것을 특징으로 하는 2차원 영상신호를 3차원 영상신호로 변환하는 장치.
  6. 제 1 항에 있어서,
    상기 3차원 영상 변환부에서 출력되는 3차원 영상신호의 포맷을 복수의 외부 디스플레이 장치에 적합한 복수의 포맷으로 변환하여 상기 엔코다로 출력하는 포맷 변환부를 더 포함하고,
    상기 엔코더는;
    상기 포맷 변환부에서 포맷 변환된 복수의 3차원 영상신호를 각기 엔코딩하는 HMD(Head Mount Display)용 엔코더, 3차원 텔레비전 수상기용 엔코더 및 2차원 텔레비전 수상기용 엔코더로 이루어지는 것을 특징으로 하는 2차원 영상신호를 3차원 영상신호로 변환하는 장치.
KR10-2003-0055844A 2003-08-12 2003-08-12 2차원 영상신호를 3차원 영상신호로 변환하는 장치 KR100503276B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2003-0055844A KR100503276B1 (ko) 2003-08-12 2003-08-12 2차원 영상신호를 3차원 영상신호로 변환하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0055844A KR100503276B1 (ko) 2003-08-12 2003-08-12 2차원 영상신호를 3차원 영상신호로 변환하는 장치

Publications (2)

Publication Number Publication Date
KR20050018034A KR20050018034A (ko) 2005-02-23
KR100503276B1 true KR100503276B1 (ko) 2005-07-22

Family

ID=37227631

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0055844A KR100503276B1 (ko) 2003-08-12 2003-08-12 2차원 영상신호를 3차원 영상신호로 변환하는 장치

Country Status (1)

Country Link
KR (1) KR100503276B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101165728B1 (ko) 2011-04-22 2012-07-18 (주)레이딕스텍 3차원 영상 변환 장치 및 방법
KR101239149B1 (ko) 2011-08-16 2013-03-11 (주)레이딕스텍 다시점 3차원 영상 변환 장치 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100927734B1 (ko) * 2006-12-05 2009-11-18 한국전자통신연구원 다시점 영상 생성 장치 및 그 방법
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
KR100902353B1 (ko) * 2007-11-16 2009-06-12 광주과학기술원 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
KR101497503B1 (ko) 2008-09-25 2015-03-04 삼성전자주식회사 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101165728B1 (ko) 2011-04-22 2012-07-18 (주)레이딕스텍 3차원 영상 변환 장치 및 방법
KR101239149B1 (ko) 2011-08-16 2013-03-11 (주)레이딕스텍 다시점 3차원 영상 변환 장치 및 방법

Also Published As

Publication number Publication date
KR20050018034A (ko) 2005-02-23

Similar Documents

Publication Publication Date Title
US6496598B1 (en) Image processing method and apparatus
US5739844A (en) Method of converting two-dimensional image into three-dimensional image
KR101385514B1 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
CN106165415B (zh) 立体观看
JP5820276B2 (ja) ３ｄ画像及びグラフィカル・データの結合
EP0961506B1 (en) Autostereoscopic display
EP1967016B1 (en) 3d image display method and apparatus
US4925294A (en) Method to convert two dimensional motion pictures for three-dimensional systems
US9288470B2 (en) 3D image signal transmission method, 3D image display apparatus and signal processing method therein
US20100020160A1 (en) Stereoscopic Motion Picture
KR20100002035A (ko) 3차원 비디오 영상 처리 방법 및 장치
CN105263012A (zh) 用于将文本与三维内容相结合的系统和方法
KR101314601B1 (ko) 콘텐츠 전송 장치, 콘텐츠 표출 장치, 콘텐츠 전송 방법 및 콘텐츠 표출 방법
KR20100128233A (ko) 영상 처리 방법 및 장치
Garcia Approaches to stereoscopic video based on spatiotemporal interpolation
KR100540732B1 (ko) 2차원 영상신호를 3차원 영상신호로 변환하는 장치
KR100503276B1 (ko) 2차원 영상신호를 3차원 영상신호로 변환하는 장치
KR100189487B1 (ko) 디지탈 입체 동영상 라이브 서빙 장치
JPWO2020066008A1 (ja) 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法
EP4246988A1 (en) Image synthesis
JPH07222201A (ja) ２次元画像から３次元画像への変換方法
JPS63306795A (ja) 立体映像装置
JPH07298311A (ja) 立体映像表示装置
CN113891100A (zh) 实时三维影像显示的直播系统
CN113676731A (zh) 压缩vr视频数据的方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110624

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee