KR20130021127A - 영상처리장치 및 그 제어방법 - Google Patents

영상처리장치 및 그 제어방법 Download PDF

Info

Publication number
KR20130021127A
KR20130021127A KR1020110083474A KR20110083474A KR20130021127A KR 20130021127 A KR20130021127 A KR 20130021127A KR 1020110083474 A KR1020110083474 A KR 1020110083474A KR 20110083474 A KR20110083474 A KR 20110083474A KR 20130021127 A KR20130021127 A KR 20130021127A
Authority
KR
South Korea
Prior art keywords
image
frame
reference frame
hole area
pixel
Prior art date
Application number
KR1020110083474A
Other languages
English (en)
Inventor
이미연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110083474A priority Critical patent/KR20130021127A/ko
Priority to EP12173643A priority patent/EP2563023A1/en
Priority to US13/537,215 priority patent/US20130050421A1/en
Publication of KR20130021127A publication Critical patent/KR20130021127A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명의 실시예에 따른 영상처리장치의 제어방법은, 복수의 2차원 영상프레임을 포함하는 2차원 영상신호를 수신하는 단계와; 2차원 영상프레임에 대응하는 3차원 영상프레임을 생성하도록 복수의 2차원 영상프레임 중에서 제1프레임 내 오브젝트를 오프셋하는 단계와; 기 설정된 레퍼런스 프레임에 기초하여 오프셋에 의해 발생하는 픽셀데이터의 홀 영역을 보정하고 제1프레임에 대응하는 3차원 영상프레임을 생성하는 단계를 포함하는 것을 특징으로 한다.

Description

영상처리장치 및 그 제어방법 {IMAGE PROCESSING APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 영상신호를 3차원 영상으로 표시되게 처리하는 영상처리장치 및 그 제어방법에 관한 것으로서, 상세하게는 영상신호를 3차원 영상으로 처리하는 과정에서 3차원 영상 내에 발생하는 영상데이터의 공백영역을 보정하는 영상처리장치 및 그 제어방법에 관한 것이다.
영상처리장치는 외부로부터 입력되는 영상신호를 다양한 프로세스로 처리하며, 처리된 영상신호를 자체적으로 구비된 디스플레이 패널 상에 영상으로 표시하거나 또는 타 영상처리장치에 출력한다. 이러한 영상신호는, 좌안영상 및 우안영상의 구별이 없는 2차원 영상에 대응하는 2차원 영상신호와, 좌안영상 및 우안영상이 구별되는 3차원 영상에 대응하는 3차원 영상신호로 구분될 수 있는 바, 영상처리장치는 입력받은 영상신호가 2차원/3차원 영상에 대응하는지 여부에 따라서 해당 영상신호를 선택적으로 처리한다.
영상처리장치는 3차원 영상신호를 처리하는 경우에, 좌안영상 및 우안영상이 교대로 표시되도록 처리함으로써, 사용자가 좌안 및 우안의 시각차를 이용하여 3차원적인 효과를 인지하도록 한다.
이와 같이 표시되는 3차원 영상은, 최초 영상처리장치에 입력되는 시점에서 3차원 영상신호가 입력되는 경우와, 또는 영상처리장치에 2차원 영상신회가 입력되고 이 2차원 영상신호에 기초하여 좌안영상 및 우안영상이 생성되는 경우가 있다. 전자의 경우는 구현이 쉽고 별도의 화질 보정이 불필요하지만, 처리 대상이 되는 데이터 양이 상대적으로 크다. 후자의 경우는 처리 대상의 데이터 양이 상대적으로 작고 2차원 영상신호에 기초하여 3차원 영상을 표시할 수 있으나, 표시되는 3차원 영상 내에 영상데이터가 손실되는 영역인 홀(hall)이 발생하게 된다.
이러한 홀 영역은 3차원 영상의 화질을 저하시키는 원인이 된다.
본 발명의 실시예에 따른 영상처리장치의 제어방법은, 복수의 2차원 영상프레임을 포함하는 2차원 영상신호를 수신하는 단계와; 상기 2차원 영상프레임에 대응하는 3차원 영상프레임을 생성하도록 상기 복수의 2차원 영상프레임 중에서 제1프레임 내 오브젝트를 오프셋하는 단계와; 기 설정된 레퍼런스 프레임에 기초하여 상기 오프셋에 의해 발생하는 픽셀데이터의 홀 영역을 보정하고 상기 제1프레임에 대응하는 상기 3차원 영상프레임을 생성하는 단계를 포함하는 것을 특징으로 한다.
여기서, 상기 레퍼런스 프레임은 상기 복수의 2차원 영상프레임 중에서 상기 제1프레임과 상이한 적어도 하나의 제2프레임에 기초하여 생성될 수 있다.
또한, 상기 제1프레임에 대응하는 상기 3차원 영상프레임을 생성하는 단계는, 상기 레퍼런스 프레임에서 상기 홀 영역에 대응하는 픽셀영역을 판단하는 단계와; 상기 레퍼런스 프레임 내의 상기 판단된 픽셀영역의 픽셀데이터를 상기 홀 영역에 인가하는 단계를 포함할 수 있다.
여기서, 상기 레퍼런스 프레임에서 상기 홀 영역에 대응하는 픽셀영역을 판단하는 단계는, 상기 레퍼런스 프레임에서 상기 홀 영역에 대응하는 픽셀영역이 없다고 판단되면 상기 복수의 2차원 영상프레임 중에서 상기 제1프레임과 상이한 적어도 하나의 제2프레임의 픽셀데이터에 의해 상기 홀 영역을 보정하는 단계와; 상기 홀 영역을 보정한 상기 픽셀데이터에 기초하여 상기 레퍼런스 프레임을 업데이트하는 단계를 포함할 수 있다.
또한, 상기 2차원 영상신호는 상기 레퍼런스 프레임을 더 포함하며, 상기 제1프레임에 대응하는 상기 3차원 영상프레임을 생성하는 단계는, 상기 2차원 영상신호로부터 상기 레퍼런스 프레임을 추출 및 저장하는 단계를 포함할 수 있다.
또한, 상기 제1프레임에 대응하는 상기 3차원 영상프레임을 생성하는 단계는, 상기 생성된 3차원 영상프레임을 표시하는 단계를 포함할 수 있다.
또한, 본 발명의 실시예에 따른 영상처리장치는, 복수의 2차원 영상프레임을 포함하는 2차원 영상신호를 수신하는 영상수신부와; 상기 복수의 2차원 영상프레임 중에서 제1프레임 내 오브젝트를 오프셋하며, 상기 오프셋에 의해 발생하는 픽셀데이터의 홀 영역에 대해 기 설정된 레퍼런스 프레임에 기초하여 보정을 수행함에 의해 상기 제1프레임에 대응하는 상기 3차원 영상프레임을 생성하는 영상처리부를 포함하는 것을 특징으로 한다.
여기서, 상기 영상처리부는, 상기 복수의 2차원 영상프레임 중에서 상기 제1프레임과 상이한 적어도 하나의 제2프레임에 기초하여 상기 레퍼런스 프레임을 생성할 수 있다.
또한, 상기 영상처리부는, 상기 레퍼런스 프레임에서 상기 홀 영역에 대응하는 픽셀영역을 판단하며, 상기 레퍼런스 프레임 내의 상기 판단된 픽셀영역의 픽셀데이터를 상기 홀 영역에 인가할 수 있다.
여기서, 상기 영상처리부는, 상기 레퍼런스 프레임에서 상기 홀 영역에 대응하는 픽셀영역이 없다고 판단되면 상기 복수의 2차원 영상프레임 중에서 상기 제1프레임과 상이한 적어도 하나의 제2프레임의 픽셀데이터에 의해 상기 홀 영역을 보정하고, 상기 홀 영역을 보정한 상기 픽셀데이터에 기초하여 상기 레퍼런스 프레임을 업데이트할 수 있다.
또한, 상기 2차원 영상신호는 상기 레퍼런스 프레임을 더 포함하며, 상기 영상처리부는, 상기 2차원 영상신호로부터 상기 레퍼런스 프레임을 추출 및 저장할 수 있다.
또한, 상기 생성된 3차원 영상프레임을 표시하는 디스플레이부를 더 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 영상처리장치의 구성 블록도,
도 2는 도 1의 영상처리장치에서 2차원 영상프레임에 기초하여 3차원 영상프레임을 생성하는 방법을 나타내는 예시도,
도 3은 도 2의 3차원 영상프레임 상의 홀 영역을 보정하는 방법을 나타내는 예시도,
도 4는 도 3의 레퍼런스 프레임을 생성 및 업데이트하는 방법을 나타내는 예시도,
도 5는 도 1의 영상처리장치에서 3차원 영상프레임 상의 홀 영역을 보정하는 방법을 나타내는 제어 흐름도,
도 6 및 도 7은 도 1의 영상처리장치에서 레퍼런스 프레임을 생성 및 업데이트하는 방법을 나타내는 제어 흐름도이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 이하 실시예에서는 본 발명의 사상과 직접적인 관련이 있는 구성들에 관해서만 설명하며, 그 외의 구성에 관해서는 설명을 생략한다. 그러나, 본 발명의 사상이 적용된 장치 또는 시스템을 구현함에 있어서, 이와 같이 설명이 생략된 구성이 불필요함을 의미하는 것이 아님을 밝힌다.
도 1은 본 발명의 실시예에 따른 영상처리장치(1)의 구성 블록도이다.
본 실시예에 따른 영상처리장치(1)의 실제 구현 예는 한정되지 않으며, 외부로부터 수신되거나 또는 자체적으로 저장된 영상신호/영상데이터를 다양한 방법으로 표시 가능하게 처리할 수 있는 장치는 모두 적용될 수 있다.
예를 들면, 본 실시예에 따른 영상처리장치(1)는 자체적으로 영상을 표시할 수 있도록 액정 또는 플라즈마 패널과 같은 디스플레이 패널을 구비한 TV, 모니터 등으로 구현될 수 있다. 또는, 영상처리장치(1)는 디스플레이 패널을 구비하지 않고, 영상을 처리하여 외부의 TV 또는 모니터에 전달하는 셋탑박스, DVD/블루레이 디스크 플레이어 등으로 구현될 수도 있다.
영상처리장치(1)는 2차원 영상신호가 입력되는 경우에, 2차원 영상신호에 대응하는 2차원 영상을 표시하거나, 또는 2차원 영상신호로부터 좌안영상 및 우안영상을 포함하는 3차원 영상을 생성하여 표시할 수 있다. 물론 영상처리장치(1)는 3차원 영상신호가 입력되는 경우에, 해당 영상신호에 대응하는 3차원 영상을 표시할 수도 있다.
도 1에 도시된 바와 같이, 본 실시예에 따른 영상처리장치(1)는 외부로부터 영상신호를 수신하는 영상수신부(110)와, 영상수신부(110)에 수신되는 영상신호를 기 설정된 영상처리 프로세스에 따라서 처리하는 영상처리부(120)와, 영상처리부(120)에 의해 처리되는 영상신호를 영상으로 표시하는 디스플레이부(130)와, 영상처리장치(1)의 동작을 제어하도록 사용자에 의해 조작되는 사용자입력부(140)를 포함한다.
이하, 영상처리장치(1)의 구체적인 구성에 관해 설명한다.
영상수신부(110)는 2차원/3차원 영상신호를 수신하여 영상처리부(120)에 전달하며, 수신하는 영상신호의 규격 및 영상처리장치(1)의 구현 형태에 대응하여 다양한 방식으로 구현될 수 있다. 예를 들면, 영상수신부(110)는 방송국(미도시)으로부터 송출되는 RF(radio frequency)신호를 무선으로 수신하거나, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART, HDMI(high definition multimedia interface) 규격 등에 의한 영상신호를 유선으로 수신할 수 있다. 영상수신부(110)는 영상신호가 방송신호인 경우, 이 방송신호를 채널 별로 튜닝(tuning)하는 튜너(tuner)를 포함한다.
영상처리부(120)는 영상신호에 대해 기 설정된 다양한 영상처리 프로세스를 수행하며, 이러한 프로세스가 수행된 영상신호를 디스플레이부(130)에 출력함으로써, 디스플레이부(130) 상의 디스플레이 영역 상에 영상이 표시되게 한다.
영상처리부(120)가 수행하는 영상처리 프로세스의 종류는 한정되지 않는 바, 예를 들면 다양한 영상 포맷에 대응하는 디코딩(decoding), 디인터레이싱(de-interlacing), 프레임 리프레시 레이트(frame refresh rate) 변환, 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 라인 스캐닝(line scanning) 등을 포함할 수 있다. 영상처리부(120)는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적 구성의 그룹으로 구현되거나, 또는 여러 기능을 통합시킨 SOC(system-on-chip)로 구현될 수 있다.
디스플레이부(130)는 액정 또는 플라즈마와 같은 다양한 방식의 디스플레이 패널로 구현되며, 영상처리부(120)에 의해 처리되는 영상신호가 판면 상에 형상으로 표시된다. 디스플레이부(130)는 영상처리부(120)로부터 출력되는 영상신호의 스캔라인이 판면 상에 수직으로 배열됨으로써 형성된 영상프레임(frame)을 표시한다.
사용자입력부(140)는 사용자에 의해 조작되며, 이러한 조작에 대응하여 영상처리부(120)의 특정한 처리동작을 지정하는 커맨드(command)를 영상처리부(120)에 전송한다. 사용자입력부(140)는 사용자에 의해 조작되어야 하는 바, 이러한 점을 반영하여 영상처리장치(1)의 외측에 설치된 메뉴 키(menu-key) 또는 컨트롤 패널(control panel)이나, 영상처리장치(1)와 분리된 리모트 컨트롤러(remote controller)로 구현된다.
이러한 구성 하에서, 영상처리부(120)는 영상수신부(110)에 수신되는 영상신호가 2차원 영상신호인 경우에, 2차원 영상신호로부터 3차원 영상을 생성하고, 생성된 3차원 영상을 디스플레이부(130)에 표시 가능하게 처리한다. 영상처리부(120)는 디스플레이부(130) 상에 표시되는 프레임 단위로 영상신호를 처리할 수 있는 바, 이 경우에 영상처리부(120)는 2차원 영상신호의 2차원 영상프레임으로부터 좌안영상프레임 및 우안영상프레임을 생성한다.
이하, 영상처리부(120)가 2차원 영상프레임(210, 220, 230)으로부터 좌안영상프레임(310) 및 우안영상프레임(320)을 생성하는 방법에 관해 도 2를 참조하여 설명한다. 도 2는 2차원 영상프레임(210, 220, 230)으로부터 3차원 영상프레임(310, 320)을 생성하는 방법을 나타내는 예시도이다.
도 2에 도시된 바와 같이, 영상처리부(120)는 2차원 영상신호로부터, 시간 순서에 따라서 복수의 2차원 영상프레임(210, 220, 230)을 추출한다. 만일, 2차원 영상을 표시하는 경우에, 영상처리부(120)는 2차원 영상프레임(210, 220, 230)을 순차적으로 디스플레이부(130)에 표시되게 처리한다.
반면, 3차원 영상을 표시하는 경우에, 영상처리부(120)는 각각의 2차원 영상프레임(210, 220, 230)으로부터 3차원 영상프레임(310, 320)을 생성한다. 예를 들어, 하나의 2차원 영상프레임(220)으로부터 좌안영상프레임(310) 및 우안영상프레임(320)을 생성하는 경우를 고려한다.
우선, 영상처리부(120)는 2차원 영상프레임(220) 내에서 오브젝트(221)와 배경(223)을 구분한다.
오브젝트(221)는 영상프레임 내에서 사용자의 좌우 시야각 차이를 적용하는 대상이 되는 픽셀(pixel)영역이며, 배경(223)은 영상프레임 내에서 오브젝트(221)를 제외한 픽셀영역이다. 즉, 하나의 영상프레임 내의 픽셀영역에서 오브젝트(211, 221, 231)와 배경(213, 223, 233)을 구분하는 것은, 선택 방법에 따라서 다양하게 지정될 수 있는 사항인 바, 상대적이다.
예를 들어, 공이 굴러가는 영상에서 공이 3차원으로 인지하는 대상이라면, 영상프레임 내에서 공이 오브젝트(221)이고 그 외에는 배경(223)으로 분류될 수 있다.
영상처리부(120)는 2차원 영상프레임(220) 내에서, 배경(223)에 대해 오브젝트(221)를 기 설정된 벡터값만큼 이동시킨다. 이 벡터값은 사용자의 좌안 및 우안 각각에 대응하여 마련된다. 예를 들면, 오브젝트(221)를 배경(223)에 대해 제1방향으로 제1픽셀값만큼 이동시키기 위한 제1벡터값과, 오브젝트(221)를 배경(223)에 대해 제2방향으로 제2픽셀값만큼 이동시키기 위한 제2벡터값이 각각 마련될 수 있다.
여기서, 제1방향, 제2방향, 제1픽셀값, 제2픽셀값은 상호 구분을 위해 편의상 지칭한 것으로, 구체적인 방향 및 수치 등은 환경에 따라서 다양하게 변경 가능한 값인 바, 한정될 수 있는 사항이 아니다.
영상처리부(120)는 2차원 영상프레임에 대해, 이러한 제1벡터값 및 제2벡터값을 각각 적용하여 좌안영상프레임(310) 및 우안영상프레임(320)을 생성한다. 즉, 영상처리부(120)는 제1벡터값 및 제2벡터값에 기초하여 2차원 영상프레임(220) 내의 오브젝트(221)를 각각 오프셋(offset)함으로써, 좌안영상프레임(310) 및 우안영상프레임(320)을 생성한다.
그런데, 이와 같이 생성된 좌안영상프레임(310) 및 우안영상프레임(320)은, 2차원 영상프레임(220) 내에서 오브젝트(221)가 이동한 결과이므로, 오브젝트(311, 321)에 인접한 배경(313, 323)의 일부 영역에서 픽셀데이터의 홀(hole) 영역(315, 325)이 발생한다. 다만, 이러한 홀 영역(315, 325)은 좌안영상프레임(310) 및 우안영상프레임(320) 각각에서 상호 상이한 위치에 발생한다.
홀 영역(315, 325)은 영상데이터를 포함하지 않는 픽셀영역이므로, 홀 영역(315, 325)을 보정하지 않게 되면 디스플레이부(130)에 표시되는 영상 품질의 저하를 초래한다. 따라서, 본 실시예에 따른 영상처리부(120)는 다음과 같은 방법으로 홀 영역(315, 325)을 보정한다.
도 3은 홀 영역(315, 325)을 보정하는 방법을 나타내는 예시도이다.
도 3에 도시된 바와 같이, 영상처리부(120)는 앞선 실시예에 따라서 좌안영상프레임(310) 및 우안영상프레임(320)을 생성한다. 그리고, 영상처리부(120)는 기 설정된 레퍼런스(reference) 프레임(410)에 기초하여 홀 영역(315, 325)을 보정함으로써, 2차원 영상프레임(220, 도 2 참조)에 대응하는 3차원 영상프레임(310, 320)을 생성한다. 본 실시예에 따른 레퍼런스 프레임(410)은 다양한 방법에 의해 마련될 수 있는 바, 이에 관해서는 후술한다.
이와 같이, 데이터 공백영역인 홀 영역(315, 325)에 영상데이터를 채움으로써, 표시 영상의 화질을 보장할 수 있다.
홀 영역(315, 325)을 보정하기 위해, 영상처리부(120)는 레퍼런스 프레임(410) 상에서 어느 픽셀위치가 홀 영역(315, 325)에 대응하는 영상데이터를 포함하는지 여부를, 즉 레퍼런스 프레임(410)에서 홀 영역(315, 325)에 대응하는 픽셀영역을 판단한다.
이러한 판단 방법은 설계 방법에 따라서 다양하게 적용될 수 있는 사항이다. 좌안영상프레임(310)의 경우를 예로 들면, 영상처리부(120)는 배경(313) 내의 픽셀영역에 대한 데이터 분포 패턴 및 레퍼런스 프레임(410) 내의 픽셀영역에 대한 데이터 분포 패턴을 비교함으로써, 레퍼런스 프레임(410) 내의 대응 픽셀영역(411)을 판단할 수 있다. 우안영상프레임(320)의 경우 또한 좌안영상프레임(310)의 경우를 응용하여 대응 픽셀영역(413)을 판단할 수 있다.
또는, 영상처리부(120)는 배경(313, 323) 및 레퍼런스 프레임(410) 사이의 모션벡터를 산출하고, 산출된 모션벡터에 기초하여 대응 픽셀영역(411, 413)을 판단할 수 있다. 즉, 배경(313, 323)의 소정 픽셀영역이 레퍼런스 프레임(410) 상에서 어느 위치에 해당하는지에 따라서 상기한 모션벡터의 산출이 가능하며, 이와 같이 산출된 모션벡터를 홀 영역(315, 325)의 경우에 적용하면 레퍼런스 프레임(410) 내에서 대응 픽셀영역(411, 413)을 판단할 수 있다.
레퍼런스 프레임(410)은 2차원 영상프레임(220, 도 2 참조) 내의 배경(223, 도 2 참조)에 대응하는 영상데이터를 포함하는 이미지이다. 레퍼런스 프레임(410)은 배경(223, 도 2 참조)의 내용, 종류 또는 사용자에게 시인되는 상대적 각도 등에 따라서 복수 개의 이미지가 마련될 수 있다.
레퍼런스 프레임(410)은 다양한 방법으로 마련될 수 있는 바, 그 일례에 관해 이하 도 4를 참조하여 설명한다.
도 4는 영상처리부(120)가 2차원 영상프레임(240, 250, 260)으로부터 레퍼런스 프레임(410)을 생성하는 방법을 나타내는 예시도이다. 도 4에서의 초기 상태는 레퍼런스 프레임(410)이 마련되지 않은 상태이다.
도 4에 도시된 바와 같이, 영상처리부(120)는 2차원 영상신호로부터 시간적으로 연속하는 복수의 2차원 영상프레임(240, 250, 260)을 추출한다. 그리고, 영상처리부(120)는 앞서 도 2와 관련하여 설명한 바와 같이, 각 2차원 영상프레임(240, 250, 260)으로부터 3차원 영상프레임을 생성한다. 도 4에는 2차원 영상프레임(250)으로부터 좌안영상프레임(330)을 생성하는 경우에 관해서 도시되어 있다.
영상처리부(120)는 2차원 영상프레임(250)의 배경(253)에 대해 오브젝트(251)를 오프셋함으로써 좌안영상프레임(330)을 생성한다. 좌안영상프레임(330) 내에는 오브젝트(331) 및 배경(333) 사이에 홀 영역(335)이 발생한다.
여기서, 영상처리부(120)는 복수의 2차원 영상프레임(240, 250, 260) 중에서, 좌안영상프레임(330)의 소스(source)가 되는 2차원 영상프레임(250)과 상이한 2차원 영상프레임(240, 260)에 기초하여 홀 영역(335)을 보정한다.
보다 자세하게는, 복수의 2차원 영상프레임(240, 250, 260) 중에서 제2프레임(250)으로부터 좌안영상프레임(330)이 생성되고, 제2프레임(250)과 상이한 제1프레임(240) 및 제3프레임(260)이 있다고 한다.
영상처리부(120)는 제1프레임(240), 제2프레임(250), 제3프레임(260) 내에서, 오브젝트(241, 251, 261) 및 배경(243, 253, 263)의 모션벡터를 판단하고, 판단 결과에 따라서 제1프레임(240) 또는 제3프레임(260)의 배경(243, 263)에서 홀 영역(335)에 대응하는 픽셀영역(245, 265)을 도출한다.
영상처리부(120)는 도출된 픽셀영역(245, 265) 중에서, 어느 것이 홀 영역(335)에 대응하는 영상데이터를 포함하는지 여부를 판단한다. 예를 들면, 제1프레임(240)의 픽셀영역(245)은 배경(243)이 아닌 오브젝트(241)에 대응하는 영역이 일부 포함되는 바, 영상처리부(120)는 제3프레임(260)의 픽셀영역(265)을 선택할 수 있다. 영상처리부(120)는 오브젝트(241, 251, 261) 및 배경(243, 253, 263)의 모션벡터에 기초하여 이러한 판단을 수행할 수 있다.
영상처리부(120)는 이와 같이 선택된 픽셀영역(265)의 영상데이터를 취득하며, 취득한 영상데이터를 홀 영역(335)에 인가함으로써 해당 홀 영역(335)을 보정한다.
그리고, 영상처리부(120)는 가상의 레퍼런스 프레임(410)을 생성하고, 취득한 영상데이터로 레퍼런스 프레임(410)의 소정 위치(415)를 채운다. 해당 위치는 영상처리부(120)가 생성하고자 하는 레퍼런스 프레임(410)의 특성에 따라서 다양하게 결정될 수 있다.
현 단계에서의 레퍼런스 프레임(410)은 일부 영역(415)만이 영상데이터를 포함하고, 타 영역(417)은 영상데이터를 포함하지 않는 상태이다. 영상처리부(120)는 이와 같이 일부 영역(415)만 영상데이터를 포함하는 레퍼런스 프레임(410)을 저장한다.
영상처리부(120)는 상기와 같은 프로세스에 따라서 각 2차원 영상프레임(240, 250, 260)에 대해 3차원 영상프레임(330)을 생성한다. 그리고, 영상처리부(120)는 각 생성 단계에서 홀 영역(335)을 보정하기 위해 취득한 영상데이터로, 기 저장된 레퍼런스 프레임(410) 내에서 영상데이터를 포함하지 않는 영역(417)을 채워 나간다.
이러한 레퍼런스 프레임(410)은 하나만 마련되는 것이 아니며, 영상처리부(120)에 의해 영상데이터의 내용에 따라서 복수 개가 마련될 수도 있다.
영상처리부(120)는 3차원 영상프레임(330)의 홀 영역(335)을 보정하는 과정에서, 보정을 위한 영상데이터가 레퍼런스 프레임(410)에 존재하면, 레퍼런스 프레임(410)으로부터 해당 영상데이터를 취득한다.
반면, 영상처리부(120)는 보정을 위한 영상데이터가 레퍼런스 프레임(410)에 존재하지 않으면, 앞서 설명한 바와 같이 2차원 영상프레임(260)으로부터 영상데이터를 취득하여 홀 영역(335)을 보정하고, 레퍼런스 프레임(410)의 영상데이터를 업데이트한다.
이와 같은 과정을 반복함으로써 레퍼런스 프레임(410)이 포함하는 영상데이터가 증가하게 되면, 영상처리부(120)는 홀 영역(335)에 대해 레퍼런스 프레임(410)으로부터 보정용 영상데이터를 용이하게 취득할 수 있다.
요약하면, 영상처리부(120)는 복수의 2차원 영상프레임(240, 250, 260) 중에서 3차원 영상프레임(330)의 생성 소스가 되는 프레임(250)과 상이한 적어도 하나의 프레임(240, 260)에 기초하여 레퍼런스 프레임(410)을 생성한다. 다르게 표현하면, 영상처리부(120)는 홀 영역(335)의 보정을 위해 상기한 프레임(240, 260)으로부터 취득한 영상데이터의 히스토리(history)를 누적 저장하며, 이 저장된 히스토리로부터 보정용 영상데이터를 취득한다.
이에 따라서, 연산량의 절감 및 시스템 부하의 경감이 가능하다.
이하, 본 실시예에 따른 영상처리장치(1)가 2차원 영상신호로부터 3차원 영상프레임을 생성하는 제어방법에 관해 도 5를 참조하여 설명한다. 도 5는 이러한 과정을 나타내는 제어 흐름도이다.
도 5에 도시된 바와 같이, 영상수신부(110)는 2차원 영상신호를 수신한다(S100). 영상처리부(120)는 수신된 2차원 영상신호로부터 2차원 영상프레임을 추출한다(S110).
영상처리부(120)는 추출된 2차원 영상프레임의 제1프레임 내의 오브젝트를 기 설정된 벡터값에 기초하여 오프셋한다(S120). 이러한 오프셋으로 인해 픽셀데이터의 홀 영역이 발생한다.
영상처리부(120)는 기 설정된 레퍼런스 프레임을 독취하고, 독취된 레퍼런스 프레임에 기초하여 홀 영역을 보정한다(S130). 이로써, 영상처리부(120)는 제1프레임에 대응하는 3차원 영상프레임을 생성한다(S140).
이하, 본 실시예에 따른 영상처리장치(1)가 레퍼런스 프레임을 생성 및 업데이트한 제어방법에 관해 도 6 및 도 7을 참조하여 설명한다. 도 6 및 도 7은 이러한 과정을 나타내는 제어 흐름도이다.
도 6에 도시된 바와 같이, 영상처리부(120)는 2차원 영상프레임 중에서 제1프레임 내의 오브젝트를 오프셋한다(S200).
영상처리부(120)는 레퍼런스 프레임이 존재하는지 여부를 확인한다(S210). 레퍼런스 프레임이 존재하면, 영상처리부(120)는 레퍼런스 프레임에서 홀 영역에 대응하는 영역이 있는지 여부를 판단한다(S220). 즉, 영상처리부(120)는 레퍼런스 프레임에 포함되는 영상데이터 중에, 홀 영역에 대응하는 영상데이터가 존재하는지 여부를 판단한다.
홀 영역에 대응하는 영역이 레퍼런스 프레임에 존재하는 것으로 판단되면(S230), 영상처리부(120)는 해당 대응영역에서 영상데이터를 독취한다(S240).
영상처리부(120)는 독취한 영상데이터를 홀 영역에 인가함으로써 3차원 영상프레임을 생성한다(S250).
한편, 도 7에 도시된 바와 같이, 도 6의 S210 단계에서 레퍼런스 프레임이 존재하지 않는 것으로 판단되면, 영상처리부(120)는 레퍼런스 프레임을 생성한다(S300). 물론 생성된 레퍼런스 프레임은 영상데이터를 포함하고 있지 않은 상태이다.
영상처리부(120)는 2차원 영상프레임 중에서 앞서 제1프레임과 상이한 제2프레임 내에서 홀 영역의 대응영역을 판단한다(S310). 본 S310 단계는, 도 6의 S230 단계에서, 홀 영역의 대응영역이 레퍼런스 프레임에 존재하지 않는다고 판단된 경우에도 수행된다.
영상처리부(120)는 제2프레임에서 판단한 대응영역의 영상데이터를 독취한다(S320). 영상처리부(120)는 독취한 영상데이터를 홀 영역에 인가한다(S330).
그리고, 영상처리부(120)는 이 독취한 영상데이터에 기초하여 레퍼런스 프레임을 업데이트한다(S340).
이러한 과정에 의하여, 레퍼런스 프레임의 생성 및 업데이트가 수행되며, 영상처리부(120)는 레퍼런스 프레임에 기초하여 홀 영역을 보정할 수 있다.
한편, 레퍼런스 프레임의 생성은 상기한 실시예에와 상이한 방법으로도 가능하다. 예를 들면, 레퍼런스 프레임은 영상수신부(110)에 수신되는 2차원 영상신호에 포함될 수 있다. 영상처리부(120)는 2차원 영상신호를 처리할 때, 2차원 영상신호로부터 레퍼런스 프레임을 추출하여 저장할 수 있다.
상기한 실시예는 예시적인 것에 불과한 것으로, 당해 기술 분야의 통상의 지식을 가진 자라면 다양한 변형 및 균등한 타 실시예가 가능하다. 따라서, 본 발명의 진정한 기술적 보호범위는 하기의 특허청구범위에 기재된 발명의 기술적 사상에 의해 정해져야 할 것이다.
1 : 영상처리장치
110 : 영상수신부
120 : 영상처리부
130 : 디스플레이부
140 : 사용자입력부

Claims (12)

  1. 영상처리장치의 제어방법에 있어서,
    복수의 2차원 영상프레임을 포함하는 2차원 영상신호를 수신하는 단계와;
    상기 2차원 영상프레임에 대응하는 3차원 영상프레임을 생성하도록 상기 복수의 2차원 영상프레임 중에서 제1프레임 내 오브젝트를 오프셋하는 단계와;
    기 설정된 레퍼런스 프레임에 기초하여 상기 오프셋에 의해 발생하는 픽셀데이터의 홀 영역을 보정하고 상기 제1프레임에 대응하는 상기 3차원 영상프레임을 생성하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  2. 제1항에 있어서,
    상기 레퍼런스 프레임은 상기 복수의 2차원 영상프레임 중에서 상기 제1프레임과 상이한 적어도 하나의 제2프레임에 기초하여 생성되는 것을 특징으로 하는 영상처리장치의 제어방법.
  3. 제1항에 있어서,
    상기 제1프레임에 대응하는 상기 3차원 영상프레임을 생성하는 단계는,
    상기 레퍼런스 프레임에서 상기 홀 영역에 대응하는 픽셀영역을 판단하는 단계와;
    상기 레퍼런스 프레임 내의 상기 판단된 픽셀영역의 픽셀데이터를 상기 홀 영역에 인가하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  4. 제3항에 있어서,
    상기 레퍼런스 프레임에서 상기 홀 영역에 대응하는 픽셀영역을 판단하는 단계는,
    상기 레퍼런스 프레임에서 상기 홀 영역에 대응하는 픽셀영역이 없다고 판단되면 상기 복수의 2차원 영상프레임 중에서 상기 제1프레임과 상이한 적어도 하나의 제2프레임의 픽셀데이터에 의해 상기 홀 영역을 보정하는 단계와;
    상기 홀 영역을 보정한 상기 픽셀데이터에 기초하여 상기 레퍼런스 프레임을 업데이트하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  5. 제1항에 있어서,
    상기 2차원 영상신호는 상기 레퍼런스 프레임을 더 포함하며,
    상기 제1프레임에 대응하는 상기 3차원 영상프레임을 생성하는 단계는, 상기 2차원 영상신호로부터 상기 레퍼런스 프레임을 추출 및 저장하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  6. 제1항에 있어서,
    상기 제1프레임에 대응하는 상기 3차원 영상프레임을 생성하는 단계는, 상기 생성된 3차원 영상프레임을 표시하는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 제어방법.
  7. 영상처리장치에 있어서,
    복수의 2차원 영상프레임을 포함하는 2차원 영상신호를 수신하는 영상수신부와;
    상기 복수의 2차원 영상프레임 중에서 제1프레임 내 오브젝트를 오프셋하며, 상기 오프셋에 의해 발생하는 픽셀데이터의 홀 영역에 대해 기 설정된 레퍼런스 프레임에 기초하여 보정을 수행함에 의해 상기 제1프레임에 대응하는 상기 3차원 영상프레임을 생성하는 영상처리부를 포함하는 것을 특징으로 하는 영상처리장치.
  8. 제7항에 있어서,
    상기 영상처리부는, 상기 복수의 2차원 영상프레임 중에서 상기 제1프레임과 상이한 적어도 하나의 제2프레임에 기초하여 상기 레퍼런스 프레임을 생성하는 것을 특징으로 하는 영상처리장치.
  9. 제7항에 있어서,
    상기 영상처리부는, 상기 레퍼런스 프레임에서 상기 홀 영역에 대응하는 픽셀영역을 판단하며, 상기 레퍼런스 프레임 내의 상기 판단된 픽셀영역의 픽셀데이터를 상기 홀 영역에 인가하는 것을 특징으로 하는 영상처리장치.
  10. 제9항에 있어서,
    상기 영상처리부는, 상기 레퍼런스 프레임에서 상기 홀 영역에 대응하는 픽셀영역이 없다고 판단되면 상기 복수의 2차원 영상프레임 중에서 상기 제1프레임과 상이한 적어도 하나의 제2프레임의 픽셀데이터에 의해 상기 홀 영역을 보정하고, 상기 홀 영역을 보정한 상기 픽셀데이터에 기초하여 상기 레퍼런스 프레임을 업데이트하는 것을 특징으로 하는 영상처리장치.
  11. 제7항에 있어서,
    상기 2차원 영상신호는 상기 레퍼런스 프레임을 더 포함하며,
    상기 영상처리부는, 상기 2차원 영상신호로부터 상기 레퍼런스 프레임을 추출 및 저장하는 것을 특징으로 하는 영상처리장치.
  12. 제7항에 있어서,
    상기 생성된 3차원 영상프레임을 표시하는 디스플레이부를 더 포함하는 것을 특징으로 하는 영상처리장치.
KR1020110083474A 2011-08-22 2011-08-22 영상처리장치 및 그 제어방법 KR20130021127A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110083474A KR20130021127A (ko) 2011-08-22 2011-08-22 영상처리장치 및 그 제어방법
EP12173643A EP2563023A1 (en) 2011-08-22 2012-06-26 Image processing apparatus and control method thereof.
US13/537,215 US20130050421A1 (en) 2011-08-22 2012-06-29 Image processing apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110083474A KR20130021127A (ko) 2011-08-22 2011-08-22 영상처리장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20130021127A true KR20130021127A (ko) 2013-03-05

Family

ID=46679073

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110083474A KR20130021127A (ko) 2011-08-22 2011-08-22 영상처리장치 및 그 제어방법

Country Status (3)

Country Link
US (1) US20130050421A1 (ko)
EP (1) EP2563023A1 (ko)
KR (1) KR20130021127A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101417712B1 (ko) * 2014-02-05 2014-07-08 지승찬 3d 영상의 렌더링 보정방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466205B2 (en) * 1998-11-19 2002-10-15 Push Entertainment, Inc. System and method for creating 3D models from 2D sequential image data
US20080226194A1 (en) * 2007-03-12 2008-09-18 Conversion Works, Inc. Systems and methods for treating occlusions in 2-d to 3-d image conversion
US9438879B2 (en) * 2009-02-17 2016-09-06 Koninklijke Philips N.V. Combining 3D image and graphical data
US20100302234A1 (en) * 2009-05-27 2010-12-02 Chunghwa Picture Tubes, Ltd. Method of establishing dof data of 3d image and system thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101417712B1 (ko) * 2014-02-05 2014-07-08 지승찬 3d 영상의 렌더링 보정방법

Also Published As

Publication number Publication date
US20130050421A1 (en) 2013-02-28
EP2563023A1 (en) 2013-02-27

Similar Documents

Publication Publication Date Title
US8482480B2 (en) Multi display system and multi display method
US8988496B2 (en) Image processing apparatus
US8712187B2 (en) Image processing apparatus and image processing method
CN104980781B (zh) 图像显示设备及其操作方法
US20120127163A1 (en) Image processing apparatus and image processing method
JP2008160591A (ja) テレビジョン受信機及びそのフレームレート変換方法
KR101763686B1 (ko) 입체 영상 처리 장치 및 그 처리 방법
KR20120055991A (ko) 영상처리장치 및 그 제어방법
JP2014077993A (ja) 表示装置
KR20140111736A (ko) 디스플레이장치 및 그 제어방법
WO2012107985A1 (ja) 映像信号処理装置および映像信号処理方法
JP2012129710A (ja) 表示制御装置、表示制御方法及びプログラム
KR20080011026A (ko) 영상처리장치 및 영상처리방법
KR20130021127A (ko) 영상처리장치 및 그 제어방법
US20130120529A1 (en) Video signal processing device and video signal processing method
US20110304690A1 (en) Image processing apparatus and control method of the same
KR20130094905A (ko) 디스플레이장치 및 그 입체감 조정방법
US9253477B2 (en) Display apparatus and method for processing image thereof
US20040263683A1 (en) Video signal processing apparatus
WO2014045471A1 (ja) 画像信号処理装置および画像信号処理方法
WO2011114745A1 (ja) 映像再生装置
WO2011152039A1 (ja) 立体映像処理装置及び立体映像処理方法
KR101708331B1 (ko) 디스플레이장치 및 그 제어방법
KR101065863B1 (ko) 두 영상 간의 수직성분 보정에 의한 3ｄ 영상 형성방법 및 저장매체
US20140139516A1 (en) Image processing apparatus with transmission formats and control method thereof

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid