KR20140043264A - 다시점 영상 처리 장치 및 방법 - Google Patents

다시점 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20140043264A
KR20140043264A KR1020120107430A KR20120107430A KR20140043264A KR 20140043264 A KR20140043264 A KR 20140043264A KR 1020120107430 A KR1020120107430 A KR 1020120107430A KR 20120107430 A KR20120107430 A KR 20120107430A KR 20140043264 A KR20140043264 A KR 20140043264A
Authority
KR
South Korea
Prior art keywords
viewpoint
image
blur
blur value
parallax
Prior art date
Application number
KR1020120107430A
Other languages
English (en)
Inventor
백아론
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120107430A priority Critical patent/KR20140043264A/ko
Priority to CN201310300565.7A priority patent/CN103686124A/zh
Priority to EP13181500.3A priority patent/EP2713613A3/en
Priority to US14/020,020 priority patent/US20140085296A1/en
Publication of KR20140043264A publication Critical patent/KR20140043264A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

다시점 영상을 처리하는 장치 및 방법이 개시된다. 다시점 영상 처리 장치는 다시점 영상을 구성하는 시점 영상의 시점과 시점 영상의 시차 정보를 기초로 시점 영상의 블러(blur) 값을 결정하는 블러값 결정부; 및 시점 영상의 블러값에 따라 시점 영상에 블러 효과를 적용하는 블러 효과 적용부를 포함할 수 있다.

Description

다시점 영상 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING MULTI-VIEW IMAGE}
이하의 일실시예들은 다시점 영상 처리 장치 및 방법에 관한 것으로 슈도스코픽 영상에서 시차가 역전되는 정도를 감소시키도록 다시점 영상을 처리하는 장치 및 방법에 관한 것이다.
다시점(Multi-View) 영상이나 스테레오(Stereoscopic) 영상 등은 두 대 이상의 카메라를 이용하여 촬영한 영상들을 기하학적으로 교정하고, 공간적으로 처리하여 생성될 수 있다.
이러한 다시점 영상 등은 다양한 시점 영상을 시청자에게 제공하는 3차원 영상 처리 기술과 관련된 것으로, 동일한 3차원 장면을 두 대 이상의 카메라로 획득하여 보다 입체감 있는 화면을 제공하는 기술이다.
이때, 다시점 영상은 특정 간격으로 시점들이 반복되므로 시점들이 반복되는 경계에 위치한 시청자에게 시차가 역전된 슈도스코픽 영상(pseudoscopic image)를 표시할 가능성이 있다.
따라서, 슈도스코픽 영상에서 시차 역전 현상을 완화할 수 있는 방법이 필요하다.
일실시예에 따른 다시점 영상 처리 장치는 다시점 영상을 구성하는 시점 영상의 시점과 시점 영상의 시차 정보를 기초로 시점 영상의 블러(blur) 값을 결정하는 블러값 결정부; 및 시점 영상의 블러값에 따라 시점 영상에 블러 효과를 적용하는 블러 효과 적용부를 포함할 수 있다.
일실시예에 따른 다시점 영상 처리 장치의 블러값 결정부는 시점 영상의 시점에 기초한 제1 블러값과 시점 영상의 시차 정보를 기초로 결정한 제2 블러값에 따라 시점 영상의 블러값을 결정할 수 있다.
일실시예에 따른 다시점 영상 처리 장치의 블러값 결정부는 시차 정보를 기초로 상기 시점 영상에 포함된 객체의 시차를 식별하고, 객체의 시차에 따라 객체의 제2 블러값을 결정할 수 있다.
일실시예에 따른 다시점 영상 처리 장치의 블러값 결정부는 상기 객체의 시차가 클수록 상기 객체의 제2 블러값을 증가시킬 수 있다.
일실시예에 따른 다시점 영상 처리 장치의 블러값 결정부는 다시점 영상이 시점 1 내지 시점 N을 표현하는 경우, 시점 영상의 시점과 시점 1 간의 차이 또는 시점 영상의 시점과 시점 N 간의 차이에 따라 제1 블러값을 결정할 수 있다.
일실시예에 따른 다시점 영상 처리 장치의 블러값 결정부는 상기 시점 영상이 경계선 시점의 시점 1 또는 시점 N에 근접한 시점의 시점 영상일수록 제1 블러값을 크게 결정할 수 있다.
일실시예에 따른 다시점 영상 처리 방법은 다시점 영상을 구성하는 시점 영상의 시점과 시점 영상의 시차 정보를 기초로 시점 영상의 블러(blur) 값을 결정하는 단계; 및 시점 영상의 블러값에 따라 시점 영상에 블러 효과를 적용하는 단계를 포함할 수 있다.
일실시예에 따른 다시점 영상 처리 방법에서 블러값을 결정하는 단계는 시점 영상의 시점에 기초한 제1 블러값과 시점 영상의 시차 정보를 기초로 결정한 제2 블러값에 따라 시점 영상의 블러값을 결정할 수 있다.
일실시예에 따른 다시점 영상 처리 방법에서 블러값을 결정하는 단계는 시차 정보를 기초로 상기 시점 영상에 포함된 객체의 시차를 식별하고, 객체의 시차에 따라 객체의 제2 블러값을 결정할 수 있다.
일실시예에 따른 다시점 영상 처리 방법에서 블러값을 결정하는 단계는 상기 객체의 시차가 클수록 상기 객체의 제2 블러값을 증가시킬 수 있다.
일실시예에 따른 다시점 영상 처리 방법에서 블러값을 결정하는 단계는 다시점 영상이 시점 1 내지 시점 N을 표현하는 경우, 시점 영상의 시점과 시점 1 간의 차이 또는 시점 영상의 시점과 시점 N 간의 차이에 따라 제1 블러값을 결정할 수 있다.
일실시예에 따른 다시점 영상 처리 방법에서 블러값을 결정하는 단계는 상기 시점 영상이 경계선 시점의 시점 1 또는 시점 N에 근접한 시점의 시점 영상일수록 제1 블러값을 크게 결정할 수 있다.
도 1은 일실시예에 따른 다시점 영상 처리 장치의 구조를 도시한 도면이다.
도 2는 다시점 영상 표시 장치를 개략적으로 도시한 개념도이다.
도 3은 시점 영상의 시점과 시점 영상의 제1 블러값 간의 관계를 나타내는 도면이다.
도 4는 시점 영상에서 객체의 스크린 시차와 객체의 제2 블러값 간의 관계를 나타내는 도면이다.
도 5은 일실시예에 따라 블러 효과를 적용한 시점 영상들의 일례이다.
도 6는 일실시예에 따라 블러 효과를 적용한 시점 영상의 일례이다.
도 7는 일실시예에 따른 다시점 영상 처리 방법을 도시한 도면이다.
이하, 실시 예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 다시점 영상 처리 장치(100)의 구조를 도시한 도면이다.
일실시예에 따른 다시점 영상 처리 장치(100)는 다시점 영상을 구성하는 시점 영상에서 슈도스코픽 영상(pseudoscopic image)가 발생할 수 있는 시점 영상에 블러 효과를 적용하여 다시점 영상 생성 장치(110)에 제공함으로써, 사용자에게 슈도스코픽 영상을 제공하는 것을 방지할 수 있다. 이때, 다시점 영상 생성 장치(110)는 다시점 영상 처리 장치(100)가 블러 효과를 적용한 시점 영상들을 혼합하여 다시점 영상을 생성할 수 있다.
도 1을 참고하면, 다시점 영상 처리 장치(100)는 블러값 결정부(101) 및 블러 효과 적용부(102)를 포함할 수 있다.
블러값 결정부(101)는 다시점 영상을 구성하는 시점 영상의 시점과 시점 영상의 시차 정보를 기초로 시점 영상의 블러값(blur strength)을 결정할 수 있다.
이때, 시점 영상의 시점은 다시점 영상이 시점 1 내지 시점 N을 표현하는 경우, 시점 영상이 표현하는 시점을 식별할 수 있는 뷰 넘버(view number)일 수 있다.
또한, 시점 영상의 시차 정보는 시점 영상에 포함된 객체들이 스크린 상에 표시될 경우의 시차인 스크린 시차에 관련된 정보일 수 있다. 이때, 스크린 시차는 좌시점 영상과 우시점 영상에서 시차가 없는 객체의 경우 0이고, 좌시점 영상과 우시점 영상에서 객체의 시차에 따라 +나 -로 증가할 수 있다. 또한, 스크린 시차는 +, 및 - 기호는 객체의 시차에 따라 입체감이 형성되는 방향에 따라 결정될 수 있다. 예를 들어, 배경에 깊이값을 적용하는 경우, 배경의 스크린 시차는 - 값일 수 있다. 또한, 시청자가 있는 방향으로 이동하는 객체에 깊이값을 적용하는 경우, 해당 객체의 스크린 시차는 +일 수 있다.
그리고, 시점 영상의 시차 정보는 시점 영상에 포함된 객체들의 깊이 정보와 관련될 수 있다. 예를 들어, 시점 영상이 제1 객체, 및 제2 객체를 포함하고, 제1 객체가 제2 객체의 전방에 위치하도록 표시하는 경우, 제1 객체의 시차는 시차가 0인 제2 객체의 깊이 정보와 제1 객체의 깊이 정보 간의 차이에 따라 결정될 수 있다. 예를 들어 제2 객체의 깊이 정보와 제1 객체의 깊이 정보 간의 차이가 클 경우, 제1 객체가 표현해야 하는 입체감이 크므로 좌시점 영상과 우시점 영상에서 제1 객체의 시차가 커질 수 있다. 반면, 제2 객체의 깊이 정보와 제1 객체의 깊이 정보 간의 차이가 적을 경우, 제1 객체가 표현해야 하는 입체감이 적으므로, 좌시점 영상과 우시점 영상에서 제1 객체의 시차가 적을 수 있다.
구체적으로 블러값 결정부(101)는 시점 영상의 시점에 기초한 제1 블러값과 시점 영상의 시차 정보를 기초로 결정한 제2 블러값에 따라 시점 영상의 블러값을 결정할 수 있다. 예를 들어, 블러값 결정부(101)는 제1 블러값과 제2 블러값에 곱셈 연산, 또는 민 함수(min-operation)를 적용하여 시점 영상의 블록값을 결정할 수 있다.
다시점 영상이 시점 1 내지 시점 N을 표현하는 경우, 블러값 결정부(101)는 시점 영상의 시점과 시점 1 간의 차이 또는 시점 영상의 시점과 시점 N간의 차이에 따라 제1 블러값을 결정할 수 있다.
다시점 영상이 시점 1 내지 시점 N을 표현하는 경우, 시점 N의 옆에 시점 1이 표현될 수 있다. 따라서, 시점 1과 시점 N을 반복되는 시점들 간의 경계에 위치한 시점이라는 의미에서 경계선 시점으로 정의할 수 있다. 또한, 사용자가 시점 N의 시점 영상과 시점 1의 시점 영상을 각각 좌안과 우안으로 시청하는 경우, 시점 영상들에 포함된 객체들의 시차가 반대로 표시되는 슈도스코픽 영상이 발생할 수 있다.
즉, 다시점 영상에 포함된 시점들 중에서 경계선 시점에 가까운 시점일 수록 슈도스코픽 영상이 발생할 가능성이 증가할 수 있다. 예를 들어, 시점 영상 간의 거리가 가까운 경우, 사용자는 시점 N의 시점 영상과 시점 2의 시점 영상을 각각 좌안과 우안으로 시청할 수 있다. 이때, 시점 영상들에 포함된 객체들의 시차가 반대로 표시되므로 슈도스코픽 영상이 발생할 수 있다.
따라서, 블러값 결정부(101)는 시점 영상이 경계선 시점인 시점 1 또는 시점 N에 근접한 시점의 시점 영상일수록 시점 영상의 제1 블러값을 크게 결정할 수 있다. 이때, 시점 N/2는 경계선 시점에서 가장 떨어져 있으므로 슈도스코픽 영상이 발생할 확률이 없을 수 있다. 따라서, 시점 N/2의 제1 블러값은 0이 될 수 있다.
그리고, 블러값 결정부(101)는 시차 정보를 기초로 시점 영상에 포함된 객체의 스크린 시차를 식별하고, 객체의 스크린 시차에 따라 객체의 제2 블러값을 결정할 수 있다.
블러값 결정부(101)는 객체의 시차가 클수록 객체의 제2 블러값을 증가시킬 수 있다. 이때, 시차 정보에 포함된 스크린 시차는 0인 경우, 좌시점 영상과 우시점 영상에서 해당 객체의 시차가 없는 것이고, 스크린 시차의 + 값 또는 - 값이 증가할 수록 좌시점 영상과 우시점 영상에서 해당 객체의 시차가 증가할 수 있다.
이때, 스크린 시차가 0인 객체는 좌시점 영상과 우시점 영상에서 동일하게 표현되는 객체이므로 슈도스코픽 영상이 발생하여 사용자의 우안으로 좌시점 영상을 시청할 경우에도 사용자의 좌안으로 좌시점 영상을 시청할 경우와 동일하게 표현될 수 있다. 따라서, 해당 객체는 블러 효과를 적용하지 않아도 시차가 변경되지 않으므로 해당 객체의 제2 블러값은 0일 수 있다.
블러 효과 적용부(102)는 블러값 결정부(101)가 결정한 시점 영상의 블러값에 따라 시점 영상에 블러 효과를 적용할 수 있다. 이때, 블러 효과 적용부(102)는 다양한 블러 필터를 이용하여 시점 영상에 블러 효과를 적용할 수 있다. 예를 들어, 블러 효과 적용부(102)는 시점 영상의 블러값과 관련된 가우시안 필터들과 같은 블러 필터를 사용할 수 있다.
또한, 블러 효과 적용부(102)는 슈도스코픽 영상이 발생하는 경우, 역전되는 시차를 최소화하기 위하여 해당 시점 영상 또는 해당 객체의 시차를 감소시킬 수 있다. 즉, 블러 효과 적용부(102)는 블러값 결정부(101)가 결정한 시점 영상의 블러값을 기초로 해당 시점 영상 또는 해당 객체의 시차를 감소시킬 수 있는 다른 효과를 적용할 수도 있다.
즉, 일실시예에 따른 다시점 영상 처리 장치(100)는 좌시점 영상과 우시점 영상의 시차가 역전하는 슈도스코픽 영상이 발생할 수 있는 시점 영상 및 시점 영상에 포함된 객체에 블러 효과를 적용하여 시차를 감소시킴으로써, 슈도스코픽 영상에서 시차가 역전되는 정도를 감소시킬 수 있다.
도 2는 다시점 영상 표시 장치를 개략적으로 도시한 개념도이다.
도 2는 9개의 시점 간격으로 동일한 시점들이 반복되는 다시점 영상 표시 장치(200)의 일례를 도시한 도면이다. 이때, 다시점 영상 표시 장치(200)가 3D 영상을 출력하며, 시점 1부터 시점 9의 순서에 따라 시점 1 내지 시점 9 상에 좌측에서 우측으로 치우친 영상을 출력할 수 있다.
다시점(Multi-View) 영상 표시 장치(200)는 도 2에 도시된 바와 같이, 패널(panel) 및 렌티큘러 시트(lenticular sheet)(또는 패럴랙스 배리어(parallax barrier))를 이용하여 복수의 시점들을 생성할 수 있다.
다시점 영상 표시 장치(200)가 복수의 시점들을 통해 영상을 출력하므로 시청자는 다양한 위치에서 다시점 영상 표시 장치가 출력하는 영상을 감상할 수 있다.
이때, 다시점 영상 표시 장치(200)에서는 내부에 포함되어 있는 렌티큘러 시트의 광학적 특성으로 인해, 특정 간격으로 시점들이 반복될 수 있다. 이때, 시점들이 반복되는 경계에 위치한 시청자는 정확한 출력 영상을 시청하지 못할 수 있다.
예를 들어, 시청자(210)가 시점 3과 시점 4 상에 위치해 있는 경우, 시청자는 좌안으로 시점 3에 대응하는 좌시점 영상(211)을 보고, 좌안으로 시점 4에 대응하는 우시점 영상(212)을 봄으로써, 3D 영상을 시청할 수 있다.
그러나, 시청자(220)가 시점 9와 시점 1 상에 위치하는 경우, 시청자는 좌안으로 시점 9에 대응하는 우시점 영상(221)을 보고, 우안으로 시점 1에 대응하는 좌시점 영상(222)을 볼 수 있다.
이와 관련하여, 시청자(220)가 정상적인 3D 영상을 시청하기 위해서는 시점 9에서 좌시점 영상이 출력되어야 하고, 시점 1에서 우시점 영상이 출력되어야 한다.
그러나, 다시점 영상 표시 장치(200)는 시점 1부터 시점 9의 순서에 따라 좌측에서 우측으로 치우친 영상이 출력하고 있으므로 시점 9에서 우시점 영상이 출력되고, 시점 1에서 좌시점 영상이 출력될 수 있다.
따라서, 시청자(220)는 시차가 역전된 슈도스코픽 영상을 시청할 수 있다.
이때, 일실시예에 따른 다시점 영상 처리 장치(100)는 시점 9가 표현하는 우시점 영상(221) 및, 시점 1이 표현하는 좌시점 영상(222)에서 시차가 다른 객체들에 블러 효과를 적용함으로써, 시차가 역전되는 정도를 감소시킬 수 있다.
도 3은 시점 영상의 시점과 시점 영상의 제1 블러값 간의 관계를 나타내는 도면이다.
다시점 영상이 시점 1 내지 시점 9를 표현하는 경우, 블러값 결정부(101)는 도 3에 도시된 바와 같이 시점 영상의 시점과 시점 1 간의 차이 또는 시점 영상의 시점과 시점 9간의 차이에 따라 제1 블러값을 결정할 수 있다.
다시점 영상이 시점 1 내지 시점 9을 표현하는 경우, 도 2에 도시된 바와 같이 시점 9의 옆에 시점 1이 표현될 수 있다. 따라서, 시점 1과 시점 9를 반복되는 시점들 간의 경계에 위치한 시점이라는 의미에서 경계선 시점으로 정의할 수 있다. 또한, 사용자가 시점 9의 시점 영상과 시점 1의 시점 영상을 각각 좌안과 우안으로 시청하는 경우, 시점 영상들에 포함된 객체들의 시차가 반대로 표시되는 슈도스코픽 영상이 발생할 수 있다.
따라서, 블러값 결정부(101)는 도 3에 도시된 바와 같이 시점 영상이 경계선 시점인 시점 1 또는 시점 9에 근접한 시점의 시점 영상일수록 시점 영상의 제1 블러값을 크게 결정할 수 있다.
이때, 시점 5는 경계선 시점에서 가장 떨어져 있으므로 슈도스코픽 영상이 발생할 확률이 없을 수 있다. 따라서, 시점 5의 제1 블러값은 0이 될 수 있다.
그리고, 도 3에서 시점에 대응하는 제1 블러값의 크기는 다시점 영상에 따라 결정될 수 있다. 구체적으로, 시점들 중에서 가장 중앙에 위치한 시점의 제1 블러값이 0이고, 시점이 1, 또는 N으로 증가함에 따라 제1 블러값이 증가하는 조건을 만족한다면, 도 3에서 곡선의 기울기는 다시점 영상에 따라 다르게 결정될 수 있다.
도 4는 시점 영상에서 객체의 스크린 시차와 객체의 제2 블러값 간의 관계를 나타내는 도면이다.
블러값 결정부(101)는 시차 정보를 기초로 시점 영상에 포함된 객체의 스크린 시차를 식별하고, 도 4에 도시된 바와 같이 객체의 스크린 시차에 따라 객체의 제2 블러값을 결정할 수 있다.
구체적으로 블러값 결정부(101)는 도 4에 도시된 바와 같이 객체의 시차가 클수록 객체의 제2 블러값을 증가시킬 수 있다. 이때, 시차 정보에 포함된 스크린 시차는 0인 경우, 좌시점 영상과 우시점 영상에서 해당 객체의 시차가 없는 것이고, 스크린 시차의 + 값 또는 - 값이 증가할 수록 좌시점 영상과 우시점 영상에서 해당 객체의 시차가 증가할 수 있다.
또한, 스크린 시차가 0인 객체는 좌시점 영상과 우시점 영상에서 동일하게 표현되는 객체이므로 슈도스코픽 영상이 발생하여 사용자의 우안으로 좌시점 영상을 시청할 경우에도 사용자의 좌안으로 좌시점 영상을 시청할 경우와 동일하게 표현될 수 있다. 따라서, 해당 객체는 블러 효과를 적용하지 않아도 시차가 변경되지 않으므로 해당 객체의 제2 블러값은 0일 수 있다.
그리고, 도 4에서 스크린 시차에 대응하는 제2 블러값의 크기는 다시점 영상에 따라 결정될 수 있다. 구체적으로, 스크린 시차가 0일 때, 제2 블러값이 0이고, 스크린 시차가 + 또는 -로 증가함에 따라 제2 블러값이 증가하는 조건을 만족한다면, 도 4에서 곡선의 기울기는 다시점 영상에 따라 다르게 결정될 수 있다.
도 5은 일실시예에 따라 블러 효과를 적용한 시점 영상들의 일례이다.
도 5은 일실시예에서 시점에 따라 블러 효과를 다르게 적용한 시점 영상들의 일례이다.
도 5에서 제1 시점 영상(510)은 도 2의 시점 5의 시점 영상이고, 제2 시점 영상(520)는 도2의 시점 9의 시점 영상일 수 있다.
이때, 시점 5는 도 2에 도시된 바와 같이 경계 시점에서 거리가 가장 먼 시점이다. 따라서, 시점 5에서 제1 블러값은 도 3에 도시된 바와 같이 0이므로, 다시점 영상 처리 장치(100)는 제1 시점 영상(510)에 블러값 0을 설정한 블러 효과를 적용할 수 있다.
이때, 블러값이 0이라는 것은 블러 효과가 0이라는 것이므로, 다시점 영상 처리 장치(100)가 출력하는 제1 시점 영상(511)은 도 5에 도시된 바와 같이 블러 효과를 적용하기 전과 동일할 수 있다.
반면, 시점 9에서 제1 블러값은 도 3에 도시된 바와 같이 최대값일 수 있다. 따라서, 다시점 영상 처리 장치(100)는 제2 시점 영상(520)에 블러값을 최대값으로 설정한 블러 효과를 적용할 수 있다. 그러므로, 다시점 영상 처리 장치(100)가 출력하는 제2 시점 영상(521)은 도 5에 도시된 바와 같이 블러 효과가 적용되어 시차가 감소된 영상일 수 있다.
그리고, 제2 시점 영상(520)이 배경에 깊이값을 적용한 시점 영상인 경우, 시점 영상에 포함된 객체 중에서 배경이 되는 산과 나무의 스크린 시차가 크고 자동차(522)의 스크린 시차가 0일 수 있다. 이때, 다시점 영상 처리 장치(100)는 제2 시점 영상(520) 중에서 자동차(522)에는 블러 효과를 적용하지 않음으로써, 시차가 역전되지 않는 자동차(522)가 블러 효과로 불선명하게 표현되는 것을 방지할 수 있다.
도 6는 일실시예에 따라 블러 효과를 적용한 시점 영상의 일례이다.
도 6는 일실시예에서 객체의 스크린 시차에 따라 블러 효과를 다르게 적용한 시점 영상의 일례이다.
도 6에서 시점 영상(610)은 배경에 깊이값을 적용한 시점 영상일 수 있다. 이때, 시점 영상(610)에서 가장 전방에 위치한 사람(611)의 스크린 시차가 0이고, 중간에 위치한 자동차(612)는 스크린 시차가 중간이며, 가장 후방에 위치한 산과 나무(613)는 스크린 시차가 가장 클 수 있다.
이때, 다시점 영상 처리 장치(100)는 사람(611), 자동차(612) 및 산과 나무(613)에 블러 효과를 다르게 적용할 수 있다. 구체적으로 스크린 시차가 가장 큰 산과 나무(613)는 슈도스코픽 영상이 발생할 경우, 역전된 시차의 크기도 가장 크므로 사용자가 인식하기 어려울 수 있다. 따라서, 다시점 영상 처리 장치(100)는 산과 나무(613)에 블러 효과를 강하게 적용하여 스크린 시차를 감소 시킴으로써, 영상이 발생할 경우, 역전된 시차의 크기도 감소 시킬 수 있다.
따라서, 다시점 영상 처리 장치(100)가 출력하는 시점 영상(620)은 도 6에 도시된 바와 같이 사람(611)은 블러 효과를 적용하지 않고, 자동차(612)는 중간 값의 블러 효과를 적용하였으며, 산과 나무(613)는 블러 효과를 강하게 적용한 시점 영상일 수 있다.
즉, 일실시예에 따른 다시점 영상 처리 장치(100)는 객체의 스크린 시차에 따라 블러 효과를 다르게 적용함으로써, 시차가 역전되지 않는 사람(611)은 선명하게 표시되도록 하고, 시차가 역전되는 크기가 큰 산과 나무(613)는 블러 효과를 강하게 적용하여 시차 역전을 감소할 수 있다.
도 7는 일실시예에 따른 다시점 영상 처리 방법을 도시한 도면이다.
단계(710)에서 블러값 결정부(101)는 시점 영상의 시점에 기초하여 제1 블러값을 결정할 수 있다.
예를 들어, 다시점 영상이 시점 1 내지 시점 N을 표현하는 경우, 블러값 결정부(101)는 시점 영상의 시점과 시점 1과의 차이 또는 시점 영상의 시점과 시점 1과의 차이 시점 N과의 차이에 따라 제1 블러값을 결정할 수 있다. 구체적으로, 블러값 결정부(101)는 시점 영상이 경계선 시점인 시점 1 또는 시점 N에 근접한 시점의 시점 영상일수록 시점 영상의 제1 블러값보다 크게 결정할 수 있다.
단계(720)에서 블러값 결정부(101)는 시점 영상의 시차 정보를 기초로 제2 블러값을 결정할 수 있다.
이때, 블러값 결정부(101)는 시차 정보를 기초로 시점 영상에 포함된 객체의 스크린 시차를 식별하고, 객체의 스크린 시차에 따라 객체의 제2 블러값을 결정할 수 있다.
구체적으로, 블러값 결정부(101)는 객체의 시차가 클수록 객체의 제2 블러값을 증가시킬 수 있다. 이때, 시차 정보에 포함된 스크린 시차는 0인 경우, 좌시점 영상과 우시점 영상에서 해당 객체의 시차가 없는 것이고, 스크린 시차의 +값 또는 - 값이 증가할 수록 좌시점 영상과 우시점 영상에서 해당 객체의 시차가 증가할 수 있다. 따라서, 블러값 결정부(101)는 도 4에 객체의 스크린 시차를 적용하여 객체의 제2 블러값을 결정할 수 있다.
단계(730)에서 블러값 결정부(101)는 단계(710)에서 결정한 제1 블러값과 단계(720)에서 결정한 제2 블러값에 따라 시점 영상의 블러값을 결정할 수 있다. 예를 들어, 블러값 결정부(101)는 제1 블러값과 제2 블러값에 곱셈 연산, 또는 민 함수(min-operation)를 적용하여 시점 영상의 블록값을 결정할 수 있다.
단계(740)에서 블러 효과 적용부(102)는 단계(730)에서 시점 영상의 블러값에 따라 시점 영상에 블러 효과를 적용할 수 있다. 이때, 블러 효과 적용부(102)는 다양한 블러 필터를 이용하여 시점 영상에 블러 효과를 적용할 수 있다. 예를 들어, 블러 효과 적용부(102)는 시점 영상의 블러값과 관련된 가우시안 필터들과 같은 블러 필터를 사용할 수 있다.
즉, 일실시예에 따른 다시점 영상 처리 방법은 좌시점 영상과 우시점 영상의 시차가 역전하는 슈도스코픽 영상이 발생할 수 있는 시점 영상 및 시점 영상에 포함된 객체에 블러 효과를 적용하여 시차를 감소시킴으로써, 슈도스코픽 영상에서 시차가 역전되는 정도를 감소시킬 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 다시점 영상 처리 장치
101: 블러값 결정부
102: 블러 효과 적용부

Claims (13)

  1. 다시점 영상을 구성하는 시점 영상의 시점과 시점 영상의 시차 정보를 기초로 시점 영상의 블러(blur) 값을 결정하는 블러값 결정부; 및
    시점 영상의 블러값에 따라 시점 영상에 블러 효과를 적용하는 블러 효과 적용부
    를 포함하는 다시점 영상 처리 장치.
  2. 제1항에 있어서,
    상기 블러값 결정부는,
    시점 영상의 시점에 기초한 제1 블러값과 시점 영상의 시차 정보를 기초로 결정한 제2 블러값에 따라 시점 영상의 블러값을 결정하는 다시점 영상 처리 장치.
  3. 제2항에 있어서,
    상기 블러값 결정부는,
    시차 정보를 기초로 상기 시점 영상에 포함된 객체의 시차를 식별하고, 객체의 시차에 따라 객체의 제2 블러값을 결정하는 다시점 영상 처리 장치.
  4. 제3항에 있어서,
    상기 블러값 결정부는,
    상기 객체의 시차가 클수록 상기 객체의 제2 블러값을 증가시키는 다시점 영상 처리 장치.
  5. 제1항에 있어서,
    상기 블러값 결정부는,
    다시점 영상이 시점 1 내지 시점 N을 표현하는 경우, 시점 영상의 시점과 시점 1 간의 차이 또는 시점 영상의 시점과 시점 N 간의 차이에 따라 제1 블러값을 결정하는 다시점 영상 처리 장치.
  6. 제5항에 있어서,
    상기 블러값 결정부는,
    상기 시점 영상이 경계선 시점의 시점 1 또는 시점 N에 근접한 시점의 시점 영상일수록 제1 블러값을 크게 결정하는 다시점 영상 처리 장치.
  7. 다시점 영상을 구성하는 시점 영상의 시점과 시점 영상의 시차 정보를 기초로 시점 영상의 블러(blur) 값을 결정하는 단계; 및
    시점 영상의 블러값에 따라 시점 영상에 블러 효과를 적용하는 단계
    를 포함하는 다시점 영상 처리 방법.
  8. 제7항에 있어서,
    상기 블러값을 결정하는 단계는,
    시점 영상의 시점에 기초한제1 블러값과 시점 영상의 시차 정보를 기초로 결정한 제2 블러값에 따라 시점 영상의 블러값을 결정하는 다시점 영상 처리 방법.
  9. 제8항에 있어서,
    상기 블러값을 결정하는 단계는,
    시차 정보를 기초로 상기 시점 영상에 포함된 객체의 시차를 식별하고, 객체의 시차에 따라 객체의 제2 블러값을 결정하는 다시점 영상 처리 방법.
  10. 제9항에 있어서,
    상기 블러값을 결정하는 단계는,
    상기 객체의 시차가 클수록 상기 객체의 제2 블러값을 증가시키는 다시점 영상 처리 방법.
  11. 제7항에 있어서,
    상기 블러값을 결정하는 단계는,
    다시점 영상이 시점 1 내지 시점 N을 표현하는 경우, 시점 영상의 시점과 시점 1 간의 차이 또는 시점 영상의 시점과 시점 N 간의 차이에 따라 제1 블러값을 결정하는 다시점 영상 처리 방법.
  12. 제11항에 있어서,
    상기 블러값을 결정하는 단계는,
    상기 시점 영상이 경계선 시점의 시점 1 또는 시점 N에 근접한 시점의 시점 영상일수록 제1 블러값을 크게 결정하는 다시점 영상 처리 방법.
  13. 제7항 내지 제12항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 할 수 있는 기록 매체.
KR1020120107430A 2012-09-26 2012-09-26 다시점 영상 처리 장치 및 방법 KR20140043264A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120107430A KR20140043264A (ko) 2012-09-26 2012-09-26 다시점 영상 처리 장치 및 방법
CN201310300565.7A CN103686124A (zh) 2012-09-26 2013-07-17 用于处理多视点图像的设备和方法
EP13181500.3A EP2713613A3 (en) 2012-09-26 2013-08-23 Apparatus and method for processing multi-view image
US14/020,020 US20140085296A1 (en) 2012-09-26 2013-09-06 Apparatus and method for processing multi-view image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120107430A KR20140043264A (ko) 2012-09-26 2012-09-26 다시점 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140043264A true KR20140043264A (ko) 2014-04-09

Family

ID=49035388

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120107430A KR20140043264A (ko) 2012-09-26 2012-09-26 다시점 영상 처리 장치 및 방법

Country Status (4)

Country Link
US (1) US20140085296A1 (ko)
EP (1) EP2713613A3 (ko)
KR (1) KR20140043264A (ko)
CN (1) CN103686124A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948276B2 (en) 2020-01-16 2024-04-02 Samsung Electronics Co., Ltd. Apparatus and method for enhancing videos

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9215448B2 (en) * 2013-01-31 2015-12-15 Here Global B.V. Stereo panoramic images
US9716879B2 (en) * 2014-07-15 2017-07-25 Shenzhen China Star Optoelectronics Technology Co., Ltd Image display method and device for multi-view stereoscopic display
KR102185130B1 (ko) * 2015-05-21 2020-12-01 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
CN108076291A (zh) * 2017-12-28 2018-05-25 北京安云世纪科技有限公司 一种图像数据的虚化处理方法、装置和移动终端
WO2019150668A1 (ja) * 2018-01-30 2019-08-08 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
CN113366527A (zh) * 2019-01-31 2021-09-07 三星电子株式会社 用于处理图像的电子装置和方法
WO2022091757A1 (ja) * 2020-10-27 2022-05-05 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4312918A1 (de) * 1993-04-14 1994-10-20 Hertz Inst Heinrich Wiedergabeeinrichtung
JP2891177B2 (ja) * 1996-04-30 1999-05-17 日本電気株式会社 立体表示装置
US7092003B1 (en) * 1999-01-21 2006-08-15 Mel Siegel 3-D imaging arrangements
EP1728116B1 (en) * 2004-03-12 2012-09-19 Koninklijke Philips Electronics N.V. Multiview display device
EP2153669B1 (en) * 2007-05-11 2012-02-01 Koninklijke Philips Electronics N.V. Method, apparatus and system for processing depth-related information
FR2917845B1 (fr) * 2007-06-19 2011-08-19 Christophe Brossier Procede de visualisation d'une sequence d'images produisant une sensation de relief
US8405708B2 (en) * 2008-06-06 2013-03-26 Reald Inc. Blur enhancement of stereoscopic images
CN102812712B (zh) * 2010-03-24 2015-04-08 富士胶片株式会社 图像处理设备和图像处理方法
JP5631329B2 (ja) * 2010-04-21 2014-11-26 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 立体映像表示装置、立体映像表示方法
JP5450643B2 (ja) * 2010-05-25 2014-03-26 パナソニック株式会社 画像符号化装置、画像符号化方法、プログラムおよび集積回路
JP5494283B2 (ja) * 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法
JP5269027B2 (ja) * 2010-09-30 2013-08-21 株式会社東芝 三次元画像表示装置および画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948276B2 (en) 2020-01-16 2024-04-02 Samsung Electronics Co., Ltd. Apparatus and method for enhancing videos

Also Published As

Publication number Publication date
US20140085296A1 (en) 2014-03-27
CN103686124A (zh) 2014-03-26
EP2713613A2 (en) 2014-04-02
EP2713613A3 (en) 2014-07-30

Similar Documents

Publication Publication Date Title
KR20140043264A (ko) 다시점 영상 처리 장치 및 방법
KR102415502B1 (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
JP5567578B2 (ja) 入力された三次元ビデオ信号を処理するための方法及びシステム
KR101907945B1 (ko) 다중 시점 장면에서의 그래픽 표시
US9582928B2 (en) Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
US8817073B2 (en) System and method of processing 3D stereoscopic image
KR101502362B1 (ko) 영상처리 장치 및 방법
KR20100135007A (ko) 다시점 영상 표시 장치 및 방법
US8982187B2 (en) System and method of rendering stereoscopic images
KR20140056748A (ko) 영상 처리 방법 및 영상 처리 장치
KR101697181B1 (ko) 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법
US8750600B2 (en) Apparatus and method for generating three-dimensional (3D) zoom image of stereo camera
JP7184748B2 (ja) 場面の積層深度データを生成するための方法
EP2981080B1 (en) Apparatus and method for rendering image
WO2012113695A1 (en) A method and system for rendering a stereoscopic view
US9760793B2 (en) Apparatus and computer-implemented method for generating a three-dimensional scene and non-transitory tangible computer readable medium thereof
KR20160065555A (ko) 3 차원 이미지 생성 방법 및 장치
KR20170065208A (ko) 3d 이미지 처리 방법 및 장치, 및 그래픽 처리 장치
KR20140113066A (ko) 차폐 영역 정보를 기반으로 하는 다시점 영상 생성 방법 및 장치
JP6685241B2 (ja) 立体視ビデオ生成
US20140292748A1 (en) System and method for providing stereoscopic image by adjusting depth value
JP6608852B2 (ja) 立体視深度調節及び焦点調節
JP6490107B2 (ja) 立体視ビデオズーミング
KR20180077547A (ko) 깊이 영상 생성 방법 및 깊이 영상 생성 장치
KR20160080919A (ko) 영상변환장치 및 이를 구비하는 디스플레이 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid