WO2012074294A2 - 에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법 - Google Patents

에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법 Download PDF

Info

Publication number
WO2012074294A2
WO2012074294A2 PCT/KR2011/009221 KR2011009221W WO2012074294A2 WO 2012074294 A2 WO2012074294 A2 WO 2012074294A2 KR 2011009221 W KR2011009221 W KR 2011009221W WO 2012074294 A2 WO2012074294 A2 WO 2012074294A2
Authority
WO
WIPO (PCT)
Prior art keywords
area
image
energy value
hole
background
Prior art date
Application number
PCT/KR2011/009221
Other languages
English (en)
French (fr)
Other versions
WO2012074294A3 (ko
Inventor
리모노프알렉산더
이진성
장주용
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201180057501.8A priority Critical patent/CN103250185B/zh
Priority to EP11845396.8A priority patent/EP2648162A4/en
Priority to US13/990,709 priority patent/US20130286011A1/en
Priority to JP2013541923A priority patent/JP6025740B2/ja
Publication of WO2012074294A2 publication Critical patent/WO2012074294A2/ko
Publication of WO2012074294A3 publication Critical patent/WO2012074294A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals

Abstract

이미지 처리 방법이 개시된다. 본 방법은, 레퍼런스 이미지에 표시된 객체를 깊이 정보에 따라 쉬프트시키는 단계, 쉬프트된 객체의 배경 영역의 에너지 값(energy value)을 이용하여, 가변적인 크기의 스트레칭 영역을 결정하는 단계, 및 객체의 쉬프트로 인하여 생성된 홀(hole) 영역에, 스트레칭 영역의 픽셀을 삽입하여 타겟 이미지를 생성하는 단계를 포함한다. 이에 따라, 화질 열화 현상을 방지할 수 있다.

Description

에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법
본 발명은 에너지 값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법에 관한 것으로, 보다 상세하게는 에너지 값을 이용하여 가변적인 크기의 스트레칭 영역을 결정하여 타겟 이미지를 생성하는 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법에 관한 것이다.
전자 기술의 발달에 힘입어, 다양한 유형의 전자기기가 개발 및 보급되고 있다. 이중 대표적인 것으로 TV와 같은 디스플레이 장치가 있다. 최근에는 3D 디스플레이 기술이 개발되어, 일반 가정에서도 TV 등을 통해 3D 컨텐츠를 시청할 수 있게 되었다.
3D 디스플레이 장치에는 무안경식, 안경식 등과 같이 다양한 유형의 장치가 있다. 이들 3D 디스플레이 장치에서, 3D 컨텐츠를 시청하기 위해서는 서로 간에 디스패리티를 가지는 복수의 영상이 필요하다. 구체적으로는, 좌안 영상 및 우안 영상이 요구된다.
3D 디스플레이 장치에서는 이러한 좌안 영상 및 우안 영상을 교번적으로 배치하여 순차적으로 디스플레이하거나, 좌안 영상 및 우안 영상을 각각 홀수 라인 및 짝수 라인으로 분리하여 서로 조합하여 하나의 프레임으로 디스플레이하게 된다.
이와 같이, 3D 컨텐츠를 시청하기 위해서는 3D 디스플레이 장치에서는 좌안 영상 및 우안 영상과 같은 복수의 영상을 필요로 한다. 복수의 영상은 컨텐츠 제작자로부터 제공될 수 있다. 하지만, 동일한 프레임에 대하여 두 개 이상의 영상을 제공하여야 하므로, 주파수 사용 대역폭이 부족하게 된다는 문제점이 있었다.
이에 따라, 좌안 영상 및 우안 영상 중 하나의 영상만을 수신 장치로 제공하고, 수신 장치에서 제공된 영상을 이용하여 다른 하나의 영상을 생성하여, 두 영상을 조합하여 3D 이미지를 디스플레이하는 방식이 대두되었다. 하지만, 제공된 영상을 이용하여 다른 영상을 생성하는 과정에서, 영상의 일부 영역에서 스트라이프(stripes) 패턴이나 블러(blur) 현상이 발생할 수 있다는 문제점이 있었다.
따라서, 이러한 화질 열화 현상을 방지하면서 효과적으로 3D 이미지를 생성하는 기술에 대한 필요성이 대두되었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 에너지 값을 이용하여 가변적인 크기의 스트레칭 영역을 결정하고, 결정된 영역을 이용하여 타겟 이미지를 생성함으로써, 화질 열화를 방지할 수 있는 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법을 제공함에 있다.
본 발명의 일 실시 예에 따른 이미지 처리 방법은, 레퍼런스 이미지에 표시된 객체를 깊이(depth) 정보에 따라 쉬프트시키는 단계, 상기 쉬프트된 객체의 배경 영역의 에너지 값(energy value)을 이용하여, 가변적인 크기의 스트레칭 영역을 결정하는 단계, 상기 객체의 쉬프트로 인하여 생성된 홀(hole) 영역에, 상기 스트레칭 영역의 픽셀을 삽입하여 타겟 이미지를 생성하는 단계를 포함한다.
여기서, 상기 스트레칭 영역을 결정하는 단계는, 상기 홀 영역의 크기를 산출하는 단계, 상기 홀 영역의 경계로부터 상기 산출된 크기만큼의 배경 영역의 에너지 값을 산출하는 단계, 상기 배경 영역 중에서 임계치 이하의 에너지 값을 가지는 영역을 상기 스트레칭 영역으로 산출하는 단계를 포함한다.
그리고, 상기 스트레칭 영역은, 상기 홀 영역의 경계에서부터 상기 임계치를 초과하는 픽셀의 이전까지의 픽셀들을 포함하는 영역이 될 수 있다.
한편, 상기 임계치는 아래 수식에 의해 산출되는 평균 에너지 값이 될 수 있다.
Figure PCTKR2011009221-appb-I000001
상기 수식에서 ξ는 상기 평균 에너지 값, λ는 상기 홀 영역의 폭, Ei는 i픽셀의 에너지 값을 나타낸다.
또한, 상기 에너지 값을 산출하는 단계는,
아래 수식 중 하나를 이용하여 상기 에너지 값을 산출할 수 있다.
Figure PCTKR2011009221-appb-I000002
Figure PCTKR2011009221-appb-I000003
Figure PCTKR2011009221-appb-I000004
상기 수식에서 E(x,y)는 (x,y)좌표에 위치한 픽셀의 에너지값, I(x,y)는 상기 이미지의 RGB 성분의 선형 조합을 나타낸다.
그리고, 상기 I(x,y)는 아래 수식에 의해 산출될 수 있다.
I(x,y)=ωRR(x,y)+ωGG(x,y)+ωBB(x,y)
상기 수식에서 R(x,y), G(x,y), B(x,y)는 (x, y)좌표에 위치한 픽셀의 R, G, B값, ωR,ωG,ωB는 R, G, B값 각각에 대한 가중치를 나타낸다.
또한, 이상과 같은 실시 예들에서, 상기 타겟 이미지 상에서 원 위치에 존재하는 객체 및 상기 배경 영역 간의 경계를 스무딩(smoothing) 처리하는 단계가 더 포함될 수도 있다.
한편, 본 발명의 일 실시 예에 따른 3D 이미지 디스플레이 방법은, 레퍼런스 이미지 및 깊이(depth) 정보를 수신하는 단계, 상기 깊이 정보에 따라 상기 레퍼런스 이미지에 표시된 객체를 쉬프트시키는 단계, 상기 쉬프트된 객체의 배경 영역의 에너지 값(energy value)을 이용하여, 상기 배경 영역 중에서 가변적인 크기의 스트레칭 영역을 결정하는 단계, 상기 객체의 쉬프트로 인하여 생성된 홀(hole) 영역에, 상기 스트레칭 영역의 픽셀을 삽입하여 타겟 이미지를 생성하는 단계 및 상기 레퍼런스 이미지 및 상기 타겟 이미지를 조합하여 3D 이미지를 디스플레이하는 단계를 포함한다.
여기서, 상기 스트레칭 영역을 결정하는 단계는, 상기 홀 영역의 크기를 산출하는 단계, 상기 홀 영역의 경계로부터 상기 산출된 크기만큼의 배경 영역의 에너지 값을 산출하는 단계, 상기 배경 영역 중에서 임계치 이하의 에너지 값을 가지는 영역을 상기 스트레칭 영역으로 산출하는 단계를 포함한다.
그리고, 상기 스트레칭 영역은, 상기 홀 영역의 경계에서부터 상기 임계치를 초과하는 픽셀의 이전까지의 픽셀들을 포함하는 영역일 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 이미지 처리 장치는, 레퍼런스 이미지 및 깊이 정보를 수신하는 수신부, 상기 레퍼런스 이미지에 표시된 객체의 배경 영역의 에너지 값을 이용하여 가변적인 크기의 스트레칭 영역을 결정하는 제어부, 상기 깊이 정보에 따라 상기 레퍼런스 이미지에 표시된 객체를 쉬프트시키고, 상기 객체의 쉬프트로 인하여 생성된 홀(hole) 영역에, 상기 스트레칭 영역의 픽셀을 삽입하여 타겟 이미지를 생성하는 이미지 처리부를 포함한다.
그리고, 상기 제어부는, 상기 홀 영역의 크기를 산출하고, 상기 홀 영역의 경계로부터 상기 산출된 크기만큼의 배경 영역의 에너지 값을 산출하여, 상기 배경 영역 중에서 임계치 이하의 에너지 값을 가지는 영역을 상기 스트레칭 영역으로 결정하며, 상기 스트레칭 영역은, 상기 홀 영역의 경계에서부터 상기 임계치를 초과하는 픽셀의 이전까지의 픽셀들을 포함하는 영역이 될 수 있다.
그리고, 상기 임계치는 아래 수식에 의해 산출되는 평균 에너지 값이 될 수 있다.
Figure PCTKR2011009221-appb-I000005
상기 수식에서 ξ는 상기 평균 에너지 값, λ는 상기 홀 영역의 폭, Ei는 i픽셀의 에너지 값이다.
그리고, 상기 이미지 처리부는, 상기 타겟 이미지 상에서 원 위치에 존재하는 객체 및 상기 배경 영역 간의 경계를 스무딩(smoothing) 처리할 수도 있다.
한편, 상술한 이미지 처리 장치는, 상기 레퍼런스 이미지 및 상기 타겟 이미지를 조합하여 3D 이미지를 디스플레이하는 디스플레이부를 더 포함할 수도 있다.
또는, 상기 레퍼런스 이미지 및 상기 타겟 이미지를 디스플레이 장치로 전송하는 인터페이스부를 더 포함할 수도 있다.
[발명의 효과]
이상과 같은 여러 실시 예들에 따르면, 레퍼런스 이미지로부터 화질 열화 없는 타겟 이미지를 생성하여, 3D 이미지를 디스플레이할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 장치의 구성을 나타내는 블럭도,
도 2는 레퍼런스 이미지에서 객체를 쉬프트시키는 과정을 설명하기 위한 도면,
도 3은 스트레칭 영역을 결정하는 과정을 설명하기 위한 도면,
도 4는 레퍼런스 이미지 및 깊이 정보를 이용하여 타겟 이미지를 생성하는 과정을 설명하기 위한 도면,
도 5 및 도 6은 이미지 처리 장치의 다양한 세부 구성을 나타내는 블럭도,
도 7은 본 발명의 일 실시 예에 따른 3D 이미지 처리 방법을 설명하기 위한 흐름도,
도 8은 스트레칭 영역을 결정하는 방법을 설명하기 위한 흐름도,
도 9는 본 발명의 일 실시 예에 따른 3D 이미지 디스플레이 방법을 설명하기 위한 흐름도이다.
이하에서 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 장치의 구성을 나타내는 블럭도이다. 도 1에 따르면, 이미지 처리 장치(100)는 수신부(110), 제어부(120), 이미지 처리부(130)를 포함한다.
수신부(110)는 레퍼런스 이미지 및 깊이 정보를 수신한다. 레퍼런스 이미지는 좌안 영상 및 우안 영상 중 하나인 2D 이미지를 의미한다.
깊이(depth) 정보란 레퍼런스 이미지 내에 존재하는 객체의 3차원 거리 정보를 나타내는 정보이다. 깊이 정보는 깊이 영상 또는 깊이 맵으로 명명될 수도 있다. 깊이 영상에서 밝게 표시된 부분은 입체감이 큰 부분이고 어둡게 표시된 부분은 입체감이 작은 부분을 의미한다. 깊이 정보의 각 화소 값은 레퍼런스 이미지의 해당 화소의 깊이를 나타낸다.
제어부(120)는 레퍼런스 이미지에 표시된 객체의 배경 영역의 에너지 값을 이용하여 스트레칭 영역을 결정한다. 스트레칭 영역이란 객체의 쉬프트로 인하여 생성되는 홀 영역에 채워질 픽셀값을 결정하는 기준이 되는 영역을 의미한다. 에너지 값이란, 배경 영역에 위치하는 각 픽셀들과 주변 픽셀들 간의 특징을 나타내는 값이다. 스트레칭 영역 결정 방법에 대해서는 후술하는 부분에서 구체적으로 설명한다.
이미지 처리부(130)는 깊이 정보를 이용하여 레퍼런스 이미지에 표시된 객체를 쉬프트시키는 깊이 영상 기반 렌더링(Depth image Based Rendering)을 수행한다. 구체적으로는, 깊이 정보를 이용하여 레퍼런스 이미지 내의 객체들의 시차(parallax) 값의 차이를 계산한다. 그리고 계산된 시차 값의 차이만큼 객체를 좌 또는 우측 방향으로 이동시켜, 새로운 시점의 이미지를 생성한다.
시차 계산은 다음과 같은 수학식을 이용하여 이루어질 수 있다.
수학식 1
Figure PCTKR2011009221-appb-M000001
수학식 1에서 P(x,y)는 (x,y) 위치의 픽셀의 시차값, d(x,y)는 (x,y)위치의 픽셀의 깊이값, M은 최대 시차값을 나타낸다.
본 명세서에서는 레퍼런스 이미지로부터 생성된 이미지를 타겟 이미지라 한다. 타겟 이미지란, 레퍼런스 이미지와 함께 조합되어 3D 이미지를 구성하기 위한 이미지이다. 즉, 레퍼런스 이미지와 다른 시점에서 피사체를 표현한 이미지를 의미한다. 예를 들어, 레퍼런스 이미지가 좌안 영상이라면 타겟 이미지는 우안 영상에 해당하고, 레퍼런스 이미지가 우안 영상이라면 타겟 이미지는 좌안 영상에 해당한다
한편, 타겟 이미지 상에는 객체의 쉬프트로 인하여 홀(hole) 영역이 생긴다. 이미지 처리부(130)는 제어부(120)에서 결정한 스트레칭 영역의 픽셀을 이용하여 홀 영역을 채워서, 타겟 이미지를 생성한다.
경우에 따라, 이미지 처리부(130)는 타겟 이미지가 생성된 이후에 타겟 이미지 상에서 원 위치에 존재하는 객체 및 상기 배경 영역 간의 경계를 스무딩(smoothing) 처리할 수도 있다.
도 2는 DIBR 방식에 따라 타겟 이미지를 생성하였을 때, 형성되는 홀 영역을 설명하기 위한 도면이다. 도 2에 따르면, 적어도 하나의 객체(11)를 표시하는 레퍼런스 이미지(10)와 깊이 정보(20)가 제공되면, 깊이 정보(20)를 이용하여 레퍼런스 이미지(10)의 객체(11)의 위치를 쉬프트시켜서 타겟 이미지(30)를 생성한다. 타겟 이미지 상에서 객체(11)의 원 위치와 새로운 위치가 중복되지 않는 부분에는 홀 영역(12)이 형성된다.
제어부(120)는 홀 영역(12)의 크기를 이용하여 배경 영역 중에서 홀 영역(12)을 채우는데 사용되는 스트레칭 영역을 결정한다. 도 3은 스트레칭 영역 결정 방법을 설명하기 위한 도면이다.
도 3에 따르면, 타겟 이미지(30) 상에 형성된 홀 영역은 가로방향의 폭을 가진다. 제어부(120)는 먼저 홀 영역의 경계에 해당하는 깊이 정보를 확인하여, 객체의 배경 영역(14)이 홀 영역의 좌측에 존재하는지 우측에 존재하는지를 파악한다. 제어부(120)는 배경 영역의 위치가 파악되면, 배경 영역에서 홀 영역의 경계 부근의 픽셀들의 에너지 값들을 산출한다. 제어부(120)는 홀 영역의 폭 λ을 먼저 산출하고, 배경 영역 중에서 폭 λ만큼의 거리 이내의 픽셀들을 선택한다. 다만, 반드시 동일거리만큼의 픽셀들만이 선택되는 것은 아니며, 경우에 따라서는 λ보다 더 큰 거리 범위 이내의 픽셀들을 선택할 수도 있다.
제어부(120)는 선택된 픽셀들의 에너지값들을 산출한다. 에너지 값이란 각 픽셀과 주변 픽셀들간의 비교에 의해 얻어지는 특징 값을 의미한다. 에너지 값은 컬러 이미지의 그래디언트(gradient)로 정의될 수 있다.
구체적으로는, 에너지 값은 다음 수학식과 같이 표현될 수 있다.
수학식 2
Figure PCTKR2011009221-appb-M000002
여기서, E(x,y)는 (x,y)좌표에 위치한 픽셀의 에너지값, I(x,y)는 상기 레퍼런스 이미지의 RGB 성분의 선형 조합을 의미한다.
보다 구체적으로는, 제어부(120)는 아래의 수학식 3 내지 5 중 하나의 수학식을 이용하여 에너지 값을 산출할 수 있다.
수학식 3
Figure PCTKR2011009221-appb-M000003
수학식 4
Figure PCTKR2011009221-appb-M000004
수학식 5
Figure PCTKR2011009221-appb-M000005
또한, 제어부(120)는 다음과 같은 수학식을 이용하여 I(x,y)를 산출할 수 있다.
수학식 6
Figure PCTKR2011009221-appb-M000006
수학식 6에서 R(x,y), G(x,y), B(x,y)는 (x, y)좌표에 위치한 픽셀의 R, G, B값, ωR,ωG,ωB는 R, G, B값 각각에 대한 가중치를 나타낸다.
제어부(120)는 이러한 수학식들을 이용하여 배경 영역의 각 픽셀들의 에너지 값을 산출할 수 있다. 그리고 나서, 제어부(120)는 각 픽셀들의 에너지 값을 순차적으로 확인하여, 임계치 이하의 에너지 값을 가지는 픽셀들을 검출한다. 그리고, 검출된 픽셀들을 조합하여 스트레칭 영역(15)을 결정한다.
제어부(120)는 홀 영역(12)의 경계에서부터 배경 영역 방향으로 순차적으로 픽셀들의 에너지 값을 임계치와 비교할 수 있다. 이에 따라, 임계치를 초과하는 픽셀이 탐색되면, 그 이전 픽셀부터 홀 영역(12) 경계 사이의 영역을 스트레칭 영역(15)으로 결정한다.
한편, 제어부(120)는 3가지 색 성분의 차이를 고려하여 연산을 수행할 수도 있다. 즉, 각 이미지 성분의 편미분을 다음과 같이 수행할 수도 있다.
수학식 7
Figure PCTKR2011009221-appb-M000007
Figure PCTKR2011009221-appb-I000006
Figure PCTKR2011009221-appb-I000007
각 이미지 성분의 편도 함수(partial derivatives)는 Sobel 또는 Scharr 오퍼레이터(operator)에 의해 근사화될 수 있다.
한편, 임계치는 평균 에너지 값으로 결정될 수 있다.
즉, 제어부(120)는 배경 영역 중에서 홀 영역의 경계로부터 홀 폭 λ만큼의 거리 이내에 위치한 픽셀들의 에너지 값들의 평균값을 임계치로 설정할 수 있다. 즉, 임계치는 아래 수학식에 의해 산출될 수 있다.
수학식 8
Figure PCTKR2011009221-appb-M000008
수학식 8에서 ξ는 임계치, Ei는 i픽셀의 에너지 값을 의미한다.
결과적으로 스트레칭 영역의 크기는 1≤λ'≤λ과 같이 가변적으로 결정된다.
제어부(120)에 의해 스트레칭 영역이 결정되면, 이미지 처리부(130)는 스트레칭 영역의 픽셀을 이용하여 홀 영역을 채워서 타겟 이미지를 완성한다.
도 4는 레퍼런스 이미지 및 깊이 정보를 이용하여 타겟 이미지를 생성하는 전체 과정을 나타내는 도면이다.
도 4에 따르면, 레퍼런스 이미지(10) 및 깊이 정보(20)가 입력되면, 이미지 처리 장치(100)는 프로젝션(projection) 처리를 수행하여 홀 영역을 포함한 타겟 이미지(30) 및 타겟 깊이 맵(40)을 생성한다.
또한, 이미지 처리 장치(100)는 레퍼런스 이미지(10)의 각 픽셀에 대한 에너지 맵(50)을 생성한다.
그리고 나서, 에너지 맵(50)을 이용하여 스트레칭 영역을 결정한 후, 결정된 스트레칭 영역의 픽셀들을 이용하여 홀 영역을 채워서, 최종 타겟 이미지(60)를 생성한다.
상술한 바와 같은 이미지 처리 방법은 화질 열화 현상을 감소시킬 수 있다. 좀 더 좋은 화질을 확보하기 위해서는, 깊이 정보의 정확도가 좋아야 할 필요가 있다. 따라서, 아래 수학식과 같이 국부 맥시멈 필터를 적용하여 깊이 정보를 프리-프로세싱하여 사용할 수 있다.
수학식 9
Figure PCTKR2011009221-appb-M000009
수학식 9에서 s는 윈도우 사이즈를 의미하고 D(x,y)는 x,y 좌표의 픽셀의 깊이,
Figure PCTKR2011009221-appb-I000008
는 프리-프로세싱된 깊이를 의미한다. 이와 같이, 특정 크기의 윈도우 내에서 최대 깊이를 필터링하여 사용하게 되므로, 깊이 정보의 샤프니스(sharpness)가 좋아지게 된다. s의 값은 반복 실험을 통해 얻어진 최적 값을 사용할 수 있다. 일 예로, 3 또는 5가 사용될 수 있다.
한편, 도 1의 이미지 처리 장치는 다양한 장치로 구현될 수 있다. 즉, 이미지 처리 장치 자체로 TV나, 휴대폰, PDA, PC, 노트북 PC, 태블릿 PC, 전자 액자, 전자 책 등과 같은 디스플레이 장치로 구현될 수도 있다. 또는, 이러한 디스플레이 장치로 3D 이미지를 제공하는 셋탑 박스나 기타 이미지 변환 장치, 데이터 재생 장치 등으로 구현될 수도 있다.
도 5는 디스플레이 장치로 구현된 경우의 구성을 나타내는 블럭도이다. 도 5에 따르면, 이미지 처리 장치(100)는 수신부(110), 제어부(120) 및 이미지 처리부(130)와 함께 디스플레이부(140)를 포함한다.
디스플레이부(140)는 레퍼런스 이미지 및 타겟 이미지를 조합하여 3D 이미지를 디스플레이한다. 디스플레이부(140)는 실시 예에 따라 다양한 방식으로 3D 이미지를 디스플레이할 수 있다.
일 예로, 셔터 글래스 안경 방식의 경우, 디스플레이부(140)는 레퍼런스 이미지 및 타겟 이미지를 교번적으로 배치하여 순차적으로 디스플레이한다. 이 경우, 각 이미지는 복사되어 적어도 2 프레임 이상 연속적으로 디스플레이될 수도 있으며, 타 이미지가 표시되기 이전에 블랙 프레임이 삽입되어 디스플레이될 수도 있다. 이미지 처리 장치(100)는 매 프레임이 디스플레이될 때마다 안경 장치를 동기화시키기 위한 동기 신호를 안경 장치로 전송하여 줄 수 있다.
다른 예로, 편광 안경 방식의 경우, 디스플레이부(140)는 레퍼런스 이미지 및 타겟 이미지를 각각 가로 또는 세로 방향으로 복수 개의 라인으로 구분하여, 각 이미지의 홀수 라인 및 짝수 라인을 서로 조합하여 적어도 하나의 프레임을 생성한 후 디스플레이한다.
도 6은 디스플레이 장치와 연결된 이미지 처리 장치의 구성을 나타내는 블럭도이다. 도 6에 따르면, 이미지 처리 장치(100)는 수신부(110), 제어부(120) 및 이미지 처리부(130) 이외에 인터페이스부(150)를 더 포함한다.
인터페이스부(150)는 레퍼런스 이미지 및 타겟 이미지를 디스플레이 장치(200)로 전송한다.
도 6에서는 디스플레이 장치(200)와 별개의 장치인 것으로 도시하였으나, 이미지 처리 장치(100)는 디스플레이 장치(200)에 탑재되는 칩 또는 모듈로 구현될 수도 있다.
도 5 및 도 6에서 디스플레이부(140) 및 인터페이스부(150)를 제외한 나머지 구성은 도 1과 동일하므로, 중복 설명은 생략한다.
도 7은 본 발명의 일 실시 예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다. 도 7에 따르면, 먼저 레퍼런스 이미지에 포함된 객체를 깊이 정보를 이용하여 쉬프트시켜서 타겟 이미지를 생성한다(S710). 이 단계에서 생성된 타겟 이미지에는 홀 영역이 포함된다.
쉬프트되는 거리는 깊이 정보에 따라 달라진다. 즉, 깊이 값이 큰 객체는 디스패리티가 크므로 객체의 쉬프트 거리가 커지는 반면, 깊이 값이 작은 객체는 디스패리티가 작으므로 쉬프트 거리도 작아진다.
객체의 쉬프트와 별개로 레퍼런스 이미지에 대한 에너지 값을 산출한다. 그리고, 산출된 에너지 값을 이용하여 홀 영역 주변의 배경 영역 중에서 스트레칭 영역을 결정한다(S720).
스트레칭 영역이 결정되면, 결정된 스트레칭 영역에 포함된 픽셀을 이용하여 홀 영역을 채우는 홀-필링 작업을 수행하여 타겟 이미지를 완성한다(S730).
도 8은 스트레칭 영역을 결정하는 방법의 일 예를 설명하기 위한 흐름도이다. 도 8에 따르면, 먼저 객체의 쉬프트로 인하여 발생하는 홀 영역의 크기를 산출한다(S810). 사용자의 좌안 및 우안은 지표면을 기준으로 가로 방향으로 나란하게 배치되기 때문에, 3D 이미지를 구성하기 위한 좌안 영상 및 우안 영상은 가로 방향의 디스패리티를 가지게 된다. 따라서, 홀 영역의 가로 방향의 폭을 산출하여 사용한다.
홀 영역의 폭이 산출되면, 그 홀 영역 주변의 배경 영역의 에너지 값을 산출한다(S820). 그리고 나서, 산출된 에너지 값의 평균 값을 구하여 임계치를 설정한다(S830). 이 경우, 전체 배경 영역을 모두 사용하지 않고, 홀 영역의 폭과 대응되는 크기의 배경 영역 내의 픽셀들의 에너지값만 사용할 수 있다.
이러한 상태에서, 홀 영역의 경계에서부터 배경 영역의 각 픽셀들의 에너지 값과 임계치를 비교한다(S840). 비교 결과, 에너지 값이 임계치 이하이면 다음 픽셀의 에너지 값을 확인하여 임계치와 비교한다(S850). 이러한 동작을 홀 영역의 폭과 동일한 크기의 배경 영역 내의 픽셀들 모두에 대하여 순차적으로 수행한다.
한편, 비교 결과 에너지 값이 임계치를 초과하는 픽셀이 발견되면, 이전 픽셀부터 홀 영역의 경계까지를 스트레칭 영역으로 결정한다(S860).
이에 따라, 스트레칭 영역의 픽셀 값을 그대로 홀 영역에 삽입하여, 홀 영역을 채우게 된다.
에너지 값을 이용하기 때문에, 배경 영역에 어떠한 무늬가 있거나 인접 객체의 경계부분이 있는 경우, 그 무늬나 경계 이전까지의 픽셀들을 이용하여 홀 영역을 채울 수 있게 된다. 따라서, 화질 열화 현상이 방지될 수 있다.
한편, 타겟 이미지의 홀 영역을 채우고 난 후에는, 스무딩 필터를 이용하여 홀 영역의 경계 부분에 대해 스무딩 처리를 수행할 수도 있다.
도 9는 본 발명의 일 실시 예에 따른 3D 이미지 디스플레이 방법을 설명하기 위한 흐름도이다. 도 9에 따르면, 디스플레이 장치는 레퍼런스 이미지 및 깊이 정보를 수신한다(S910). 레퍼런스 이미지 및 깊이 정보는 컨텐츠 제공자로부터 수신할 수 있다. 구체적으로는, 방송국이나 웹 서버 등으로부터 전송 스트림 형태로 전송받을 수 있다.
디스플레이 장치는 수신된 전송 스트림에 대하여 복조, 등화, 디코딩, 디멀티플렉싱 등의 처리를 수행하여 레퍼런스 이미지 및 깊이 정보를 검출할 수 있다. 이러한 구체적인 처리 동작에 대해서는 이미 공지된 바 있으므로 도시 및 설명을 생략한다.
디스플레이 장치는 깊이 정보를 이용하여 레퍼런스 이미지의 객체를 쉬프트시킨다(S920). 그리고, 에너지 값을 산출한 후, 그 값과 임계치를 비교하여 스트레칭 영역을 결정한다(S930). 그리고, 객체의 쉬프트로 인해 생긴 홀 영역에 스트레칭 영역의 픽셀을 삽입하여(S940), 타겟 이미지를 구성한다.
그리고 나서, 디스플레이 장치는 레퍼런스 이미지와 타겟 이미지를 조합하여 3D 이미지를 디스플레이한다(S950).
도 9의 방법은 도 5와 동일한 구성을 가지는 이미지 처리 장치 또는 디스플레이 장치에 의해 수행될 수 있다. 도 9의 각 단계에 대한 세부 설명은 상술한 실시 예에 대한 설명 부분과 동일하므로, 중복 설명은 생략한다.
상술한 본 발명의 다양한 실시 예들에 따른 방법을 수행하기 위한 프로그램은 다양한 유형의 기록 매체에 저장되어 사용될 수 있다.
구체적으로는, 상술한 방법들을 수행하기 위한 코드는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 레퍼런스 이미지에 표시된 객체를 깊이 정보에 따라 쉬프트시키는 단계;
    상기 쉬프트된 객체의 배경 영역의 에너지 값(energy value)을 이용하여, 가변적인 크기의 스트레칭 영역을 결정하는 단계;
    상기 객체의 쉬프트로 인하여 생성된 홀(hole) 영역에, 상기 스트레칭 영역의 픽셀을 삽입하여 타겟 이미지를 생성하는 단계;를 포함하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 스트레칭 영역을 결정하는 단계는,
    상기 홀 영역의 크기를 산출하는 단계;
    상기 홀 영역의 경계로부터 상기 산출된 크기만큼의 배경 영역의 에너지 값을 산출하는 단계;
    상기 배경 영역 중에서 임계치 이하의 에너지 값을 가지는 영역을 상기 스트레칭 영역으로 산출하는 단계;를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  3. 제2항에 있어서,
    상기 스트레칭 영역은,
    상기 홀 영역의 경계에서부터 상기 임계치를 초과하는 픽셀의 이전까지의 픽셀들을 포함하는 영역인 것을 특징으로 하는 이미지 처리 방법.
  4. 제3항에 있어서,
    상기 임계치는 아래 수식에 의해 산출되는 평균 에너지 값인 것을 특징으로 하는 이미지 처리 방법 :
    Figure PCTKR2011009221-appb-I000009
    상기 수식에서 ξ는 상기 평균 에너지 값, λ는 상기 홀 영역의 폭, Ei는 i픽셀의 에너지 값.
  5. 제4항에 있어서,
    상기 에너지 값을 산출하는 단계는,
    아래 수식 중 하나를 이용하여 상기 에너지 값을 산출하는 것을 특징으로 하는 이미지 처리 방법 :
    Figure PCTKR2011009221-appb-I000010
    Figure PCTKR2011009221-appb-I000011
    Figure PCTKR2011009221-appb-I000012
    상기 수식에서 E(x,y)는 (x,y)좌표에 위치한 픽셀의 에너지값, I(x,y)는 상기 이미지의 RGB 성분의 선형 조합.
  6. 제5항에 있어서,
    상기 I(x,y)는 아래 수식에 의해 산출되는 것을 특징으로 하는 이미지 처리 방법 :
    I(x,y)=ωRR(x,y)+ωGG(x,y)+ωBB(x,y)
    상기 수식에서 R(x,y), G(x,y), B(x,y)는 (x, y)좌표에 위치한 픽셀의 R, G, B값, ωR,ωG,ωB는 R, G, B값 각각에 대한 가중치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 타겟 이미지 상에서 원 위치에 존재하는 객체 및 상기 배경 영역 간의 경계를 스무딩(smoothing) 처리하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  8. 레퍼런스 이미지 및 깊이(depth) 정보를 수신하는 단계;
    상기 깊이 정보에 따라 상기 레퍼런스 이미지에 표시된 객체를 쉬프트시키는 단계;
    상기 쉬프트된 객체의 배경 영역의 에너지 값(energy value)을 이용하여, 상기 배경 영역 중에서 가변적인 크기의 스트레칭 영역을 결정하는 단계;
    상기 객체의 쉬프트로 인하여 생성된 홀(hole) 영역에, 상기 스트레칭 영역의 픽셀을 삽입하여 타겟 이미지를 생성하는 단계; 및,
    상기 레퍼런스 이미지 및 상기 타겟 이미지를 조합하여 3D 이미지를 디스플레이하는 단계;를 포함하는 3D 이미지 디스플레이 방법.
  9. 제8항에 있어서,
    상기 스트레칭 영역을 결정하는 단계는,
    상기 홀 영역의 크기를 산출하는 단계;
    상기 홀 영역의 경계로부터 상기 산출된 크기만큼의 배경 영역의 에너지 값을 산출하는 단계;
    상기 배경 영역 중에서 임계치 이하의 에너지 값을 가지는 영역을 상기 스트레칭 영역으로 산출하는 단계;를 포함하며,
    상기 스트레칭 영역은,
    상기 홀 영역의 경계에서부터 상기 임계치를 초과하는 픽셀의 이전까지의 픽셀들을 포함하는 영역인 것을 특징으로 하는 3D 이미지 디스플레이 방법.
  10. 레퍼런스 이미지 및 깊이 정보를 수신하는 수신부;
    상기 레퍼런스 이미지에 표시된 객체의 배경 영역의 에너지 값을 이용하여 가변적인 크기의 스트레칭 영역을 결정하는 제어부;
    상기 깊이 정보에 따라 상기 레퍼런스 이미지에 표시된 객체를 쉬프트시키고, 상기 객체의 쉬프트로 인하여 생성된 홀(hole) 영역에, 상기 스트레칭 영역의 픽셀을 삽입하여 타겟 이미지를 생성하는 이미지 처리부;를 포함하는 이미지 처리 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 홀 영역의 크기를 산출하고, 상기 홀 영역의 경계로부터 상기 산출된 크기만큼의 배경 영역의 에너지 값을 산출하여, 상기 배경 영역 중에서 임계치 이하의 에너지 값을 가지는 영역을 상기 스트레칭 영역으로 결정하며,
    상기 스트레칭 영역은,
    상기 홀 영역의 경계에서부터 상기 임계치를 초과하는 픽셀의 이전까지의 픽셀들을 포함하는 영역인 것을 특징으로 하는 이미지 처리 장치.
  12. 제11항에 있어서,
    상기 임계치는 아래 수식에 의해 산출되는 평균 에너지 값인 것을 특징으로 하는 3D 이미지 처리 장치 :
    Figure PCTKR2011009221-appb-I000013
    상기 수식에서 ξ는 상기 평균 에너지 값, λ는 상기 홀 영역의 폭, Ei는 i픽셀의 에너지 값.
  13. 제10항 내지 제12항 중 어느 한 항에 있어서,
    상기 이미지 처리부는, 상기 타겟 이미지 상에서 원 위치에 존재하는 객체 및 상기 배경 영역 간의 경계를 스무딩(smoothing) 처리하는 것을 특징으로 하는 이미지 처리 장치.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 레퍼런스 이미지 및 상기 타겟 이미지를 조합하여 3D 이미지를 디스플레이하는 디스플레이부;를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
  15. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 레퍼런스 이미지 및 상기 타겟 이미지를 디스플레이 장치로 전송하는 인터페이스부;를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
PCT/KR2011/009221 2010-11-30 2011-11-30 에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법 WO2012074294A2 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180057501.8A CN103250185B (zh) 2010-11-30 2011-11-30 使用能量值的图像处理装置及其图像处理方法和显示方法
EP11845396.8A EP2648162A4 (en) 2010-11-30 2011-11-30 PICTURE PROCESSING DEVICE COMPRISING AN ENERGY PERFORMANCE AND PICTURE PROCESSING METHOD AND DISPLAY METHOD THEREFOR
US13/990,709 US20130286011A1 (en) 2010-11-30 2011-11-30 Image processing device using an energy value and method of precessing and displaying an image
JP2013541923A JP6025740B2 (ja) 2010-11-30 2011-11-30 エネルギー値を用いたイメージ処理装置およびそのイメージ処理方法、並びにディスプレイ方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US41798710P 2010-11-30 2010-11-30
US61/417,987 2010-11-30
KR1020110120489A KR20120059367A (ko) 2010-11-30 2011-11-17 에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법
KR10-2011-0120489 2011-11-17

Publications (2)

Publication Number Publication Date
WO2012074294A2 true WO2012074294A2 (ko) 2012-06-07
WO2012074294A3 WO2012074294A3 (ko) 2012-07-26

Family

ID=46172400

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/009221 WO2012074294A2 (ko) 2010-11-30 2011-11-30 에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법

Country Status (6)

Country Link
US (1) US20130286011A1 (ko)
EP (1) EP2648162A4 (ko)
JP (1) JP6025740B2 (ko)
KR (1) KR20120059367A (ko)
CN (1) CN103250185B (ko)
WO (1) WO2012074294A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014046522A1 (en) * 2012-09-24 2014-03-27 Samsung Electronics Co., Ltd. Multiview image generating method and multi view image display apparatus

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104378619B (zh) * 2014-11-12 2016-09-28 合肥工业大学 一种基于前后景梯度过渡的快速高效的空洞填补算法
WO2019194572A1 (en) 2018-04-03 2019-10-10 Samsung Electronics Co., Ltd. Methods and apparatus for determining adjustment parameter during encoding of spherical multimedia content

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997023097A2 (en) * 1995-12-19 1997-06-26 Philips Electronics N.V. Parallactic depth-dependent pixel shifts
JP2003521748A (ja) * 2000-02-02 2003-07-15 クビス・インク ピクセル化画像形成デバイスを用いて画像解像度を最適化するシステム及び方法
EP1437898A1 (en) * 2002-12-30 2004-07-14 Koninklijke Philips Electronics N.V. Video filtering for stereo images
WO2004066212A2 (en) * 2003-01-17 2004-08-05 Koninklijke Philips Electronics N.V. Full depth map acquisition
TWI241127B (en) * 2004-08-27 2005-10-01 Univ Nat Cheng Kung Image-capturing device and method for removing strangers
RU2411690C2 (ru) * 2005-12-02 2011-02-10 Конинклейке Филипс Электроникс Н.В. Способ и устройство отображения стереоскопического изображения, способ для создания данных 3d изображения из входных данных 2d изображения и устройство для создания данных 3d изображения из входных данных 2d изображения
CN101390131B (zh) * 2006-02-27 2013-03-13 皇家飞利浦电子股份有限公司 呈现输出图像
US8073292B2 (en) * 2006-02-28 2011-12-06 Koninklijke Philips Electronics N.V. Directional hole filling in images
US7573489B2 (en) * 2006-06-01 2009-08-11 Industrial Light & Magic Infilling for 2D to 3D image conversion
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
CA2653815C (en) * 2006-06-23 2016-10-04 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
FR2917559B1 (fr) * 2007-06-12 2009-12-25 Centre Nat Rech Scient Capteur d'images numeriques,procede d'acquisition et de reconstruction d'images,et systeme de mise en oeuvre
US8106924B2 (en) * 2008-07-31 2012-01-31 Stmicroelectronics S.R.L. Method and system for video rendering, computer program product therefor
WO2011028837A2 (en) * 2009-09-01 2011-03-10 Prime Focus Vfx Services Ii Inc. System and process for transforming two-dimensional images into three-dimensional images
JP5983935B2 (ja) * 2011-11-30 2016-09-06 パナソニックＩｐマネジメント株式会社 新視点画像生成装置および新視点画像生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2648162A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014046522A1 (en) * 2012-09-24 2014-03-27 Samsung Electronics Co., Ltd. Multiview image generating method and multi view image display apparatus
US9071835B2 (en) 2012-09-24 2015-06-30 Samsung Electronics Co., Ltd. Method and apparatus for generating multiview image with hole filling
JP2015534766A (ja) * 2012-09-24 2015-12-03 サムスン エレクトロニクス カンパニー リミテッド 多視点映像生成方法及び多視点映像ディスプレイ装置

Also Published As

Publication number Publication date
US20130286011A1 (en) 2013-10-31
CN103250185B (zh) 2017-03-15
JP2013546281A (ja) 2013-12-26
WO2012074294A3 (ko) 2012-07-26
EP2648162A2 (en) 2013-10-09
JP6025740B2 (ja) 2016-11-16
KR20120059367A (ko) 2012-06-08
EP2648162A4 (en) 2014-08-06
CN103250185A (zh) 2013-08-14

Similar Documents

Publication Publication Date Title
WO2012064010A1 (en) Image conversion apparatus and display apparatus and methods using the same
WO2009125988A2 (en) Fast multi-view three-dimensinonal image synthesis apparatus and method
WO2012093849A2 (ko) 3d 디스플레이 장치 및 그 방법
WO2011005056A2 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 출력 방법 및 그 방법을 채용한 디스플레이 기기
WO2013039347A9 (ko) 영상 처리 장치 및 그 영상 처리 방법
WO2014107099A1 (en) Display apparatus and display method thereof
WO2011155698A2 (ko) 입체 영상 오류 개선 방법 및 장치
WO2014046522A1 (en) Multiview image generating method and multi view image display apparatus
CN102263985B (zh) 一种立体投影设备的质量评价方法、装置及系统
WO2011155697A2 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
WO2009151249A2 (ko) 이동 기기용 입체영상생성칩 및 이를 이용한 입체영상표시방법
EP3350989A1 (en) 3d display apparatus and control method thereof
US8514219B2 (en) 3D image special effects apparatus and a method for creating 3D image special effects
WO2016021925A1 (en) Multiview image display apparatus and control method thereof
WO2012026768A2 (en) Rendering apparatus and method for generating multi-views
WO2014157749A1 (ko) 다중 디스플레이 장치 및 이를 이용한 표시 방법
WO2011125461A1 (ja) 画像生成装置及び方法並びにプリンタ
JP5454569B2 (ja) 立体映像データ処理装置および立体映像データ処理方法
WO2012074294A2 (ko) 에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법
WO2010117109A1 (ko) 3d 영상신호에 적합한 유저 인터페이스를 제공하는 입체영상 재생장치 및 방법
US8780171B2 (en) Video signal processor and video signal processing method with markers for indicating correct component connection
US20100260418A1 (en) Image processing method
WO2014051309A1 (en) Stereo matching apparatus using image property
CN202276428U (zh) 一种立体投影设备的质量评价装置
WO2013105794A1 (en) 3d display apparatus and method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11845396

Country of ref document: EP

Kind code of ref document: A2

REEP Request for entry into the european phase

Ref document number: 2011845396

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011845396

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2013541923

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13990709

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE