KR20140080893A - 하이브리드 멀티-뷰 랜더링 방법 및 장치 - Google Patents

하이브리드 멀티-뷰 랜더링 방법 및 장치 Download PDF

Info

Publication number
KR20140080893A
KR20140080893A KR1020120149886A KR20120149886A KR20140080893A KR 20140080893 A KR20140080893 A KR 20140080893A KR 1020120149886 A KR1020120149886 A KR 1020120149886A KR 20120149886 A KR20120149886 A KR 20120149886A KR 20140080893 A KR20140080893 A KR 20140080893A
Authority
KR
South Korea
Prior art keywords
image
line
parallax
distortion
images
Prior art date
Application number
KR1020120149886A
Other languages
English (en)
Other versions
KR101918030B1 (ko
Inventor
조양호
이호영
김지원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120149886A priority Critical patent/KR101918030B1/ko
Priority to US14/017,962 priority patent/US9418486B2/en
Priority to CN201310683685.XA priority patent/CN103888745B/zh
Priority to EP13198887.5A priority patent/EP2747428B1/en
Publication of KR20140080893A publication Critical patent/KR20140080893A/ko
Application granted granted Critical
Publication of KR101918030B1 publication Critical patent/KR101918030B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

멀티-뷰의 이미지를 생성하기 위한 방법 및 장치가 제공된다. 멀티-뷰의 이미지들 생성하기 위한 입력 이미지가 결정된다. 스테레오 이미지들 간의 왜곡의 존재 여부에 따라, 스테레오 이미지들 모두 또는 스테레오 이미지들 중 하나의 이미지만이 입력 이미지로서 선택된다.

Description

하이브리드 멀티-뷰 랜더링 방법 및 장치{METHOD AND APPARATUS FOR RENDERING HYBRID MULTI-VIEW}
이미지를 처리하기 위한 방법 및 장치에 관한 것으로 보다 상세히는 멀티-뷰의 이미지를 생성하는 방법 및 장치가 개시된다.
일반적으로, 3차원(3 Dimension; 3D) 콘텐츠는 스테레오(stereo) 카메라에 의해 촬영된 이미지들을 사용한다. 스테레오 이미지들은 스테레오 카메라에 의해 촬영된 이미지들이다.
3D 콘텐츠를 멀티-뷰(multi-view) 디스플레이에서 재생하기 위해서는 뷰(view) 합성(synthesis) 과정이 요구된다. 뷰 합성 과정은 스테레오 이미지들을 사용하여 멀티-뷰 이미지를 생성하는 과정이다.
스테레오 이미지들의 좌측 이미지 및 우측 이미지 간의 왜곡이 있을 수 있다. 왜곡은 색 왜곡 및 기하 왜곡을 포함할 수 있다. 왜곡 때문에, 좌측 이미지 및 우측 이미지를 모두 사용하여 멀티-뷰의 이미지를 생성할 경우, 생성된 이미지 내에서 화질의 열화가 발생할 수 있다.
일 측면에 있어서, 이미지 처리 장치가 이미지를 처리하는 방법에 있어서, 제1 이미지 및 제2 이미지 간에 왜곡의 존재 여부를 판단하는 단계, 상기 왜곡의 존재 여부에 기반하여 상기 제1 이미지 및 상기 제2 이미지 중 적어도 하나의 이미지를 제3 이미지를 생성하기 위해 사용할 이미지로 결정하는 단계 및 상기 결정된 적어도 하나의 이미지를 사용하여 상기 제3 이미지를 생성하는 단계를 포함하는 이미지 처리 방법이 제공될 수 있다.
상기 제3 이미지의 시점은 상기 제1 이미지의 시점 및 상기 제2 이미지의 시점과 상이할 수 있다.
상기 왜곡은 제1 이미지 및 제2 이미지 간의 컬러 왜곡일 수 있다.
상기 왜곡의 존재 여부는 상기 제1 이미지의 제1 픽셀의 컬러 및 상기 제2 이미지의 제2 픽셀의 컬러 간의 차이에 기반하여 판단될 수 있다.
상기 제1 픽셀 및 상기 제2 픽셀은 서로 대응하는 픽셀들일 수 있다.
상기 서로 대응하는 픽셀들은 상기 제2 이미지가 상기 제1 이미지의 시점으로 와프되었을 때, 상기 와프된 제2 이미지의 픽셀들 및 상기 제1 이미지의 픽셀들 중 동일한 좌표를 갖는 픽셀들일 수 있다.
상기 왜곡은 제1 이미지 및 제2 이미지 간의 기하 왜곡일 수 있다.
상기 결정하는 단계는 상기 왜곡이 존재하면 상기 제1 이미지 및 상기 제2 이미지 중 하나의 이미지를 상기 제3 이미지를 생성하기 위해 사용할 이미지로 결정하고, 상기 왜곡이 존재하지 않으면 상기 제1 이미지 및 상기 제2 이미지 모두를 상기 제3 이미지를 생성하기 위해 사용할 이미지로 결정할 수 있다.
상기 이미지 처리 방법은, 상기 제1 이미지의 시차(disparity) 및 상기 제2 이미지의 시차를 추정하는 단계를 더 포함할 수 있다.
상기 판단하는 단계는 상기 추정된 제1 이미지의 시차 및 상기 추정된 제2 이미지의 시차에 기반하여 상기 왜곡의 존재 여부를 판단할 수 있다.
상기 시차를 추정하는 단계는 상기 제1 이미지의 제1 라인 및 상기 제2 이미지의 복수의 제2 라인들에 대하여 상기 제1 라인의 시차 및 상기 복수의 제2 라인들 각각의 시차를 추정할 수 있다.
상기 판단하는 단계는 상기 제1 라인의 y 좌표 및 상기 복수의 제2 라인들 중 상기 제1 라인에 매칭된 라인의 y 좌표가 서로 다를 경우 상기 왜곡이 존재하는 것으로 판단할 수 있다.
상기 제1 라인에 매칭된 라인은 상기 복수의 제2 라인들 중 상기 제1 라인과의 매칭 에러의 값이 최소인 라인일 수 있다.
상기 제2 복수의 제2 라인들 각각의 y 좌표는 상기 제1 라인의 y 좌표가 중심인 소정의 범위 내일 수 있다.
상기 제3 이미지는 복수일 수 있다.
상기 복수의 제3 이미지들 각각의 시점은 상기 이미지 처리 장치가 표현할 수 있는 시차의 범위 및 상기 결정된 적어도 하나의 이미지의 시차의 범위 간의 비교에 기반하여 결정될 수 있다.
상기 결정된 적어도 하나의 이미지의 시차의 범위는 복수의 시각들에서 계산된 상기 결정된 적어도 하나의 이미지의 시차의 범위들에 기반하여 결정될 수 있다.
다른 일 측에 따르면, 제1 이미지 및 제2 이미지 간에 왜곡의 존재 여부를 판단하는 왜곡 판단부, 상기 왜곡의 존재 여부에 기반하여 상기 제1 이미지 및 상기 제2 이미지 중 적어도 하나의 이미지를 제3 이미지를 생성하기 위해 사용할 이미지로 결정하는 이미지 결정부 및 상기 결정된 적어도 하나의 이미지를 사용하여 상기 제3 이미지를 생성하는 이미지 생성부를 포함하는 이미지 처리 장치가 제공될 수 있다.
상기 왜곡 판단부는 상기 제1 이미지의 제1 픽셀의 컬러 및 상기 제2 이미지의 제2 픽셀의 컬러 간의 차이에 기반하여 상기 왜곡의 존재 여부를 판단할 수 있다.
상기 제1 픽셀 및 상기 제2 픽셀은 서로 대응하는 픽셀들일 수 있다.
상기 서로 대응하는 픽셀들은 상기 제2 이미지가 상기 제1 이미지의 시점으로 와프되었을 때, 상기 와프된 제2 이미지의 픽셀들 및 상기 제1 이미지의 픽셀들 중 동일한 좌표를 갖는 픽셀들일 수 있다.
상기 이미지 결정부는 상기 왜곡이 존재하면 상기 제1 이미지 및 상기 제2 이미지 중 하나의 이미지를 상기 제3 이미지를 생성하기 위해 사용할 이미지로 결정하고, 상기 왜곡이 존재하지 않으면 상기 제1 이미지 및 상기 제2 이미지 모두를 상기 제3 이미지를 생성하기 위해 사용할 이미지로 결정할 수 있다.
상기 이미지 처리 장치는, 상기 제1 이미지의 시차(disparity) 및 상기 제2 이미지의 시차를 추정하는 시차 추정부를 더 포함할 수 있다.
상기 왜곡 판단부는 상기 추정된 제1 이미지의 시차 및 상기 추정된 제2 이미지의 시차에 기반하여 상기 왜곡의 존재 여부를 판단할 수 있다.
상기 시차 추정부는 상기 제1 이미지의 제1 라인 및 상기 제2 이미지의 복수의 제2 라인들에 대하여 상기 제1 라인의 시차 및 상기 복수의 제2 라인들 각각의 시차를 추정할 수 있다.
상기 왜곡 판단부는 상기 제1 라인의 y 좌표 및 상기 복수의 제2 라인들 중 상기 제1 라인에 매칭된 라인의 y 좌표가 서로 다를 경우 상기 왜곡이 존재하는 것으로 판단할 수 있다.
상기 제1 라인에 매칭된 라인은 상기 복수의 제2 라인들 중 상기 제1 라인과의 매칭 에러의 값이 최소인 라인일 수 있다.
도 1은 일 실시예에 따른 이미지 처리 장치의 블록도이다.
도 2는 일 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 3은 일 예에 따른 이미지들 간의 시차를 추정하는 방법을 설명한다.
도 4는 일 예에 따른 컬러 왜곡의 존재 여부를 판단하는 방법을 설명한다.
도 5는 일 예에 따른 내삽 및 외삽을 사용하는 멀티-뷰의 이미지의 생성 방법을 설명한다.
도 6은 일 예에 따른 내삽을 사용하는 멀티-뷰의 이미지의 생성 방법을 설명한다.
도 7은 일 예에 따른 외삽을 사용하는 멀티-뷰의 이미지의 생성 방법을 설명한다.
도 8은 일 예에 따른 외삽을 사용하는 멀티-뷰의 이미지의 생성 방법을 설명한다.
도 9는 일 예에 따른 입력 이미지 시차 범위의 계산 방법을 설명한다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
뷰는 특정한 시점에서 촬영된 피사체의 정보 또는 이미지를 나타낼 수 있다. 이하에서, 용어 "이미지"는 용어 "뷰"에 대응할 수 있다. 예컨대, 용어 "이미지" 및 용어 "뷰"와 서로 간에 교체되어 사용될 수 있다.
뷰는 이미지 및 이미지에 대한 시차 정보를 포함할 수 있다. 또한, 뷰는 이미지 및 이미지에 대한 깊이 정보를 포함할 수 있다. 이미지에 대한 시차 정보는 이미지 내의 픽셀들 각각의 시차 값을 포함할 수 있다. 또한, 이미지에 대한 깊이 정보는 이미지 내의 픽셀들 각각의 깊이 값을 포함할 수 있다. 시차 값 및 깊이 값은 서로 간에 반비례할 수 있다. 이하에서, 용어 "시차"는 용어 "깊이"와 서로 간에 교체되어 사용될 수 있다.
피사체는 복수의 시점에서 촬영될 수 있다. 멀티-뷰는 복수의 시점들 각각에서의 뷰들을 의미할 수 있다.
"이미지의 뷰"는 "이미지를 포함하는 뷰"를 의미할 수 있다. "이미지의 시차 정보"는 이미지에 대한 시차 정보를 의미할 수 있다. 예컨대, 뷰는 이미지 및 이미지의 시차 정보를 포함할 수 있다.
이미지의 시차를 추정한다는 것은 이미지에 대한 시차 정보를 생성하는 것을 의미할 수 있다. 이미지의 시차를 추정한다는 것은 이미지의 픽셀들 각각에 대한 시차 값을 계산 또는 결정한다는 것을 의미할 수 있다.
이미지의 라인의 시차를 추정한다는 것은 라인에 대한 시차 정보를 생성하는 것을 의미할 수 있다. 라인의 시차를 추정한다는 것은 라인의 픽셀들 각각에 대한 시차 값을 계산 또는 결정한다는 것을 의미할 수 있다.
도 1은 일 실시예에 따른 이미지 처리 장치의 블록도이다.
이미지 처리 장치(100)는 왜곡 판단부(120), 이미지 결정부(130) 및 이미지 생성부(140)를 포함할 수 있다. 이미지 처리 장치(100)는 시차 추정부(110)를 더 포함할 수 있다.
이미지 처리 장치(100)는 제1 이미지 및 제2 이미지 중 하나 이상에 기반하여 멀티-뷰의 이미지를 생성 및 출력할 수 있다. 제1 이미지 및 제2 이미지는 각각 스테레오 이미지들 중 하나의 이미지 및 다른 하나의 이미지일 수 있다. 예컨대, 제1 이미지 및 제2 이미지는 각각 좌측 이미지 및 우측 이미지일 수 있다. 스테레오 이미지들은 서로 간에 정합(calibration)되지 않은 이미지들일 수 있다.
멀티-뷰의 이미지는 오토스테레오스코픽(autostereoscopic) 3D 디스플레이를 위한 이미지를 생성할 수 있다. 멀티-뷰의 이미지는 가상의(virtual) 임의의 시점(viewpoint)에서의 이미지일 수 있다.
제1 이미지, 제2 이미지 및 출력 이미지는 각각 씬(scene)에 대한 뷰(view)의 이미지 수 있다. 제1 이미지, 제2 이미지 및 출력 이미지 각각은 씬에 대한 소정의 시점에서의 뷰의 이미지일 수 있다. 제1 이미지는 제1 뷰의 이미지일 수 있다. 제2 이미지는 제2 뷰의 이미지일 수 있다.
이미지 처리 장치(100)는 제한된 개수의 이미지들을 시용하여 다수의 임의의 시점의 이미지들을 생성 및 출력할 수 있다. 이미지 처리 장치(100)는 3D 텔레비전(television)의 넓은 시야 각을 제공할 수 있다. 이미지 처리 장치(100)는 시청자가 관측하고자 하는 시점에서의 3D 이미지를 표현할 수 있다.
이하에서, 이미지 처리 장치(100)가 생성하는 멀티-뷰 이미지를 제3 이미지로 명명한다. 예컨대, 제3 이미지는 이미지 처리 장치(100)에 의해 생성 및 출력되는 이미지일 수 있다.
제1 이미지의 뷰, 제2 이미지의 뷰 및 제3 이미지의 뷰는 각각 피사체를 서로 상이한 시점에서 촬영하였을 경우에서의 뷰일 수 있다. 예컨대, 제1 이미지의 뷰의 시점, 제2 이미지의 뷰의 시점 및 제3 이미지의 뷰의 시점은 서로 간에 상이할 수 있다. 제3 이미지의 시점은 제1 이미지의 시점 및 제2 이미지의 시점과 상이할 수 있다. 말하자면, 이미지 처리 장치(100)는 이미지 처리 장치(100)로 입력된 제1 이미지의 시점 및 제2 이미지의 시점과는 상이한 시점에서의 제3 이미지를 생성할 수 있다.
시차 추정부(110), 왜곡 판단부(120), 이미지 결정부(130) 및 이미지 생성부(140)에 대하여 하기에서 도 2 내지 도 9를 참조하여 상세히 설명된다.
도 2는 일 실시예에 따른 이미지 처리 방법의 흐름도이다.
단계(210)에서, 시차 추정부(110)는 제1 이미지의 시차(disparity) 및 제2 이미지의 시차를 추정할 수 있다. 제1 이미지의 시차는 제1 이미지의 픽셀에 대응하는 시차 값을 포함할 수 있다. 픽셀의 컬러 값은 픽셀에 대응하는 지점의 컬러를 나타낼 수 있다. 픽셀에 대응하는 시차 값은 픽셀에 대응하는 지점의 시차를 나타낼 수 있다.
시차 추정부(110)가 시차를 추정하는 방법의 일 예가 도 3을 참조하여 하기에서 상세히 설명된다.
단계(220)에서, 왜곡 판단부(120)는 제1 이미지 및 제2 이미지 간의 왜곡의 존재 여부를 판단할 수 있다.
단계(230)에서, 이미지 결정부(130)는 왜곡의 존재 여부에 기반하여 제1 이미지 및 제2 이미지 중 적어도 하나의 이미지를 제3 이미지를 생성하기 위해 사용할 이미지로 결정할 수 있다. 제1 이미지 및 제2 이미지 간에 왜곡이 존재하고, 제1 이미지 및 제2 이미지 모두가 제3 이미지를 생성하기 위해 사용될 경우, 생성된 제3 이미지 내에서는 제1 이미지 및 제2 이미지 간의 불일치에 기인하는 잘못된 데이터가 존재할 수 있다. 따라서, 제1 이미지 및 제2 이미지 간에 왜곡이 존재할 경우 하나의 이미지만을 사용하여 제3 이미지를 생성하는 것이 더 바람직할 수 있다. 제1 이미지 및 제2 이미지 간에 왜곡이 존재하지 않는 경우 2 개의 이미지들 모두를 사용하여 제3 이미지를 생성하는 것이 더 바람직할 수 있다.
왜곡은 제1 이미지 및 제2 이미지 간의 컬러 왜곡 및 기하 왜곡 중 하나 이상일 수 있다.
예컨대, 이미지 결정부(130)는 왜곡이 존재하면 제1 이미지 및 제2 이미지 중 하나의 이미지를 제3 이미지를 생성하기 위해 사용할 이미지로 결정할 수 있다. 왜곡이 존재하지 않으면 단계(240)가 수행될 수 있다.
왜곡은 수치로서 표현될 수 있다. 이미지 결정부(130)는 왜곡의 정도에 기반하여 제1 이미지 및 제2 이미지 중 적어도 하나의 이미지를 제3 이미지를 생성하기 위해 사용할 이미지로 결정할 수 있다. 이하에서, 제3 이미지를 생성하기 위해 사용할 이미지로 결정된 적어도 하나의 이미지를 입력 이미지로 명명한다.
이미지 결정부(130)는 왜곡의 정도가 소정의 기준치보다 더 큰 경우 제1 이미지 및 제2 이미지 중 하나의 이미지를 입력 이미지로 결정할 수 있다. 왜곡의 정도가 소정의 기준치 이하이면 단계(240)가 수행될 수 있다.
단계(240)에서, 이미지 결정부(130)는 단계(210)에서 추정된 제1 이미지의 시차, 제2 이미지의 시차 및 이미지 처리 장치(100)가 표현할 수 있는 최대의 시차 간의 비교에 기반하여 제1 이미지 및 제2 이미지 중 적어도 하나의 이미지를 입력 이미지로 결정할 수 있다.
예컨대, 이미지 결정부(130)는 제1 이미지의 추정된 시차 및 제2 이미지의 추정된 시차 중 최대의 시차 값이 이미지 처리 장치(100)가 표현할 수 있는 최대의 시차보다 더 크면 제1 이미지 및 제2 이미지 중 하나의 이미지를 입력 이미지로 결정할 수 있다. 이하, 이미지 처리 장치(100)가 표현할 수 있는 최대의 시차를 표현 가능 최대 시차로 명명한다. 이미지 결정부(130)는 제1 이미지의 추정된 시차 및 제2 이미지의 추정된 시차 중 최대의 시차 값이 표현 가능 최대 시차 이하이면 제1 이미지 및 제2 이미지 모두를 입력 이미지로 결정할 수 있다. 도 2에서 도시된 것과는 달리, 단계(230) 및 단계(240)는 선택적으로 수행될 수 있다. 예컨대, 제3 이미지를 위해 사용할 이미지는 단계(230) 또는 단계(240)에서 결정될 수 있다.
예컨대, 단계(230)만이 수행될 경우, 이미지 결정부(130)는 왜곡이 존재하면 제1 이미지 및 제2 이미지 중 하나의 이미지를 입력 이미지로 결정하고, 왜곡이 존재하지 않으면 제1 이미지 및 제2 이미지 모두를 입력 이미지로 결정할 수 있다.
또는, 단계(230)만이 수행될 경우, 이미지 결정부(130)는 왜곡의 정도가 소정의 기준치보다 더 큰 경우 제1 이미지 및 제2 이미지 중 하나의 이미지를 입력 이미지로 결정할 수 있고, 왜곡의 정도가 소정의 기준치 이하이면 제1 이미지 및 제2 이미지 모두를 입력 이미지로 결정할 수 있다.
예컨대, 단계(240)만이 수행될 경우, 이미지 결정부(130)는 제1 이미지의 추정된 시차 및 제2 이미지의 추정된 시차 중 최대의 시차 값이 표현 가능 최대 시차보다 더 크면 제1 이미지 및 제2 이미지 중 하나의 이미지를 입력 이미지로 결정할 수 있다. 이미지 결정부(130)는 제1 이미지의 추정된 시차 및 제2 이미지의 추정된 시차 중 최대의 시차 값이 표현 가능 최대 시차 이하이면 제1 이미지 및 제2 이미지 모두를 입력 이미지로 결정할 수 있다.
단게(250)에서, 이미지 생성부(140)는 입력 이미지를 사용하여 제3 이미지를 생성할 수 있다.
제1 이미지 및 제2 이미지 중 하나의 이미지가 입력 이미지로 결정된 경우, 이미지 생성부(140)는 입력 이미지로 결정된 하나의 이미지를 사용하는 단일 뷰 렌더링(rendering)을 수행할 수 있다. 단일 뷰 렌더링에 의해 제3 이미지가 생성될 수 있다.
제1 이미지 및 제2 이미지 모두가 입력 이미지로 결정된 경우, 이미지 생성부(140)는 입력 이미지로 결정된 2 개의 이미지들을 사용하는 스테레오 뷰 렌더링을 수행할 수 있다. 스테레오 뷰 렌더링에 의해 제3 이미지가 생성될 수 있다.
단계(260)에서, 이미지 생성부(140)는 생성된 제3 이미지를 출력할 수 있다.
도 3은 일 예에 따른 이미지들 간의 시차를 추정하는 방법을 설명한다.
일반적으로, 스테레오 이미지들에 대한 시차 추정에 있어서, 좌측 이미지 및 우측 이미지가 동일한 에피폴라(epipolar) 라인(line) 상에 있다는 것이 가정될 수 있다. 제1 이미지(310) 및 제2 이미지(320)가 동일한 에피폴라 라인 상에 있다는 가정하에 시차 추정부(110)는 제1 이미지(310)의 제1 라인 및 제2 이미지(320)의 제2 라인 간의 매칭을 통해 제1 라인의 시차 및 제2 라인의 시차를 추정할 수 있다. 제1 라인은 제1 이미지(310)의 수평 라인일 수 있다. 제2 라인은 제2 이미지(320)의 수평 라인일 수 있다. 매칭되는 제1 이미지(310)의 라인 및 제2 이미지(320)의 라인은 서로 대응하는 라인들일 수 있다.
대응하는 라인들은 동일한 y 좌표를 갖는 라인들일 수 있다. 예컨대, 제1 라인의 y 좌표 및 제2 라인의 y 좌표는 동일할 수 있다. 도 3에서, 제1 라인은 제1 이미지(310)의 j 번째 라인으로, 제2 라인은 제2 이미지(320)의 j 번째 라인으로 도시되었다.
제1 라인의 시차 및 제2 라인의 시차를 추정하기 위해, 시차 추정부(110)는 제1 라인 및 제2 라인 간의 매칭을 수행할 수 있다.
라인들에 대한 매칭은 제1 라인 내의 픽셀들 및 제2 라인 내의 픽셀들 중 동일한 지점을 나타내는 픽셀들을 검출하는 작업을 의미할 수 있다. 시차 추정부(110)에 의해 제1 라인 내의 제1 픽셀 및 제2 라인 내의 제2 픽셀이 동일한 지점을 나타내는 픽셀들로서 매치될 수 있다. 제1 픽셀 및 제2 픽셀은 촬영된 피사체에 있어서 동일한 물리적인 지점을 나타낼 수 있다.
시차 추정부(110)는 매치된 픽셀들에 기반하여 시차를 추정할 수 있다. 예컨대, 시차 추정부(110)는 매치된 픽셀들 간의 x 좌표의 차이에 기반하여 시차를 계산할 수 있다. 매치된 픽셀들 간의 x 좌표의 차이가 작을수록 픽셀들에 대응하는 지점은 시점으로부터 멀리 떨어진 것으로 간주될 수 있다. 예컨대, 매치된 픽셀들 간의 x 좌표의 차이가 작을수록 픽셀들 각각의 시차 값이 작을 수 있다.
다양한 이유들에 기인하여, 라인들 간의 매칭은 완전하게 이루어지지 않을 수 있다. 예컨대, 제1 라인의 픽셀들 및 제2 라인의 픽셀들이 모두 다 1 대 1로 매치되지는 못할 수 있다. 매칭이 완전하게 이루어지지 않는 이유들로서, 이미지 내의 폐색, 이미지들의 시점들 간의 차이, 이미지들이 나타내는 피사체들 간의 차이, 라인들이 나타내는 지점들 간의 차이 및 노이즈 등이 있을 수 있다.
매칭 에러(error)는 라인들의 매칭에 있어서의 오류를 의미할 수 있다. 매칭 에러는 라인들의 매칭에 있어서, 매칭이 완전하게 이루어지지 않은 정도를 의미할 수 있다. 예컨대, 라인들의 픽셀들 중 매치되지 않은 픽셀의 개수가 더 많을수록 매칭 에러의 값이 더 클 수 있다.
제1 이미지(310) 및 제2 이미지(320) 간에 기하 왜곡이 존재하는 경우, 제1 이미지(310)의 j 번째 라인에 실제로 대응하는 제2 이미지(320)의 라인은 제2 이미지(320)의 j 번째 라인이 아닐 수 있다. 따라서, 제1 이미지(310)의 j 번째 라인에 실제로 대응하는 제2 이미지(320)의 라인을 검출하기 위해, 제2 이미지(320)의 라인들 중 소정의 범위 내에 있는 라인들이 검사될 수 있다. 예컨대, 제2 이미지(320)의 제2 라인은 복수일 수 있다.
복수 개의 제2 라인들은 소정의 범위 내의 라인들일 수 있다. 예컨대, 복수 개의 제2 라인들 각각의 y 좌표는 제1 라인의 y 좌표가 중심인 소정의 범위 내일 수 있다. 도 3에서, 제1 라인의 y 좌표는 j이다. 제2 라인들은 y 좌표가 j-N 이상이고 j-N 이하인 라인들일 수 있다. 예컨대 소정의 범위는 j-N 이상, j-N 이하일 수 있다. N은 0 이상의 정수일 수 있다.
도 2를 참조하여 전술된 단계(210)에서, 시차 추정부(110)는 제1 이미지(310)의 제1 라인 및 제2 이미지(320)의 복수의 제2 라인들에 대하여 제1 라인의 시차 및 복수의 제2 라인들 각각의 시차를 추정할 수 있다. 시차 추정부(110)는 제1 라인 및 복수의 제2 라인들 각각에 대한 매칭을 수행함으로써 제1 라인의 시차 및 복수의 제2 라인들 각각의 시차룰 추정할 수 있다. 시차 추정부(110)는 제1 라인 및 복수의 제2 라인들 각각에 대한 매칭을 수행함으로써 제1 라인의 시차 및 복수의 제2 라인들 각각 간의 매칭 에러의 값를 계산할 수 있다. 시차 추정부(110)는 복수의 제2 라인들 각각에 대하여 제1 라인과의 매칭 에러의 값을 계산할 수 있다.
도 2를 참조하여 전술된 단계(220)에서, 왜곡 판단부(120)는 제1 라인의 y 좌표 및 복수의 제2 라인들 중 제1 라인에 매칭된 라인의 y 좌표가 서로 다른 경우 왜곡이 존재한다고 판단할 수 있다. 제1 라인에 매칭된 라인은 복수의 제2 라인들 중 제1 라인과의 매칭 에러의 값이 최소인 라인일 수 있다.
제1 이미지 및 제2 이미지 간에 기하 왜곡이 존재하는 경우, 제1 이미지의 j 번째 라인에 대응하는 제2 이미지의 라인은 제2 이미지의 j 번째 라인이 아닐 수 있다. 말하자면, 서로 대응하는 라인들의 y 좌표들이 서로 상이한 경우, 상기의 상이는 이미지들 간의 기하 왜곡에 기인한 것일 수 있다. 제1 이미지 및 제2 이미지 간에 기하 왜곡이 존재하는 경우, 시차 추정부(110)는 제1 이미지의 j 번째 라인 및 제2 이미지의 j 번째 라인에 대하여, 매칭 오류를 최소화하는 픽셀들 간의 매칭을 검출하지 못할 수 있다. 따라서, 기하 왜곡의 존재 여부를 판단하기 위해 제2 이미지의 j 번째 라인 외에도, 소정의 범위 내의 복수의 라인들이 제1 이미지의 j 번째 라인과 매치될 필요가 있다.
복수의 제2 라인들 중 제1 라인에 대응하는 라인은 제1 라인과의 매칭 에러의 값이 최소인 라인일 수 있다. 복수의 제2 라인들 중 제1 라인에 대응하는 라인의 y 좌표가 제1 라인의 y 좌표와 다른 경우, 제1 이미지 및 제2 이미지 간에 기하 왜곡의 존재가 간주될 수 있다.
또한, 왜곡 판단부(120)는 제1 이미지의 라인들 각각에 대해 최적으로 매칭되는 제2 이미지의 라인을 검출할 수 있다. 제1 이미지의 라인에 최적으로 매칭되는 제2 이미지의 라인은 제1 이미지의 라인과의 매칭 에러의 값이 최소인 소정의 범위 내의 제2 이미지의 라인일 수 있다.
제1 이미지의 라인들 중 일부는 최적으로 매칭되는 제2 이미지의 라인의 y 좌표와 상이한 y 좌표를 가질 수 있다. 왜곡 판단부(120)는 제1 이미지의 라인들 중 최적으로 매칭되는 제2 이미지의 라인의 y 좌표와 상이한 y 좌표를 갖는 라인들의 비율에 기반하여 기하 왜곡의 존재 여부를 판단할 수 있다. 왜곡 판단부(120)는 상기의 비율이 소정의 기준치 이상일 경우 기하 왜곡이 존재한다고 판단할 수 있다.
이미지들 간, 라인들 간 및 픽셀들 간의 매칭을 수행하기 위해, 시차 추정부(110)는 기 공개된 매칭 방법들을 사용할 수 있다.
도 4는 일 예에 따른 컬러 왜곡의 존재 여부를 판단하는 방법을 설명한다.
도 4에서, 제1 이미지(410), 제1 이미지(410)의 제1 시차(420), 제2 이미지(430) 및 제2 이미지(430)의 제2 시차(440)가 도시되었다.
제1 이미지(410) 및 제2 이미지(430) 내의 무늬는 픽셀의 컬러를 나타낼 수 있다. 제1 시차(420) 및 제2 시차(440) 내의 명암은 픽셀의 시차를 나타낼 수 있다. 명암이 짙을수록 시차의 값이 작다는 것을 나타낼 수 있다. 예컨대, 제1 시차(420) 및 제2 시차(440) 내에서 흑색으로 표현된 부분은 배경을 나타낼 수 있고, 백색으로 표현된 부분은 전경을 나타낼 수 있다.
제2 이미지(430)는 제1 이미지(410)의 시점으로 와프될 수 있다. 도 4에서, 제1 이미지(410)의 시점으로 와프된 제2 이미지(450)가 도시되었다.
도 2를 참조하여 전술된 단계(220)에서, 왜곡 판단부(120)는 제2 이미지(430)를 제1 이미지(410)의 시점으로 와프함으로써 와프된 제2 이미지(450)를 생성할 수 있다. 와핑에 의해, 와프된 제2 이미지(450) 내에는 홀 영역(459)이 있을 수 있다.
제2 이미지(430)를 와프하기 위해, 왜곡 판단부(120)는 제2 시차(440)를 사용할 수 있다. 왜곡 판단부(120)는 제2 이미지(430)를 와프하기 위해 기 공개된 와핑 방법들을 사용할 수 있다.
왜곡 판단부(120)는 제1 이미지의 제1 픽셀의 컬러 및 제2 이미지의 제2 픽셀의 컬러 간의 차이에 기반하여 왜곡의 존재 여부를 판단할 수 있다. 제1 픽셀 및 제2 픽셀은 서로 대응하는 픽셀들일 수 있다.
서로 대응하는 픽셀들은 피사체의 동일한 지점을 나타내는 픽셀들일 수 있다. 서로 대응하는 픽셀들은 제2 이미지(430)가 제1 이미지(410)의 시점으로 와프되었을 때, 와프된 제2 이미지(450)의 픽셀들 및 제1 이미지(410)의 픽셀들 중 동일한 좌표를 갖는 픽셀들일 수 있다.
도 4에서, 제1 픽셀(415) 및 제2 픽셀(435)은 피사체의 동일한 지점을 나타내는 픽셀들이다. 제2 이미지(430)가 제1 이미지(410)의 시점으로 와프되었을 때, 제2 픽셀(435)는 와프된 제2 이미지(450) 내의 제3 픽셀(455)에 대응할 수 있다. 도 4에서, 제1 이미지(410) 내에서의 제1 픽셀(415)의 좌표 및 와프된 제2 이미지(450) 내에서의 제3 픽셀(455)의 좌표는 서로 동일하다. 따라서, 제1 픽셀(415) 및 제2 픽셀(435)은 서로 대응하는 픽셀들일 수 있다.
왜곡 판단부(120)는 서로 대응하는 픽셀들의 컬러 값들 간의 차이가 소정의 기준치 이상일 경우, 컬러 왜곡이 존재한다고 판단할 수 있다.
컬러 값들 간의 차이는 대응하는 픽셀들 뿐만 아니라, 이미지들 내의 대응하는 모든 픽셀들에 대해서 계산될 수 있다.
왜곡 판단부(120)는 제1 이미지(410) 및 제2 이미지(430) 내의 대응하는 픽셀들 각각에 대해 컬러 값들의 차이를 계산할 수 있다. 왜곡 판단부(120)는 제1 이미지(410) 및 제2 이미지(430) 내의 대응하는 픽셀들 각각의 컬러 값들의 차이들의 합 또는 평균을 계산할 수 있다. 왜곡 판단부(120)는 계산된 차이들의 합 또는 평균이 소정의 기준치 이상일 경우 컬러 왜곡이 존재한다고 판단할 수 있다.
왜곡 판단부(120)는 하기의 수학식 1에 기반하여 컬러 왜곡의 존재 여부를 판단할 수 있다.
Figure pat00001
여기서, E는 제1 이미지(410) 및 제2 이미지(430) 내의 대응하는 픽셀들 각각의 컬러 값들의 차이들의 평균일 수 있다. M은 와프된 제2 이미지(450) 내의 픽셀들 중 홀이 아닌 픽셀들의 개수일 수 있다. I L (i, j)는 제1 이미지(410)가 좌측 이미지일 때, 제1 이미지(410)의 좌표가 (i, j)인 픽셀의 컬러 값일 수 있다. I R (i-d i,j , j)는 제2 이미지(430)가 우측 이미지일 때, 제2 이미지(430)의 좌표가 (i-d i,j , j)인 픽셀의 컬러 값일 수 있다. d i,j 는 제2 이미지(430)의 좌표가 (i, j)인 픽셀의 시차 값일 수 있다. 와프된 제2 이미지(450)의 좌표가 (i, j)인 픽셀은 제2 이미지(430) 내의 좌표가 (i-d i,j , j)인 픽셀에 대응할 수 있다. 말하자면, 제1 이미지(410)의 좌표가 (i, j)인 픽셀, 제2 이미지(430)의 좌표가 (i-d i,j , j) 및 와프된 제2 이미지(450)의 좌표가 (i, j)인 픽셀은 서로 간에 대응하는 픽셀들일 수 있다.
Figure pat00002
는 제1 이미지(410) 및 제2 이미지(430)의 대응하는 픽셀들의 컬러 값들 간의 차이 또는 상기의 차이의 절대 값일 수 있다. height는 제1 이미지(410) 또는 제2 이미지(430)의 y 좌표의 최대 값일 수 있다. width는 제1 이미지(410) 또는 제2 이미지(430)의 x 좌표의 최대 값일 수 있다.
이미지 처리 장치(100)의 구조적인 제약에 기인하여, 이미지 처리 장치(100)가 표현할 수 있는 깊이의 범위 또는 시차의 범위는 제한될 수 있다. 또한, 멀티-뷰의 뷰 또는 이미지를 생성하는 방법의 제약에 의해, 이미지 처리 장치(100)가 화질의 열화 없이 생성할 수 있는 뷰 또는 이미지의 범위 또한 제한될 수 있다. 따라서, 스테레오 이미지들을 사용하여 멀티-뷰의 이미지를 생성할 경우, 이미지 처리 장치(100)는 스테레오 이미지들의 시차의 범위, 이미지 처리 장치(100)가 표현할 수 있는 시차의 범위 및 멀티-뷰의 이미지 생성 방법이 다룰 수 있는 시차의 범위를 고려하여 멀티-뷰의 이미지를 생성할 수 있다.
이하에서, 이미지 처리 장치(100)가 표현할 수 있는 시차의 범위를 표현 가능 시차 범위로 명명한다. 입력 이미지의 시차의 범위를 입력 이미지 시차 범위로 명명한다. 입력 이미지 시차 범위는 제1 이미지의 시차의 범위 및 제2 이미지의 시차의 범위를 합한 것일 수 있다.
제3 이미지는 복수일 수 있다. 도 2를 참조하여 전술된 단계(250)에서, 이미지 생성부(140)는 입력 이미지를 사용하여 복수의 제3 이미지들을 생성할 수 있다.
이미지 처리 장치(100)는 스테레오 뷰 랜더링을 사용하여 최적의 깊이 또는 시차를 갖는 복수의 제3 이미지들을 생성하기 위해, 내삽에 의해 생성되는 이미지들의 개수 및 외삽에 의해 생성되는 이미지들의 개수를 조절할 수 있다. 또한, 이미지 처리 장치(100)는 단일 뷰 랜더링을 사용하여 최적의 깊이 또는 시차를 갖는 복수의 제3 이미지들을 생성하기 위해 입력 이미지의 깊이 또는 시차를 조절할 수 있다.
하기에서 도 5 내지 도 8을 참조하여, 표현 가능 시차 범위 및 입력 이미지 시차 범위 간의 비교에 기반하여 복수의 제3 이미지들을 생성하는 방법이 설명된다. 도 5 내지 도 8에서, 복수의 제3 이미지들의 개수는 10 개인 것으로 도시되었다. 도 5 내지 도 8에서, 입력 이미지, 내삽된 이미지 및 외삽된 이미지는 각각 무늬로서 구분되었다.
도 5는 일 예에 따른 내삽 및 외삽을 사용하는 멀티-뷰의 이미지의 생성 방법을 설명한다.
도 2를 참조하여 전술된 단계(230) 및 단계(240)에서 이미지 결정부(130)는 제1 이미지 및 제2 이미지 모두를 입력 이미지로 결정할 수 있다.
하기에서, 표현 가능 시차 범위가 입력 이미지 시차 범위보다 넓을 경우에 있어서의 이미지 생성부(140)의 동작이 설명된다.
도 2를 참조하여 전술된 단계(250)에서, 이미지 생성부(140)는 입력 이미지를 사용하여 복수의 제3 이미지들을 생성할 수 있다. 생성된 복수의 제3 이미지들 각각의 시점은 표현 가능 시차 범위에 대응하는 시점의 범위 내에 있을 수 있다. 예컨대, 복수의 제3 이미지들의 시점들 중 인접하는 시점들 간의 간격은 동일할 수 있다.
복수의 제3 이미지들 중 일부는 입력 이미지일 수 있다. 입력 이미지는 제1 이미지 및 제2 이미지일 수 있다. 이미지 생성부(140)가 생성한 복수의 제3 이미지들은 제1 이미지 및 제2 이미지를 포함할 수 있다.
이미지 생성부(140)는 제1 이미지 및 제2 이미지에 내삽을 적용함으로써 적어도 하나의 제4 이미지를 생성할 수 있다. 적어도 하나의 제4 이미지는 복수의 제3 이미지들 중 시점을 기준으로 제1 이미지 및 제2 이미지의 사이에 위치한 이미지일 수 있다. 적어도 하나의 제4 이미지는 내삽에 의해 생성된 내삽된 이미지일 수 있다. 입력 이미지들 및 제4 이미지들 중 인접한 이미지들 간의 간격은 동일할 수 있다.
이미지 생성부(140)는 제1 이미지 또는 제2 이미지에 외삽을 적용함으로써 적어도 하나의 제5 이미지를 생성할 수 있다. 적어도 하나의 제5 이미지는 복수의 제3 이미지들 중 시점을 기준으로 제1 이미지의 바깥 또는 제2 이미지의 바깥에 위치한 이미지일 수 있다. 적어도 하나의 제5 이미지는 외삽에 의해 생성된 외삽된 이미지일 수 있다. 제1 이미지 및 제1 이미지의 바깥 쪽의 제5 이미지들 중 인접한 이미지들 간의 간격은 동일할 수 있다. 제2 이미지 및 제2 이미지의 바깥 쪽의 제5 이미지들 중 인접한 이미지들 간의 간격은 동일할 수 있다.
도 5에서는, 표현 가능 시차 범위의 양 말단들에 대응하는 시점들에 대해 복수의 제3 이미지들 중 하나의 이미지가 생성된 것으로 도시되었다. 이는, 예시적인 것으로, 이미지 생성부(140)는 생성될 제3 이미지의 시차의 범위를 감안하여 제3 이미지의 시점을 조절할 수 있다. 예컨대, 복수의 제3 이미지들 중 양 끝에 위치한 이미지들은 이미지의 시차의 범위에 비례하여 표현 가능 시차 범위의 말단에 대응하는 시점보다 더 안쪽의 시점으로 이동할 수 있다. 상술된 시차의 범위의 감안, 이미지의 시점의 조절 및 시점의 이동 등은 복수의 제3 이미지들 중 다른 이미지에도 적용될 수 있다.
도 6은 일 예에 따른 내삽을 사용하는 멀티-뷰의 이미지의 생성 방법을 설명한다.
도 2를 참조하여 전술된 단계(230) 및 단계(240)에서 이미지 결정부(130)는 제1 이미지 및 제2 이미지 모두를 입력 이미지로 결정할 수 있다.
하기에서, 입력 이미지 시차 범위가 표현 가능 시차 범위보다 넓을 경우에 있어서의 이미지 생성부(140)의 동작이 설명된다.
도 2를 참조하여 전술된 단계(250)에서, 이미지 생성부(140)는 입력 이미지를 사용하여 복수의 제3 이미지들을 생성할 수 있다. 입력 이미지 시차 범위가 표현 가능 시차 범위보다 넓기 때문에 제1 이미지 및 제2 이미지는 이미지 처리 장치(100)에 의해 정상적으로 출력될 수 없다. 따라서, 이미지 생성부(140)는 표현 가능 시차 범위에 대응하는 시점의 범위 내에서 복수의 제3 이미지들 모두를 생성할 수 있다. 생성된 복수의 제3 이미지들 각각의 시점은 표현 가능 시차 범위에 대응하는 시점의 범위 내에 있을 수 있다. 예컨대, 복수의 제3 이미지들의 시점들 중 인접하는 시점들 간의 간격은 동일할 수 있다.
복수의 제3 이미지들은 입력 이미지를 포함하지 않을 수 있다. 이미지 생성부(140)는 제1 이미지 및 제2 이미지에 내삽을 적용함으로써 복수의 제3 이미지들을 생성할 수 있다. 복수의 제3 이미지들은 내삽에 의해 생성된 내삽된 이미지일 수 있다. 복수의 제3 이미지들 중 인접한 이미지들 간의 간격은 동일할 수 있다.
도 7은 일 예에 따른 외삽을 사용하는 멀티-뷰의 이미지의 생성 방법을 설명한다.
도 2를 참조하여 전술된 단계(230) 및 단계(240)에서 이미지 결정부(130)는 제1 이미지 및 제2 이미지 모두를 입력 이미지로 결정할 수 있다.
하기에서, 표현 가능 시차 범위가 입력 이미지 시차 범위보다 넓고, 입력 이미지들의 시점들의 차이가 생성될 복수의 제3 이미지들 중 인접한 이미지들의 시점들의 차이보다 더 작은 경우에 있어서의 이미지 생성부(140)의 동작이 설명된다.
도 2를 참조하여 전술된 단계(250)에서, 이미지 생성부(140)는 입력 이미지를 사용하여 복수의 제3 이미지들을 생성할 수 있다. 생성된 복수의 제3 이미지들 각각의 시점은 표현 가능 시차 범위에 대응하는 시점의 범위 내에 있을 수 있다. 예컨대, 복수의 제3 이미지들의 시점들 중 인접하는 시점들 간의 간격은 동일할 수 있다.
복수의 제3 이미지들 중 일부는 입력 이미지일 수 있다. 입력 이미지는 제1 이미지 및 제2 이미지일 수 있다. 이미지 생성부(140)가 생성한 복수의 제3 이미지들은 제1 이미지 및 제2 이미지를 포함할 수 있다.
입력 이미지들의 시차들의 차이는 이미지 생성부(140)에 의해 생성될 복수의 제3 이미지들 중 인접한 이미지들의 시점들의 차이 이하일 수 있다. 말하자면, 입력 이미지들의 시차들의 간격이 충분히 좁기 때문에, 내삽에 의해 입력 이미지들의 사이에 제3 이미지가 생성될 필요가 없을 수 있다.
이미지 생성부(140)는 제1 이미지 또는 제2 이미지에 외삽을 적용함으로써 적어도 하나의 제6 이미지를 생성할 수 있다. 적어도 하나의 제6 이미지는 복수의 제3 이미지들 중 시점을 기준으로 제1 이미지의 바깥 또는 제2 이미지의 바깥에 위치한 이미지일 수 있다. 적어도 하나의 제6 이미지는 외삽에 의해 생성된 외삽된 이미지일 수 있다. 제1 이미지 및 제1 이미지의 바깥 쪽의 제6 이미지들 중 인접한 이미지들 간의 간격은 동일할 수 있다. 제2 이미지 및 제2 이미지의 바깥 쪽의 제6 이미지들 중 인접한 이미지들 간의 간격은 동일할 수 있다.
도 5 내지 도 7을 참조하여 설명된 예들에 있어서, 이미지 생성부(140)는 하기의 수학식 2에 기반하여 복수의 제3 이미지들을 생성할 수 있다.
이미지 생성부(140)는 하기의 수학식 2에 기반하여 복수의 제3 이미지들 중 내삽된 이미지들의 개수를 결정할 수 있다.
Figure pat00003
D target 는 표현 가능 시차 범위의 최대 값일 수 있다. M은 복수의 제3 이미지들의 개수일 수 있다. 복수의 제3 이미지들 간의 간격은 D target /M일 수 있다. D max 는 입력 이미지의 최대의 시차 값일 수 있다. D max 는 D target 이하일 수 있다. 표현 가능 시차 범위의 최대 값일 수 있다.
D max 가 D target 이하인 경우, 이미지 생성부(140)는 M에서 내삽된 이미지들의 개수 및 입력 이미지들의 개수를 뺀 값을 복수의 제3 이미지들 중 외삽된 이미지들의 개수로서 결정할 수 있다.
D max 가 D target 보다 더 큰 경우, 이미지 생성부(140)는 내삽된 이미지들만을 생성할 수 있다.
도 8은 일 예에 따른 외삽을 사용하는 멀티-뷰의 이미지의 생성 방법을 설명한다.
도 2를 참조하여 전술된 단계(230) 및 단계(240)에서 이미지 결정부(130)는 제1 이미지 및 제2 이미지 중 하나의 이미지만을 입력 이미지로 결정할 수 있다.
하기에서, 표현 가능 시차 범위가 입력 이미지 시차 범위보다 넓을 경우에 있어서의 이미지 생성부(140)의 동작이 설명된다.
도 2를 참조하여 전술된 단계(250)에서, 이미지 생성부(140)는 입력 이미지를 사용하여 복수의 제3 이미지들을 생성할 수 있다. 생성된 복수의 제3 이미지들 각각의 시점은 표현 가능 시차 범위에 대응하는 시점의 범위 내에 있을 수 있다. 예컨대, 복수의 제3 이미지들의 시점들 중 인접하는 시점들 간의 간격은 동일할 수 있다.
복수의 제3 이미지들 중 일부는 입력 이미지일 수 있다. 입력 이미지는 제1 이미지 또는 제2 이미지일 수 있다. 이미지 생성부(140)가 생성한 복수의 제3 이미지들은 제1 이미지 또는 제2 이미지를 포함할 수 있다. 도 8에서, 입력 이미지는 좌측에 위치한 제1 이미지인 것으로 도시되었다.
이미지 생성부(140)는 제1 이미지 또는 제2 이미지에 외삽을 적용함으로써 적어도 하나의 제7 이미지를 생성할 수 있다. 적어도 하나의 제7 이미지는 복수의 제3 이미지들 중 입력 이미지를 제외한 이미지들일 수 있다. 적어도 하나의 제7 이미지는 시점을 기준으로 입력 이미지의 좌측 또는 우측에 위치할 수 있다. 예컨대, 입력 이미지의 좌측 방향 및 우측 방향으로, 표현 가능 최대 시차 범위의 양 말단들에 대응하는 시점들까지의 이미지들이 생성될 수 있다. 적어도 하나의 제7 이미지는 외삽에 의해 생성된 외삽된 이미지일 수 있다. 적어도 하나의 제7 이미지 중 입력 이미지의 좌측에 위치하는 이미지들은 동일한 간격으로 배치될 수 있다. 적어도 하나의 제7 이미지 중 입력 이미지의 우측에 위치하는 이미지들은 동일한 간격으로 배치될 수 있다.
이미지 생성부(140)는 하기의 수학식 3에 기반하여 입력 이미지의 시차를 리스케일(rescale)함으로써 복수의 제3 이미지들을 생성할 수 있다.
Figure pat00004
Figure pat00005
는 입력 이미지의 좌표가 (i, j)인 픽셀의 시차 값일 수 있다.
Figure pat00006
는 리스케일된 이미지의 좌표가 (i, j)인 픽셀의 시차 값일 수 있다. 리스케일된 이미지는 복수의 제3 이미지들 중 최좌측 이미지 또는 최우측 이미지일 수 있다. 이미지 생성부(140)는 최좌측 이미지 또는 최우측 이미지의 픽셀의 시차 값을 결정할 수 있다. 이미지 생성부(140)는 리스케일된 이미지의 픽셀들 각각의 시차 값을 결정함으로써 리스케일된 이미지의 시차를 생성할 수 있다. 이미지 생성부(140)는 최좌측 이미지의 시차 또는 최우측 이미지의 시차에 기반하여, 다른 복수의 제3 이미지들 각각의 시차를 생성할 수 있다.
도 9는 일 예에 따른 입력 이미지 시차 범위의 계산 방법을 설명한다.
이미지 처리 장치(100)는 시간이 흐름에 따라 시각 별로 복수의 제3 이미지들을 생성할 수 있다. 예컨대, 제1 이미지 및 제2 이미지는 각각 연속된 이미지들 중 특정한 시각에서의 이미지일 수 있다.
이미지 결정부(130)가 입력 이미지의 최대의 시차 값인 D max 를 시각마다 독립적으로 계산할 경우, D max 가 시각 별로 계속적으로 큰 폭으로 변할 수 있다. 예컨대, D max 는 프레임마다 변경될 수 있다. D max 가 변하면 복수의 제3 이미지들 각각의 시점 또한 계속적으로 큰 폭으로 변할 수 있다. 시점이 큰 폭으로 변함에 따라, 이미지 처리 장치(100)가 출력하는 시간적으로 연속된 출력 이미지들 간에 깜빡임(flicker)가 발생할 수 있다.
이미지 결정부(130)는 복수의 시각에서 계산된 입력 이미지 시차 범위들에 기반하여 입력 이미지 시차 범위를 결정할 수 있다. 예컨대, 이미지 결정부(130)는 적어도 하나의 과거의 시각에서의 입력 이미지 시차 범위를 사용하여 현재의 입력 이미지 시차 범위를 계산할 수 있다.
이미지 결정부(130)는 복수의 시각들에서 계산된 D max 들에 기반하여 현재의 D max 를 결정할 수 있다. 예컨대, 이미지 결정부(130)는 적어도 하나의 과거의 시각에서의 D max 를 사용하여 현재의 D max 를 계산할 수 있다. 여기서, 현재의 D max 는 복수의 제3 이미지들을 생성하기 위해 사용할 D max 를 의미할 수 있다.
이미지 결정부(130)는 하기의 수학식 4에 기반하여 현재의 D max 를 계산할 수 있다.
Figure pat00007
Figure pat00008
는 복수의 제3 이미지들을 생성하기 위해 사용할 현재의 입력 이미지에 대한 D max 일 수 있다.
Figure pat00009
는 시각 t-i에서의 D max 일 수 있다.
Figure pat00010
는 시각 t-i에 대한 가중치일 수 있다. N은
Figure pat00011
를 계산하기 위해 사용될 이전의 시각들에서의 D max 들의 개수일 수 있다. N은 1 이상의 정수일 수 있다.
Figure pat00012
는 0 이상의 실수일 수 있다.
이미지 결정부(130)는 입력 이미지의 D max 및 적어도 하나의 이전 시각에서 계산된 D max 의 가중치가 적용된 합(weighted-sum)을 복수의 제3 이미지들을 생성하기 위해 사용할 D max 로 결정할 수 있다. 이미지 결정부(130)는 연속적인 시각들에서 계산된 D max 들의 누적 평균 값을 현재의 시각에서의 D max 로서 사용할 수 있다.
전술된 실시예에 의해, 멀티-뷰 이미지가 생성될 수 있다. 전술된 실시예는 넓은 시야 각을 제공하는 무안경 방식의 3D 디스플레이를 위해 사용될 수 있다. 전술된 실시예는 자유 시점(free viewpoint) 디스플레이에 적용될 수 있다. 자유 시점 디스플레이를 통해 시청자는 자유롭게 움직이면서 가상의 임의의 시점에서의 이미지를 관측할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 이미지 처리 장치
110: 시차 추정부
120: 왜곡 판단부
130: 이미지 결정부
140: 이미지 생성부

Claims (20)

  1. 이미지 처리 장치가 이미지를 처리하는 방법에 있어서,
    제1 이미지 및 제2 이미지 간에 왜곡의 존재 여부를 판단하는 단계;
    상기 왜곡의 존재 여부에 기반하여 상기 제1 이미지 및 상기 제2 이미지 중 적어도 하나의 이미지를 제3 이미지를 생성하기 위해 사용할 이미지로 결정하는 단계; 및
    상기 결정된 적어도 하나의 이미지를 사용하여 상기 제3 이미지를 생성하는 단계
    를 포함하는 이미지 처리 방법.
  2. 제1항에 있어서,
    상기 제3 이미지의 시점은 상기 제1 이미지의 시점 및 상기 제2 이미지의 시점과 상이한, 이미지 처리 방법.
  3. 제1항에 있어서,
    상기 왜곡은 제1 이미지 및 제2 이미지 간의 컬러 왜곡인 이미지 처리 방법.
  4. 제1항에 있어서,
    상기 왜곡의 존재 여부는 상기 제1 이미지의 제1 픽셀의 컬러 및 상기 제2 이미지의 제2 픽셀의 컬러 간의 차이에 기반하여 판단되고,
    상기 제1 픽셀 및 상기 제2 픽셀은 서로 대응하는 픽셀들인 이미지 처리 방법.
  5. 제4항에 있어서,
    상기 서로 대응하는 픽셀들은 상기 제2 이미지가 상기 제1 이미지의 시점으로 와프되었을 때, 상기 와프된 제2 이미지의 픽셀들 및 상기 제1 이미지의 픽셀들 중 동일한 좌표를 갖는 픽셀들인 이미지 처리 방법.
  6. 제1항에 있어서,
    상기 왜곡은 제1 이미지 및 제2 이미지 간의 기하 왜곡인 이미지 처리 방법.
  7. 제1항에 있어서,
    상기 결정하는 단계는 상기 왜곡이 존재하면 상기 제1 이미지 및 상기 제2 이미지 중 하나의 이미지를 상기 제3 이미지를 생성하기 위해 사용할 이미지로 결정하고, 상기 왜곡이 존재하지 않으면 상기 제1 이미지 및 상기 제2 이미지 모두를 상기 제3 이미지를 생성하기 위해 사용할 이미지로 결정하는 이미지 처리 방법.
  8. 제1항에 있어서,
    상기 제1 이미지의 시차(disparity) 및 상기 제2 이미지의 시차를 추정하는 단계
    를 더 포함하고,
    상기 판단하는 단계는 상기 추정된 제1 이미지의 시차 및 상기 추정된 제2 이미지의 시차에 기반하여 상기 왜곡의 존재 여부를 판단하는 이미지 처리 방법.
  9. 제8항에 있어서,
    상기 시차를 추정하는 단계는 상기 제1 이미지의 제1 라인 및 상기 제2 이미지의 복수의 제2 라인들에 대하여 상기 제1 라인의 시차 및 상기 복수의 제2 라인들 각각의 시차를 추정하고,
    상기 판단하는 단계는 상기 제1 라인의 y 좌표 및 상기 복수의 제2 라인들 중 상기 제1 라인에 매칭된 라인의 y 좌표가 서로 다를 경우 상기 왜곡이 존재하는 것으로 판단하고,
    상기 제1 라인에 매칭된 라인은 상기 복수의 제2 라인들 중 상기 제1 라인과의 매칭 에러의 값이 최소인 라인인 이미지 처리 방법.
  10. 제9항에 있어서,
    상기 제2 복수의 제2 라인들 각각의 y 좌표는 상기 제1 라인의 y 좌표가 중심인 소정의 범위 내인 이미지 처리 방법.
  11. 제1항에 있어서,
    상기 제3 이미지는 복수이고,
    상기 복수의 제3 이미지들 각각의 시점은 상기 이미지 처리 장치가 표현할 수 있는 시차의 범위 및 상기 결정된 적어도 하나의 이미지의 시차의 범위 간의 비교에 기반하여 결정되는 이미지 처리 방법.
  12. 제11항에 있어서,
    상기 결정된 적어도 하나의 이미지의 시차의 범위는 복수의 시각들에서 계산된 상기 결정된 적어도 하나의 이미지의 시차의 범위들에 기반하여 결정되는 이미지 처리 방법.
  13. 제1항 내지 제12항 중 어느 한 항의 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
  14. 제1 이미지 및 제2 이미지 간에 왜곡의 존재 여부를 판단하는 왜곡 판단부;
    상기 왜곡의 존재 여부에 기반하여 상기 제1 이미지 및 상기 제2 이미지 중 적어도 하나의 이미지를 제3 이미지를 생성하기 위해 사용할 이미지로 결정하는 이미지 결정부; 및
    상기 결정된 적어도 하나의 이미지를 사용하여 상기 제3 이미지를 생성하는 이미지 생성부
    를 포함하는 이미지 처리 장치.
  15. 제14항에 있어서,
    상기 제3 이미지의 시점은 상기 제1 이미지의 시점 및 상기 제2 이미지의 시점과 상이한, 이미지 처리 장치.
  16. 제14항에 있어서,
    상기 왜곡 판단부는 상기 제1 이미지의 제1 픽셀의 컬러 및 상기 제2 이미지의 제2 픽셀의 컬러 간의 차이에 기반하여 상기 왜곡의 존재 여부를 판단하고,
    상기 제1 픽셀 및 상기 제2 픽셀은 서로 대응하는 픽셀들인 이미지 처리 장치.
  17. 제16항에 있어서,
    상기 서로 대응하는 픽셀들은 상기 제2 이미지가 상기 제1 이미지의 시점으로 와프되었을 때, 상기 와프된 제2 이미지의 픽셀들 및 상기 제1 이미지의 픽셀들 중 동일한 좌표를 갖는 픽셀들인 이미지 처리 장치.
  18. 제14항에 있어서,
    상기 이미지 결정부는 상기 왜곡이 존재하면 상기 제1 이미지 및 상기 제2 이미지 중 하나의 이미지를 상기 제3 이미지를 생성하기 위해 사용할 이미지로 결정하고, 상기 왜곡이 존재하지 않으면 상기 제1 이미지 및 상기 제2 이미지 모두를 상기 제3 이미지를 생성하기 위해 사용할 이미지로 결정하는 이미지 처리 장치.
  19. 제14항에 있어서,
    상기 제1 이미지의 시차(disparity) 및 상기 제2 이미지의 시차를 추정하는 시차 추정부
    를 더 포함하고,
    상기 왜곡 판단부는 상기 추정된 제1 이미지의 시차 및 상기 추정된 제2 이미지의 시차에 기반하여 상기 왜곡의 존재 여부를 판단하는 이미지 처리 장치.
  20. 제19항에 있어서,
    상기 시차 추정부는 상기 제1 이미지의 제1 라인 및 상기 제2 이미지의 복수의 제2 라인들에 대하여 상기 제1 라인의 시차 및 상기 복수의 제2 라인들 각각의 시차를 추정하고,
    상기 왜곡 판단부는 상기 제1 라인의 y 좌표 및 상기 복수의 제2 라인들 중 상기 제1 라인에 매칭된 라인의 y 좌표가 서로 다를 경우 상기 왜곡이 존재하는 것으로 판단하고,
    상기 제1 라인에 매칭된 라인은 상기 복수의 제2 라인들 중 상기 제1 라인과의 매칭 에러의 값이 최소인 라인인 이미지 처리 장치.
KR1020120149886A 2012-12-20 2012-12-20 하이브리드 멀티-뷰 랜더링 방법 및 장치 KR101918030B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120149886A KR101918030B1 (ko) 2012-12-20 2012-12-20 하이브리드 멀티-뷰 랜더링 방법 및 장치
US14/017,962 US9418486B2 (en) 2012-12-20 2013-09-04 Method and apparatus for rendering hybrid multi-view
CN201310683685.XA CN103888745B (zh) 2012-12-20 2013-12-13 用于渲染混合多视图的方法和设备
EP13198887.5A EP2747428B1 (en) 2012-12-20 2013-12-20 Method and apparatus for rendering multi-view image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120149886A KR101918030B1 (ko) 2012-12-20 2012-12-20 하이브리드 멀티-뷰 랜더링 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140080893A true KR20140080893A (ko) 2014-07-01
KR101918030B1 KR101918030B1 (ko) 2018-11-14

Family

ID=49989431

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120149886A KR101918030B1 (ko) 2012-12-20 2012-12-20 하이브리드 멀티-뷰 랜더링 방법 및 장치

Country Status (4)

Country Link
US (1) US9418486B2 (ko)
EP (1) EP2747428B1 (ko)
KR (1) KR101918030B1 (ko)
CN (1) CN103888745B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160048271A (ko) * 2014-10-23 2016-05-04 전자부품연구원 화질 적응적인 고속 다시점 영상 합성 방법 및 시스템

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
TWI658720B (zh) * 2016-12-30 2019-05-01 創研光電股份有限公司 運用變焦影像資訊以改善原視差影像匹配錯誤之方法
US20180309971A1 (en) * 2017-04-19 2018-10-25 2Sens Ltd. System device and methods for grading discomfort effects of three dimensional (3d) content
WO2019050038A1 (ja) 2017-09-11 2019-03-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像生成方法および画像生成装置
CN112740666A (zh) * 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080101998A (ko) * 2007-05-17 2008-11-24 연세대학교 산학협력단 임의 시점 영상 합성 시 영상 보정 방법 및 장치
KR20100088774A (ko) * 2009-02-02 2010-08-11 삼성전자주식회사 중간 시점 영상 생성 장치 및 방법
EP2393298A1 (en) * 2010-06-03 2011-12-07 Zoltan Korcsok Method and apparatus for generating multiple image views for a multiview autostereoscopic display device

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3733358B2 (ja) 1996-04-05 2006-01-11 松下電器産業株式会社 画像伝送装置、送信装置、受信装置、送信方法および受信方法
KR100524077B1 (ko) * 2003-11-13 2005-10-26 삼성전자주식회사 중간 영상 합성을 위한 시간적 평활화 장치 및 방법
JP2006113807A (ja) 2004-10-14 2006-04-27 Canon Inc 多視点画像の画像処理装置および画像処理プログラム
EP1889171A4 (en) * 2005-04-07 2012-11-28 Visionsense Ltd METHOD FOR RECONSTRUCTING A THREE-DIMENSIONAL SURFACE OF AN OBJECT
KR100636785B1 (ko) 2005-05-31 2006-10-20 삼성전자주식회사 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
WO2007007924A1 (en) * 2005-07-11 2007-01-18 3R Inc. Method for calibrating distortion of multi-view image
KR100667830B1 (ko) 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
KR100801968B1 (ko) 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
KR101345303B1 (ko) 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
CN102835116B (zh) 2010-04-01 2015-03-25 诺基亚公司 用于选择立体成像视点对的方法和装置
JP5570284B2 (ja) 2010-04-16 2014-08-13 キヤノン株式会社 画像処理装置および方法
WO2012026768A2 (en) 2010-08-27 2012-03-01 Samsung Electronics Co., Ltd. Rendering apparatus and method for generating multi-views
WO2012029301A1 (ja) 2010-08-31 2012-03-08 パナソニック株式会社 撮影装置、再生装置、および画像処理方法
GB2483434A (en) * 2010-08-31 2012-03-14 Sony Corp Detecting stereoscopic disparity by comparison with subset of pixel change points
CN102478756B (zh) 2010-11-30 2014-09-17 扬智科技股份有限公司 用来拍摄立体影片的方法与装置
US9582928B2 (en) 2011-01-13 2017-02-28 Samsung Electronics Co., Ltd. Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
KR101202014B1 (ko) 2011-02-18 2012-11-15 주식회사 넥서스칩스 영상 처리장치, 입체영상 디스플레이 장치 및 이를 이용한 영상 처리방법
KR101276208B1 (ko) * 2011-05-30 2013-06-18 전자부품연구원 스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치
US9191649B2 (en) * 2011-08-12 2015-11-17 Qualcomm Incorporated Systems and methods to capture a stereoscopic image pair
US20130050187A1 (en) * 2011-08-31 2013-02-28 Zoltan KORCSOK Method and Apparatus for Generating Multiple Image Views for a Multiview Autosteroscopic Display Device
US20130208976A1 (en) * 2012-02-13 2013-08-15 Nvidia Corporation System, method, and computer program product for calculating adjustments for images
US9621869B2 (en) * 2012-05-24 2017-04-11 Sony Corporation System and method for rendering affected pixels

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080101998A (ko) * 2007-05-17 2008-11-24 연세대학교 산학협력단 임의 시점 영상 합성 시 영상 보정 방법 및 장치
KR20100088774A (ko) * 2009-02-02 2010-08-11 삼성전자주식회사 중간 시점 영상 생성 장치 및 방법
EP2393298A1 (en) * 2010-06-03 2011-12-07 Zoltan Korcsok Method and apparatus for generating multiple image views for a multiview autostereoscopic display device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160048271A (ko) * 2014-10-23 2016-05-04 전자부품연구원 화질 적응적인 고속 다시점 영상 합성 방법 및 시스템

Also Published As

Publication number Publication date
CN103888745A (zh) 2014-06-25
KR101918030B1 (ko) 2018-11-14
US9418486B2 (en) 2016-08-16
CN103888745B (zh) 2017-10-27
US20140177943A1 (en) 2014-06-26
EP2747428A3 (en) 2014-11-26
EP2747428A2 (en) 2014-06-25
EP2747428B1 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
US9445071B2 (en) Method and apparatus generating multi-view images for three-dimensional display
EP2477158B1 (en) Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
US8629901B2 (en) System and method of revising depth of a 3D image pair
KR101918030B1 (ko) 하이브리드 멀티-뷰 랜더링 방법 및 장치
JP5153940B2 (ja) 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法
JP6016061B2 (ja) 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
US9171372B2 (en) Depth estimation based on global motion
CA2723627C (en) System and method for measuring potential eyestrain of stereoscopic motion pictures
US9123115B2 (en) Depth estimation based on global motion and optical flow
JP5425897B2 (ja) 前方及び後方の深度予測を伴う、画像の深度抽出のシステム及び方法
US9922441B2 (en) Image processing device, image processing method, and program
US10115207B2 (en) Stereoscopic image processing method and apparatus thereof
KR101729924B1 (ko) 영상 크기 조절에 기반한 외삽 뷰 생성 장치 및 방법
KR20100051675A (ko) 깊이－관련 정보 전파를 위한 방법 및 장치
US8803947B2 (en) Apparatus and method for generating extrapolated view
JP6173218B2 (ja) 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法
KR20100040593A (ko) 영상처리 장치 및 방법
US9661307B1 (en) Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
KR20120137295A (ko) 영상 처리를 위한 방법 및 장치
JP2011081605A (ja) 画像処理装置、方法及びプログラム
JP2011141710A (ja) 奥行推定装置、奥行推定方法および奥行推定プログラム
EP3616399B1 (en) Apparatus and method for processing a depth map
TWI514325B (zh) 三維影像對的深度修正系統及其方法
KR20110090488A (ko) 시차 서페이스 렌더링을 이용하여 시점을 생성하는 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant