KR101727094B1 - ３ｄ 비디오에서 추가 뷰들을 생성하기 위한 뷰포인트들을 선택하는 방법 - Google Patents

３ｄ 비디오에서 추가 뷰들을 생성하기 위한 뷰포인트들을 선택하는 방법 Download PDF

Info

Publication number
KR101727094B1
KR101727094B1 KR1020127011133A KR20127011133A KR101727094B1 KR 101727094 B1 KR101727094 B1 KR 101727094B1 KR 1020127011133 A KR1020127011133 A KR 1020127011133A KR 20127011133 A KR20127011133 A KR 20127011133A KR 101727094 B1 KR101727094 B1 KR 101727094B1
Authority
KR
South Korea
Prior art keywords
viewpoint
rendering
video data
data signal
good
Prior art date
Application number
KR1020127011133A
Other languages
English (en)
Other versions
KR20120093243A (ko
Inventor
후네비크 레이니르 베르나르두스 마리아 클레인
윌헬머스 헨드리쿠스 알폰수스 브룰스
패트릭 루크 이. 판데발레
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20120093243A publication Critical patent/KR20120093243A/ko
Application granted granted Critical
Publication of KR101727094B1 publication Critical patent/KR101727094B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

비디오 데이터 신호(15)를 인코딩하는 방법이 제공되며, 이 방법은 제 1 뷰포인트로부터 보이는 장면(100)의 적어도 제 1 이미지를 제공하는 단계(21), 렌더링 뷰포인트로부터 보이는 장면(100)의 적어도 하나의 렌더링된 이미지의 생성을 가능하게 하기 위한 렌더링 정보를 제공하는 단계(22), 제 1 뷰포인트에 대한 렌더링 뷰포인트의 양호한 배향을 규정하는 양호한 방향 지시자를 제공하는 단계(23), 및 제 1 이미지, 렌더링 정보 및 양호한 방향 지시자를 나타내는 인코딩된 데이터를 포함하는 비디오 데이터 신호(15)를 생성하는 단계(24)를 포함한다.

Description

３Ｄ 비디오에서 추가 뷰들을 생성하기 위한 뷰포인트들을 선택하는 방법{SELECTING VIEWPOINTS FOR GENERATING ADDITIONAL VIEWS IN 3D VIDEO}
본 발명은, 제 1 뷰포인트로부터 보이는 장면의 적어도 제 1 이미지를 제공하는 단계, 렌더링 뷰포인트로부터 보이는 장면의 적어도 하나의 렌더링된 이미지의 생성을 가능하게 하기 위한 렌더링 정보를 제공하는 단계, 및 제 1 이미지 및 렌더링 정보를 나타내는 인코딩된 데이터를 포함하는 비디오 데이터 신호를 생성하는 단계를 포함하는 비디오 데이터 신호를 인코딩하는 방법에 관한 것이다.
본 발명은 또한, 비디오 데이터 신호를 디코딩하는 방법, 인코더, 디코더, 비디오 데이터 신호 및 디지털 데이터 캐리어를 인코딩 또는 디코딩하기 위한 컴퓨터 프로그램 제품들에 관한 것이다.
3차원(3D) 비디오의 신종 분야에서, 3차원을 비디오 데이터 신호로 인코딩하기 위한 다양한 방법들이 존재한다. 일반적으로, 이것은 뷰어의 눈에 시청되는 장면의 상이한 뷰들을 제공함으로써 행해진다. 3D 비디오를 표현하기 위한 인기있는 방식은 하나 이상의 2차원(2D) 이미지들에 3차원의 정보를 제공하는 심도 표현(depth representation)을 더한 것을 이용하는 것이다. 이 방식은 또한 2D 이미지들이, 3D 비디오 신호에 포함되는 2D 이미지들과는 상이한 뷰포인트들 및 시야각들을 가지고 생성되도록 허용한다. 이러한 방식은 추가 뷰들이 비교적 낮은 복잡도로 생성되도록 허용하는 단계 및 효율적인 데이터 표현을 제공하는 단계를 포함하고, 그에 의해 예를 들면 3D 비디오 신호들에 대한 저장 및 통신 리소스 요건들을 감소시키는 다수의 이점들을 제공한다. 바람직하게, 비디오 데이터는 이용 가능한 뷰포인트들로부터 보이는 것이 아니라, 약간 상이한 뷰포인트로부터 보이게 되는 데이터로 연장된다. 이 데이터는 차폐(occlusion) 또는 배경 데이터라고 칭해진다. 실제로, 차폐 데이터는 상이한 뷰포인트들에서 다수의 카메라들로 장면을 캡처함으로써 획득되는 멀티뷰 데이터로부터 생성된다.
새롭게 생성된 뷰들에서의 비차폐화된 오브젝트들을 재구성하기 위한 데이터의 가용성이 프레임마다 상이할 수 있거나 심지어 프레임 내에서도 상이할 수 있다는 점이 상술된 방식들의 문제이다. 결과적으로, 상이한 뷰포인트들에 대해 생성된 이미지들의 품질이 가변할 수 있다.
본 발명의 목적은 개시부에 기술된 비디오 데이터 신호를 인코딩하는 방법을 제공하는 것이고, 이 방법은 상이한 뷰포인트들을 가지고 더 높은 품질의 이미지들을 생성하는 것을 가능하게 한다.
본 발명의 제 1 양태에 따라, 이 목적은, 적어도 제 1 뷰포인트로부터 보이는 장면의 제 1 이미지를 제공하는 단계, 렌더링 뷰포인트로부터 보이는 장면의 적어도 하나의 렌더링된 이미지의 생성을 가능하게 하기 위한 렌더링 정보를 제공하는 단계, 제 1 뷰포인트에 대한 렌더링 뷰포인트의 양호한 배향(preferred orientation)을 규정하는 양호한 방향 지시자를 제공하는 단계, 및 제 1 이미지, 렌더링 정보 및 양호한 방향 지시자를 나타내는 인코딩된 데이터를 포함하는 비디오 데이터 신호를 생성하는 단계를 포함하는, 비디오 데이터 신호를 인코딩하는 방법을 제공함으로써 달성된다.
상기에 설명된 바와 같이, 상이한 뷰잉 포인트들로부터 생성되는 이미지들의 품질은 비차폐화된(de-occluded)) 오브젝트들의 재구성에 필요한 데이터의 가용성에 관련된다. 데이터가 뷰포인트를 좌측으로 이동하는데 이용가능할 뿐 뷰 포인트를 우측으로 이동하는데는 이용 가능하지 않은 상황을 고려한다. 결과적으로, 뷰포인트를 좌측으로 이동하는 것은 뷰포인트를 우측으로 이동하는 것과는 상이한 품질을 가진 생성 이미지를 유발할 수 있다.
품질의 유사한 차이는 불충분한 비차폐 정보 또는 차폐 없는 정보가 비차폐화된 영역들에 채우기에 이용 가능할 때 발생할 수 있다. 이러한 경우, 비차폐화된 영역들은 소위 홀-채움 알고리즘들(hole-filling algorithms)을 이용하여 채워질 수 있다. 일반적으로, 이러한 알고리즘들은 비차폐화된 영역의 직접적인 주변에서 정보를 보간한다. 결과적으로, 뷰포인트를 좌측으로 이동하는 것은 뷰포인트를 우측으로 이동하는 것과는 상이한 품질을 가진 생성 이미지를 유발할 수 있다.
이러한 품질 차이들은 요구된 데이터의 가용성에 의할 뿐만 아니라 뷰포인트를 이동할 때 비차폐화되는 표면적의 크기 및 속성에 의해서도 영향을 받는다. 결과적으로, 3D 비디오 또는 이미지의 품질은 새롭게 선택된 뷰포인트에 따라 가변할 수 있다. 이것은, 예를 들면, 이미 이용 가능한 제 1 이미지의 뷰포인트를 좌측 또는 우측에서 새로운 뷰가 생성되는지가 중요할 수 있다.
본 발명에 따라, 솔루션은 양호한 방향 지시자를 생성하고 비디오 신호에 이를 포함하는 것이다. 양호한 방향 지시자는 비디오 신호에 이미 포함된 이미지의 오리지널 뷰포인트에 대해 추가 뷰를 위해 렌더링 뷰포인트의 양호한 배향을 규정한다. 비디오 신호가 디코딩될 때, 양호한 방향 지시자는 렌더링 뷰포인트를 선택하고 선택된 뷰포인트로부터 장면의 렌더링된 이미지를 생성하기 위해 이용될 수 있다.
비디오 데이터 신호는 프레임마다, 프레임들의 그룹마다, 장면마다 또는 비디오 시퀀스 전체를 위해 양호한 방향 지시자를 포함할 수 있다. 더 거친 입도(coarser granularity)보다 오히려 프레임마다 기초하여 이러한 정보를 인코딩하는 것은 랜덤 액세스를 가능하게 한다; 예를 들면, 트릭 플레이를 지원하기 위해. 흔히 양호한 렌더링 표시자가 다양한 프레임들에 대해 일정하고 인코딩된 비디오 신호의 크기가 통상적으로 적절함에 따라, 이중 표시자들의 양은 프레임의 그룹에 기초하여 정보를 대신 인코딩함으로써 감소될 수 있다. 훨씬 더 효율적인 인코딩은 양호하게 렌더링의 양호한 방향이 장면 전반에 걸쳐 동일하게 유지될 때 장면마다 기초하여 양호한 방향을 인코딩하는 것이고, 그에 의해 장면 내에서의 연속성을 보장한다.
선택적으로, 인코딩된 신호의 크기가 덜 중요할 때, 표시자들이 서로에 따라 설정되는 한, 정보는 프레임, 프레임의 그룹 및 비슷한 장면 레벨에 대해 인코딩될 수 있다.
렌더링 뷰포인트의 선택의 변경들이 렌더링에서 컨텐트의 지각된 연속성에 영향을 미칠 수 있으므로, 양호한 방향 지시자가 여러 프레임들에 대해 일정하게 유지되는 것이 바람직하다. 그것은 예를 들면, 프레임들의 그룹 전반에 걸쳐 또는 대안적으로 장면 전반에 걸쳐 일정하게 유지될 수 있다. 양호한 방향 지시자가 여러 프레임들에 대해 일정하게 유지될 때에도, 또한 랜덤 액세스를 용이하게 하는 것을 필수로 하는 것보다 작은 입도에 대해 일정한 양호한 방향 지시자를 인코딩하는 것이 유리할 수 있음을 유념한다.
양호한 배향은 좌측, 우측, 상측, 하측 또는 이들 방향들의 임의의 조합일 수 있다. 배향 외에도, 양호한 거리 또는 양호한 최대 거리가 양호한 방향 표시와 함께 제공될 수 있다. 제 1 이미지에서 차폐된 오브젝트들 및/또는 오브젝트들의 심도값들에 관한 충분한 정보가 이용 가능한 경우, 오리지널 뷰포인트로부터 멀리 떨어질 수 있는 뷰포인트들로부터 다수의 고품질의 추가 뷰들을 생성하는 것이 가능할 수 있다.
렌더링 정보는 예를 들면, 제 1 이미지에서 전경 오브젝트들에 의해 차폐되는 배경 오브젝트들을 나타내는 차폐 데이터, 제 1 이미지에서의 오브젝트들의 심도값들을 제공하는 심도 맵 또는 이들 오브젝트들에 대한 투명도 데이터를 포함할 수 있다.
양호한 방향 지시자는 어떤 가능한 렌더링 뷰포인트에서 최상의 렌더링 정보가 이용 가능한지를 표시한다. 적층된 심도 이미지들의 렌더링에 관한 더 많은 정보에 대해, 예를 들면 국제 출원 제WO2007/063477호를 참조하며, 이것은 본 명세서에 참조로서 포함된다. 적층된 심도 이미지들을 렌더링할 때 비차폐화된 영역들을 채우는데 이용하기 위한 홀 채움 알고리즘들에 관한 더 많은 정보에 대해, 예를 들면 제WO2007/099465호를 참조하며, 이것은 본 명세서에 참조로서 포함된다.
본 발명의 다른 양태에 따라, 비디오 데이터 신호를 디코딩하는 방법이 제공되며, 비디오 데이터 신호는 제 1 뷰포인트로부터 보이는 장면의 제 1 이미지, 렌더링 뷰포인트로부터 보이는 장면의 적어도 하나의 렌더링된 이미지의 생성을 가능하게 하기 위한 렌더링 정보, 및 제 1 뷰포인트에 대한 렌더링 뷰포인트의 양호한 배향을 규정하는 양호한 방향 지시자를 나타내는 인코딩된 데이터를 포함한다. 디코딩 방법은 비디오 데이터 신호를 수신하는 단계, 양호한 방향 지시자에 의존하여, 렌더링 뷰포인트를 선택하는 단계, 및 선택된 렌더링 뷰포인트에서 보이는 장면의 렌더링된 이미지를 생성하는 단계를 포함한다.
본 발명의 이들 및 다른 양태들은 이후 기술되는 실시예들로부터 및 이들을 참조하여 명확해질 것이다.
본 발명에 의하면, 상이한 뷰포인트들을 가지고 더 높은 품질의 이미지들을 생성할 수 있다.
도 1은 본 발명에 따른 비디오 데이터를 인코딩하기 위한 시스템의 블록도.
도 2는 본 발명에 따른 인코딩 방법의 흐름도.
도 3은 본 발명에 따른 비디오 데이터를 디코딩하기 위한 시스템의 블록도.
도 4는 본 발명에 따른 디코딩 방법의 흐름도.
도 1은 본 발명에 따른 비디오 데이터를 인코딩하기 위한 시스템의 블록도를 도시한다. 시스템은 2개의 디지털 비디오 카메라들(11, 12)과 인코더(10)를 포함한다. 제 1 카메라(11) 및 제 2 카메라(12)는 약간 상이한 위치에서 및 따라서 또한 약간 상이한 각도에서 동일한 장면(100)을 기록한다. 두 비디오 카메라들(11, 12)로부터 기록된 디지털 비디오 신호들은 인코더(10)에 전송된다. 인코더는 예를 들면 전용 인코딩 박스, 컴퓨터에서의 비디오 카드, 또는 범용 마이크로프로세서에 의해 실행될 소프트웨어 구현 기능의 부분일 수 있다. 대안적으로, 비디오 카메라(11, 12)는 아날로그 비디오 카메라들이고, 아날로그 비디오 신호들은 이들이 인코더(10)를 위한 입력으로서 제공되기 전에 디지털 비디오 신호들로 변환된다. 비디오 카메라들이 인코더(10)에 결합되는 경우, 인코딩은 장면(100)의 기록 중에 발생할 수 있다. 또한, 먼저 장면(100)을 기록하고 나중에 기록된 비디오 데이터를 인코더(10)에 제공하는 것도 또한 가능하다.
인코더(10)는 비디오 카메라들(11, 12)로부터 디지털 비디오 데이터를 직접 또는 간접적으로 수신하고, 두 디지털 비디오 신호들을 하나의 3D 비디오 신호(15)로 조합한다. 두 비디오 카메라들(11, 12)이 하나의 3D 비디오 카메라로 조합될 수 있음을 유념한다. 또한, 2개보다 많은 뷰포인트들로부터 장면(100)을 캡처하기 위해 2개보다 많은 비디오 카메라들을 이용하는 것도 가능하다.
도 2는 본 발명에 따른 인코딩 방법의 흐름도를 도시한다. 이 인코딩 방법은 도 1의 시스템의 인코더(10)에 의해 수행될 수 있다. 인코딩 방법은 카메라들(11, 12)로부터 기록된 디지털 비디오 데이터를 이용하고 본 발명에 따라 비디오 데이터 신호(15)를 제공한다. 베이스 이미지 제공 단계(21)에서, 장면의 적어도 제 1 이미지가 비디오 데이터 신호(15)에 포함하기 위해 제공된다. 이 베이스 이미지는 2개의 카메라들(11, 12) 중 하나로부터 나오는 표준 2D 비디오 데이터일 수 있다. 인코더(10)는 또한 2개의 베이스 이미지들을 이용할 수 있다; 제 1 카메라(11)로부터의 베이스 이미지 및 제 2 카메라(12)로부터의 베이스 이미지. 베이스 이미지들로부터, 기록된 비디오의 각각의 프레임에서 모든 픽셀들의 컬러값들이 도출될 수 있다. 베이스 이미지들은 특정 뷰포인트에서 보이는 특정 시간 순간의 장면을 표현한다. 다음에서, 이 특정 뷰포인트는 베이스 뷰포인트라고 칭해질 것이다.
3D 인에이블링 단계(22)에서, 비디오 카메라들(11, 12)로부터 들어오는 비디오 데이터는 베이스 이미지에 정보를 추가하기 위해 이용된다. 이 추가된 정보는 디코더가 상이한 뷰포인트로부터의 동일한 장면의 렌더링 이미지를 생성할 수 있게 해야 한다. 다음에서, 이 추가된 정보는 렌더링 정보라고 칭해진다. 렌더링 정보는 예를 들면, 베이스 이미지에서 오브젝트들의 심도 정보 또는 투명도 값들을 포함할 수 있다. 렌더링 정보는 또한 베이스 이미지에서 보이는 오브젝트들에 의해 베이스 뷰포인트로부터 보이는 것이 차단되는 오브젝트들을 기술할 수 있다. 인코더는 기록된 정규 비디오 데이터로부터 이 렌더링 정보를 도출하기 위한 알려진, 바람직하게는 표준화된 방법들을 이용한다.
방향 표시 단계(23)에서, 인코더(10)는 또한 렌더링 정보에 양호한 방향 지시자를 추가한다. 양호한 방향 지시자는 베이스 뷰포인트에 대한 추가 뷰에 대해 렌더링 뷰포인트의 양호한 배향을 규정한다. 나중에 비디오 신호가 디코딩될 때, 양호한 방향 지시자는, 렌더링 뷰포인트를 선택하고 선택된 뷰포인트로부터 장면(100)의 렌더링된 이미지를 생성하기 위해 이용될 수 있다. 상술된 바와 같이, 3D 비디오 또는 이미지의 품질은 새롭게 선택된 뷰포인트에 따라 가변할 수 있다. 이것은, 예를 들면, 이미 이용 가능한 제 1 이미지의 뷰포인트의 좌측에 또는 우측에 새로운 뷰가 생성되는지가 중요하다. 렌더링 정보에 추가되는 양호한 방향 지시자는 예를 들면 좌측 또는 우측 방향을 표시하는 단일 비트일 수 있다. 더욱 개선된 양호한 방향 지시자는 또한 베이스 뷰포인트에 대한 새로운 뷰포인트의 상측 또는 하측 방향 및/또는 양호한 또는 최대 거리를 표시할 수 있다.
대안적으로, 양호한 방향 지시자는 제 1 뷰포인트에 대한 다수의 렌더링 뷰포인트들의 양호한 배향 및/또는 거리를 제공할 수 있다. 예를 들면, 제 1 뷰포인트의 동일측에서 2개의 렌더링 뷰포인트들 또는 각측에서 하나를 생성하는 것이 바람직할 수 있다. 제 1 뷰포인트에 대한 렌더링 뷰포인트(들)의 양호한 위치(들)는 2개의 포인트들 사이의 거리에 의존할 수 있다. 예를 들면, 두 뷰포인트들이 서로 가까울 때 제 1 뷰포인트의 좌측에서의 뷰포인트로부터 이미지를 렌더링하는 것이 더 양호할 수 있고; 제 1 뷰포인트의 좌측에 대한 두 뷰포인트들 사이의 더 큰 거리들에 대해 렌더링 뷰포인트를 생성하기가 더욱 적합할 수 있다.
특정 방향이 더욱 유리한 것에 대한 판단은 자동으로 결정될 수 있다; 예를 들면, 이미지, 심도 및 차폐 표현을 이용하여 적층된 심도 이미지로서 스테레오 쌍을 인코딩할 때, 적층된 심도 이미지의 이미지로서 좌측 또는 우측 이미지를 이용하고, 이에 기초하여 다른 이미지를 재구성하는 것이 가능하다. 후속적으로, 두 대안들에 대한 차이 매트릭이 계산될 수 있고, 양호한 인코딩 및 방향이 그에 기초하여 결정될 수 있다.
바람직하게, 차이들은 인간의 시각적 지각 시스템의 모델에 기초하여 가중된다. 대안적으로, 특히 전문적인 설정 내에서 양호한 방향은 사용자-상호작용에 기초하여 선택될 수 있다.
신호 생성 단계(24)에서, 이전 단계들(21, 22, 23)에서 제공된 정보는 본 발명에 따라 비디오 데이터 신호(15)를 생성하기 위해 이용된다. 비디오 데이터 신호(15)는 적어도 제 1 이미지, 렌더링 정보 및 양호한 방향 지시자를 표현한다. 양호한 방향 지시자는 각각의 프레임에 대해, 프레임들의 그룹에 대해, 또는 전체 장면, 또는 전체 비디오에 대해 제공될 수 있다. 장면 동안 렌더링 뷰포인트의 위치를 변경하는 것은 지각된 3D 이미지 품질에 악영향을 미칠 수 있지만, 한편, 상이한 방향들에 대한 렌더링 정보의 가용성이 상당히 변경되는 경우에는 필수적일 수 있다.
도 3은 본 발명에 따른 비디오 데이터를 디코딩하기 위한 시스템의 블록도를 도시한다. 시스템은 비디오 데이터 신호(15)를 수신하고 비디오 데이터 신호(15)를 디스플레이(31)에 의해 디스플레이되기 적합한 디스플레이 신호로 변환하기 위한 디코더(30)를 포함한다. 비디오 데이터 신호(15)는 예를 들면 케이블 또는 위성 전송을 통해 브로드캐스팅된 신호의 일부로서 디코더(30)에 도달할 수 있다. 비디오 데이터 신호(15)는 또한, 예를 들면 인터넷을 통한 또는 주문형 비디오 서비스를 통한 요청시 제공될 수 있다. 대안적으로, 비디오 데이터 신호(15)는 DVD 또는 블루-레이 디스크와 같이 디지털 데이터 캐리어 상에 제공된다.
디스플레이(31)는 도 1의 시스템의 인코더(10)에 의해 캡처 및 인코딩된 장면(100)의 3D 표시를 제공할 수 있다. 디스플레이(31)는 디코더(30)를 포함할 수 있거나 또는 디코더(30)에 결합될 수 있다. 예를 들면, 디코더(30)는 하나 이상의 정규 텔레비전 또는 컴퓨터 디스플레이들에 결합되는 3D 비디오 수신기의 일부일 수 있다. 바람직하게, 디스플레이는 뷰어의 상이한 눈들에 상이한 뷰들을 제공할 수 있는 전용 3D 디스플레이(31)이다.
도 4는 도 3의 디코더(30)에 의해 수행될 수 있는 디코딩 방법의 흐름도를 도시한다. 비디오 데이터 수신 단계(41)에서, 인코더(10)에 의해 인코딩된 비디오 데이터 신호(15)는 디코더(30)의 입력부에서 수신된다. 수신된 비디오 데이터 신호(15)는 장면(100)의 적어도 제 1 이미지, 렌더링 정보 및 양호한 방향 지시자를 표현하는 인코딩된 데이터를 포함한다.
또한 뷰포인트 선택 단계(42)에서, 양호한 방향 지시자는 각각의 추가 뷰에 대한 적어도 하나의 추가 뷰포인트를 선택하기 위해 이용된다. 추가 뷰 렌더링 단계(43)에서, 선택된 뷰포인트 또는 뷰포인트들로부터의 하나 이상의 추가 뷰들이 생성된다. 디스플레이 단계(44)에서, 상이한 뷰포인트들로부터의 2개 이상의 뷰들은 그 후에 3D의 장면(100)을 보여주기 위한 디스플레이(31)에 제공될 수 있다.
본 발명은 또한 본 발명을 실행하도록 적응된 컴퓨터 프로그램들, 특히 캐리어 상의 또는 내의 컴퓨터 프로그램들로 확장될 수 있음을 알 것이다. 프로그램은 부분적으로 컴파일된 형태, 또는 본 발명에 따른 방법의 구현에 이용하기에 적합한 임의의 다른 형태와 같이, 소스 코드, 오브젝트 코드, 코드 중간 소스 및 오브젝트 코드의 형태일 수 있다. 이러한 프로그램은 많은 상이한 아키텍처 설계들을 가질 수 있음을 또한 알 것이다. 예를 들면, 본 발명에 따른 방법 또는 시스템의 기능을 구현하는 프로그램 코드가 하나 이상의 서브루틴들로 세분될 수 있다. 이들 서브루틴들 사이에 기능을 분배하기 위한 많은 상이한 방식들은 통상의 기술자에게 명백할 것이다. 서브루틴들은 자체-포함된 프로그램을 형성하기 위해 하나의 실행 가능한 파일로 함께 저장될 수 있다. 이러한 실행 가능한 파일은 컴퓨터 실행 가능한 명령들, 예를 들면 처리기 명령들 및/또는 해석기 명령들(예를 들면, 자바 해석기 명령들)을 포함할 수 있다. 대안적으로, 서브루틴들의 하나 이상 또는 전부는 적어도 하나의 외부 라이브러리 파일에 저장될 수 있고 예를 들면 실행-시간에 정적으로 또는 동적으로 주 프로그램과 링크될 수 있다. 주 프로그램은 서브루틴들 중 적어도 하나에 대한 적어도 하나의 호출을 포함한다. 또한, 서브루틴들은 서로에 대한 함수 호출들을 포함할 수 있다. 컴퓨터 프로그램 제품에 관한 실시예는 기재된 방법들 중 적어도 하나의 처리 단계들의 각각에 대응하는 컴퓨터 실행 가능한 명령들을 포함한다. 이들 명령들은 서브루틴들로 세분될 수 있고 및/또는 정적 또는 동적으로 링크될 수 있는 하나 이상의 파일들에 저장될 수 있다. 컴퓨터 프로그램 제품에 관한 다른 실시예는 기재된 시스템들 및/또는 제품들 중 적어도 하나의 수단의 각각에 대응하는 컴퓨터 실행 가능한 명령들을 포함한다. 이들 명령들은 서브루틴들로 세분될 수 있고 및/또는 정적 또는 동적으로 링크될 수 있는 하나 이상의 파일들에 저장될 수 있다.
컴퓨터 프로그램의 캐리어는 프로그램을 실행할 수 있는 엔티티 또는 디바이스일 수 있다. 예를 들면, 캐리어는, 예를 들면 CD ROM 또는 반도체 ROM인 ROM 또는 예를 들면 플로피 디스크 또는 하드 디스크인 자기 기록 매체와 같은 저장 매체를 포함할 수 있다. 또한, 캐리어는, 전기 또는 광 케이블을 통해 또는 무선 또는 다른 수단에 의해 전달될 수 있는 전기 또는 광 신호와 같은 전송 가능한 캐리어일 수 있다. 프로그램이 이러한 신호로 구현될 때, 캐리어는 이러한 케이블 또는 다른 디바이스나 수단에 의해 구성될 수 있다. 대안적으로, 캐리어는 프로그램이 임베딩된 집적 회로일 수 있고, 집적 회로는 관련 방법을 수행하도록, 또는 관련 방법의 수행에 이용하도록 구성된다.
상술된 실시예들은 본 발명을 제한하기보다는 예시하기 위한 것이고, 본 기술분야의 통상의 기술자는 첨부된 특허청구범위의 범위를 벗어나지 않고 많은 대안적인 실시예들을 설계할 수 있을 것임을 유념한다. 특허청구범위에서, 괄호 속에 있는 임의의 참조 부호들은 특허청구범위를 제한하는 것으로 해석되어서는 안된다. 동사 "포함한다(comprise)" 및 그 파생어들은 특허청구범위에 기재된 요소들 또는 단계들 이외의 요소들 또는 단계들의 존재를 배제하지 않는다. 요소 앞의 부정관사는 이러한 요소의 복수의 존재를 배제하지 않는다. 본 발명은 여러 개별 요소들을 포함하는 하드웨어에 의해, 적합하게 프로그래밍된 컴퓨터에 의해 구현될 수 있다. 여러 수단을 나열하는 장치 청구항에서, 이들 수단들 중 여러 개는 하나 및 동일 항목의 하드웨어로 구현될 수 있다. 특정 방법들이 상이한 종속 청구항들에 상호 인용된 사실만으로 이들 방법들의 조합이 유리하게 이용될 수 없다는 것을 나타내지 않는다.
10; 인코더 11, 12: 디지털 비디오 카메라
30 : 디코더

Claims (15)

  1. 3D 비디오 데이터 신호를 인코딩하는 방법에 있어서:
    처리기에서,
    적어도 제 1 뷰포인트로부터 보이는 장면의 제 1 이미지를 제공하는 단계,
    디코더가 렌더링 뷰포인트로부터 보이는 상기 장면의 적어도 하나의 렌더링된 이미지를 생성하는 것을 가능하게 하기 위한 렌더링 정보를 제공하는 단계,
    상기 제 1 뷰포인트와 상이한 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 양호한 배향(preferred orientation)을 규정하는 양호한 방향 지시자를 제공하는 단계, 및
    상기 제 1 이미지, 상기 렌더링 정보 및 상기 양호한 방향 지시자를 나타내는 인코딩된 데이터를 포함하는 상기 3D 비디오 데이터 신호를 생성하는 단계를 포함하고,
    상기 양호한 방향 지시자는, 양호한 방향 지시자가 프레임마다 인코딩되는 옵션, 양호한 방향 지시자가 프레임들의 그룹마다 인코딩되는 옵션 및 양호한 방향 지시자가 장면마다 인코딩되는 옵션 중 적어도 하나를 사용하여 상기 3D 비디오 데이터 신호에 인코딩되고,
    상기 양호한 방향 지시자의 값은 프레임들의 그룹 및 장면 중 하나에 대해 일정한, 3D 비디오 데이터 신호를 인코딩하는 방법.
  2. 제 1 항에 있어서,
    상기 양호한 배향은 상기 제 1 뷰포인트와 상기 렌더링 뷰포인트 사이의 거리에 의존하는, 3D 비디오 데이터 신호를 인코딩하는 방법.
  3. 제 1 항에 있어서,
    상기 렌더링 정보는 상기 제 1 이미지에서 픽셀들에 대한 심도 표시값들(depth indication values)을 포함하는, 3D 비디오 데이터 신호를 인코딩하는 방법.
  4. 제 1 항에 있어서,
    상기 렌더링 정보는 상기 제 1 이미지에서의 픽셀들에 대한 알파값들을 포함하고, 상기 알파값들은 각각의 픽셀들의 투명도를 나타내는, 3D 비디오 데이터 신호를 인코딩하는 방법.
  5. 제 1 항에 있어서,
    상기 렌더링 정보는 상기 제 1 뷰포인트로부터 차폐되는 데이터를 나타내는 차폐 데이터(occlusion data)를 포함하는, 3D 비디오 데이터 신호를 인코딩하는 방법.
  6. 3D 비디오 데이터 신호를 인코딩하는 방법에 있어서,
    처리기에서.
    적어도 제 1 뷰포인트로부터 보이는 장면의 제 1 이미지를 제공하는 단계,
    디코더가 렌더링 뷰포인트로부터 보이는 상기 장면의 적어도 하나의 렌더링된 이미지를 생성하는 것을 가능하게 하는 렌더링 정보를 제공하는 단계,
    상기 제 1 뷰포인트와 상이한, 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 양호한 배향을 규정하는 양호한 방향 지시자를 제공하는 단계, 및
    상기 제 1 이미지, 상기 렌더링 정보 및 상기 양호한 방향 지시자를 나타내는 인코딩된 데이터를 포함하는 상기 3D 비디오 데이터 신호를 생성하는 단계로서, 상기 양호한 방향 지시자는 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 상기 양호한 배향이 상기 제 1 뷰포인트의 좌측 또는 우측, 상측 또는 하측인지를 규정하는 단일 비트 또는 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 양호한 거리 또는 최대 거리 중 하나인, 상기 3D 비디오 데이터 신호를 생성하는 단계를 포함하는, 3D 비디오 데이터 신호를 인코딩하는 방법.
  7. 3D 비디오 데이터 신호를 디코딩하는 방법으로서, 상기 3D 비디오 데이터 신호는 제 1 뷰포인트로부터 보이는 장면의 제 1 이미지, 상기 제 1 뷰포인트와 상이한 렌더링 뷰포인트로부터 보이는 상기 장면의 적어도 하나의 렌더링된 이미지의 생성을 가능하게 하기 위한 렌더링 정보 및 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 양호한 배향을 규정하는 양호한 방향 지시자를 나타내는 인코딩된 데이터를 포함하는, 상기 3D 비디오 데이터 신호를 디코딩하는 방법에 있어서,
    처리기에서,
    상기 3D 비디오 데이터 신호를 수신하는 단계,
    상기 양호한 방향 지시자에 의존하여, 상기 렌더링 뷰포인트를 생성하는 단계로서, 상기 양호한 방향 지시자는 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 상기 양호한 배향이 상기 제 1 뷰포인트의 좌측 또는 우측, 상측 또는 하측인지를 규정하는 단일 비트 또는 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 양호한 거리 또는 최대 거리 중 하나인, 상기 렌더링 뷰포인트를 생성하는 단계; 및
    선택된 상기 렌더링 뷰포인트로부터 보이는 상기 장면의 상기 렌더링된 이미지를 생성하는 단계를 포함하는, 3D 비디오 데이터 신호를 디코딩하는 방법.
  8. 비디오 데이터 신호를 인코딩하는 인코더에 있어서,
    적어도 제 1 뷰포인트로부터 보이는 장면의 제 1 이미지, 디코더가 상기 제 1 뷰포인트와 상이한 렌더링 뷰포인트로부터 보이는 상기 장면의 렌더링된 이미지를 생성하는 것을 가능하게 하는 렌더링 정보, 및 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 양호한 배향을 규정하는 양호한 방향 지시자로서, 상기 양호한 방향 지시자는 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 상기 양호한 배향이 상기 제 1 뷰포인트의 좌측 또는 우측, 상측 또는 하측인지를 규정하는 단일 비트 또는 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 양호한 거리 또는 최대 거리 중 하나인, 상기 양호한 방향 지시자를 제공하기 위한 처리기로서, 상기 제 1 이미지, 상기 렌더링 정보 및 상기 양호한 방향 지시자를 나타내는 인코딩된 데이터를 포함하는 3D 비디오 데이터 신호를 생성하는, 상기 처리기, 및
    상기 3D 비디오 데이터 신호를 제공하기 위한 출력부를 포함하는, 비디오 데이터 신호를 인코딩하는 인코더.
  9. 3D 비디오 데이터 신호를 디코딩하는 디코더에 있어서,
    3D 비디오 데이터 신호를 수신하기 위한 입력부로서, 상기 비디오 데이터 신호는 제 1 뷰포인트로부터 보이는 장면의 제 1 이미지, 상기 제 1 뷰포인트와 상이한 렌더링 뷰포인트로부터 보이는 상기 장면의 렌더링된 이미지의 생성을 가능하게 하는 렌더링 정보, 및 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 양호한 배향을 규정하는 양호한 방향 지시자를 나타내는 인코딩된 데이터를 포함하는, 상기 입력부,
    상기 양호한 방향 지시자에 의존하여, 상기 렌더링 뷰포인트를 선택하고 선택된 상기 렌더링 뷰포인트로부터 보이는 상기 장면의 상기 렌더링된 이미지를 생성하기 위한 처리기로서, 상기 양호한 방향 지시자는 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 상기 양호한 배향이 상기 제 1 뷰포인트의 좌측 또는 우측, 상측 또는 하측인지를 규정하는 단일 비트 또는 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 양호한 거리 또는 최대 거리 중 하나인, 상기 처리기, 및
    상기 렌더링된 이미지를 제공하기 위한 출력부를 포함하는, 3D 비디오 데이터 신호를 디코딩하는 디코더.
  10. 비디오 데이터 신호를 인코딩하기 위한 코드를 포함하는 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록 매체로서, 상기 컴퓨터 프로그램이 처리기로 하여금 상기 인코딩을 수행하게 하도록 동작하는, 상기 컴퓨터 판독가능한 기록 매체에 있어서,
    적어도 제 1 뷰포인트로부터 보이는 장면의 제 1 이미지를 제공하는 코드,
    디코더가 렌더링 뷰포인트로부터 보이는 상기 장면의 적어도 하나의 렌더링된 이미지의 생성을 가능하게 하는 렌더링 정보를 제공하는 코드,
    상기 제 1 뷰포인트와 상이한, 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 양호한 배향을 규정하는 양호한 방향 지시자를 제공하는 코드,
    상기 제 1 이미지, 상기 렌더링 정보 및 상기 양호한 방향 지시자를 나타내는 인코딩된 데이터를 포함하는 3D 비디오 데이터 신호를 생성하는 코드로서, 상기 양호한 방향 지시자는 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 상기 양호한 배향이 상기 제 1 뷰포인트의 좌측 또는 우측, 상측 또는 하측인지를 규정하는 단일 비트 또는 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 양호한 거리 또는 최대 거리 중 하나인, 상기 3D 비디오 데이터 신호를 생성하는 코드를 포함하는, 비디오 데이터 신호를 인코딩하기 위한 코드를 포함하는 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.
  11. 3D 비디오 데이터 신호를 디코딩하는 방법으로서, 상기 3D 비디오 데이터 신호는 제 1 뷰포인트로부터 보이는 장면의 제 1 이미지, 상기 제 1 뷰포인트와 상이한 렌더링 뷰포인트로부터 보이는 상기 장면(100)의 적어도 하나의 렌더링된 이미지의 생성을 가능하게 하기 위한 렌더링 정보 및 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 양호한 배향을 규정하는 양호한 방향 지시자를 나타내는 인코딩된 데이터를 포함하는, 상기 3D 비디오 데이터 신호를 디코딩하는 방법에 있어서:
    처리기에서,
    상기 3D 비디오 데이터 신호를 수신하는 단계로서, 상기 양호한 방향 지시자는 양호한 방향 지시자가 프레임마다 인코딩되는 옵션, 양호한 방향 지시자가 프레임들의 그룹마다 인코딩되는 옵션 및 양호한 방향 지시자가 장면마다 인코딩되는 옵션 중 적어도 하나를 사용하여 상기 3D 비디오 데이터 신호에 인코딩되고, 상기 양호한 방향 지시자의 값은 프레임들의 그룹 및 상기 렌더링 뷰포인트를 선택하는 장면 중 하나에 대해 일정한, 상기 3D 비디오 데이터 신호를 수신하는 단계, 및
    선택된 상기 렌더링 뷰포인트로부터 보이는 상기 장면의 상기 렌더링된 이미지를 생성하는 단계를 포함하는, 3D 비디오 데이터 신호를 디코딩하는 방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020127011133A 2009-10-02 2010-09-21 ３ｄ 비디오에서 추가 뷰들을 생성하기 위한 뷰포인트들을 선택하는 방법 KR101727094B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09172096.1 2009-10-02
EP09172096 2009-10-02
PCT/IB2010/054251 WO2011039679A1 (en) 2009-10-02 2010-09-21 Selecting viewpoints for generating additional views in 3d video

Publications (2)

Publication Number Publication Date
KR20120093243A KR20120093243A (ko) 2012-08-22
KR101727094B1 true KR101727094B1 (ko) 2017-04-17

Family

ID=43129795

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127011133A KR101727094B1 (ko) 2009-10-02 2010-09-21 ３ｄ 비디오에서 추가 뷰들을 생성하기 위한 뷰포인트들을 선택하는 방법

Country Status (8)

Country Link
US (1) US9167226B2 (ko)
EP (1) EP2483750B1 (ko)
JP (1) JP5859441B2 (ko)
KR (1) KR101727094B1 (ko)
CN (1) CN102549507B (ko)
BR (1) BR112012007115A2 (ko)
RU (1) RU2551789C2 (ko)
WO (1) WO2011039679A1 (ko)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2006225115B2 (en) * 2005-03-16 2011-10-06 Lucasfilm Entertainment Company Ltd. Three- dimensional motion capture
EP3328048B1 (en) 2008-05-20 2021-04-21 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
KR101973822B1 (ko) 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
IN2014CN02708A (ko) 2011-09-28 2015-08-07 Pelican Imaging Corp
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
WO2014031795A1 (en) 2012-08-21 2014-02-27 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
CZ308335B6 (cs) * 2012-08-29 2020-05-27 Awe Spol. S R.O. Způsob popisu bodů předmětů předmětového prostoru a zapojení k jeho provádění
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9596446B2 (en) 2013-02-06 2017-03-14 Koninklijke Philips N.V. Method of encoding a video data signal for use with a multi-view stereoscopic display device
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9426451B2 (en) * 2013-03-15 2016-08-23 Digimarc Corporation Cooperative photography
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
ITRM20130244A1 (it) * 2013-04-23 2014-10-25 MAIOR Srl Metodo per la riproduzione di un film
WO2014181220A1 (en) 2013-05-10 2014-11-13 Koninklijke Philips N.V. Method of encoding a video data signal for use with a multi-view rendering device
US9898856B2 (en) * 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US9641592B2 (en) 2013-11-11 2017-05-02 Amazon Technologies, Inc. Location of actor resources
US9582904B2 (en) 2013-11-11 2017-02-28 Amazon Technologies, Inc. Image composition based on remote object data
US9634942B2 (en) 2013-11-11 2017-04-25 Amazon Technologies, Inc. Adaptive scene complexity based on service quality
US9604139B2 (en) 2013-11-11 2017-03-28 Amazon Technologies, Inc. Service for generating graphics object data
US9578074B2 (en) 2013-11-11 2017-02-21 Amazon Technologies, Inc. Adaptive content transmission
US9596280B2 (en) 2013-11-11 2017-03-14 Amazon Technologies, Inc. Multiple stream content presentation
US9805479B2 (en) 2013-11-11 2017-10-31 Amazon Technologies, Inc. Session idle optimization for streaming server
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
EP2960864B1 (en) * 2014-06-23 2018-12-05 Harman Becker Automotive Systems GmbH Device and method for processing a stream of video data
JP2017531976A (ja) 2014-09-29 2017-10-26 フォトネイション ケイマン リミテッド アレイカメラを動的に較正するためのシステム及び方法
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10204449B2 (en) * 2015-09-01 2019-02-12 Siemens Healthcare Gmbh Video-based interactive viewing along a path in medical imaging
EP3273686A1 (en) 2016-07-21 2018-01-24 Thomson Licensing A method for generating layered depth data of a scene
US10353946B2 (en) * 2017-01-18 2019-07-16 Fyusion, Inc. Client-server communication for live search using multi-view digital media representations
CN110546688B (zh) * 2017-05-30 2023-11-17 索尼公司 图像处理装置和方法、文件生成装置和方法及程序
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
EP3608873B1 (en) 2017-12-14 2021-06-09 Canon Kabushiki Kaisha Generation device, generation method and program for three-dimensional model
KR102278848B1 (ko) * 2018-07-31 2021-07-19 엘지전자 주식회사 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치
WO2020097750A1 (en) * 2018-11-12 2020-05-22 Intel Corporation Automated field of view estimation from game participant perspectives
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
DE112020004813B4 (de) 2019-10-07 2023-02-09 Boston Polarimetrics, Inc. System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation
IT201900021645A1 (it) * 2019-11-19 2021-05-19 Sacmi Apparato per l’ispezione ottica di sanitari
CN114787648B (zh) 2019-11-30 2023-11-10 波士顿偏振测定公司 用于使用偏振提示进行透明对象分段的系统和方法
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
JP2023511747A (ja) 2020-01-30 2023-03-22 イントリンジック イノベーション エルエルシー 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009147508A (ja) * 2007-12-12 2009-07-02 Hitachi Ltd 立体視画像生成方法、その装置、及び立体視画像表示装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6327381B1 (en) * 1994-12-29 2001-12-04 Worldscape, Llc Image transformation and synthesis methods
US6088006A (en) * 1995-12-20 2000-07-11 Olympus Optical Co., Ltd. Stereoscopic image generating system for substantially matching visual range with vergence distance
US6222551B1 (en) * 1999-01-13 2001-04-24 International Business Machines Corporation Methods and apparatus for providing 3D viewpoint selection in a server/client arrangement
RU2237283C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
JP4174001B2 (ja) * 2002-09-27 2008-10-29 シャープ株式会社 立体画像表示装置、記録方法、及び伝送方法
EP1431919B1 (en) * 2002-12-05 2010-03-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding three-dimensional object data by using octrees
US7403201B2 (en) 2003-01-20 2008-07-22 Sanyo Electric Co., Ltd. Three-dimensional video providing method and three-dimensional video display device
JP4324435B2 (ja) * 2003-04-18 2009-09-02 三洋電機株式会社 立体視用映像提供方法及び立体映像表示装置
US20060200744A1 (en) * 2003-12-08 2006-09-07 Adrian Bourke Distributing and displaying still photos in a multimedia distribution system
GB0415223D0 (en) 2004-07-07 2004-08-11 Sensornet Ltd Intervention rod
JP2006041811A (ja) * 2004-07-26 2006-02-09 Kddi Corp 自由視点画像ストリーミング方式
EP1686554A3 (en) * 2005-01-31 2008-06-18 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
US8400494B2 (en) * 2005-10-11 2013-03-19 Primesense Ltd. Method and system for object reconstruction
KR100714672B1 (ko) * 2005-11-09 2007-05-07 삼성전자주식회사 스플렛을 이용한 깊이 기반의 영상 렌더링 방법 및 그방법을 채용한 시스템
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
JP5011319B2 (ja) 2006-02-28 2012-08-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像における指向性の穴埋め
US8594180B2 (en) 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
GB0712690D0 (en) * 2007-06-29 2007-08-08 Imp Innovations Ltd Imagee processing
WO2009009465A1 (en) 2007-07-06 2009-01-15 Christopher William Heiss Electrocoagulation reactor and water treatment system and method
JP2009075869A (ja) * 2007-09-20 2009-04-09 Toshiba Corp 多視点画像描画装置、方法及びプログラム
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
WO2009047681A1 (en) * 2007-10-11 2009-04-16 Koninklijke Philips Electronics N.V. Method and device for processing a depth-map
CN101257641A (zh) * 2008-03-14 2008-09-03 清华大学 基于人机交互的平面视频转立体视频的方法
JP4827881B2 (ja) * 2008-04-30 2011-11-30 三洋電機株式会社 映像ファイル処理方法及び映像送受信再生システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009147508A (ja) * 2007-12-12 2009-07-02 Hitachi Ltd 立体視画像生成方法、その装置、及び立体視画像表示装置

Also Published As

Publication number Publication date
JP2013507026A (ja) 2013-02-28
US9167226B2 (en) 2015-10-20
JP5859441B2 (ja) 2016-02-10
RU2551789C2 (ru) 2015-05-27
RU2012117572A (ru) 2013-11-10
BR112012007115A2 (pt) 2020-02-27
CN102549507A (zh) 2012-07-04
US20120188341A1 (en) 2012-07-26
KR20120093243A (ko) 2012-08-22
CN102549507B (zh) 2014-08-20
EP2483750A1 (en) 2012-08-08
EP2483750B1 (en) 2018-09-12
WO2011039679A1 (en) 2011-04-07

Similar Documents

Publication Publication Date Title
KR101727094B1 (ko) ３ｄ 비디오에서 추가 뷰들을 생성하기 위한 뷰포인트들을 선택하는 방법
US11601659B2 (en) Efficient coding of depth transitions in 3D video
KR101484487B1 (ko) 깊이-맵을 프로세싱하는 방법 및 디바이스
JP6258923B2 (ja) ３ｄ映像を処理するための品質メトリク
JP6351588B2 (ja) 奥行きフィルタリング用のメタデータ
KR20090007384A (ko) 다중 뷰들의 효율적인 인코딩 방법
EP2834982B1 (en) Depth helper data
EP2949121A1 (en) Method of encoding a video data signal for use with a multi-view stereoscopic display device
JP2023522456A (ja) マルチビュービデオシーケンスをコード化および復号するための方法およびデバイス
US20150062296A1 (en) Depth signaling data
EP2624559A1 (en) Image transmission device and method, and image reproduction device and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant