KR20150106879A - 플렌옵틱 라이트 필드에 어노테이션을 추가하는 방법 및 기기 - Google Patents

Abstract

본 발명에 따르면, 플렌옵틱 캡쳐 디바이스(4)로 라이트 필드를 나타내는 데이터(100)를 검색하는 단계; 검색된 데이터를 해당 참조 데이터(101)와 매칭시키기 위한 프로그램 코드를 실행하는 단계; 상기 참조 데이터(102)의 요소와 관련된 플렌옵틱 포맷의 적어도 하나의 어노테이션(61,63,564)를 검색하기 위한 프로그램 코드를 실행하는 단계; 및 상기 검색된 데이터로부터 플랜옵틱 포맷의 어노테이션된 데이터와 상기 어노테이션(103)을 생성하기 위한 프로그램 코드를 실행하는 단계를 포함하는 방법이 개시된다.

Description

플렌옵틱 라이트 필드에 어노테이션을 추가하는 방법 및 기기{Method and apparatus for adding annotations to a plenoptic light field}

본 발명은 증강현실 방법 및 기기에 관한 것으로, 보다 상세하게는 장면에 해당하는 데이터에 어노테이션을 추가하는 방법 및 다양한 기기에 관한 것이다.

스마트폰, 팜탑 컴퓨터, 휴대용 미디어 플레이어, PDA(Personal-Digital-Assistant) 디바이스 등과 같은 소형 휴대용 디바이스의 발전이 급속히 진보함에 따라 이미지 처리를 포함한 새로운 특징들 및 애플리케이션들이 포함되게 되었다. 가령, 증강현실 애플리케이션은 사용자가 휴대용 디바이스를 장면, 가령, 풍경, 건물, 포스터 또는 박물관의 그림에 가리키면, 디스플레이가 장면에 대한 겹쳐진 정보와 함께 이미지를 나타내는 것이 알려져 있다. 이런 정보는 이름, 가령, 산과 거주지, 사람 이름, 건물에 대한 역사적 정보, 및 광고, 가령 식당 메뉴와 같은 상업적 정보를 포함할 수 있다. 이런 시스템의 일예가 EP1246080 및 EP2207113에 기술되어 있다.

무선통신망내 서버들에 의해 휴대용 디바이스들에 어노테이션 정보를 제공하는 것이 공지되어 있다. 서버들 및 휴대용 디바이스들과 함께 통신망을 포함한 어노테이션 시스템과 어노테이션 방법이 또한 공지되어 있다.

많은 어노테이션 방법들은 표준 CCD 또는 CMOS 센서를 갖는 표준 핀홀 카메라에 의해 생성된 2D 이미지와 같은 이미지, 또는 컴퓨터 생성 이미지를 데이터베이스에 저장된 참조 이미지 세트와 비교하는 단계를 포함한다. 실제 시야각 및 조명 조건은 데이터베이스에 저장된 이미지에 대해 다를 수 있으므로, 비교 알고리즘의 목적은 이들 파라미터들의 영향을 제거하는 것이다.

예컨대, WO2008134901은 통신단말기와 관련된 디지털 카메라를 이용해 제 1 이미지가 찍히는 방법을 기술하고 있다. 제 1 이미지에 대한 쿼리 데이터가 통신망을 통해 원격인식서버로 전송되고, 일치하는 참조 이미지가 식별된다. 제 1 이미지의 일부를 어노테이션 이미지의 적어도 일부로 교체함으로써, 증강 이미지가 생성되고 통신단말기에 디스플레이된다. 카메라로 찍은 제 1 이미지의 증강은 평면 공간에 발생하며 2차원 이미지와 물체만을 다룬다.

공간의 각 점에서 광선의 방향과 같은 광선 정보는 종래 이미지 어노테이션 시스템에서 버려진다. 광선 정보가 없는 어노테이션은 어노테이션된 장면의 실제 뷰를 더 어렵게 한다. 예컨대, 물체의 표면에 질감을 캡쳐하거나 디스플레이하는 것은 광선 정보를 필요로 한다. 각 물체가 표면에 다른 질감을 갖고 있으나, 현재 어노테이션 시스템에서 질감 정보를 추가할 수 없다. 이로 인해 결부된 어노테이션들이 그 장면에 사실적으로 구성되지 않게 된다.

게다가, 증강현실의 급속한 성장으로 장래에 어노테이션의 홍수가 발생할 수 있다. 가령 도시에서 몇몇 장면들은 다른 어노테이션들과 관련된 많은 요소들을 포함하므로, 이미지들이 어노테이션되어, 매우 많은 어노테이션들이 배경 이미지의 대부분을 덮어버린다. 많은 상황에서, 사용자는 제한된 개수의 이들 어노테이션들에만 관심 있고 다른 어노테이션들은 그냥 흘려버린다. 따라서, 어노테이션 개수를 제한하고 디스플레이되어야 하는 어노테이션들을 선택하는 방법을 제공하는 것이 종종 바람직할 것이다.

더욱이, 계산 부담도 어노테이션된 장면 뷰에 대해 중요한 문제이다. 계산 부담의 절감이 요구될 것이다.

따라서, 본 발명의 목적은 기존 증강현실 시스템의 상술한 문제를 해결하거나 적어도 완화하는 것이다.

본 발명에 따르면, 이들 목적은

플렌옵틱 캡쳐 디바이스로 라이트 필드를 나타내는 데이터를 검색하는 단계;

검색된 데이터를 해당 참조 데이터와 매칭시키기 위한 프로그램 코드를 실행하는 단계;

상기 참조 데이터의 요소와 관련된 플렌옵틱 포맷의 적어도 하나의 어노테이션을 검색하기 위한 프로그램 코드를 실행하는 단계; 및

상기 검색된 데이터로부터 플랜옵틱 포맷의 어노테이션된 데이터와 상기 어노테이션을 생성하기 위한 프로그램 코드를 실행하는 단계를 포함하는 방법에 의해 달성된다.

본 발명은 또한 장면에 해당하는 데이터를 캡쳐하고 어노테이션을 다는 기기로서,

라이트 필드를 나타내는 데이터를 캡쳐하기 위한 플렌옵틱 캡쳐링 디바이스;

프로세서;

디스플레이;

상기 프로세서가 상기 플렌옵틱 캡쳐링 디바이스로 캡쳐된 데이터의 소자와 관련된 플렌옵틱 포맷의 적어도 하나의 어노테이션을 검색하게 하고 캡쳐된 데이터로부터 발생된 뷰를 상기 디스플레이에 렌더링하며 상기 프로그램 코드가 실행될 경우 상기 적어도 하나의 어노테이션을 포함하기 위한 프로그램 코드를 구비하는 기기에 의해 달성된다.

본 발명은 또한

프로세서;

저장장치;

상기 프로세서가 라이트 필드를 나타내는 데이터를 검색하게 하고, 상기 데이터를 하나의 참조 데이터와 매치시키게 하며, 상기 저장매체로부터 상기 참조 데이터와 관련된 플렌옵틱 포맷의 어노테이션을 결정하며, 플렌옵틱 포맷의 상기 어노테이션 또는 플렌옵틱 포맷의 어노테이션 이미지 중 하나를 상기 프로그램 코드가 실행될 경우 원격 디바이스로 전송하게 하는 프로그램 코드를 구비한 어노테이션을 결정하기 위한 기기를 제공한다.

특허청구된 플렌옵틱 포맷의 어노테이션의 추가는 플렌옵틱 포맷의 이미지에서 어노테이션의 더 실감나는 통합을 허용한다; 어노테이션은 단지 이미지 위로 겹쳐진 텍스트 대신 캡쳐된 장면의 요소인 것 같다. 플렌옵틱 포맷의 어노테이션(또한, 본 출원에서 "플렌옵틱 어노테이션"이라 함)은 광선이 어떻게 변경되는지에 대한 정보를 포함한 종래 어노테이션보다 더 완전한 라이트 필드에 대한 설명을 포함한다.

플렌옵틱 포맷의 어노테이션의 제공은 또한 가령 그의 관심을 기초로 이미지의 렌더링 동안 사용자에 의해 선택되거나 자동으로 선택된 초점거리 및/또는 관점에 따라 디스플레이되어야 하는 어노테이션의 선택을 가능하게 한다.

어노테이션들이 캡쳐된 데이터 보다 동일한 공간(즉, 플렌옵틱 공간)에 있기 때문에, 어노테이션 프로세스에 대한 계산 비용이 절감된다.

특히, 사람이 이해할 수 있는 포맷의 플렌옵틱 데이터를 렌더링하기 위한 계산 비용이 절감된다. 실제로, 플렌옵틱 포맷의 이미지와 플렌옵틱 어노테이션은 동일 공간에 놓여 있기 때문에, 렌더링 프로세스가 둘 다 똑같다. 일실시예에서, 하나의 렌더링 프로세스는 이미지와 관련된 어노테이션을 렌더링하기 위해 사용될 수 있다. 이 경우, 플렌옵틱 렌더링 프로세스에 대해 선택된 (초점, 깊이, 관점 변경 등과 같은) 투사 파라미터들도 또한 플렌옵틱 어노테이션에 적용된다. 예컨대, 플렌옵틱 이미지의 초점 또는 관점을 변경할 경우, 다양한 거리로 플렌옵틱 어노테이션들을 디스플레이하기 위해 동일한 변환이 이용될 수 있다. 또 다른 실시예에서, 어노테이션의 효과는 캡쳐된 플렌옵틱 이미지에 적용되고, 변경된 플렌옵틱 이미지의 렌더링이 수행된다.

따라서, 플렌옵틱 어노테이션, 즉, 플렌옵틱 포맷의 어노테이션은 어노테이션을 디스플레이하는 실감나는 방법을 제공하고, 질감있는 어노테이션을 포함한 더 만은 타입의 어노테이션들을 가능하게 하며 계산 효율을 높인다.

종래 어노테이션들과는 달리, 플렌옵틱 어노테이션은 플렌옵틱 캡쳐링 디바이스가 캡쳐한 이미지만큼이나 광선에 대한 많은 정보를 포함할 수 있다. 따라서, 2D 이미지로의 투사에 의해 야기된 광선 정보를 상실함이 없이 캡쳐된 라이트 필드에 직접 어노테이션을 합성할 수 있다. 예컨대, 어노테이션은 종래 어노테이션 시스템으로 할 수 없는 어노테이션된 물체의 표면에 광반사의 특징을 보유할 수 있다. 이런 의미에서, 어노테이션된 뷰들이 더 실감나 보인다.

광선의 방향 변경은 여러 관점에서 어노테이션된 장면의 동시 생성과 같은 계산을 용이하게 할 수 있다. 어노테이션된 장면 생성의 예에서, 장면에 대한 어노테이션 프로세싱과 흐릿하게 하기 또는 선명하게 하기와 같은 다른 가외의 프로세싱도 어노테이션을 달고 각 관점에 대해 생성된 2D 이미지에 과외의 프로세싱을 직접 적용하는 대신 플렌옵틱 포맷으로 한번 적용된다. 따라서, 플렌옵틱 이미지와 집적적으로 플렌옵틱 포맷의 플렌옵틱 어노테이션의 합성으로 계산 비용이 절감될 수 있다.

본 발명은 또한

뷰어로 플렌옵틱 포맷의 상기 참조 이미지를 나타내는 단계;

어노테이션을 선택하는 단계;

상기 어노테이션에 대한 한 위치를 선택하는 단계와 상기 어노테이션이 보일 수 있는 하나 또는 복수의 방향들을 상기 뷰어로 선택하는 단계; 및

메모리에 상기 위치 및 상기 방향을 상기 어노테이션 및 플렌옵틱 포맷의 상기 참조 이미지와 연관시키는 단계를 포함하는 플렌옵틱 포맷의 참조 이미지에 어노테이션을 달기 위한 방법에 관한 것이다.

이 방법은 적절한 소프트웨어 애플리케이션 또는 웹사이트와 같은 적절한 오서링 시스템으로 실행될 수 있다.

본 발명의 내용에 포함됨.

본 발명은 예로써 주어지고 도면에 의해 예시된 실시예에 대한 설명의 도움으로 더 잘 이해될 것이다:
도 1은 물체가 제 1 거리에 있는 장면의 라이트 필드를 나타내는 데이터를 캡쳐하기 위한 플렌옵틱 캡쳐 디바이스를 개략 도시한 것이다.
도 2는 물체가 제 2 거리에 있는 장면의 라이트 필드를 나타내는 데이터를 캡쳐하기 위한 플렌옵틱 캡쳐 디바이스를 개략 도시한 것이다.
도 3은 물체가 제 3 거리에 있는 장면의 라이트 필드를 나타내는 데이터를 캡쳐하기 위한 플렌옵틱 캡쳐 디바이스를 개략 도시한 것이다.
도 4는 본 발명을 함께 구현하는 다양한 장치 소자들을 포함한 시스템을 개략 도시한 것이다.
도 5a 및 도 5b는 동일한 플렌옵틱 데이터로부터 렌더링된 어노테이션 뷰를 도시한 것으로, 렌더링 동안 사용자가 선택한 관점이 두 뷰들 사이에서 변해, 동일한 어노테이션이 다른 방식으로 렌더링된다.
도 6a 및 도 6b는 동일한 플렌옵틱 데이터로부터 렌더링된 어노테이션 뷰를 도시한 것으로, 렌더링 동안 사용자가 선택한 관점이 두 뷰들 사이에서 변해, 제 1 어노테이션이 제 1 뷰에 볼 수 있게 되고 제 2 어노테이션이 제 2 뷰에 볼 수 있게 된다.
도 7a 및 도 7b는 동일한 플렌옵틱 데이터로부터 렌더링된 어노테이션 뷰를 도시한 것으로, 렌더링 동안 사용자가 선택한 초점거리가 두 뷰들 사이에서 변해, 제 1 어노테이션이 제 1 뷰에 볼 수 있게 되고 제 2 어노테이션이 제 2 뷰에 볼 수 있게 된다.
도 8은 플렌옵틱 포맷으로 어노테이션을 갖는 뷰를 생성하고 렌더링하는 방법의 블록도이다.
도 9는 시청자가 뷰 상에서 다른 뷰잉 방향 및/또는 다른 초점거리를 선택할 때 어노테이션의 렌더링을 변경하기 위한 방법의 블록도이다.
도 10은 참조 데이터와 플렌옵틱 포맷의 어노테이션을 연관시키기 위한 방법의 블록도이다.
도 11은 비디오 플렌옵틱 이미지들 또는 사용자가 캡쳐한 플렌옵틱 이미지들과 같은 일련의 플렌옵틱 이미지들의 연속 어노테이션 방법의 블록도이다.

종래 카메라들은 센서 상에 장면의 2D 프로젝션을 캡쳐하고 컬러로 또는 컬러 없이 각 픽셀 상에 광의 강도를 나타내는 데이터를 발생한다. 다른 한편으로, 이와 같이 알려진 플렌옵틱 캡쳐링 디바이스들은 라이트 필드를 나타내는 데이터, 즉, 광의 강도뿐만 아니라 광의 방향을 포함한 라이트 필드에 대한 더 완전한 정보를 나타내는 매트릭스를 캡쳐한다.

완전한 라이트 필드는 각 광선을 기술하기(또는 주어진 위치에서 광선을 기술하는) 위해 7개까지의 파라미터들, 즉 3개는 위치, 2개는 방향, 1개는 파장 및 (비디오의 경우) 1개는 시간에 대한 파라미터를 포함할 수 있다. 몇몇 현재 플렌옵틱 카메라는 위치에 대해 2개, 방향에 대해 2개, 파장에 대해 1개의 파라미터를 포함하는 플렌옵틱 데이터를 전달한다. 센서들은 소위 플렌옵틱 라이트 필드를 나타내는 플렌옵틱 데이터, 즉, 광선의 적어도 위치 및 방향을 나타내는 매트릭스를 발생한다. 이는 플렌옵틱 캡쳐링 디바이스에 의해 발생된 플렌옵틱 데이터가 종래 2D 카메라에 의해 발생된 종래 2D 이미지 데이터보다 라이트 필드에 대해 더 많은 정보를 포함하는 것을 의미한다.

오늘날 현재, 적어도 2개의 회사들(Lytro 및 Raytrix)이 이와 같은 플렌옵틱 라이트 필드를 기록할 수 있는 플렌옵틱 센서들을 제안한다. 이들의 2개의 카레라들은 디자인 면에서 약간 다르나, 주요 아이디어는 표준 카메라 센서에 있는 하나의 포토사이트(또는 픽셀)에 닿는 것으로 추정되는 광의 다른 방향들을 분해하는 것이다. 이를 위해, 도 1에 도시된 바와 같이, 마이크로렌즈(20) 어레이가 종래 카메라의 센서 대신에 메인 렌즈(1) 뒤에 위치된다.

그런 식으로, 마이크로렌즈(20)는 이들의 입사각에 따라 광선을 재지향시키고 재지향된 광선들은 센서(21)의 여러 픽셀들(210)에 도달한다. 서브 이미지를 만드는 N×M 픽셀(210)들 각각에 의해 측정된 광량은 서브이미지의 앞에 있는 마이크로렌즈(20)에 부딪히는 광빔의 방향에 따른다.

도 1 내지 도 3은 n=9 서브이미지들을 포함한 간단한 1차원 센서를 도시한 것으로, 각 서브이미지는 한 줄의 N×M 픽셀(또는 포토사이트)(210)을 갖고, 이 예에서 N은 3이고 M은 1이다. 많은 플렌옵틱 센서들은 더 많은 서브이미지들과 각 서브이미지에 대해 더 많은 픽셀들, 가령 9×9 픽셀들을 가져, 마이크로렌즈(20) 상에 N×M=81개의 다른 광 방향들을 구별하게 한다. 장면의 모든 물체들이 초점에 있는 것으로 가정하면, 따라서 각 서브이미지는 다양한 방향에서 온 광량을 나타내는 휘도값의 패치를 서브이미지에 포함한다.

이 구성에서, 마이크로렌즈(20) 어레이가 플렌옵틱 캡쳐링 디바이스의 메인 렌즈(1)에 의해 형성된 이미지 면에 위치되고, 센서(21)는 마이크로렌즈로부터 거리(f)에 위치되며, 여기서 f는 마이크로렌즈의 초점거리이다. 이 설계는 큰 각(角) 해상도를 가능하게 하나 상대적으로 공간 해상도가 열악해진다(렌더링된 이미지당 유효 픽셀개수는 마이크로렌즈의 개수와 같다). 이 문제는 마이크로렌즈가 메인 렌즈의 이미지면에 초점맞추어지므로, 마이크로렌즈와 이미지면 간에 갭을 형성하는 다른 플렌옵틱 캡쳐링 디바이스에 의해 해결된다. 이런 설계에 따른 대가로 각 해상도가 더 나빠진다.

도 1에서 3에서 관찰될 수 있는 바와 같이, 이 예에서 한 점(3)이 있는 장면에 해당하는 플렌옵틱 라이트 필드는 점(3)에서 메인 렌즈(1)까지 거리에 따른다. 도 1에서, 이 물체에서 나온 모든 광빔들은 동일한 마이크로렌즈(20)에 도달하므로, 이 마이크로렌즈에 해당하는 서브이미지에서의 모든 픽셀들은 제 1의 양의 광강도를 기록하는 반면, 다른 렌즈에 해당하는 모든 다른 픽셀들은 다른, 0의 광강도를 기록하는 플렌옵틱 라이트 필드가 된다. 물체(3)가 렌즈(1)에 더 가까이 있는 도 2에서, 점(3)에서 발생한 몇몇 광빔들은 이전에 부딪힌 마이크로렌즈에 인접한 2개의 마이크로렌즈와 관련된 다른 픽셀들에 도달한다. 그러므로, 센서(21)에 의해 전달된 디지털 데이터(22)는 물체(3)까지의 거리에 따른다.

따라서, 플렙옵틱 센서(21)는 마이크로렌즈(20)에 해당하는 각 서브 이미지에 대해 이 서브이미지 위의 렌즈에 다양한 방향들에서 나온 광량을 나타내는 한 세트의 (N×M) 값들을 포함한 플렌옵틱 데이터(22)를 전달한다. 소정의 물체 초점에 대해, 서브이미지의 각 픽셀은 (페이지의 평면에서) 소정의 입사각 파이와 (페이지의 면에 수직한) 세타로 센서에 부딪히는 광선의 강도 측정에 해당한다.

도 4는 본 발명을 구현하는 어노테이션 시스템의 블로도를 개략 도시한 것이다. 상기 시스템은 휴대용 디바이스와 같은 사용자 디바이스(4), 스마트폰, 태블릿, 카메라, 안경, 구글, 컨택트 렌즈 등을 포함한다. 디바이스(4)는 장면(3)에 도시된 카메라와 같이 도 1 내지 도 3에 도시된 카메라와 같은 플렌옵틱 캡쳐링 디바이스(41), 적절한 프로그램 코드를 갖는 마이크로프로세서(400)와 같은 프로세서, 및 인터넷(6)과 같은 네트워크를 통해 디바이스(4)를 원격 서버(5), 가령 클라우드 서버에 연결하기 위한 WIFI 및/또는 셀룰러 인터페이스와 같은 통신모듈(401)을 포함한다. 서버(5)는 이미지들을 나타내는 참조 플렌옵틱 데이터의 컬렉션 및/또는 하나 또는 복수의 글로벌 모델을 저장하기 위해 SQL 데이터베이스, 한 세트의 XML 다큐먼트, 플렌옵틱 포맷의 한 세트의 이미지 등과 같은 데이터베이스를 갖는 저장장치(50)와, 마이크로프로세서가 어노테이션 방법에 필요한 동작을 수행하도록 하는 컴퓨터 코드를 갖는 마이크로프로세서를 포함한 프로세서(51)를 구비한다. 어노테이션 및 해당 위치들은 또한 참조 플렌옵틱 데이터를 따라 저장장치(50)에 저장될 수 있다.

사용자 디바이스(4)에 의해 실행되는 프로그램 코드는 사용자 디바이스(4)에서 사용자에 의해 다운로드되고 설치될 수 있는 가령 애플리케이션 소프트웨어, 또는 앱을 포함할 수 있다. 프로그램 코드는 또한 사용자 디바이스(4)의 동작 코드의 일부를 포함할 수 있다. 프로그램 코드는 또한 가령, Java, Javascript, HTML5 코드 등을 포함한 웹페이지에 들어있거나 브라우저에서 실행되는 코드를 포함할 수 있다. 프로그램 코드는 플래시 메모리, 하드 디스크 또는 임의의 타입의 영구 또는 반영구 메모리와 같은 접촉식 장치판독가능 매체에 컴퓨터 프로그램 제품으로서 저장될 수 있다.

이 마이크로프로세서가 해당하는 캡쳐된 데이터 세트의 적어도 일부를 라이트 필드로 또는 이들 데이터 세트의 특징들을 원격 서버(5)로 전송하도록 사용자 디바이스(4)에 있는 마이크로프로세서(400)에 의해 프로그램 코드가 실행된다. 프로그램 코드는 "플렌옵틱 포맷"의 즉, 광선의 방향에 대한 정보를 상실하지 않고 데이터를 전송하기 위해 배열된다. 프로그램 코드는 또한 마이크로프로세서(400)가 서버(5)로부터 플랜옵틱 포맷의 어노테이션된 데이터 또는 이전에 전송된 플렌옵틱 데이터와 관련된 어노테이션을 수신하고 어노테이션과 더불어 캡쳐된 데이터에 해당하는 뷰를 렌더링하게 할 수 있다.

플렌옵틱 어노테이션 방법은 2부분, 즉, 오프라인 프로세스와 온라인 프로세스를 포함할 수 있다. 일반적으로, 오프라인 프로세서의 주요 목적은 어노테이션을 플렌옵틱 포맷의 참조 이미지들, 또는 다른 2D, 스테레오스코픽, 또는 3D 참조 이미지들과 연관시키는 것이다.

오프라인 단계

플렌옵틱 포맷의 참조 이미지들의 경우, 오프라인 프로세스는 예컨대 다음 단계들을 포함할 수 있다:

1. 플렌옵틱 포맷이고 라이트 필드를 나타내는 참조 데이터를 디바이스(4)로부터 수신하는 단계;

2. 가령, 플렌옵틱 뷰어로 플렌옵틱 참조 이미지의 렌더링 뷰를 나타내는 단계;

3. 플렌옵틱 어노테이션을 선택하는 단계;

4. 렌더링 뷰에서 어노테이션에 대한 위치와 방향을 선택하는 단계;

5. 어노테이션의 라이트 필드 파리미터들 중 한 개 또는 복수 개를 선택하는 단계;

6. (선택적으로) 어노테이션에 대한 동작을 귀속시키는 단계; 및

7. 메모리에서 참조 이미지 광선을 위치 및 방향을 기초로 한 어노테이션 광선과 연관시키는 단계.

오프라인 프로세스는 서버(5)에, 사용자 디바이스(4)에 또는 개인용 컴퓨터, 태블릿 등과 같은 또 다른 장비에 수행될 수 있다. 대표적으로, 이 오프라인 프로세스는 참조 이미지와 관련된 각 어노테이션에 대해 단 한 번만 실행된다. 선택된 어노테이션이 초기에 플렌옵틱 포맷에 이용될 수 없다면, 플렌옵틱으로 변환될 수 있다.

온라인 프로세스의 주요 목적은 플렌옵틱 어노테이션을 플렌옵틱 이미지에 추가하는 것이다. 온라인 프로세스는 2 단계를 포함할 수 있다. 첫번째 단계는 서버(5)가 하기의 과제들 중 적어도 하나를 실행하도록 하는 실행가능한 프로그램들 또는 다른 코드들을 포함할 수 있는 서버(5)에 있는 마이크로프로세서에 의해 실행되는 프로그램 코드에 의해 실행될 수 있다:

1. 플렌옵틱 포맷이고 라이트 필드를 나타내는 데이터를 디바이스(4)로부터 수신하는 단계;

2. 이전에 저장된 모델(참조 이미지) 및/또는 복수의 참조 이미지들을 데이터베이스(50)로부터 검색하는 단계;

3. 사용자 디바이스로부터 수신된 데이터를 참조 이미지의 한 부분과, 복수의 참조 이미지들 중 하나와 각각 일치시키는 단계;

4. 일치하는 참조 이미지와 관련된 어노테이션을 판단하는 단계; 및

5. 플렌옵틱 포맷의 어노테이션 또는 플렌옵틱 포맷의 어노테이션된 이미지를 디바이스(4)로 전송하는 단계.

다양한 실시예에서, 서버에 있는 참조 이미지들과 일치시키기 위해 캡쳐된 데이터를 원격 서버(5)로 전송하는 대신, 이 위치는 한 세트의 로컬로 저장된 참조 이미지들 또는 디바이스에 로컬로 저장된 모델을 이용해 사용자 디바이스에서 로컬적으로 행해질 수 있다. 이 실시예에서, 서버(5)는 사용자 디바이스(4)에 적재되어 있다. 온라인 프로세서는 사용자 요청에 따라 수 회 실행될 수 있다.

온라인 프로세서의 제 2 단계는 디바이스(4)가 하기의 업무들 중 적어도 하나를 실행하게 하는 실행가능한 프로그램들 또는 다른 코드들을 포함할 수 있는 디바이스(4)에 있는 마이크로프로세서에 의해 실행된 프로그램 코드에 의해 실행될 수 있다:

1. 가능하게는 관련된 동작과 함께 플렌옵틱 포맷의 어노테이션 데이터를 서버(4)로부터 수신하는 단계;

2. 캡쳐된 플렌옵틱 라이트 필드에 수신된 어노테이션 데이터를 적용하는 단계;

3. 어노테이션 라이트 필드를 사용자 시청가능한 뷰에 렌더링하는 단계; 및

4. 사용자 인터랙션을 해석하고 관련된 어노테이션 동작을 실행하는 단계.

다양한 실시예에서, 수신된 어노테이션을 디바이스(4)에 캡쳐된 플렌옵틱 필드에 적용하는 대신, 이 단계는 서버(5) 측에 행해질 수 있다. 이 경우, 최종 렌러딩 뷰는 디바이스(4)로 다시 전송되거나 전체 어노테이션 라이트 필드로 전송된다.

따라서, 사용자는 플렌옵틱 참조 이미지의 렌더링 뷰에 대해 어노테이션을 특별한 위치 및 방향과 연관시키고, 어노테이션이 이 특별한 뷰에 사용되어야 하는 하나 또는 복수의 라이트 필드 파라미터들을 나타낼 수 있다. 뷰의 렌더링 동안 시청자 선정한 관점에 따라 동일한 어노테이션이 다르게 렌더링될 수 있다. 시청자가 다른 관점을 선택하면 어노테이션 파라미터의 라이트 필드 파라미터가 변경될 수 있기 때문에, 제 1 어노테이션은 같은 위치에서 제 2 어노테이션으로 교체될 수 있다.

오프라인 프로세스에 대한 흐름도의 일예가 도 10에 도시되어 있다. 흐름도는 사용자가 참조 이미지와 관련되어야 하는 어노테이션, 위치, 이 어노테이션에 따른 방향과 라이트 필드 파라미터들을 선택하여, 이 어노테이션이 플렌옵틱 참조 이미지와 일치하는 캡쳐된 플렌옵틱 이미지에 적용되게 하는 방법을 도시한 것이다.

이 방법은 사용자 디바이스(4)에 로컬로 운영될 수 있는 어노테이션 오서링 시스템을 이용할 수 있다. 어노테이션 오서링 시스템은 또한 웹 플랫폼이 몇몇 도구들에게 어노테이션들을 관리하고 이들을 플렌옵틱 참조 이미지들과 연관시키게 하는 서버(5)에 호스트될 수 있다. 증강현실 사용통계와 같은 서비스들이 또한 웹 플랫폼으로부터 이용될 수 있다. 어노테이션 오서링 시스템은 또한 다른 서버나 사용자의 개인용 컴퓨터, 태블릿 등을 포함한 장비에 운영될 수 있다.

단계(150)에서, 사용자는 플렌옵틱 포맷의 이미지와 같은 참조 이미지를 선택한다. 이미지는 플렌옵틱 오서링 시스템에 업로드되고 어노테이션용 지원 이미지로 이용된다.

플렌옵틱 오서링 시스템의 일부로서, 뷰어는 사용자가 시각화하는 방식으로 사용자에게 업로드된 데이터를 렌더링한다. 데이터가 사람이 이처럼 쉽게 이해될 수 없는 플렌옵틱 포맷이면, 이는 사용자가 이해할 수 있는 공간에 플렌옵틱 모델을 렌더링하는 플렌옵틱 렌더링 모듈을 이용하는 것을 포함할 수 있다. 뷰어는 플렌옵틱 데이터를 조작하고 주어진 뷰에 대해 소정의 위치 및 방향에 어노테이션을 배치하기 위한 툴을 구성하나, 모든 프로세싱 및 플렌옵틱 어노테이션과의 조합은 플렌옵틱 공간에서 직접 행해진다.

일실시예에서, 플렌옵틱 모델은 2D 뷰로 렌더링될 수 있어 사용자가 한번에 한 관점에서 그리고 한 번에 한 초점거리로 시각화할 수 있게 되어, 사용자가 플렌옵틱 모델을 이해하고 편집하게 한다. 한 2D 뷰에서 다른 뷰로 네비게이션하기 위해, 요청시, 2D 뷰가 디스플레이될 수 있도록 컨트롤들이 가능할 수 있다.

또 다른 실시예에서, 플렌옵틱 모델은 부분적 3D 장면으로서 렌더링될 수 있으며, 상기 장면에서는 광선의 다른 방향들이 시각화될 수 있다. 표준의 완전한 3D 장면과의 주요 차이는 플렌옵틱 모델로부터 렌더링될 경우 3D 장면 탐험이 제한된다는 것이다. 예컨대, 뷰 방향뿐만 아니라 뷰 위치도 플렌옵틱 캡쳐링 디바이스에 의해 캡쳐된 것에 제한된다.

단계(151)에서, 사용자는 그가 플렌옵틱 모델의 특정 요소 또는 위치와 연관시키고자 하는 플렌옵틱 어노테이션을 선택한다. 상술한 바와 같이, 플렌옵틱 어노테이션은 플렌옵틱 공간에 정의되고 따라서 광선과 함께 기술된다. 이들 광선들은 예컨대, 텍스트, 이미지, 비디오, 또는 플렌옵틱 이미지 광선에 직접 작용하는 다른 요소들을 기술할 수 있다. 플렌옵틱 어노테이션은 가령 데이터베이스나 파일 탐색기에서 플렌옵틱 어노테이션의 라이브러리로부터 검색될 수 있다. 플렌옵틱 어노테이션은 또한 플렌옵틱 캡쳐링 디바이스로 이를 캡쳐함으로써, 텍스트 에디터로 텍스트를 입력함으로써, 이미지를 그리고/그리거나 음향 또는 비디오를 레코딩함으로써 온 더 플라이(on the fly)로 생성될 수 있다.

일실시예에서, 플렌옵틱 어노테이션은 미리보기로서 오서링 시스템상의 라이브러리 또는 리스트에 나타내질 수 있다. 플렌옵틱 어노테이션 미리보기는 디폴트 뷰에 대한 어노테이션의 렌더링에 해당한다. 이 디폴트 뷰는 위치 및 방향의 플렌옵틱 어노테이션 범위와 관련해 중간 뷰에 해당하는 것으로 무작위로 또는 바람직한 실시예로 취해질 수 있다. 미리보기는 사용자가 플렌옵틱 어노테이션이 무엇과 일치하는지에 대한 빠르고 명확한 아이디어를 얻게 한다. 모델 파장에서 동작하지 않는, 즉, 이들 어노테이션들이 이처럼 시각화될 수 없는 일반적인 타입의 어노테이션에 대해, 미리보기는 오서링 시스템에 의해 렌더링된 현재 모델 뷰의 중심에 적용되는 어노테이션을 나타낸다. 따라서, 이런 타입의 어노테이션이 단지 10°씩 모든 모델 광선들을 회전시키는 효과를 가지면, 미리보기는 각 광선이 10°씩 회전된 현재 모델의 렌더링 뷰의 중심부로 구성될 것이다.

단계(152)에서, 사용자는 플렌옵틱 어노테이션을 추가하고자 하는 선택된 참조 모델의 렌더링 뷰의 좌표 시스템에서 한 위치를 플렌옵틱 오서링 시스템으로 선택한다. 이는 가령 소정의 위치에서 디스플레이된 뷰의 상단에 어노테이션 미리보기 리스트로부터 어노테이션을 드래그하고, 가능하게는 어노테이션을 평행이동, 회전, 리사이즈, 크롭 및/또는 그렇지 않으면 편집함으로써 행해질 수 있다. 대안으로, 사용자는 또한 좌표를 값들로서 컨트롤 패널에 입력할 수 있다.

단계(152')에서, 사용자는 어노테이션의 또 다른 뷰를 만들기 위해 어노테이션 광선들의 파라미터를 조절할 수 있다. 사용자가 가령 어노테이션의 방향을 변경하기 위해 컴퓨터 마우스 포인터를 이용해 어노테이션의 파라미터들을 변경함에 따라, 어노테이션의 광선은 플렌옵틱 모델의 광선들과 결합되고 각각 새로운 위치 또는 새로운 방향에 대해 새로운 2D 뷰가 뷰어에 생성된다. 이는 사용자 마우스 포인터와 그 움직임이 플렌옵틱 공간으로 투사되기 때문에 가능해진다. 포인터의 움직임은 그런 후 2D 렌더링 뷰에 해당하는 가상면에 나란한 면의 어노테이션에 적용된다.

플렌옵틱 모델의 광선과 어노테이션이 조합된 후, 어노테이션의 효과는 참조 이미지의 광선들에 적용된다. 플렌옵틱 어노테이션을 중첩시키는 프로세스는 광선을 변경하는 프로세스로 간주될 수 있다. 캡쳐된 플렌옵틱 데이터는 광선 방향, 각 광선의 파장(즉, 컬러)에 대한 정보를 포함할 수 있고, 이에 따라 어노테이션은 이들 파라미터들의 변경으로 간주될 수 있다. 예컨대, 물체의 표면에 텍스트를 붙이는 것은 표면의 특정 영역에 광선의 파장의 변형으로 볼 수 있다.

어노테이션에 의해 발생된 효과 타입은 어노테이션 그 자체에 의해 결정된다. 일실시예에서, 플렌옵틱 어노테이션은 가령 불투명 텍스트로 구성된다. 이 경우, 모델 광선 파장들은 매핑되는 광선에 대해 어노테이션 광선 파장으로 완전히 교체된다. 모델의 질감을 변경하는 어노테이션을 고려함으로써 다른 어노테이션들에 대해, 모델의 광선은 새로운 질감을 반영하기 위해 어노테이션에 의해 변경되는 이들의 방향을 가질 수 있다. 또 다른 예에서, 모델 광선 위치들은 어노테이션에 의해 변경될 수 있다.

플렌옵틱 어노테이션은 필터 변경 광선으로 간주될 수 있다. 이는 어노테이션 장면을 디스플레이하는 더 많은 가능성을 제공한다. 이 프로세싱의 한가지 다른 예는 광선의 방향을 변경하는 것이다. 일실시예로, 글로우 효과(glow effect)는 광선 방향에 무작위성을 추가함으로써 캡쳐된 플렌옵틱 이미지의 특정 물체에서 나오는 광선들에 적용될 수 있다. 어노테이션된 물체는 반사적이게 될 수 있다. 또 다른 예는 질감 정보의 변형과 같은 표면 속성의 변형이다. 플렌옵틱 어노테이션은 방향 및 파장과 같은 광선의 변수들을 변경하게 하는 것을 허용하므로, 변수들에 변형을 조합함으로써 마치 질감이 추가된 것처럼 물체의 표면을 변경할 수 있다. 예컨대, 플렌옵틱 어노테이션은 방향 및 파장을 변경함으로써 적색의 평평한 표면을 황색의 울퉁불퉁한 표면으로 변경하게 할 수 있다.

모델 광선에 어노테이션의 효과를 설명하는 정보가 단계(154)에 기술되는 바와 같이 플렌옵틱 어노테이션에 저장될 수 있다.

단계(153)에서, 사용자는 하나 또는 복수의 어노테이션 라이트 필드 파라미터들을 선택한다. 이는 가령 컬러를 바꾸기 위한 어노테이션의 파장일 수 있다. 사용자는 또한 다른 방향에서 본 동일한 어노테이션에 대해 다른 뷰잉 또는 심지어 다른 방향에서 본 동일한 요소와 관련된 다른 어노테이션을 정의할 수 있다.

대안으로, 렌러딩된 플렌옵틱 모델에 대해 성공적으로 조절된 다음, 사용자는 플렌옵틱 뷰어의 또 다른 뷰를 네비게이션하도록 선택할 수 있다. 플렌옵틱 어노테이션은 플렌옵틱 모델의 새로운 뷰에 자동으로 보고된다. 그런 후, 사용자는 어노테이션을 편집하고, 이 특별한 뷰에 대해 라이트 필드 파라미터 또는 뷰잉을 바꾸도록 결정할 수 있다. 사용자는 플렌옵틱 모델의 모든 이용가능한 뷰들에 대해 동일한 방식을 진행할 수 있다.

사용자가 플렌옵틱 모델의 모든 뷰를 거치며 네비게이션해야 하는 것을 방지하기 위해 플렌옵틱 어노테이션의 제 1 및 제 2 뷰 사이에 내삽 프로세스가 발생할 수 있다. 플렌옵틱 어노테이션의 이들 2개의 뷰들은 연속적일 필요가 없다. 사용자는 2가지 뷰들에서 어노테이션의 뷰를 지정해야 하고 플렌옵틱 오서링 시스템은 자동으로 플렌옵틱 어노테이션의 중간 뷰들을 생성할 것이다. 어노테이션과 관련없었던 플렌옵틱 모델의 다른 뷰들은 디스플레이하지 않을 것이며, 장면의 초점면들 또는 특정 관점들에 대해 어노테이션을 렌더링하지 않을 가능성이 있게 된다.

플렌옵틱 어노테이션은 광선에 해당하고 파라미터 세트로 기술된 데이터를 포함할 수 있다. 제 1 특정 뷰에 대해 플렌옵틱 어노테이션을 렌더링할 경우, 뷰어는 몇몇 파라미터들을 설정하고 사용자가 다른 파라미터들을 변경하게 한다. 이 뷰로부터 제 2 뷰로 네비게이션하며, 사용자는 뷰어에 의해 고정되어야 하는 파라미터들을 변경하는 한편, 다른 파라미터들을 변경할 수 있게 된다. 내삽 프로세스는 이들 2개의 뷰들 간에 플렌옵틱 어노테이션의 광선 파라미터를 자동으로 계산한다.

일실시예에서, 각 플렌옵틱 어노테이션의 파라미터들은 다음과 같이, 공간에서 광선 위치에 대해 3개(또는 가능하게는 2개)의 파라미터, 방향에 대해 2개의 파라미터, 파장에 대해 1개의 파라미터 및 가능하게는 시간에 대해 1개의 파리미터일 수 있다. 플렌옵틱 뷰어에 의해 렌더링된 특정한 뷰에 대해, 위치, 방향, 및 시간 파라미터는 가령 뷰어에 의해 설정될 수 있다. 사용자는 그런 후 뷰어에 고정되지 않은 파라미터들을, 이 예에서 광선의 파장에 해당하는 파라미터를 바꿀 수 있다. 사용자가 이를 제 1 값(v1)으로 설정한다고 가정하자. 현재, 어노테이션의 또 다른 뷰에 대해, 즉, 위치, 방향 및 시간 파라미터들의 다른 값들에 대해, 사용자가 제 2 뷰에 대해 파장 값을 바꾸고 이를 가령 v2로 정한다고 가정하자. 내삽 프로세스는 제 1 및 제 2 뷰와 관련된 위치, 방향 및 시간 파라미터들 사이에서 뷰에 대해 v1 및 v2 간에 어노테이션 값을 계산하는 것을 목적으로 한다. 다른 실시예에서, 내삽은 또한 플렌옵틱 데이터의 다른 파라미터들에 대한 값들을 계산하는 것뿐만 아니라 위치, 방향, 파장 및/또는 시간을 포함하는 것을 고려할 수 있다.

내삽의 구체적인 예는 가령 오렌지 색에서 더 붉은 색으로 지나는 예를 들어 플렌옵틱 어노테이션의 컬러 변화, 특정 뷰에 대해 어노테이션이 보일 수 있으나 또 다른 뷰에 대해서는 숨겨진 어노테이션의 시각화의 변화를 포함한다.

가령, 2개의 어노테이션 뷰들 간에 일차, 이차, 또는 더 큰 차수의 내삽을 포함한 다른 내삽 방법들도 가능하다. 또한 더 진보된 내삽방법은 어노테이션의 새로운 광선을 생성하기 위해 장면 또는 어노테이션 그 자체의 다른 특징을 고려할 수 있다.

단계(153')에서, 어노테이션이 캡쳐된 이미지에 디스플레이될 경우 어노테이션 모두 또는 일부에 동작이 연결될 수 있다. 이들 동작들은 사용자에 의해 트리거되거나 가령 타이머를 이용해 자동으로 실행될 수 있다. 동작은 특정 URL로 웹 브라우저를 띄우는 것, 하나의 어노테이션이 이동하거나, 나타나거나 또는 사라지게 하는 것과 같이 어노테이션을 애니메이팅하는 것, 비디오를 재생하는 것, 다른 가능한 동작들을 소개하는 메뉴를 띄우는 것, 슬라이드 쇼를 띄우것, 또는 오디오 파일을 재생하는 것을 포함한다. 사용자에 나타난 플렌옵틱 데이터의 뷰가 변경되게 하는 동작들도 또한 가능하다. 가령 동작은 주어진 초점길이에서 플렌옵틱 데이터의 뷰를 초점 맞추게 한다.

단계(154)에서, 플렌옵틱 어노테이션이 해당 위치, 방향 및 선택된 참조 플렌옵틱 모델과 함께, 메모리에 가령 데이터베이스(51)에 또는 사용자의 디바이스에 저장되고 연결된다. 필요한 어노테이션을 앎으로써, 각 참고 플렌옵틱 모델에 붙은 어노테이션들을 플랜옵틱 포맷으로 저장할 수 있다. 각 어노테이션은 별개의 플렌옵틱 파일로 저장된다.

플렌옵틱 어노테이션 참조 데이터는 플렌옵틱 참조 데이터 및 이에 대응하는 하나 또는 복수의 플렌옵틱 어노테이션으로부터 생성된다. 이 증강현실모델은 관련된 어노테이션과 더불어 플렌옵틱 모델을 다시 렌더링하는데 필요한 모든 정보를 포함한 파일의 형태를 취한다. 따라서, 이는 플렌옵틱 참조 데이터와 그 어노테이션 간에 관계를 설명한다. 플렌옵틱 어노테이션 참조 데이터는 그 결과를 미리 시각화하도록 플렌옵틱 어노테이션 오서링 시스템에 또는 몇몇 플렌옵틱 증강현실을 렌더링하기 위해 클라이언트 측에 직접 렌더링될 수 있다.

모델 광선들에 대한 어노테이션 효과를 기술한 정보가 플렌옵틱 어노테이션 데이터에 저장된다. 어노테이션에 의해 정의된 변경이 모델 광선 파라미터들에 작동한다. 그 결과, 어노테이션은 가령 모델 광선 방향, 위치, 시간 또는 파장의 변형을 기술할 수 있다. 다시 말하면, 이 정보는 모델 광선의 기능을 기술한다.

어노테이션 생성시, 어노테이션의 각 광선은 고유 식별자로 할당된다. 오서링 시스템에 어노테이션을 적용할 경우, 어노테이션 광선 고유 식별자는 모델의 해당 광선에 일치된다. 그 결과, 모델의 각 광선은 어노테이션 광선 식별자로 할당되고, 그런 후 상기 식별자는, 가령, 주로 온라인 단계에서의 경우이기 때문에, 모델에 대한 어노테이션을 광선 단위로 적용해야할 경우 시스템에 의해 사용된다.

어노테이션 정보는 2차원 어레이로 저장될 수 있고, 각 광선은 각 파라미터에 대해 모델의 효과에 대한 정보를 포함한다. 어노테이션 광선의 고유 식별자는 그런 후 어레이에 각 파라미터에 대한 해당 광선 효과를 정의하는데 사용된다. 다시 말하면, 어레이의 제 1 차원은 광선의 식별자에 의해 언급되는 광선들에 해당하고 제 2 차원은 이들의 파리미터들, 즉, 라이트 필드 파라미터들에 해당한다. 임의의 어노테이션은 임의의 파라미터에 대한 모델 광선의 임의의 변경이 어레이에 나타내질 수 있기 때문에, 이 포맷을 이용해 완전히 표현될 수 있다.

일실시예에서, 어노테이션은 가령 한 각도에 대해 모든 모델 광선 방향을 10°씩 변경시킬 수 있다. 하기의 표 1에 나타낸 바와 같이, 2차원 어레이는 그런 후 방향각도에 해당하는 파라미터의 컬럼에 10°를 포함한다. 컬럼은 동일한 방식으로 모두 동작한다고 가정하므로 모든 광선들에 대해 10°를 읽는다. 해당 모델 광선에 대한 어노테이션 효과를 적용하는 것이 필요한 경우, 시스템은 어노테이션 및 모델 광선 쌍들을 식별하고, 어노테이션 광선에 해당하는 고유 식별자를 추출하며, 이 변화를 모델 광선에 최종적으로 적용하기 위해 이 어노테이션 광선이 어떤 효과를 갖는지 알기 위해 어노테이션 표를 볼 것이다. 이 예에서, 어노테이션에 의해 영향받은 모든 모델 광선들의 각도는 10°씩 회전될 것이다.

[표 1]

어노테이션 어레이

오프라인 단계의 일예로서, 사용자는 건물을 포함한 장면에 텍스트 어노테이션을 추가하고자 할 수 있다. 더욱이, 텍스트 어노테이션 컬러는 관점에 따라 다른 게 필요할 것이다. 하기의 단계는 사용자에 의해 행해질 수 있다:

1. 건물의 플렌옵틱 캡쳐가 플렌옵틱 오서링 시스템에 업로드된다.

2. 2D 뷰는 캡쳐된 플렌옵틱 이미지로부터 렌더링되고 사용자에 표현된다.

3. 사용자는 어노테이션 타입 리스트로부터 텍스트 어노테이션 타입을 선택하고, 그의 텍스트를 입력하며 텍스트 어노테이션을 렌더링된 2D 뷰에 드래그한다.

4. 사용자는 어노테이션이 사용자가 원하면 정확히 나타나도록 렌더링된 2D 뷰의 관점 또는 어노테이션 위치와 방향을 옮길 수 있다.

5. 사용자는 현재 렌더링된 관점에 대해 텍스트 컬러를 설정한다.

6. 사용자는 렌더링된 플렌옵틱 이미지의 관점을 또 다른 위치로 이동시킨다.

7. 사용자는 텍스트 컬러를 이 다른 관점에 대한 또 다른 값으로 설정한다.

8. 플렌옵틱 어노테이션 모델이 그런 후 저장되고 어노테이션 프로세스의 온라인 단계에 사용되도록 준비된다.

플렌옵틱 어노테이션 오서링 시스템은 텍스트 어노테이션에 대한 상술한 사용자 동작 단계들을 기초로 적절한 어노테이션 모델을 생성하도록 하기의 과제들을 수행한다:

1. 2D 뷰는 초기에 디폴트 값으로 설정한 관점을 기초로 사용자에 렌더링된다.

2. 텍스트 물체로부터 가상 관점까지 광선을 그림으로써 텍스트 어노테이션의 플렌옵틱 버전이 생성된다. 이는 한 세트의 광선을 생성하고, 각 광선은 고유 식별자로 기술된다. 이 광선 세트는 텍스트를 기술한다. 이들 광선들은 참조 플렌옵틱 이미지에 적용되어야 하는 변형들에 따라 어레이에 의해 메모리에 표현된다. 이 경우, 어레이는 어노테이션 광선들과 일치되는 광선들이 가져야 하는 파장 값을 포함할 것이다.

3. 어노테이션은 초기에 오서링 툴에 기정의된 디폴트 위치에 놓인다. 어노테이션 광선은 참조 플렌옵틱 이미지 강선들과 조합된다. 참조 이미지의 광선들과 어노테이션 간의 이들 관계는 광선 고유 식별자를 이용함으로써 장래 사용을 위해 저장된다.

4. 사용자가 가령 컴퓨터 마우스 포인터를 이용해 어노테이션의 방향을 이동/변경하기 때문에, 어노테이션의 다른 광선들이 캡쳐된 플렌옵틱 이미지의 다른 광선들과 조합되고 각 위치 또는 방향 변경에 대해 새 2D 뷰가 생성된다. 이는 사용자 마우스 포인터가 플렌옵틱 공간에 투사되므로 가능해 진다. 포인터의 평행이동이 2D 렌더링 뷰에 해당하는 가상 면에 나란한 면에 있는 어노테이션에 적용된다. 어노테이션이 이동됨에 따라, 참조 이미지와 어노테이션 간에 광선들의 관계는 어노테이션 위치 또는 방향 변경에 따라 변경되고 업데이트된다.

5. 사용자가 현재 관점에 대한 텍스트에 대해 컬러를 선택하면, 선택된 컬러와 일치하도록 어노테이션 어레이의 파장 값이 변경된다.

6. 새 관점이 선택되고 새 텍스트 컬러가 선택되면, 이런 새 렌더링된 뷰를 생성하는데 사용된 파장에 해당하는 어노테이션 어레이의 파장 값이 변경된다. 제 1 관점과 제 2 관점 사이의 파장 값은 표준 또는 특정 내삽 방법들을 이용해 내삽된다.

7. 사용자가 모델을 저장하면, 온라인 단계에 사용될 수 있도록 업로드된 플렌옵틱 참조 모델과 함께 플렌옵틱 어노테이션 어레이가 저장된다.

온라인 단계

상술한 바와 같이, 전체 어노테이션 프로세스의 온라인 단계는 플렌옵틱 이미지를 캡쳐한 사용자가 상기 이미지에 어노테이션을 달길 원할 경우에 발생한다.

어노테이션 프로세스의 온라인 단계는 최종 플렌옵틱 어노테이션 이미지를 얻기 위해 입력된 플렌옵틱 이미지에 적용된다. 이는 입력 이미지를 몇몇 참조 모델들과 일치시키는 단계, 일치된 참조 모델의 어노테이션을 검색하는 단계, 어노테이션을 입력 플렌옵틱 이미지와 조합하는 단계, 어노테이션된 뷰를 이해가능한 형태로 사용자에게 렌더링하는 단계, 및 가능하게는 어노테이션에 정의된 다른 동작들을 발생하기 위해 사용자 인터랙션을 처리하는 단계로 구성된다.

광선들로 구성된 어노테이션 컨텐츠가 플렌옵틱 포맷으로 있고 캡쳐된 이미지가 또한 플렌옵틱 포맷으로 있기 때문에, 이들 2개의 데이터 세트들은 동일한 공간에 있다. 따라서, 어노테이션은 요구되는 다른 투사들 없이도 플렌옵틱 이미지에 직접 적용될 수 있다. 어노테이션들이 적용된 변경된 플렌옵틱 공간은 예컨대, 2D 뷰로 투사될 수 있다. 이는 또한 (초점, 깊이, 관점의 변경 등의 선택과 같이) 플렌옵틱 렌더링 프로세스에 대해 선택된 투사 파라미터들도 플렌옵틱 어노테이션에 함축적으로 적용된다. 예컨대, 렌더링 프로세스의 초점 또는 관점을 바꿀 경우, 어노테이션은 이들에 가해진 효과를 갖게 될 것이다.

도 8에 도시된 바와 같이 온라인 플렌옵틱 어노테이션 프로세스는 플렌옵틱 포맷(플렌옵틱 데이터)의 라이트 필드를 나타내는 데이터가 검색되는 동안 제 1 단계(100)를 포함한다. 플렌옵틱 데이터는 플렌옵틱 캡쳐링 디바이스로 데이터를 캡쳐하는 디바이스(4)에 의해 검색되거나 통신링크를 통해 디바이스(4)로부터 플렌옵틱 데이터를 수신하는 서버(5)와 같은 기기에 의해 검색될 수 있다.

단계(101)에서, 검색된 데이터는 참조 데이터와 매치된다. 이 단계는 디바이스(4) 및/또는 서버(5)에 수행될 수도 있다. 이 단계는 캡쳐된 데이터에 한 세트의 특징들을 결정하는 단계, 매칭한 특징들로 참조 이미지를 나타내는 매칭 참조 데이터를 찾는 단계, 및 가령 US13645762에 기술된 바와 같이 참조 데이터로 캡쳐된 데이터를 등록하는 단계를 포함할 수 있다. 참조 데이터는 플렌옵틱 포맷의 이미지, 또는 다른 이미지들로 나타낼 수 있고, 복수의 디바이스들로부터 액세스될 수 있는 데이터베이스와 같은 메모리(51)에 저장될 수 있다. 매칭 참조 데이터의 식별은 사용자의 위치, 시간, 시각, 장면의 요소로부터 수신된 신호, 사용자 및/또는 이미지 유사성에 의해 주어진 표시를 기초로 할 수 있다. 등록 프로세스는 캡쳐된 플렌옵틱 이미지의 광선과 매치된 플렌옵틱 참조 이미지로부터의 광선들 간에 변형이 추정될 수 있도록 사용자 위치와 참조 데이터 간에 지리적 관계를 찾는 데 있다.

단계(102)에서, 매칭 참조 데이터와 관련된 플렌옵틱 어노테이션은 가령 메모리(51)로부터 검색된다. 이 어노테이션은 플렌옵틱 포맷, 즉, 광선들로 기술된다. 이들 어노테이션 광선들은 가령, 텍스트, 정지 이미지, 비디오 이미지, 로고, 및/또는 플렌옵틱 광선들에 직접 작용하는 다른 요소들을 나타낼 수 있다.

어노테이션은 플렌옵틱 공간에서 음향, 가령, 플렌옵틱 참조 이미지의 특정 그룹의 광선들에 첨부된 음향을 포함할 수 있어, 상기 음향은 선택된 광선들이 또한 보일 수 있고/있거나 플렌옵틱 이미지에서 초점이 맞는 어떤 방향들에 대해서만 재생될 것이다.

단계(103)에서, 플렌옵틱 포맷의 검색된 어노테이션은 캡쳐된 플렌옵틱 데이터와 조합되어 플렌옵틱 포맷의 어노테이션 이미지를 나타내는 어노테이션 데이터를 생성한다. 이 조합은 서버(5)에서 또는 디바이스(4)에서 행해질 수도 있다. 디바이스에서 행해지는 경우, 서버(5)는 디바이스(4)로 어노테이션 데이터를 보낼 수 있고, 상기 디바이스는 그런 후 조합을 한다. 이 어노테이션 조합은 참조 이미지의 광선들을 캡쳐된 플렌옵틱 이미지로 투사하는 변환이 매칭 단계(단계 101)로부터 알려지기 때문에 가능하다. 따라서, 어노테이션도 또한 캡쳐된 플렌옵틱 이미지에 적용될 수 있다.

플렌옵틱 어노테이션은 하기의 방법을 이용해 캡쳐된 플렌옵틱 이미지에 적용될 수 있다:

1. 도 8의 단계(100)에서 참조 플렌옵틱 이미지 광선들을 검색된 온라인 플렌옵틱 이미지 광선들로 투사하기 위한 변환을 찾는다;

2. 오프라인 단계에서 정의된 참조 플렌옵틱 이미지의 각 검색된 어노테이션에 대해:

1. 오프라인 단계에서 정의된 어노테이션 어레이를 판독함으로써, 어노테이션에 따라 어떤 참조 플렌옵틱 이미지의 광선들이 변경되어야 하는 지를 식별하고 선택한다.

2. 점(1)에서 식별된 광선들을 온라인 플렌옵틱 이미지로 투사한다. 이는 참조 플렌옵틱 이미지의 선택된 광선들과 캡쳐된 플렌옵틱 이미지로부터의 광선들 간에 일치를 형성한다.

3. 점(2)에서 선택된 캡쳐된 플렌옵틱 이미지의 각 광선에 대해, 플렌옵틱 어노테이션 어레이에 정의된 바와 같이 광선에 상기 변환을 적용한다. 어레이는 단계(1) 및 단계(2)의 선택 프로세스와 (파장, 방향 등과 같은) 변환 파라미터들로 인해 식별될 수 있는 광선들이 룩업 키(lookup-keys)로 사용되는 룩업테이블로 사용된다.

예로써, 어노테이션 광선들이 텍스트를 나타내면, 어노테이션 어레이는 텍스트 컬러에 해당하는 파장인 하나의 0이 아닌 라이트 필드 파라미터를 포함할 것이다. 캡쳐된 플렌옵틱 이미지 광선은 따라서 어노테이션 어레이에 저장된 팩터에 의해 광선의 파장을 증감시킴으로써 변경될 것이다. 이 팩터는 등록 과정에서 계산된 광선들 간의 변환을 이용함으로써 어레이에서 찾아진다.

단계(104)에서, 뷰는 가령 2D 또는 입체 뷰에 대해 어노테이션 데이터로부터 렌더링되고 사용자/뷰어에 표현된다, 가령 디스플레이(40)에 또는 또 다른 기기로 디스플레이된다. 이런 뷰 렌더링 공정이 도 9와 결부해 하기에 더 상세히 기술된다.

단계 105에서, 어노테이션과 함께 인터랙션이 가능해진다. 시스템은 어노테이션 프로세스의 오프라인 부분에 앞서 정의된 특정 동작들을 실행하기 위해 다른 이벤트들에도 영향을 끼칠 수 있다. 이런 이벤트는 어노테이션과 사용자 인터랙션일 수 있다. 터치 스크린, 핸드 트랙킹 센서 또는 임의의 다른 입력 디바이스에 의해, 사용자는 주어진 어노테이션을 가리키고 이와 인터랙트할 수 있다. 이 인터랙션은 어노테이션 프로세스의 오프라인 단계들에 정의된 특정 동작들을 트리거할 수 있는 인터랙션 이벤트를 발생할 수 있다.

또 다른 가능한 타입의 이벤트는 장면에서 특정 변경이 감지될 경우 트리거되는 이벤트들이다. 이 부분에서 추후 설명되는 바와 같이, 캡쳐된 플렌옵틱 이미지에서 참조 모델의 물체에 의한 가림이 감지될 수 있다. 이 가림 이벤트는 어노테이션 프로세스의 오프라인 단계에서 앞서 정의된 동작을 트리거할 수 있다. 어노테이션 동작을 트리거하는 가능한 이벤트들의 또 다른 예로서, 소정 타입의 감지된 음향들을 기초로 소정 동작을 트리거하도록 음향인식모듈이 사용될 수 있다.

도 9는 뷰의 렌더링 및 뷰어가 연이어 렌더링 변경하도록 하는 다양한 가능성들을 도시한 것이다. 상술한 바와 같이, 증강현실 뷰는 캡쳐된 뷰로부터 생성된 어노테이션 데이터로부터 그리고 도 8로 상술한 바와 같이 플렌옵틱 포맷의 어노테이션 데이터로부터 단계(104)에서 렌더링된다. 렌더링 뷰는 핀홀 카메라, 입체뷰, 비디오, 플렌옵틱 데이터의 홀로그래픽 투영, 또는 바람직하게는 관점을 리포커싱 및/또는 변경하기 위한 몇몇 명령어들로 이미지를 나타내는 동적 이미지 모듈에 의해 생성된 바와 같은 표준 2D뷰일 수 있다. 동적 이미지 모듈은 플렌옵틱 이미지를 명령 값들의 함수로서 또는 플래시 물체 또는 여러 이미지들의 동적 표현을 가능하게 하는 임의의 다른 기술들로 렌더링할 수 있는 HTML5/Javascript 웹 페이지일 수 있다. 단계(104) 동안 렌더링될 수 있는 뷰의 예들이 도 5a, 6a, 및 7a에 도시되어 있다. 도 5a 및 6a의 뷰는 어노테이션(61)이 달린 물체(60)를 포함한다. 다른 깊이에서 그리고 이에 따라 초점이 벗어난 추가 물체(62)도 또한 도 7a의 뷰에 보인다. 관점의 리포커싱 또는 변경은 사용자에 의해 (가령, 물체 또는 이미지 상의 또는 이미지 주위의 위치를 선택함으로써) 수동으로 또는 (가령 사용자가 이동할 경우) 자동으로 트리거될 수 있다.

단계(105)에서, 사용자는 다른 관점에서 관찰된 동일한 장면에 해당하는 동일한 플렌옵틱 데이터로부터 신규한 뷰를 단계(107) 동안 발생하기 위해 관점을 변경하기 위한 명령어를 입력한다. 다른 관점 또는 뷰잉 방향으로부터 보이는 장면의 다양한 2D 이미지들을 플렌옵틱 데이터로부터 생성하기 위한 알고리즘이 이처럼 공지되어 있고, 가령 US6222937에 기술되어 있다. 이 명령에 의해 발생되고 관점선택모듈(403)에 의해 실행된 변경된 2D 이미지의 예가 도 5b에 도시되어 있다. 알 수 있는 바와 같이, 물체(60)의 사시도뿐만 아니라 어노테이션(61)의 사시도도 이 명령어에 의해 변경되었다. 실제로, 어노테이션이 입력 플렌옵틱 데이터에 의해 표현된 플렌옵틱 공간에 직접 적용되기 때문에, 뷰가 플렌옵틱 공간으로부터 생성될 경우, 어노테이션은 플렌옵틱 이미지와 동일한 방식으로 변환되어 나타난다. 이는 어노테이션을 더 실감나게 한다.

몇몇 어노테이션은 다른 방향에서가 아니라 제 1 세트의 뷰 방향으로부터만 보여질 수 있다. 따라서, 도 6b에 도시된 바와 같이, 단계(105) 동안 관점의 변경으로 인해 뷰가 새로워질 수 있고, 한 어노테이션(61)은 볼 수 없으나 동일한 물체와 관련된 새 어노테이션(64)이 드러난다. 복수의 어노테이션들이 참조 이미지의 한 위치와 관련될 수 있으나, 다른 뷰 방향들과도 관련될 수 있다. 어노테이션 그 자체는 또한 어노테이션 프로세스의 오프라인 단계에서 설정된 다른 어노테이션 라이트 필드 파라미터로 인해 다른 제 2 뷰 방향에 비해 제 1 뷰 방향으로부터 렌더링될 경우 다르게 보일 수 있다. 모습의 변경은 어노테이션 그 자체에 의해 정의될 수 있으나 이는 또한 입력 플렌옵틱 이미지의 기능일 수 있다.

도 9의 단계(106)에서, 사용자는 이미지를 리포커싱하고 다른 거리에 초점이 맞춰진 새 이미지를 플랜옵틱 포맷의 데이터로부터 생성하기 위한 명령어를 입력한다. 이 명령어는 리포커싱 모듈(402)에 의해 실행될 수 있다. 도 7a 및 7b에서 알 수 있는 바와 같이, 이로 인해 제 1 초점거리에서 볼 수 있는 제 1 어노테이션(61)이 사라지거나 도 7b에 도시된 제 2 초점거리에서 덜 선명해지게 되는 반면, 제 2 어노테이션(63)은 이 제 2 초점거리에만 나타난다.

렌더링 뷰를 바꾸기 위해 단계(105 및 106)에 사용된 다른 명령어들도 또한 사용자 움직임과 관련해 자동으로 내려질 수 있다. 일실시예에서, 사용자 움직임은 플렌옵틱 캡쳐링 디바이스에 들어 있는 IMU(Inertial Measurement Unit)로 추적된다. 이 모듈을 이용함으로써, 사용자가 움직임에 따라 렌러딩 뷰가 자동으로 업데이트된다. 예컨대, 사용자가 좌측으로 움직이면, 뷰 방향은 약간 좌측으로 평행이동된다. 사용자가 앞으로 움직일 경우에도 동일한 원리가 적용되며, 여기서 초점범위도 또한 앞으로 이동되어 이전의 렌더링 뷰에 비해 배경면에 있는 물체들은 더 선명해지고 전경면에 있는 물체들은 더 흐릿해진다. 본 발명은 사용자 움직임을 추적하기 위한 IMU의 사용에 국한되지 않는다. 사용자 움직임을 추적하기 위해 직접 플렌옵틱 이미지 컨텐츠를 이용하는 것과 같은 다른 수단들도 또한 이용될 수 있다.

또 다른 실시예에서, 온라인 플렌옵틱 어노테이션 프로세스는 움직이는 사용자의 플렌옵틱 캡쳐링 디바이스에 의해 생성된 플렌옵틱 이미지 스트림들에도 계속 적용된다. 이 연속 프로세싱은 사용자가 계속 움직이거나 이 플렌옵틱 캡쳐링 디바이스를 이동하게 하고, 실시간으로 업데이트된 플렌옵틱 어노테이션을 갖게 한다. 플렌옵틱 이미지 스트림들은 실시간으로 처리되어야 할 뿐만 아니라 장면의 일부였던 것처럼 사용자가 어노테이션을 인식하도록 뷰의 렌더링(도 8의 단계 104)이 처리되어야 한다. 이 실시예에서, 뷰 방향은 또 다른 플렌옵틱 캡쳐를 할 필요없이 그 후에도 변경될 수 있다는 사실은 스트림들로부터 처리될 필요가 있는 훨씬 더 적은 개수의 플렌옵틱 이미지들로도 동일한 효과를 달성하게 한다. 실제로, 하나의 플렌옵틱 캡쳐는 소정의 뷰 방향 범위내에 뷰의 렌더링을 가능하게 한다고 가정하면 그리고 사용자가 이 범위를 벗어나 움직이지 않는 한, 스트림으로부터 어떠한 플렌옵틱 이미지도 처리될 필요가 없고 도 8의 단계(104)만이 다시 수행될 필요가 있다. 이는 사용자가 뷰 각도의 경계에 더 가까워질 경우 비동기식으로 새 플렌옵틱 이미지 프레임을 처리함으로써 새 프레임이 처리되어야 할 경우 사용자가 지연을 전혀 인지하지 못하도록 계산상 더 효율적으로 실시간 추적을 할 새로운 가능성을 연다.

애니메이션 플렌옵틱 이미지를 어노테이션하기 위한 방법의 예가 도 11에 도시되어 있다:

도 2의 단계(200,201,202,203)는 도 8의 단계(100,101,102,103)와 유사하거나 같다.

단계(204)에서, 단계(201)의 등록 프로세스의 결과로서 뷰 방향 파라미터가 계산된다.

단계(205)에서, 이전 단계에서 계산된 뷰 방향을 기초로 뷰가 렌더링된다.

단계(206)에서, 단계(200)가 계산된 시간과 관련해 사용자 움직임을 판단하기 위해 IMU가 사용된다. 그런 후 판단은 새 플렌옵틱 이미지를 처리하기 위한 단계(200)으로 다시 가거나 IMU 움직임 평가를 기초로 뷰 방향 파라미터를 업데이트하기 위해 단계(204)로 직접 가도록 취해진다. 움직임 양은 앞서 캡쳐된 플렌옵틱 데이터가 새로운 뷰를 생성하게 사용될 수 있는지 여부를 판단하는데 사용된다. 이는 일반적으로 플렌옵틱 캡쳐링 디바이스의 시계(視界)에 따른다.

플렌옵틱 어노테이션의 렌더링은 가림이 있을 수 있음을 고려할 수 있다. 플렌옵틱 어노테이션은 어노테이션할 타겟요소가 입력 플렌옵틱 디바이스에 놓인 또 다른 물체에 의해 캡쳐링 디바이스의 시야로부터 숨겨진다면 가려질 수 있다.

일실시예에서, 렌더링 모듈은 캡쳐된 데이터의 플렌옵틱 포맷을 이용해 관련없는 물체 뒤로 어노테이션을 시각적으로 숨긴다. 렌더링 모듈은 플렌옵틱 참조 데이터로부터 캡쳐된 플렌옵틱 이미지의 각 요소에서 나와야 하는 캡쳐된 광선의 속성을 안다. 캡쳐된 광선들이 요소의 예상 광선들과는 다른 속성을 가지면, 가리는 물체는 요소의 앞에 있고, 이에 따라 어노테이션이 이 요소에 대해 디스플레이될 필요가 없는 것을 의미할 수 있다.

유사한 방식으로, 캡쳐된 이미지에 있는 요소에 해당하는 광선이 참조 이미지에 있는 해당하는 요소들과는 다른 방향을 가지면, 이는 요소가 다른 깊이에 있는 것을 의미할 수 있다. 렌더링 모듈은 가림을 감지하기 위해 이 정보를 이용할 수 있다. 추가로, 광선의 컬러 정보가 캡쳐된 요소가 가려져 있는지 여부를 판단하기 위해 또한 사용될 수 있다. 그러나, 컬러 정보는 가리는 물체가 타겟 요소와 동일한 컬러를 가질 수 있기 때문에 충분하지 않다.

응용

플렌옵틱 포맷의 어노테이션의 제공 및 어노테이션과 동일한 공간에 플렌옵틱 이미지에 어노테이션을 다는 프로세스는 증강현실에 새로운 응용을 가져온다.

제 1 응용예는 사회적 맥락에서 플렌옵틱 어노테이션 시스템의 사용이다. 실제로, 물체/장면의 플렌옵틱 이미지는 이들 플렌옵틱 캡쳐링 디바이스로 사용자에 의해 캡쳐될 수 있다. 캡쳐된 플렌옵틱 이미지는 그런 후 이전에 캡쳐되고 어노테이션으로 사용된 플렌옵틱 이미지를 포함해 모든 종류의 어노테이션들을 이용해 사용자에 의해 어노테이션될 수 있다. 이들의 어노테이션된 장면은 그런 후 소셜 네트워크를 이용해 사용자의 친구들에게 공유될 수 있어 그들의 친구들이 자신의 플렌옵틱 캡쳐링 디바이스로 이를 캡쳐할 때 어노테이션된 장면을 체험할 수 있게 된다. 이 경우 플렌옵틱 어노테이션 프로세스를 이용하는 이점은 어노테이션들이 플렌옵틱 이미지들이기 때문에 이미 플렌옵틱 공간에 놓여 있다는 사실로 레버리지된다. 따라서, 동일한 플렌옵틱 공간에 어노테이션 프로세스를 하는 것이 계산상 더 효율적이고 어노테이션된 장면을 더 실감나게 한다.

플렌옵틱 공간의 다른 정보를 이용하는 제 2 응용예는 건축설계 분야에서 특별히 설계된 플렌옵틱 어노테이션의 이용이다. 본 발명의 이전 부분들에 기술된 바와 같이, 플렌옵틱 어노테이션은 온라인 단계에서 플렌옵틱 이미지 광선들과 조합되는 광선들로 구성된다. 이 광선들이 조합되는 방식은 어노테이션 프로세스의 오프라인 부분에 정의되어 있다. 이 조합으로 플렌옵틱 이미지에서 나온 광선들이 어노테이션에서 나온 다른 광선들로 교체되는게 아니라, 가령, 이들 방향만이 바뀌게 될 수 있다. 플렌옵틱 이미지의 광선들의 파장뿐만 아니라 가령 이들의 방향들도 변경하는 어노테이션을 정의함으로써, 캡쳐된 장면의 질감 또는 재료의 변경을 시뮬레이션할 수 있게 된다. 건축설계의 경우, 플렌옵틱 어노테이션은 가령 벽에 부착되는 다른 재료로 특정한 방 또는 특정한 건물이 어떻게 보이게 되는지 시뮬레이션하기 위해 이점적으로 이용될 수 있다. 또 다른 실시예에서, 날씨 조건의 시뮬레이션이 캡쳐된 플렌옵틱 이미지에 적용될 수 있다. 비를 시뮬레이션하는 어노테이션이 장면에 적용될 수 있다. 이는 사용자가 비 또는 기타 다른 기상상태의 경우에 장면이 어떨지 시각적으로 볼 수 있도록 비 효과가 있는 어노테이션 이미지에 적용되며, 다른 광 반사 및 굴절도 플렌옵틱 정보로 인해 적절히 다루어지고 실감나게 계산된다.

또 다른 예로서, 보물찾기는 종래 2차원 증강현실 솔루션에서 인기 있는 애플리케이션이다. 이는 물리적 물체에 어노테이션을 붙이고, 친구나 다른 사람들에 힌트를 줌으로써, 그들이 (보물이라고 하는) 이런 어노테이션들을 찾게 하는데 있다. 다시 말하면, 누군가가 숨겨진 물체에 가까이 가면, 그는 물체들이 어노테이션과 연관 있는지 판단하기 위해 자신의 플렌옵틱 캡쳐링 디바이스로 주변 물체들을 스캔할 수 있다. 플렌옵틱 어노테이션을 이용함으로써, 몇몇 뷰 방향 또는 초점거리에 어노테이션 시각화를 제한할 수 있기 때문에 보물찾기가 더 재밌어지게 된다. 예컨대, 사용자는 동상에 어노테이션을 달고, 장래의 보물을 찾는 자가 동상 앞에 있고, 이에 따라 그 각도에서 볼 때 이 어노테이션만 볼 수 있게 결정할 수 있다. 마찬가지로, 보물을 찾는 자가 동상 그 자체에 집중해 있고 그 때문에 이 경우 어노테이션을 디스플레이하는 보장하도록 플렌옵틱 공간의 리포커스 속성을 이용할 수 있다. 사용자가 주변을 무작위로 스캔하면서 보물을 찾는 것을 막으나 그가 정말 수수께끼를 풀도록 강요하기 때문에 보물찾기를 더 매력적이게 한다.

또 다른 애플리케이션은 도시 환경에서 도시 가이드에 관한 것이다. 예컨대, 사용자 방문한 도시에 있고, 역사기념관, 관광지, 동상, 박물관, 지역 식당 등과 같은 여행장소를 찾고 있다고 하자. 그의 증강현실 시스템을 이용해, 사용자는 확실히 모든 정보가 그의 스크린에 한번에 나타나길 바라지 않는다: 그는 스크린에 시각적으로 겹치는 모든 컨텐츠로 인해 혼동될 수 있다. 대신, 플렌옵틱 어노테이션은 사용자의 뷰와 초점에 따라 형성질 수 있다. 예컨대, 특정 시야각(또는 시야각의 특정 범위)으로 사용자가 캡쳐한 이미지의 요소들은 사용자가 대면한 요소보다 더 낮은 중요도로 디스플레이될 수 있다. 일실시예에서, 덜 중요한 어노테이션은 (사용자가 이들을 클릭할 경우 확대될 수 있는) 제목 또는 스크린상의 점으로서 디스플레이될 수 있으나, 더 중요한 관심지점들은 더 상세하게 나타나거나 더 큰 크기로 또는 이미지에 대해 강조하게 된다.

어노테이션이 보이지 않는 뷰 방향을 선택하는 능력은 예컨대 네비케이터 디스플레이에 증강현실 이미지를 갖길 원하나, 교통과 관련없는 광고, 쇼핑 등과 같은 요소들에 붙은 어노테이션에 의해 주의가 산만해지길 원치 않는 차량 운전자들에게 매력적이다. 이 경우, 이들 주의를 빼앗는 어노테이션들은 이들이 도로에서 캡쳐된 이미지에 나타나지 않도록 선택된 방향 범위들과 연관있을 수 있다.

용어 및 정의

상술한 다양한 동작방법들은 다양한 하드웨어 및/또는 소프트웨어 구성요소(들), 회로, 및/또는 모듈(들)과 같이 동작을 수행할 수 있는 임의의 적절한 수단에 의해 수행될 수 있다. 일반적으로, 본 출원에 기술된 임의의 동작은 동작을 수행할 수 있는 해당 기능적 수단에 의해 수행될 수 있다. 다양한 수단, 논리 블록, 및 모듈은 회로, ASIC(Application Specific Integrated Circuit) 회로, DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array Signal), 또는 다른 PLD(Programmable Logic Device), 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 구성요소들 또는 상술한 기능들을 수행하도록 설계된 그 임의의 조합을 포함하나 이에 국한되지 않는 다양한 하드웨어 및/또는 소프트웨어 구성요소(들) 및/또는 모듈(들)을 포함할 수 있다. 범용 프로세서는 마이크로프로세서일 수 있으나, 대안으로, 상기 프로세서는 임의의 상용으로 구매가능한 프로세서, 컨트롤러, 마이크로컨트롤러 또는 상태기계일 수 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 가령, DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합되는 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이런 구성으로 실행될 수 있다. 서버는 하나의 기계, 한 세트의 기계, 가상 서버, 또는 클라우드 서버로 실행될 수 있다.

본 명세서에 사용된 바와 같이, "플렌옵틱 데이터"라는 표현은 플렌옵틱 캡쳐링 디바이스로 발생되거나 다른 타입의 데이터의로부터 계산되며, 장면의 라이트 필드 이미지, 즉 광의 휘도와 컬러가 저장될 뿐만 아니라 이 광의 방향도 저장되는 이미지를 기술하는 임의의 데이터를 나타낸다. 이런 플렌옵틱 데이터로부터 렌러딩된 2D 또는 입체 투사는 플렌옵틱 이미지인 것으로 간주되지 않는데, 이는 광의 방향이 상실되기 때문이다.

본 명세서에 사용된 바와 같이, "플렌옵틱 공간"이라는 표현은 라이트 필드,즉, 공간내 모든 방향에서 광량을 기술하는 함수가 기술될 수 있는 다차원 공간을 나타낼 수 있다. 플렌옵틱 공간은 적어도 광선의 위치에 대해 2개의 파라미터, 광선의 방향에 대해 2개의 파라미터, 광선의 파장에 대해 하나의 파라미터, 및 가능하게는 (비디오의 경우) 시간에 대해 하나의 파라미터로 기술될 수 있다.

본 명세서에 사용된 바와 같이, "어노테이션"이라는 용어는 중첩될 수 있거나 그렇지 않으면 플렌옵틱 데이터로 표현된 플렌옵틱 공간에 병합될 수 있는 가령, 텍스트, 정지 이미지, 동영상, 로고, 사운드 및/또는 기타 요소들을 포함한 폭넓은 다양한 가능한 요소들을 포함한다. 보다 일반적으로, "어노테이션"이라는 용어는 플렌옵틱 데이터로 표현된 플렌옵칙 공간 광선들의 다른 파라미터들을 변경하는 다른 방식을 포함한다. 어노테이션은 동적일 수 있고 시간에 걸쳐 이들의 위치 및/또는 모습을 바꿀 수 있다. 또한, 어노테이션은 사용자 인터랙션이며 사용자의 동작들에 대한 반응(가령, 사용자 인터랙션시 이동하거나 변환)일 수 있다.

본 명세서에 사용된 바와 같이, "픽셀"이라는 용어는 하나의 단색 포토사이트 또는 다른 컬러들의 광을 검출하기 위한 복수의 인접한 위치들을 나타낼 수 있다. 예컨대, 적색, 녹색 및 청색광을 검출하기 위한 3개의 인접 포토사이트들이 한 픽셀을 형성할 수 있다.

본 명세서에 사용된 바와 같이, "결정하기"이라는 용어는 폭넓은 다양한 동작들을 포함한다. 예컨대, "결정하기"라는 것은 계산하기, 산출하기, 처리하기, 도출하기, 조사하기, 참조하기(가령, 테이블, 데이터베이스 또는 또 다른 데이터 구조에서 참조하기), 확인하기, 추정하기 등을 포함할 수 있다. 또한, "결정하기"라는 것은 수신하기(가령, 정보를 수신하기), 액세스하기(가령, 메모리내 데이터에 액세스하기) 등을 포함할 수 있다. 또한 "결정하기"라는 것은 분해하기, 선택하기, 고르기, 확립하기 등을 포함할 수 있다.

장면의 이미지를 캡쳐하는 것은 카메라의 이미지 센서에 도달한 광의 휘도를 계측하기 위해 디지털 핀홀 카메라의 사용을 포함한다. 플렌옵틱 데이터를 캡쳐하는 것은 플렌옵틱 캡쳐링 디바이스를 이용하는 것을 포함할 수 있거나, 가상 3D 모델로부터 라이트 필드 데이터 또는 장면과 광원의 다른 설명을 만드는 것을 포함할 수 있다. 이미지를 검색하는 것은 이미지를 캡쳐하는 것 또는 다른 디바이스들로부터 통신링크를 통해 이미지를 검색하는 것을 포함할 수 있다.

"뷰를 렌더링하기", 가령, "라이트 필드 데이터로부터 2D 뷰를 렌더링하기"라는 표현은 이미지를 계산하거나 생성하는 동작, 가령 플렌옵틱 데이터에 포함된 2D 이미지 또는 홀로그래픽 이미지를 계산하는 것을 포함한다.

본 개시와 연계해 기술된 방법 또는 알고리즘의 단계들은 하드웨어, 프로세서에 의해 실행되는 소프트웨어 모듈 또는 이 둘의 조합으로 직접 구현될 수 있다. 소프트웨어 모듈은 해당기술분야에 공지된 임의의 형태의 저장매체에 상주할 수 있다. 사용될 수 있는 저장매체의 몇몇 예들은 RAM, ROM, 플래시 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 탈착식 디스크, CD-ROM 등을 포함한다. 소프트웨어 모듈은 단일 명령어 또는 많은 명령어들을 포함할 수 있고, 다른 프로그램들 중에서 다수의 다른 코드 세그먼트들 위로 그리고 다수의 저장매체에 걸쳐 분포될 수 있다. 소프트웨어 모듈은 실행가능한 프로그램, 부분 또는 루틴 또는 완전한 프로그램에 사용된 라이브러리, 복수의 상호연결된 프로그램, 많은 스마트폰, 태블릿 또는 컴퓨터에 의해 실행되는 "앱", 위젯, 플래시 애플리케이션, HTML 코드의 일부 등으로 구성될 수 있다. 저장매체는 프로세서가 저장매체로부터 정보를 읽고 쓸 수 있도록 프로세서에 연결될 수 있다. 대안으로, 저장매체는 프로세서에 통합될 수 있다. 데이터베이스는 SQL 데이터베이스, XML 다큐먼트 세트, 시맨티컬 데이터베이스, 또는 IP 네트워크를 통해 이용가능한 정보 세트 또는 임의의 다른 적절한 구조를 포함한 임의로 구성된 데이터의 수집으로 구현될 수 있다.

따라서, 몇몇 태양들은 본 명세서에 표현된 동작들을 수행하기 위한 컴퓨터 프로그램 제품을 포함할 수 있다. 예컨대, 이런 컴퓨터 프로그램 제품은 상술한 동작들을 수행하기 위해 하나 이상의 프로세서들에 의해 실행될 수 있는 명령어가 저장(및/또는 코딩)된 컴퓨터 판독가능 매체를 포함할 수 있다. 몇몇 태양에 대해, 컴퓨터 프로그램 제품은 패키지 재료를 포함할 수 있다.

특허청구범위는 정확한 구성 및 상술한 구성요소들에 국한되지 않음을 알아야 한다. 본 발명의 기술범위와 특허청구범위로부터 벗어남이 없이 상술한 방법 및 기기에 대한 배열, 동작 및 상세내용에 있어 다양한 변경, 변형 및 변화들이 행해질 수 있다.

Claims (28)

1. 플렌옵틱 캡쳐 디바이스(4)로 라이트 필드를 나타내는 데이터(100)를 검색하는 단계;
   검색된 데이터를 해당 참조 데이터(101)와 매칭시키기 위한 프로그램 코드를 실행하는 단계;
   상기 참조 데이터(102)의 요소와 관련된 플렌옵틱 포맷의 적어도 하나의 어노테이션(61,63,64)를 검색하기 위한 프로그램 코드를 실행하는 단계; 및
   상기 검색된 데이터로부터 플랜옵틱 포맷의 어노테이션된 데이터와 상기 어노테이션(103)을 생성하기 위한 프로그램 코드를 실행하는 단계를 포함하는 방법.
2. 제 1 항에 있어서,
   뷰잉 방향(105)을 선택하는 단계; 및
   상기 뷰잉 방향(107)으로부터 상기 어노테이션된 데이터에 해당하는 뷰를 렌더링하는 단계를 더 포함하고,
   상기 어노테이션(61)의 표현은 상기 뷰잉 방향에 따르는 방법.
3. 제 1 항에 있어서,
   제 1 뷰잉 방향으로부터 상기 어노테이션 데이터에 해당하는 제 1 뷰(104)를 렌더링하는 단계;
   제 2 뷰잉 방향(105)을 선택하는 단계; 및
   상기 제 2 뷰잉 방향(107)으로부터 상기 어노테이션 데이터에 해당하는 제 2 뷰를 렌더링하는 단계를 더 포함하고,
   상기 어노테이션(61,61')의 표현은 상기 제 1 뷰 및 상기 제 2 뷰 사이에서 변하는 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   제 1 어노테이션(61)을 제 1 위치 및 제 1 방향과 연관시키는 단계;
   제 2 어노테이션(64)을 제 1 위치 및 제 2 방향과 연관시키는 단계;
   상기 어노테이션 데이터에 해당하는 뷰를 렌더링하는 단계;
   제 1 또는 제 2 뷰잉 방향(105) 사이에서 선택하는 단계;
   제 1 뷰잉 방향이 선택되면 상기 제 2 어노테이션이 아니라 상기 제 1 어노테이션을 포함한 뷰를 렌더링하는 단계, 또는 제 2 뷰잉 방향이 선택되면 상기 제 1 어노테이션이 아니라 상기 제 2 어노테이션을 포함한 뷰를 렌더링하는 단계를 더 포함하는 방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   플렌옵틱 포맷의 참조 데이터 및 제 1 뷰잉 방향에 해당하는 제 1 뷰를 렌더링하는 단계;
   어노테이션을 상기 제 1 뷰에 있는 요소에 연관시키는 단계;
   플렌옵틱 포맷의 상기 참조 데이터 및 제 2 뷰잉 방향에 해당하는 제 2 뷰를 렌더링하는 단계;
   어노테이션을 상기 제 2 뷰에 있는 상기 요소에 연관시키는 단계; 및
   상기 제 1 및 제 2 뷰잉 방향 사이 중간 뷰에 상기 요소의 어노테이션을 내삽하는 단계를 더 포함하는 방법.
6. 제 5 항에 있어서,
   상기 제 1, 2 및 중간 뷰로부터 플렌옵틱 포맷의 어노테이션을 계산하는 단계를 더 포함하는 방법.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
   상기 어노테이션 데이터와 제 1 초점거리(104)에 해당하는 제 1 뷰를 렌더링하는 단계;
   초점거리(106)를 변경하는 단계; 및
   상기 어노테이션 데이터 및 변경된 초점거리(107)에 해당하는 제 2 뷰를 렌더링하는 단계를 더 포함하고,
   상기 어노테이션(61)의 표현은 상기 제 1 뷰와 상기 제 2 뷰 사이에서 바뀌는 방법.
8. 제 7 항에 있어서,
   제 1 어노테이션(61)을 제 1 위치 및 제 1 깊이와 연관시키는 단계;
   제 2 어노테이션(63)을 제 1 위치 및 제 2 깊이와 연관시키는 단계;
   상기 어노테이션 데이터(104)에 해당하는 제 1 뷰를 렌더링하는 단계;
   제 1 또는 제 2 초점거리(106) 사이에서 선택하는 단계; 및
   제 1 초점거리가 선택되면 상기 제 2 어노테이션(63)이 아니라 상기 제 1 어노테이션(61)을 포함한 제 2 뷰(107)를 렌더링하는 단계, 또는 제 2 초점거리가 선택되면 상기 제 1 어노테이션이 아니라 상기 제 2 어노테이션을 포함한 뷰를 렌더링하는 방법.
9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
   상기 어노테이션들 중 적어도 하나는 좌표에 첨부되고 특정 방향과 관련된 음향인 방법.
10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 어노테이션들 중 적어도 하나는 비디오인 방법.
11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    어노테이션 중 적어도 하나는 플렌옵틱 공간의 특정 위치에 광선의 방향을 변경하기 위한 필터로서 동작하는 방법.
12. 제 11 항에 있어서,
    하나의 상기 어노테이션은 광선 방향을 변경하는 방법.
13. 제 12 항에 있어서,
    하나의 상기 어노테이션은 표면의 속성 또는 물체의 질감을 변경하는 방법.
14. 제 1 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 어노테이션은 플렌옵틱 공간의 다른 점에서 광선의 방향 또는 광선 방향의 변경을 정의하는 어레이에 의해 정의되는 방법.
15. 제 2 항 내지 제 14 항 중 어느 한 항에 있어서,
    렌더링하는 단계는 상기 요소에 해당하는 광선의 방향으로부터 결정되는 상기 요소의 깊이에 따라 검색된 라이트 필드의 요소에 의해 어노테이션이 가려지는 경우인지, 또는 검색된 라이트 필드의 요소를 어노테이션이 가리는 경우인지 판단하는 단계를 포함하는 방법.
16. 제 2 항 내지 제 15 항 중 어느 한 항에 있어서,
    렌더링하는 단계는 플렌옵틱 포맷의 한 어노테이션을 검색하는 단계 및 이 어노테이션을 검색된 라이트 필드의 스트림에 복수의 연속 검색된 라이트 필드들에 적용하는 단계를 포함하는 방법.
17. 제 2 항 내지 제 16 항 중 어느 한 항에 있어서,
    렌더링하는 단계는 어노테이션의 광선을 검색된 데이터에 해당하는 광선과 병합하는 단계를 포함하는 방법.
18. 장면에 해당하는 데이터를 캡쳐하고 어노테이션을 다는 기기(4)로서,
    라이트 필드를 나타내는 데이터를 캡쳐하기 위한 플렌옵틱 캡쳐링 디바이스(41);
    프로세서(400);
    디스플레이(40);
    상기 프로세서가 상기 플렌옵틱 캡쳐링 디바이스(41)로 캡쳐된 데이터의 소자와 관련된 플렌옵틱 포맷의 적어도 하나의 어노테이션(61,63,64)를 검색하게 하고 캡쳐된 데이터로부터 발생된 뷰를 상기 디스플레이(40)에 렌더링하며 상기 프로그램 코드가 실행될 경우 상기 적어도 하나의 어노테이션을 포함하기 위한 프로그램 코드를 구비하는 기기.
19. 제 18 항에 있어서,
    상기 프로그램 코드는 선택된 초점거리에 따라 상기 어노테이션의 표현을 바꾸기 위해 사용자가 상기 뷰를 리포커스하게 하는 리포커스 모듈(402)을 더 포함하는 기기.
20. 제 18 항 또는 제 19 항에 있어서,
    상기 프로그램 코드는 사용자가 선택된 관점에 따라 상기 어노테이션의 표현을 바꾸고 상기 렌더링에 사용된 관점을 바꾸게 하는 관점선택모듈(403)을 더 포함하는 기기.
21. 프로세서(51);
    저장장치(50);
    상기 프로세서가 라이트 필드를 나타내는 데이터를 검색하게 하고, 상기 데이터를 하나의 참조 데이터와 매치시키게 하며, 상기 저장매체로부터 상기 참조 데이터와 관련된 플렌옵틱 포맷의 어노테이션(61,63,64)을 결정하며, 플렌옵틱 포맷의 상기 어노테이션 또는 플렌옵틱 포맷의 어노테이션 이미지 중 하나를 상기 프로그램 코드가 실행될 경우 원격 디바이스(4)로 전송하게 하는 프로그램 코드를 구비한 어노테이션을 결정하기 위한 기기(5).
22. 제 21 항에 있어서,
    플렌옵틱 포맷의 어노테이션을 추가하고 이들을 상기 참조 데이터에서 위치 및 뷰잉 각도와 연관시키기 위한 모듈(510)을 더 포함하는 어노테이션을 결정하기 위한 기기.
23. 제 22 항에 있어서,
    플렌옵틱 공간의 다른 지점들에서 광선 방향 또는 광선 방향의 변형의 어레이로서 어노테이션을 저장하는 메모리를 더 구비하는 어노테이션을 결정하기 위한 기기.
24. 뷰어로 플렌옵틱 포맷의 상기 참조 이미지를 나타내는 단계(150);
    어노테이션을 선택하는 단계(151);
    상기 어노테이션에 대한 한 위치를 선택하는 단계(152)와 상기 어노테이션이 보일 수 있는 하나 또는 복수의 방향들을 상기 뷰어로 선택하는 단계(153); 및
    메모리에 상기 위치 및 상기 방향을 상기 어노테이션 및 플렌옵틱 포맷의 상기 참조 이미지와 연관시키는 단계(154)를 포함하는 플렌옵틱 포맷의 참조 이미지에 어노테이션을 달기 위한 방법.
25. 제 24 항에 있어서,
    복수의 어노테이션들을 하나의 위치와 그러나 복수의 다른 방향들과 연관시키는 단계를 포함하는 플렌옵틱 포맷의 참조 이미지에 어노테이션을 달기 위한 방법.
26. 제 24 항 또는 제 25 항에 있어서,
    플렌옵틱 포맷의 참조 데이터 및 제 1 뷰잉 방향에 해당하는 제 1 뷰를 렌더링하는 단계;
    상기 제 1 뷰에 있는 요소에 제 1 어노테이션을 연관시키는 단계;
    플렌옵틱 포맷의 상기 참조 데이터 및 제 2 뷰잉 방향에 해당하는 제 2 뷰를 렌더링하는 단계; 및
    상기 제 1 어노테이션과는 다른 제 2 어노테이션을 상기 제 2 뷰의 상기 요소에 연관시키는 플렌옵틱 포맷의 참조 이미지에 어노테이션을 달기 위한 방법.
27. 제 24 항 내지 제 26 항 중 어느 한 항에 있어서,
    플렌옵틱 포맷의 참조 데이터 및 제 1 뷰잉 방향에 해당하는 제 1 뷰를 렌더링하는 단계;
    어노테이션을 상기 제 1 뷰의 요소에 연관시키는 단계;
    플렌옵틱 포맷의 참조 데이터 및 제 2 뷰잉 방향에 해당하는 제 2 뷰를 렌더링하는 단계;
    어노테이션을 상기 제 2 뷰의 상기 요소에 연관시키는 단계; 및
    상기 제 1 및 제 2 뷰잉 방향 사이 중간 뷰에 상기 요소의 어노테이션을 내삽하는 단계를 더 포함하는 플렌옵틱 포맷의 참조 이미지에 어노테이션을 달기 위한 방법.
28. 프로세서;
    상기 프로세서가 플렌옵틱 포맷의 상기 참조 이미지를 뷰어(150)로 표현하게 하고; 사용자가 어노테이션(151) 뿐만 아니라 상기 어노테이션(152)의 위치 및 상기 어노테이션이 보일 수 있는 하나 또는 복수의 방향들(153)을 선택하게 하는 프로그램 코드; 및
    상기 어노테이션, 상기 위치 및 상기 방향들을 저장하는 메모리를 구비하는 플렌옵틱 포맷의 참조 이미지에 어노테이션을 달기 위한 기기.

Images