KR20180050380A

KR20180050380A - 실제 장면의 화상을 가상 이미지와 오버레이하는 방법 및 장치, 그리고 모바일 디바이스

Info

Publication number: KR20180050380A
Application number: KR1020187009619A
Authority: KR
Inventors: 다니엘 안데르손
Original assignee: 쓰리디큐알 게엠베하
Priority date: 2015-09-11
Filing date: 2016-09-09
Publication date: 2018-05-14
Also published as: ES2912192T3; DE102015115394A1; EP3347878B1; WO2017042348A2; US10621787B2; JP6625734B2; US20190371064A1; KR102042793B1; EP3347878A2; PL3347878T3; JP2018533121A; WO2017042348A3

Abstract

실제 장면의 화상을 가상 이미지와 오버레이하는 방법은, 이미지 데이터를 판독하는 단계로서, 상기 이미지 데이터는 모바일 디바이스(100)의 주변 센서(environment sensor)(102)에 의해 캡처된 상기 실제 장면(106)의 화상(108)을 나타내는, 상기 판독하는 단계와, 상기 이미지 데이터로부터 마커 데이터(marker data)(132)를 결정하는 단계로서, 상기 마커 데이터(132)는 화상(116), 및 상기 실제 장면(106) 내에 배치된 마커(112)의 포지셔닝(positioning)을 나타내는, 상기 결정하는 단계와, 가상 이미지 데이터(140)를 판독하는 단계로서, 상기 가상 이미지 데이터(140)는 상기 마커 데이터를 이용하여 다수의 가상 이미지 데이터들 중에서 선택된 이미지 데이터를 나타내며, 상기 가상 이미지 데이터(140)는 상기 가상 이미지(124)를 표현하기 위한 표현 인스트럭션(representation instruction) 및 상기 가상 이미지(124)를 포지셔닝하기 위한 포지셔닝 인스트럭션을 포함하는, 상기 판독하는 단계와 상기 이미지 데이터로부터 객체 데이터(134)를 결정하는 단계로서, 상기 객체 데이터(134)는 화상(118), 및 상기 실제 장면(106) 내에서의 상기 마커(112)의 주변 내에 배치된 객체(110)의 객체 부분(114)의 포지셔닝을 나타내는, 상기 결정하는 단계와, 상기 객체 데이터(134) 및 상기 가상 이미지 데이터(140)를 사용하여, 상기 객체 부분(114)의 상기 화상(118)을 참조하여 상기 가상 이미지(124)를 표현하기 위한 포지셔닝 규칙(142)을 확정하는 단계를 포함한다.

Description

실제 장면의 화상을 가상 이미지와 오버레이하는 방법 및 장치, 그리고 모바일 디바이스

본 발명은 실제 장면의 화상(picture)을 가상 이미지와 오버레이하는 방법 및 장치에 관한 것으로서, 상세하게는 스마트폰과 같은 모바일 디바이스를 사용하여 실행되는 방법 및 장치 및 모바일 디바이스에 관한 것이다.

증강 현실(Augmented Reality, AR)의 기본 개념은 수십 년 동안 존재해 왔으며 현실의 실시간 화상(예를 들면, 카메라 화상)의 가상 정보와의 오버레이를 지칭한다.

본 발명의 목적은 실제 장면의 화상을 가상 이미지와 오버레이하는 개선된 방법 및 개선된 장치, 및 개선된 모바일 디바이스를 제공하는 것이다.

이러한 목적은 독립 청구항들에 따른, 실제 장면의 화상을 가상 이미지와 오버레이하는 방법 및 장치, 그리고 모바일 디바이스에 의해 달성된다. 본 발명의 유리한 변형예 및 실시예들은 후속하는 종속항들로부터 명백해진다.

기술된 접근방식은 특히, 광학적으로 일치하는 방식으로 오버레이된 증강 현실(Augmented Reality) 분야에 관한 것이며, 여기서 가상 객체들은 위치 및 배향에 있어서 실제 장면 내의 앵커 포인트들과 연관되며, 실제 주변의 일부인 것처럼 올바른 관점에서 항상 3차원 장면 내에서 중첩된다. 일 실시예에 따르면, 카메라 스트림의 모든 단일 화상이 화상 처리 방법을 사용하여 분석될 수 있고, 가상 객체의 대응하는 필요한 3 차원 위치 및 배향이 이러한 효과를 달성하기 위해 계산될 수 있다.

이하에서, 가상 이미지라고도 지칭되는, 오버레이될 가상 객체의 선택은 유리하게는, 실제 장면에 존재하는 마커, 예를 들어, QR 코드를 사용하여 수행될 수 있다. 실제 장면의 화상 내에서 가상 이미지의 포지셔닝(positioning)은 실제 장면에서 마커의 주변에 배치된 객체의, 적어도 하나의 객체 부분(object portion), 예를 들어, 에지 또는 면을 사용하여 유리하게 수행될 수 있다. 따라서, 객체 부분의 화상은 가상 객체에 대한 앵커 포인트로서 사용될 수 있다. 마커를 사용함으로써 실제 장면에 적합한 가상 이미지를 선택하는 것이 거의 노력 없이도 보장될 수가 있다. 객체 부분을 사용함으로써, 불리한 조건, 예를 들어, 불량한 조명 조건에서도 가상 이미지가 매우 정확하게 포지셔닝되는 것이 보장될 수 있다. 이러한 포지셔닝은 마커가 실제 장면의 나중의 화상에서 더 이상 묘사되지 않거나 또는 오직 부분적으로만 묘사되는 경우에도 가능하게 된다.

실제 장면의 화상을 가상 이미지와 오버레이하는 방법은 다음과 같은 단계들을 포함한다:

이미지 데이터를 판독하는 단계로서, 상기 이미지 데이터는 모바일 디바이스의 주변 센서(environment sensor)에 의해 캡처된 상기 실제 장면의 화상을 나타내는, 상기 판독하는 단계;

상기 이미지 데이터로부터 마커 데이터(marker data)를 결정하는 단계로서, 상기 마커 데이터는 화상, 및 상기 실제 장면 내에 배치된 마커의 포지셔닝을 나타내는, 상기 결정하는 단계;

가상 이미지 데이터를 판독하는 단계로서, 상기 가상 이미지 데이터는 상기 마커 데이터를 이용하여 다수의 가상 이미지 데이터들 중에서 선택된 이미지 데이터를 나타내며, 상기 가상 이미지 데이터는 상기 가상 이미지를 표현하기 위한 표현 인스트럭션(representation instruction) 및 상기 가상 이미지를 포지셔닝하기 위한 포지셔닝 인스트럭션을 포함하는, 상기 판독하는 단계;

상기 이미지 데이터로부터 객체 데이터를 결정하는 단계로서, 상기 객체 데이터는 화상, 및 상기 실제 장면 내에서의 상기 마커의 주변 내에 배치된 객체의 객체 부분의 포지셔닝을 나타내는, 상기 결정하는 단계; 및

상기 객체 데이터 및 상기 가상 이미지 데이터를 사용하여, 상기 객체 부분의 상기 화상을 참조하여 상기 가상 이미지를 표현하기 위한 포지셔닝 규칙을 확정하는 단계.

상기 실제 장면은, 예를 들어, 주변 센서의 감지 범위 내에 있는 모바일 디바이스의 주변 영역일 수 있다. 상기 주변 센서는 예를 들어 카메라와 같은 광학 이미지 센서일 수 있다. 화상은 주변 센서를 사용하여 캡처된 실제 장면의 이미지를 나타낼 수 있으며, 상기 이미지는 상기 모바일 디바이스의 디스플레이를 사용하여 디스플레이될 수 있다. 가상 이미지는 실제 장면의 화상에 삽입될 수 있는 임의의 일러스트레이션, 예를 들어, 그래픽, 기호 또는 글을 나타낼 수 있다. 가상 이미지는 3 차원 또는 2 차원 이미지 또는 점을 나타낼 수 있다. 실제 장면의 화상과 가상 이미지의 오버레이는 실제 장면의 화상을 포함할 수 있으며, 여기서 실제 장면의 화상의 적어도 일부는 가상 이미지에 의해 완전하게 또는 예를 들어 반투명 방식으로 마스킹된다. 마커는 인위적으로 장면에 배치된 마커 일 수 있으며, 예를 들어, 픽토그램의 코드의 형태로 된 기하학적 마커일 수 있다. 마커는 1 차원 또는 2 차원 코드 형태의 인공 마커로 구현될 수 있다. 예를 들어, 마커는 밝은 부분과 어두운 부분을 갖는 행렬로 구현될 수 있다. 마커는 광학 및 전자적으로 판독이 가능한 기록물을 나타낼 수 있다. 기호 형태의 데이터가 마커 내에서 이미징될 수 있다. 마커 데이터는 마커의 화상 및 실제 장면의 화상 내에서의 마커의 화상의 포지셔닝에 관한 정보를 포함할 수 있다. 상기 방법의 다른 단계들에서, 마커 데이터는 전체적으로 또는 부분적으로 사용되고, 필요하다면 다른 처리된 형태로 사용될 수 있다. 가상 이미지의 위치를 포지셔닝하기 위한 포지셔닝 인스트럭션이 실제 장면의 화상 내의 마커의 화상에 대해 가상 이미지를 포지셔닝시키는데 적합하다. 객체 부분은 실제 객체의 일부, 부분 또는 영역, 예를 들어, 에지 또는 면일 수 있다. 객체는 건물, 가구, 차량 또는 종이와 같은 임의의 아이템일 수 있다. 상기 객체 부분은 예를 들어, 이러한 아이템의 서로에 대해 경사진 면들 간의 에지 또는 외측 에지일 수 있다. 객체 데이터는 객체 부분의 화상에 대한 정보 및 실제 장면의 화상 내에서의 화상의 포지셔닝에 대한 정보를 포함할 수 있다. 상기 방법의 다른 단계들에서, 객체 데이터는 전체적으로 또는 부분적으로 그리고 필요한 경우에는 다른 처리된 형태로 사용될 수 있다. 포지셔닝 규칙은 실제 장면의 화상 또는 실제 장면의 다른 화상의, 객체 부분의 화상에 대하여 가상 이미지를 포지셔닝시키는데 적합할 수 있다. 포지셔닝 규칙은 마커의 화상의 포지셔닝, 객체 부분의 화상의 포지셔닝 및 포지셔닝 인스트럭션을 사용하여 확정될 수 있다.

일 실시예에 따르면, 실제 장면의 화상을 가상 이미지와 오버레이하는 방법은 다음의 단계들을 포함한다:

이미지 데이터를 판독하는 단계로서, 상기 이미지 데이터는 모바일 디바이스의 주변 센서에 의해 캡처된 상기 실제 장면의 픽쳐를 나타내는, 상기 판독하는 단계;

상기 이미지 데이터로부터 마커 데이터를 결정하는 단계로서, 상기 마커 데이터는 화상 및 실제 장면에 배치된 마커의 포지셔닝을 나타내는, 상기 결정하는 단계;

가상 이미지 데이터를 판독하는 단계로서, 상기 가상 이미지 데이터는 상기 마커 데이터를 이용하여 복수의 가상 이미지 데이터 중에서 선택된 이미지 데이터를 나타내며, 상기 가상 이미지 데이터는 상기 가상 이미지를 표현하기 위한 표현 인스트럭션 및 상기 가상 이미지를 포지셔닝시키기 위한 포지셔닝 인스트럭션을 포함하는, 상기 판독하는 단계;

상기 이미지 데이터로부터 객체 데이터를 결정하는 단계로서, 상기 객체 데이터는 화상, 및 실제 장면 내에서 마커의 주변에 배치된 객체의 객체 부분의 포지셔닝을 나타내는, 상기 결정하는 단계; 및

상기 객체 데이터 및 상기 가상 이미지 데이터를 이용하여 상기 객체 부분의 화상을 참조하여 상기 가상 이미지을 표현하기 위한 포지셔닝 규칙을 확정하는 단계.

일반적으로, 상기 이미지 데이터는 실제 이미지 데이터를 나타낼 수 있고, 객체 데이터는 실제 객체 데이터를 나타낼 수 있으며, 객체 부분은 실제 객체 부분을 나타낼 수 있다.

일 실시예에 따르면, 상기 확정하는 단계에서, 포지셔닝 규칙은 마커 데이터 또는 마커 데이터의 적어도 일부를 사용하여 확정될 수 있다.

일 실시예에 따르면, 상기 판독하는 단계, 결정하는 단계 및 확정하는 단계의 연속적인 반복은 짧은 시간 간격으로, 특히 초당 수회 수행될 수 있다. 예를 들어, 이러한 단계들은 초당 10 번 내지 200 번(즉, 10 분의 1 초 또는 5/1000 초마다) 실행될 수 있다.

기술된 접근방식은 모바일 디바이스의 큰 거리 및 상대적으로 무제한적인 위치로부터의 정확한 시점을 갖는 일러스트레이션으로 가상 객체의 포지셔닝을 가능하게한다. 유리하게는, 모바일 디바이스가 마커를 인식할 필요는 없으며, 상기 마커에 대하여 고정된 위치로 해당 가상 객체를 포지셔닝할 필요도 없다. 큰 거리는 마커, 예를 들어, QR 코드의 한 변의 길이의 10 배 내지 5 천 배의 거리일 수 있다. 일 실시예에 따르면, 마커의 한 변 길이의 10 배 내지 500 배의 범위가 바람직하다. 마커의 한 변의 길이가 2cm일 때, 이는 최대 100m(변 길이의 5000 배)의 거리에 해당한다. 비교적 제한이 없는 위치는 세 축 모두에서 0.1°내지 180°의 편차를 의미할 수 있다. 따라서, 360°모든 주변이 커버될 수 있다. 마커가 모바일 디바이스의 시야(주변 센서) 내에 항상 있을 필요는 없다.

일 실시예에 따르면, 기술된 접근방식은, 이미지 캡처에 추가하여, 마커를 먼저 검출할 시에 고정된 위치에 대한, 마커 검출 이후의 상대적인 위치 변화를 측정하기 위하여, 모바일 디바이스에 배치된 측정 디바이스들을 사용한다. 또한, 실제 이미지 데이터로부터의 실제 객체의 데이터는, 실제 마커가 더 이상 주변 센서의 감지 범위에 있을 필요가 없도록, "보조 마커"라고도 하는 객체 부분으로서 사용된다.

이하에서 언급된 디바이스들은, 제 1 위치로부터의 편차를 결정하기 위해서, 마커를 한 번 감지 한 후에, 스마트폰이 태블릿과 같은 모바일 디바이스 내에 있는, 인식 디바이스 또는 측정 센서라고도 하는 해당 측정 디바이스로서 사용될 수 있다. 개별 측정 센서는 본 명세서에서 선택된 것들의 임의의 조합일 수도 있다.

가속도계 센서(acceleration sensor): 한편에서는 모바일 디바이스의 병진 운동을 측정하고, 다른 한편에서는 모바일 디바이스에 대한 지구의 중력 방향, 및 이에 따른 모바일 디바이스의 배향/회전을 결정한다.

회전 센서: 모바일 디바이스의 회전 모션을 측정한다.

자력계: 지구 자기장을 측정하여 모바일 디바이스의 수평 회전을 측정한다.

GPS 수신기: 매우 먼 거리에서 선택적이며 ± 2 미터의 정확도로 위치를 지정할 수 있다.

이미지 센서에 추가하여 가속도계 센서와 회전 센서를 사용하는 것이 본 명세서에서 바람직하다.

이미지 센서는 가시 광선(400-800nm)으로 제한될 수 있지만, 다른 스펙트럼 범위를 추가적으로 전송하거나 오직 전송할 수도 있다(예를 들어, IR 또는 UV 광을 추가적으로 전송하거나 오직 전송할 수도 있다).

예를 들어, 대응하는 측정 디바이스의 측정된 값들은 모바일 디바이스의 움직임에 의해 유발되는 객체 부분 또는 객체 부분의 화상의 변위를 결정하는데 사용될 수 있다. 일 실시예에 따르면, 이러한 변위를 나타내는 값은 상기 확정하는 단계에서 객체 부분의 화상에 대하여 가상 이미지를 포지셔닝시키기 위한 포지셔닝 규칙을 확정하는데 사용된다.

따라서, 포지셔닝 규칙은, 예를 들어, 모바일 디바이스의 가속도계 센서, 회전 센서, 자력계 또는 GPS 수신기와 같은 측정 디바이스 또는 몇몇 측정 디바이스들의 측정된 값을 사용하여 확정될 수 있다.

이는 가상 객체가 실제로 움직일 때 발생하는 기술적 문제를 더 해결한다. 이러한 모션을 추적할 때 주변 센서의 시야에서 마커가 사라지면, 가상 화상이 충돌하지 않는다. 따라서, 이제, 넓은 주변 영역에서 이미지 시퀀스들이 표현될 수 있다.

일 실시예에 따르면, 상기 방법은 마커 데이터의 적어도 일부를 인터페이스를 통해서 외부 디바이스에 제공하는 단계를 포함한다. 이 경우에, 가상 이미지 데이터를 판독하는 단계에서는, 가상 이미지 데이터가 판독되어 인터페이스를 통해 외부 디바이스, 예를 들어 서버로 전송될 수 있다. 언급된 인터페이스는 예를 들어 무선 인터페이스일 수 있다. 바람직하게는, 상기 가상 이미지 데이터의 선택은 상기 외부 디바이스를 사용하여 수행될 수 있다. 이에 따라, 모바일 디바이스 상의 메모리 공간이 절약될 수 있고, 항상 최신의 가상 이미지 데이터가 사용 가능하게 되는 것이 보장될 수 있다.

상기 방법은 상기 마커 데이터를 이용하여 상기 복수의 가상 이미지 데이터로부터 상기 가상 이미지 데이터를 선택하는 단계를 포함할 수 있다. 상기 선택하는 단계는 외부 디바이스 또는 상기 모바일 디바이스의 디바이스를 사용하여 수행될 수 있다. 후자의 옵션은 상기 방법이 모바일 디바이스 상에서 자동으로 실행될 수 있다는 이점을 제공한다. 가상 이미지 데이터는 마커의 화상 또는 마커의 식별정보를, 예를 들어, 복수의 가상 이미지와 연관된 잠재적인 마커들의 화상들 또는 식별정보들과 비교하고, 그리고 서로 일치하는 가상 이미지들 중 하나를 선택함으로써 선택될 수 있다. 이러한 방식으로, 일치하는 가상 이미지가 큰 신뢰성으로 선택될 수 있다.

이를 위해, 상기 방법은 마커 데이터를 사용하여 마커의 식별정보를 확정하는 단계를 포함할 수 있다. 상기 선택하는 단계에서, 식별정보를 사용하여 가상 이미지 데이터가 선택될 수 있다. 이러한 식별정보는 예를 들어 코드 또는 문자열일 수 있다.

예를 들어, 마커는 마커의 대응하는 식별정보를 포함하는 머신 판독 가능한 코드를 나타낼 수 있다. 이 경우에, 마커의 식별정보는 마커 데이터를 결정하는 단계에서 마커 데이터의 일부로서 결정될 수 있다. 머신 판독 가능한 코드를 사용하여, 마커의 화상을 매우 용이하게 평가할 수 있다.

상기 방법은 상기 포지셔닝 규칙을 사용하여 상기 실제 장면의 다른 화상을 상기 가상 이미지와 오버레이하는 단계를 포함할 수 있다. 바람직하게는, 한번 결정된, 상기 포지셔닝 규칙은 상기 실제 장면의 시간적으로 연속적인 화상들을 상기 가상 이미지와 오버레이하는데 사용될 수 있다.

이를 위해, 상기 사용하는 단계는, 예를 들어, 다른 이미지 데이터를 판독하는 단계로서, 상기 다른 이미지 데이터는 상기 모바일 디바이스의 주변 센서에 의해 캡처된 상기 실제 장면의 상기 다른 이미지를 나타내는, 상기 판독하는 단계; 상기 다른 이미지 데이터로부터 상기 객체 부분의 다른 화상의 포지셔닝을 결정하는 단계; 및 상기 다른 이미지 데이터, 상기 객체 부분의 상기 다른 화상, 및 상기 포지셔닝 규칙을 사용하여 오버레이된 이미지 데이터를 생성하는 단계를 포함하며, 상기 오버레이된 이미지 데이터는 상기 실제 장면의 상기 다른 화상의 상기 가상 이미지와의 오버레이를 나타낸다. 상기 포지셔닝을 결정하는 단계에서, 상기 실제 장면의 다른 화상 내에서의 상기 객체 부분의 상기 다른 화상의 포지셔닝이 결정될 수 있다. 따라서, 실제 장면의 시간적으로 연속적인 화상들 내에서의 객체 부분의 화상들은 가상 이미지에 대한 앵커 포인트들로서 사용될 수 있다. 오버레이된 이미지 데이터를 생성하는 단계에서, 가상 이미지는 표현 인스트럭션을 사용하여 표현될 수 있다.

상기 방법은 상기 모바일 디바이스의 디스플레이를 사용하여 상기 실제 장면의 상기 다른 화상의 상기 가상 이미지와의 오버레이를 디스플레이하는 단계를 포함할 수 있다. 이를 위해, 예를 들어 이미 언급된 오버레이된 이미지 데이터가 디스플레이에 제공될 수 있다. 디스플레이는 스크린 또는 디스플레이 디바이스일 수 있다.

상기 방법은 상기 모바일 디바이스의 상기 주변 센서를 사용하여 상기 이미지 데이터를 캡처하는 단계를 포함할 수 있다. 예를 들어, 이미지 데이터는 시간적으로 연속적으로 캡처되고 이로써 실제 장면의 화상들이 시간적으로 연속적으로 제공될 수 있다. 가상 이미지는 실제 장면의 개별 화상들과 오버레이될 수 있다.

다양한 실시예에 따르면, 또한 다수의 가상 이미지들이 오버레이를 위해서 사용될 수 있다. 이 경우, 상기 판독 단계에서, 복수의 가상 이미지 데이터가 판독될 수 있거나, 또는 가상 이미지 데이터는 복수의 가상 이미지를 표현하고 포지셔닝하기 위한 표현 인스트럭션 및 포지셔닝 인스트럭션을 포함할 수 있다.

또한, 하나 또는 상이한 객체들의 다수의 객체 부분들이 사용될 수 있다. 이 경우, 상기 객체 데이터를 결정하는 단계에서, 복수의 객체 데이터가 결정될 수 있거나, 또는 객체 데이터가 화상들 및 복수의 객체 부분들의 포지셔닝들을 나타낼 수 있다. 이에 대응하여, 상기 포지셔닝 규칙을 확정하는 단계에서, 개별 객체 부분에 대하여 가상 이미지를 포지셔닝시키는 다수의 포지셔닝 규칙들이 확정될 수 있다. 일 대안으로서, 복수의 객체 부분의 화상들에 대해 상기 가상 이미지를 포지셔닝시키는데 적합한 포지셔닝 규칙이 확정될 수 있다. 다수의 객체 부분의 사용은 가상 이미지가 매우 정확하게 포지셔닝될 수 있고, 사용되는 모든 객체 부분들이 실제 장면의 화상 내에 묘사되지 않을 때에도 포지셔닝될 수 있다는 장점을 제공한다.

본 명세서에서 제시된 접근방식은 대응하는 디바이스들에서 본 명세서에 제시된 방법의 변형의 단계들을 수행, 제어 또는 구현하도록 구성된 장치를 제공한다. 본 발명의 목적은 장치 형태의 본 발명의 이러한 실시예에 의해서도 신속하고 효율적으로 달성될 수 있다.

상기 장치는 입력 신호들을 판독하고 상기 입력 신호들을 사용하여 출력 신호들을 결정 및 제공하도록 구성될 수 있다. 예를 들어, 입력 신호는 상기 장치의 입력 인터페이스를 통해 판독 가능한 센서 신호를 나타낼 수 있다. 출력 신호는 상기 장치의 출력 인터페이스에 제공될 수 있는 제어 신호 또는 데이터 신호를 나타낼 수 있다. 상기 장치는 하드웨어 또는 소프트웨어로 구현된 프로세싱 규칙을 사용하여 출력 신호를 결정하도록 구성될 수 있다. 예를 들어, 상기 장치는 논리 회로, 집적 회로 또는 소프트웨어 모듈을 포함할 수 있으며, 예를 들어, 개별 컴포넌트로서 구현되거나 개별 컴포넌트에 포함될 수 있다.

또한, 유리하게는, 반도체 메모리, 하드 디스크 또는 광 메모리와 같은 머신 판독 가능 캐리어 상에 저장될 수 있으면서 컴퓨터 프로그램 제품이 컴퓨터 또는 장치 상에서 실행될 때에, 상기 기술된 실시예들의 하나의 방법을 수행하기 위한 프로그램을 갖는, 컴퓨터 프로그램 제품이 제공된다.

본 발명의 실시예들이 도면들에 도시되어 있으며 후속하는 설명에서 보다 상세하게 설명된다.
도 1은 일 실시예에 따른, 실제 장면의 화상을 가상 이미지와 오버레이하는 방법의 개략도를 도시한다.
도 2는 일 실시예에 따른, 결합 규칙을 생성하는 방법의 개략도를 도시한다.
도 3은 일 실시예에 따른 모바일 디바이스의 개략도를 도시한다.
도 4는 일 실시예에 따른, 실제 장면의 화상을 가상 이미지와 오버레이하는 방법의 흐름도를 도시한다.

도 1은 일 실시예에 따른, 실제 장면의 화상을 가상 이미지와 오버레이하는 방법의 개략도를 도시한다.

도 1의 좌측 절반은 주변 센서(102) 및 디스플레이(104)를 포함하는 모바일 디바이스(100), 예를 들어, 스마트 폰을 도시한다. 이 실시예에 따르면, 주변 센서(102)는 주변 센서(102)의 감지 범위 내에서, 실제 주변으로도 지칭되는 실제 장면(106)을 캡처하도록 구성된 카메라이다. 이 실시예에 따르면, 디스플레이(104)는 주변 센서(102)에 의해 캡처된 실제 장면(106)의 화상(108)을 조작자에게 표시하도록 구성된 디스플레이 디바이스이다.

이 실시예에 따르면, 그것의 외측 표면 상에 마커(112)가 있는 객체(110)가 실제 장면(106)에 배치된다. 예를 들어, 객체(110)는 임의의 이미지 또는 아이템일 수 있다. 객체(110) 및 마커(112)는 각각 주변 센서(102)의 감지 범위 내에, 부분적으로 그리고 완전히 배치된다. 특히, 객체(110)의 적어도 하나의 객체 부분(114)은 주변 센서(102)의 감지 범위 내에 배치된다. 따라서, 화상(108)은 마커(112)의 화상(116) 및 객체 부분(114)의 적어도 하나의 화상(118)을 포함한다.

도 1의 우측 절반은 좌측 절반에 도시된 도면과 비교하여 시간적으로 후속하는 시점에서 모바일 디바이스(100)를 도시한다. 모바일 디바이스(100)의 중간 모션으로 인해, 실제 장면(106)은 주변 센서(102)에서 보았을 때 약간 변화되며, 이로써, 화상(108)에 대해 약간 변화된 다른 화상(120)이 디스플레이(104)에 의해 디스플레이된다. 예를 들어, 다른 화상(120)은 화상(108) 또는 실제 장면(106)의 다른 섹션과 비교하여, 다른 시점으로 실제 장면(106)을 묘사할 수 있다. 예를 들어, 다른 섹션은 다른 화상(120)이 객체 부분(114)의 다른 화상(122)을 포함하나 마커(112)의 다른 화상을 포함하지 않도록 된다. 그럼에도 불구하고, 다른 화상(120)은 설명된 방법을 사용함으로써 가상 이미지(124)와 오버레이될 수 있다. 일 실시예에 따르면, 다른 화상(120)은 사전 결정된 위치 및/또는 사전 결정된 배향으로 가상 이미지(124)와 오버레이된다. 일 실시예에 따르면, 그러한 사전 결정된 오버레이는, 다른 화상(120)이 가상 이미지(124)에 대한 앵커 포인트로서 사용될 수 있는 객체 부분(106)의 적절한 다른 화상(122)을 포함하는 한 가능하다.

본 방법의 단계들은 오직 모바일 디바이스(100)의 디바이스들만을 사용하여 실행될 수 있거나, 또는 예를 들어, 본 명세서에서 클라우드로서 예시된 적어도 하나의 외부 디바이스를 추가적으로 사용하여 수행될 수 있다. 예를 들어, 외부 디바이스(130)는 모바일 디바이스(100)에 온라인으로 연결될 수 있다.

본 방법은 연속적으로 실행될 수 있거나, 조작자에 의해 요청된, 컨텐츠 호출 또는 디스플레이(104)를 사용하는 실제 장면(106) 보기와 함께 개시될 수 있다.

화상(108)은 주변 센서(102) 또는 주변 센서(102)의 하류에 있는 평가 디바이스에 의해 제공된 이미지 데이터를 기반으로 한다. 마커 데이터(132) 및 객체 데이터(134)는 예를 들어, 객체 인식 방법 또는 다른 적절한 이미지 처리 방법을 사용하여, 본 명세서에서 개략적으로 도시된 이미지 데이터로부터 결정된다. 마커 데이터(132)는 적절한 추출에 의해 이미지 데이터로부터 결정되며, 마커(112)와 관련된 식별 데이터(136), 예를 들어, 마커(112)와 관련된 식별 ID, 및/또는, 예를 들어, URL 형태의, 마커(112)와 관련된 어드레스 또는 포인터를 포함할 수 있다. 마커 데이터(132) 또는 마커 데이터(132)의 일부 또는 이로부터 결정된 데이터, 예를 들어, 마커와 연관된 식별 데이터는, 연관 규칙(138), 예를 들어서, 본 실시예에 따라서, 외부 디바이스(130)의 메모리에 저장되는 할당 테이블을 사용하여, 복수의 가상 이미지 데이터로부터, 마커(112)와 관련된 가상 이미지 데이터(140)를 선택하는데 사용될 수 있다. 복수의 가상 이미지 데이터는 AR 컨텐츠의 형태로 할당 테이블(138)에 저장될 수 있다. 가상 이미지 데이터(140)는 모바일 디바이스(100)로 전송되어 가상 이미지(124)를 디스플레이하는데 사용된다. 일 실시예에 따르면, 가상 이미지 데이터(140)를 선택하는 것은 오직 새로운 마커(112)가 발견된 경우에만, 예를 들어, 마커(112)의 화상(116) 또는 마커(112)의 식별 데이터(136)가 화상(108)을 나타내는 이미지 데이터로부터 먼저 추출되었을 때에만, 실행된다.

객체 데이터(134)는 적절한 이미지 피처(feature)들의 적절한 추출에 의해 이미지 데이터로부터 결정된다. 적절한 이미지 피처들은, 예를 들어 일시적 및 국부적인 사용을 위해, 새로운 AR 마커로서 또한 지칭되는, 포지셔닝 규칙(142)을 생성하는데 사용된다. 이러한 포지셔닝 규칙(142)은 마커(112)의 화상(116)이 사용 가능하지 않더라도 화상(106) 또는 다른 화상(120)의 오버레이로서 가상 이미지(124)를 나타낼 수 있도록 모바일 디바이스(100)에 의해 사용된다. 포지셔닝 규칙(142)을 사용하기 위해 온라인 매칭이 필요하지 않다. 본 실시예에 따르면, 포지셔닝 규칙(142)은 자연적 마커를 나타내는 객체 부분(114)을 참조한다.

일 실시예에 따르면, URL에 기초한 AR 컨텐츠의 신뢰할만한 연관 및 새로운, 따라서 최신의 자연적 마커에 기초한 안정적인 3 차원 추적이 실현된다.

일 실시예에 따르면, 적어도 2 개의 자연적 마커, 즉 예를 들어 객체(110)의 객체 부분(114) 및 다른 객체 부분(144)이 사용되어, 다른 화상(120) 내의 가상 이미지(124)를 포지셔닝할 수 있다. 이 경우, 포지셔닝 규칙(142)은 양 객체 부분(114, 144) 또는 이들의 화상(118, 122, 146)에 관한 것이다. 도 1에 도시된 실시예에서, 다른 객체 부분(144)은 실제 장면(106)의 다른 화상(120)에 묘사되지 않는다. 그럼에도 불구하고, 가상 이미지(124)는 객체 부분(114)의 다른 화상(122)을 통해 포지셔닝될 수 있다.

일 실시예에 따르면, 설명된 방식은 카메라 이미지로부터 객체의 3 차원 위치를 추출할 수 있는 2 가지 방법들의 조합에 기초한다.

이들 방법들 중 제 1 방법에서, 예를 들어, QR 코드와 같은, 소정의 기하학적 형상들이 마커(112)로서 사용되고, 이러한 형상들은 카메라 화상의 영역 내에 배치된다. 이러한 마커(112)의 알려진 형상 및 카메라 화상(108) 내에서의 그의 화상(116)에 기초하여, 공간에서의 그의 3 차원 배향이 화상 처리에 의해 결정될 수 있다. 제 1 방법의 이점은, 마커(112)의 미리 정의된 설계 규칙으로 인해, 마커가 카메라 화상(108) 내에서 명확하게 식별될 수 있고, 따라서 마커(112)의 ID 또는 QR 코드를 통한 웹 링크와 같은 추가 정보가 마커(112)의 외관에서 직접 부호화될 수 있다는 것이다. 이러한 방식으로, 예를 들어, QR 코드의 흑백 비트와 같은, 한 번 규정된 인코딩 방식에 의해, 매우 많은 수의 상이한 마커들이 광학적으로 서로 명확하게 구별될 수 있다. 그러나, 이들 마커(112)는, 필연적으로 정확히 규정된 형상으로 인해, 카메라 화상(108) 내에서의 작은 간섭에 대해서 강하지 못하다는 단점이 있다. 이러한 작은 간섭은, 예를 들어, 약간의 초점 흐림, 모션 흐림 또는 가파른 시야각일 수 있다. 이는, 이들 마커(112) 중 하나의 3 차원 위치는, 그것이 이미지 평면에 평행하게 완전히 포커싱되고 카메라 화상(108) 내에서 은폐되지 않게 보일 수 있고 카메라(102)가 마커(112)에 대해 거의 고정되어 있는 경우에만 정확하게 추출될 수 있다는 사실로 이어진다. 따라서, 예를 들어, QR 코드 형태의 마커(112)에 기초하는 올바른 위치에서의 가상 3-D 객체(124)의 연속적인 AR 오버레이는 거의 불가능해진다. 기하학적 마커(112)의 대형 설계의 경우, 이러한 문제는 어느 정도 완화되지만, 그러한 마커가 대부분의 용도들에서 바람직하지 않은, 눈에 잘 띄고 커다란 방식으로 장면(106) 내에 배치되어야 한다는 점에서 다른 단점을 수반한다.

자연적 피처 추적(Natural Feature Tracking) 또는 NFT라고도 지칭되는 이들 방법 중 제 2 방법에서, 실제 주변(106)에서 전단의 표지 이미지와 같은 객체(110)의 화상들은 이전에 마커로서 정의되고 그의 자연적 광학적 피처들(114), 예를 들어, 개별 포인트들, 에지 코스들 또는 컬러들이, 먼저, 알고리즘에 의해, 즉, 준 학습된 방식으로, 적절한 형태로 원본으로부터 추출된다. 그 후, AR 포지셔닝을 위해, 즉 오버레이될 가상 이미지(124)의 위치를 결정하기 위해, 이러한 이전에 학습된 자연적 피처들(114)을 찾기 위해서 카메라 화상(108)이 검색되고, 최적화 방법에 의해, 현재 구하고 있는 객체(110)가 카메라 화상(108) 내에 있는지의 여부가 결정되고, 그의 배향 및 위치가 그의 개별적인 피처들(114)의 배열에 기초하여 추정된다. 이러한 방식의 장점은 최적화 기반 방법으로 인한 간섭에 대해서 매우 강하다는 것이다. 따라서, 마커 객체들(114)의 위치들은 부분적으로 감추어져 있을 때에 그리고 매우 가파른 각도들에서, 흐려진 카메라 화상들(108, 120)에서도 인식될 수 있다. 다른 방법들(예를 들어, SLAM)은, 카메라 화상(108, 120) 내의 마커 객체(114)의 초기 인식, 및 현 주변으로부터의 피처들을 갖는 그의 모델에 기초하여, 연속적으로 확장하는 것을 가능하게 하며, 이로써 그것이 더 이상 카메라 화상(120) 내에서 보이지 않더라도 공간 내에서의 그의 배향이 정확하게 결정될 수 있다. 그러나, 이러한 방법은 특히 많은 수의 상이한 마커들이 그와 함께 인식될 때 상당한 단점을 갖는다. 처음에 3 개의 마커 객체(114)가 카메라 화상(108, 120)에서 전적으로 인식될 수 있도록 자연적 광학적 외관에 대한 특정 광학적 기준을 만족시켜야 한다. 더욱이, 모호하지 않은 식별을 위해, 모든 인식 가능한 마커(114)는 서로 명확하게 구별되어야 한다 - 인식 가능한 마커(114)의 수가 많을수록, 오할당의 가능성은 높아진다. 이것은, 데이터베이스 내에서의, 많은 광학적으로 유사한 객체들(100), 예를 들어, 명함들이 구별되어야 하는 경우에 특히 문제가 된다. 또한, 모든 인식 가능한 마커들의 자연적 피처들을 갖는 데이터베이스는 인식시에 이미 존재해야 하고, 마커들(114) 중 하나가 카메라 화상 내에 있는지를 알기 위해 이러한 전체 데이터베이스는 카메라 화상(108, 120)과 비교되어야 한다. 지속적으로 증가하는 마커 데이터베이스를 갖는 스마트 폰 AR 애플리케이션과 같은 시스템의 경우, 이는 중앙 위치에 있는 데이터베이스의 현 버전을 (온라인으로) 제공하는 것을 요구하고, 각각의 스마트 폰(100)은 모든 단일 카메라 화상(108, 120)을 분석하기 위해 계산적으로 광범위한 화상 검색 요청을 상기 데이터베이스에 전송해야 한다.

일 실시예에 따르면, 본 명세서에서 설명된 방식은 상기 2 가지 방법들의 조합에 기초하며, 여기서 이러한 두 방법 모두는 카메라 화상(108, 120) 내에서의 마커 객체들의 인식 및 3-D 포지셔닝을 위해 연속적인 링크된 스테이지들로 수행된다: 제 1 스테이지에서, 기하학적 미리 정의된 마커 설계, 예를 들어, QR 코드 또는 바코드가, 본 명세서에서 AR 컨텐츠(124)로 지칭되는 가상 이미지(124)의 가상 이미지 데이터(140)를 오직 식별하기 위해서만, 카메라 이미지(108) 내의 마커(116)로서 사용된다. 일단 이들 마커들(116) 중 하나가 카메라 화상(108)에서 발견되면, 먼저, 식별정보(142)가 그로부터 추출되는데, 예를 들어, AR 컨텐츠(124)의 ID 또는 URL 및 실제 장면(106) 내에서의 그의 초기 위치 및 배향이 추출된다. 이와 동시에, 가령, 예를 들어, 코드의 형태로 된 마커(112)의 인식 순간에 정확히, 마커(112) 바로 주위의 현 주변이 카메라 화상(108) 내에 캡처되고, 자연적 피처들(114)이 그로부터 추출되며, 새로운 자연적 마커(118)가 상기 자연적 피처들을 사용하여 제 2 방법에 따라 실시간으로 생성된다. 모든 후속 카메라 화상들(120) 및 카메라(102) 또는 마커(114)의 움직임들에서, AR 컨텐츠(124)의 3 차원 포지셔닝은 이제 새로운 신뢰할만한 자연적 마커(114)에 기초하여 실현될 수 있다. 원래의 제 1 방법(QR 코드 인식 참조)과는 달리, 가상 이미지(124)로서 3 차원 가상 객체들의 연속적으로 안정한 표현 및 움직임이 가능하거나, 또는 기하학적 마커들과는 달리, 이들이 단지 실제 장면(106) 내에 작고 너무 현란하지 않은 방식으로 배치된다고 하더라도 이들이 추적될 수 있다. 또한, 원래의 제 2 방법(자연적 마커 인식)과 달리, 새로 생성된 마커(114)의 광학적 차별성은, 그의 AR 컨텐츠(124)와의 연관성이 링크된 코드, 즉, 마커(112)에 의해서 이미 고정되었기 때문에, 다른 마커들와 비교하여 전적으로 관계가 없다. 상기 링크된 코드로부터 직접 URL을 추출하는 방법에 의해서, 피처 데이터베이스를 온라인으로 계속하여 검색하는 것이 피해질 수 있으며, 애플리케이션 내에서의 구분 가능한 마커들의 수가 거의 무한대로 증가한다. 또한, 사용 시에 즉시 자연적 AR 마커(114)를 생성함으로써, 이전의 AR 방법들과 달리, 그들의 광학적 외관을 자주 변경하는 객체들(110), 예를 들어, 하루 중 상이한 시간들에서의 또는 일년 중 상이한 시간들에서의 집의 전방부들이 자연적 마커들로서 사용될 수 있다.

도 2는 일 실시예에 따른, 연관 규칙(138)을 생성하는 방법의 개략도를 도시한다. 연관 규칙(138)은 예를 들어, 도 1에 도시된 외부 디바이스에 저장될 수 있다.

조작자(250)는, 예를 들어 복수의 가상 이미지 데이터의 형태로, 3D AR 컨텐츠(252)를 제공한다. 웹 인터페이스(254)는 3D AR 컨텐츠(252)에 기초하여 연관 규칙(138)을 생성하거나 업데이트하는데 사용된다. 일 실시예에 따르면, 연관 규칙(138)은 3D AR 컨텐츠(252)의 각각의 3D AR 컨텐츠(252)에 대해 특정된 고유 URL로의 링크를 포함한다.

도 3은 일 실시예에 따른 모바일 디바이스(100)의 개략도를 도시한다. 모바일 디바이스(100)는 예를 들어, 도 1에 도시된 모바일 디바이스일 수 있다. 모바일 디바이스(100)는 주변 센서(102), 및 주변 센서(102)에 의해 캡처된 실제 장면의 화상을 디스플레이하기 위한 디스플레이(104)를 포함한다. 화상과 가상 이미지가 서로 오버레이될 수 있다. 이 실시예에 따르면, 모바일 디바이스(100)는 외부 디바이스(130)로의 인터페이스(360), 예를 들어, 무선 데이터 전송을 위한 인터페이스를 포함한다. 일 실시예에 따르면, 주변 센서(102) 및 디스플레이(104)는 모바일 디바이스(100)의 후면 및 전면에 각각 배치된다.

모바일 디바이스(100)는 주변 센서(102)에 연결되고 원시 데이터 또는 이미 사전 처리된 데이터로서 주변 센서(102)의 이미지 데이터(364)를 판독하도록 구성된 판독부(362)를 포함한다. 예를 들어, 판독부(362)는 주변 센서(102)로의 인터페이스이다. 화상 데이터(364)는 주변 센서(102)에 의해 캡처된 실제 장면의 화상을 나타낸다. 판독부(362)에 의해 판독된 이미지 데이터(364)는 모바일 디바이스(100)의 결정부(366)에서 더 처리된다. 특히, 마커 데이터(132) 및 객체 데이터(134)는 이미지 데이터(364)로부터 결정되며, 예를 들어, 이로부터 추출된다. 마커 데이터(132)는 예를 들어, 도 1에 도시된 기하학적 마커(112)의, 실제 장면 내에 배치된 마커의 위치 및 화상을 나타낸다. 객체 데이터(134)는 실제 장면 내에서 마커의 주변에 배치된 객체의 객체 부분의 포지셔닝 및 화상을 나타낸다. 예를 들어, 객체 부분은 자연적 마커로서 사용될 수 있는 도 1에 도시된 객체 부분(114)일 수 있다. 이를 위해, 결정부(366)는 먼저, 실제 장면의 화상 내에서 마커의 화상을 인식하고 이어서 화상 데이터(364)로부터 해당 마커의 화상과 연관된 마커 데이터를 결정하도록 구성된다. 이에 따라, 결정부(366)는 실제 장면의 화상에 있는 객체 부분의 하나 이상의 적절한 화상을 먼저 인식한 다음, 상기 적절한 화상 부분의 화상 또는 화상들과 연관된 객체 데이터를 상기 이미지 데이터(364)로부터 결정하도록 구성된다

이 실시예에 따르면, 마커 데이터(132)가 외부 인터페이스(360)에 제공되고, 예를 들어, 무선 인터페이스와 같은 외부 인터페이스(360)를 통해, 예를 들어, 외부 기기 형태의 외부 디바이스(130)로 전송된다. 외부 디바이스(130)는 연관 규칙을 사용하여 복수의 가상 이미지 데이터로부터 마커 데이터(132)와 관련된 가상 이미지 데이터(140)를 선택하고 선택된 가상 이미지 데이터를 모바일 디바이스(100)의 외부 인터페이스(360)에 제공하도록 구성된 선택부(368)를 포함한다. 일 대안으로서, 이미지 데이터(132)의 일부 또는 다른 처리된 형태의 이미지 데이터(132)만이 판독부(360) 및/또는 외부 디바이스(130)에 제공될 수 있다. 외부 인터페이스(360)는 가상 이미지 데이터(142)를 결정부(370)에 제공하도록 구성된다. 가상 이미지 데이터(140)는 가상 이미지를 표현하기 위한 표현 인스트럭션 및 가상 이미지를 포지셔닝하기 위한 포지셔닝 인스트럭션을 포함한다. 결정부(370)는 또한 마커 데이터(132) 및 객체 데이터(134)를 수신하도록 구성된다. 결정부(370)는 마커 데이터(132), 객체 데이터(134) 및 가상 이미지 데이터(140)를 이용하여 객체 부분의 화상에 대해 가상 이미지를 포지셔닝하기 위한 포지셔닝 규칙(142)을 결정하도록 구성된다.

이 실시예에 따르면, 모바일 디바이스(100)는 디스플레이 디바이스(104)를 제어하기 위한 제어부(372)를 포함한다. 제어부(372)는 예를 들어, 디스플레이 디바이스(104)에 의해 도시된 디스플레이를 제어하기 위한 제어 신호의 형태로, 디스플레이(104)에 오버레이된 이미지 데이터(376)를 제공하도록 구성된다. 본 명세서에서, 오버레이된 이미지 데이터(376)는 실제 이미지의 다른 화상과 가상 이미지의 오버레이를 나타낸다. 제어부(372)는 결정부(370)에 의해 제공된 포지셔닝 규칙(142), 다른 이미지 데이터(376) 및 다른 객체 데이터(378) 사용하여 상기 오버레이된 이미지 데이터(376)를 생성하도록 구성된다. 다른 이미지 데이터(376)는 주변 센서(102)에 의해 캡처된 실제 장면의 또 다른 화상을 나타낸다. 다른 객체 데이터(378)는 실제 장면의 다른 화상 내에서 객체 부분의 적어도 포지셔닝을 포함한다.

일 실시예에 따르면, 포지셔닝 규칙(142)은 가상 이미지 데이터(140)에 포함된 가상 이미지를 나타내기 위한 표현 인스트럭션을 포함한다. 대안으로서, 표현 인스트럭션은 포지셔닝 규칙(142)과 별도로 제어부(372)로 전송될 수 있다.

일 실시예에 따르면, 선택부(368)는 모바일 디바이스(100)의 일부이다. 이 경우, 외부 디바이스(130)는 필요 없으며 외부 인터페이스(360)는 내부 인터페이스로 구현될 수 있다.

도 3에 도시된 디바이스들(360, 362, 366, 370, 372)은 실제 장면의 화상을 가상 이미지와 오버레이하기 위한 장치의 디바이스들의 예시적인 배열에 불과하다.예를 들어, 디바이스들(360, 362, 366, 370, 372)의 일부 또는 전부는 실제 장면의 화상을 가상 이미지와 오버레이하는 방법의 방법 단계들을 구현하기 위한 더 큰 유닛들을 형성하도록 결합될 수 있다.

도 4는 일 실시예에 따른, 실제 장면의 화상을 가상 이미지와 오버레이하는 방법의 흐름도를 도시한다. 이 방법은 이전 도면들에 기초하여 설명된 모바일 디바이스의 디바이스들을 사용하여 실행될 수 있다.

단계(480)에서, 모바일 디바이스의 주변 센서에 의해 캡처된 실제 장면의 화상을 나타내는 이미지 데이터가 판독된다. 이미지 데이터는 선택적인 선행 단계(482)에서 주변 센서에 의해 캡처되었을 수 있다. 단계(484)에서, 화상 및 실제 장면 내에 배치된 마커의 포지셔닝을 나타내는 마커 데이터가 이미지 데이터로부터 결정된다. 이에 대응하여, 단계(486)에서, 화상 및 실제 장면에서 마커의 주변에 배치된 객체의 객체 부분의 포지셔닝을 나타내는 객체 데이터가 이미지 데이터로부터 결정된다. 단계(488)에서, 마커 데이터를 사용하여 복수의 가상 이미지 데이터 중에서 선택된 이미지 데이터를 나타내고 가상 이미지를 나타내기 위한 표현 인스트럭션 및 가상 이미지를 포지셔닝하기 위한 포지셔닝 인스트럭션을 포함하는 가상 이미지 데이터가 판독된다. 모바일 디바이스 또는 외부 디바이스 상에서 실행될 수 있는 선택적인 단계(490)에서, 가상 이미지 데이터는 마커 데이터를 사용하여 선택된다. 단계(492)에서, 예를 들어, 실제의 다른 화상의 오버레이로서, 마커 데이터, 객체 데이터 및 가상 이미지 데이터를 사용하여, 객체 부분의 화상에 대한 가상 이미지을 나타내는데 적합한 포지셔닝 규칙이, 확정된다.

선택적 단계(494)에서, 포지셔닝 규칙은 실제 장면의 다른 화상의 가상 이미지와의 오버레이를, 예를 들어, 모바일 디바이스의 디스플레이 상에 나타내는데 사용된다.

예를 들어, 단계(494)는 실제 장면의 다른 화상을 나타내는 다른 이미지 데이터를 판독하는 단계(496), 다른 화상 데이터의 객체 부분의 다른 화상의 포지셔닝을 결정하는 단계(498), 및 상기 다른 화상 데이터, 상기 객체 부분의 상기 다른 화상 및 상기 포지셔닝 규칙을 사용하여 오버레이된 화상 데이터를 생성하는 단계(499)를 포함할 수 있으며, 상기 오버레이된 이미지 데이터는 상기 실제 장면의 다른 화상의 상기 가상 이미지와의 오버레이를 나타낸다. 상기 포지셔닝을 결정하는 단계에서, 상기 실제 장면의 다른 화상 내에서 상기 객체 부분의 다른 화상의 포지셔닝이 결정될 수 있다. 따라서, 실제 장면의 시간적으로 연속적인 화상들에서의 객체 부분의 화상들은 가상 이미지에 대한 앵커 포인트로서 사용될 수 있다. 오버레이된 이미지 데이터를 생성하는 단계에서, 상기 가상 이미지는 표현 인스트럭션을 사용하여 표현될 수 있다.

단계(494)는 연속적으로 반복될 수 있으며, 이 경우에, 상기 포지셔닝 규칙은 상기 실제 장면의 다른 화상들을 상기 가상 이미지와 연속적으로 오버레이하는데 사용된다. 이전 단계들은, 포지셔닝 규칙을 한 번 결정하면 충분하기 때문에, 반복적으로 실행될 필요는 없다.

일 실시예에 따르면, 단계(486)에서, 화상들 및 실제 장면 내의 마커의 주변과 관련된 하나 이상의 객체들의, 몇몇 객체 부분들, 예를 들어, 2 개, 3 개, 4 개 또는 그 이상의 객체 부분들의 포지셔닝을 나타내는 객체 데이터는, 이미지 데이터로부터 결정된다. 이러한 방식으로, 실제 장면의 다른 화상 또는 다른 화상들 내에서의 가상 이미지을 앵커링하기 위한 앵커 포인트들의 수를 증가시킬 수 있다. 이 경우에, 단계(492)에서, 포지셔닝 규칙은 객체 부분들의 화상에 대하여 실제 장면의 다른 화상들 내에서 가상 이미지를 표현하기에 적합하게 되도록 상기 규칙은 확정될 수 있다. 이러한 표현을 구현하기 위해, 결정 단계(498)에서, 다른 이미지 데이터로부터 객체 부분들의 개별적인 화상들의 포지셔닝들이 결정된다. 바람직하게는, 이 경우에, 객체 부분들의 모든 화상들이 다른 이미지 데이터에 포함되는 것은 아니더라도, 가상 이미지은 가상 이미지 데이터에 저장된 요건에 따라 역시 포지셔닝될 수 있다.

일 실시예에 따르면, 단계(492)에서, 모바일 디바이스의 측정 디바이스, 특히 가속도계 센서, 회전 센서, 자력계 또는 GPS 수신기의 측정 값들을 사용하여 포지셔닝 규칙이 확정된다.

Claims

실제 장면의 화상(picture)을 가상 이미지(image)와 오버레이하는 방법에 있어서,
모바일 디바이스(100)의 주변 센서(environment sensor)(102)에 의해 캡처된 상기 실제 장면(106)의 화상(108)을 나타내는 이미지 데이터(364)를 판독하는 단계(480);
상기 이미지 데이터(364)로부터 화상(116) 및 상기 실제 장면(106) 내에 배치된 마커(112)의 포지셔닝(positioning)을 나타내는 마커 데이터(marker data)(132)를 결정하는 단계(484);
상기 마커 데이터를 이용하여 다수의 가상 이미지 데이터들(252) 중에서 선택된 이미지 데이터를 나타내고, 가상 이미지(124)를 표현하기 위한 표현 인스트럭션(representation instruction) 및 상기 가상 이미지(124)를 포지셔닝하기 위한 포지셔닝 인스트럭션을 포함하는 가상 이미지 데이터(140)를 판독하는 단계(488);
상기 이미지 데이터(364)로부터 화상(118), 및 상기 실제 장면(106) 내에서의 상기 마커(112)의 주변 내에 배치된 객체(110)의 객체 부분(114)의 포지셔닝을 나타내는 객체 데이터(134)를 결정하는 단계(486); 및
상기 객체 데이터(134) 및 상기 가상 이미지 데이터(140)를 사용하여, 상기 객체 부분(114)의 상기 화상(118)을 참조하여 상기 가상 이미지(124)를 표현하기 위한 포지셔닝 규칙(142)을 확정하는 단계(492);를 포함하는 것을 특징으로 하는 오버레이 방법.
제 1 항에 있어서,
상기 이미지 데이터(364)는 실제 이미지 데이터를 나타내며,
상기 객체 데이터(134)는 실제 객체 데이터를 나타내고,
상기 객체 부분(114)은 실제 객체 부분을 나타내는 것을 특징으로 하는 오버레이 방법.
제 1 항 또는 제 2 항에 있어서,
상기 포지셔닝 규칙(142)을 확정하는 단계(492)에서, 상기 포지셔닝 규칙(142)은 상기 마커 데이터(132) 또는 상기 마커 데이터(132)의 적어도 일부를 이용하여 확정되는 것을 특징으로 하는 오버레이 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 이미지 데이터를 판독하는 단계(480), 가상 이미지 데이터를 판독하는 단계(488), 마커 데이터를 결정하는 단계(484), 객체 데이터를 결정하는 단계(486) 및 상기 포지셔닝 규칙을 확정하는 단계(492)는 짧은 시간 간격 특히 초당 수회 수행되게 연속반복하는 것을 특징으로 하는 오버레이 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 포지셔닝 규칙(142)을 확정하는 단계(492)에서, 상기 포지셔닝 규칙은 상기 모바일 디바이스의 측정 디바이스인 가속도계 센서, 회전 센서, 자력계 또는 GPS 수신기의 측정 값을 사용하여 확정되는 것을 특징으로 하는 오버레이 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 마커 데이터(132)의 적어도 일부를 인터페이스(360)를 통해 외부 디바이스(130)에 제공하는 단계를 포함하고,
상기 가상 이미지 데이터(140)를 판독하는 단계(488)에서, 상기 가상 이미지 데이터(140)는 판독되어 상기 인터페이스(360)를 통해 상기 외부 디바이스로 전송되는 것을 특징으로 하는 오버레이 방법.
제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 마커 데이터(132)를 사용하여 상기 복수의 가상 이미지 데이터들(252)로부터 상기 가상 이미지 데이터(140)를 선택하는 단계(490)를 포함하는 것을 특징으로 하는 오버레이 방법.
제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 마커(112)는 상기 마커(112)의 식별정보(138)를 포함하는 머신 판독 가능 코드를 나타내며,
상기 마커 데이터(132)를 결정하는 단계(484)에서, 상기 마커(112)의 상기 식별정보(138)는 상기 마커 데이터(132)의 일부로서 결정되는 것을 특징으로 하는 오버레이 방법.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 실제 장면(106)의 다른 화상(120)을 상기 가상 이미지(106)과 오버레이하기 위해 상기 포지셔닝 규칙(142)을 사용하는 단계(494)를 포함하는 것을 특징으로 하는 오버레이 방법.
제 9 항에 있어서,
상기 포지셔닝 규칙을 사용하는 단계(494)는,
상기 모바일 디바이스(100)의 주변 센서(102)에 의해 캡처된 상기 실제 장면(106)의 다른 화상(120)을 나타내는 다른 이미지 데이터(376)를 판독하는 단계(495);
상기 다른 이미지 데이터(376)로부터 상기 객체 부분(114)의 다른 화상(122) 포지셔닝을 결정하는 단계(496); 및
상기 다른 이미지 데이터(376)와 상기 객체 부분(114)의 상기 다른 화상(122)의 포지셔닝 및 상기 포지셔닝 규칙(142)을 사용하여, 상기 실제 장면(106)의 다른 화상(120)과 가상 이미지(124)를 오버레이하여 나타내는 오버레이된 이미지 데이터(374)를 생성하는 단계(497);를 포함하는 것을 특징으로 하는 오버레이 방법.
제 9 항 또는 제 10 항에 있어서,
상기 모바일 디바이스(100)의 디스플레이 디바이스(104)를 사용하여 상기 실제 장면(106)의 다른 화상(120)과 가상 이미지(124)를 오버레이하여 디스플레이하는 단계(498)를 포함하는 것을 특징으로 하는 오버레이 방법.
제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
상기 모바일 디바이스(100)의 상기 주변 센서(102)를 사용하여 상기 이미지 데이터(364)를 캡처하는 단계(482)를 포함하는 것을 특징으로 하는 오버레이 방법.
실제 장면(106)의 화상을 가상 이미지와 오버레이하기 위한 장치(378)로서,
상기 장치(378)는 제1항 내지 제12항 중 어느 한 항에 의해 방법을 구현하기 위한 디바이스를 포함하는 것을 특징으로 하는 오버레이 장치.
제 13 항에 따른 장치(378)를 포함하는 특히 스마트폰인 모바일 디바이스.
컴퓨터 프로그램 제품이 장치상에서 실행될 때 제1항 내지 제12항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램 제품.