KR101314023B1

KR101314023B1 - 정보 표시 시스템, 정보 표시 장치 및, 기억 매체

Info

Publication number: KR101314023B1
Application number: KR1020110129799A
Authority: KR
Inventors: 게이이치 사쿠라이; 미츠야스 나카지마; 다카시 야마야; 유키 요시하마
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2010-12-07
Filing date: 2011-12-06
Publication date: 2013-10-01
Also published as: CN102592255A; US9201498B2; CN102592255B; KR20120063441A; JP5195885B2; JP2012123547A; US20120139941A1

Abstract

대조 처리부(113)는 키 정보 취득부(130)에 의해, 위치 정보 등의 키 정보를 취득하고, 통신부(120)를 통해 외부 장치에 통지한다. 대조 처리부(113)는 취득한 키 정보를 외부 장치로부터 취득한 식별 정보와 대응지어 기억부(160)에 저장한다. 대조 처리부(113)는 AR데이터 관리 테이블에, 취득한 식별 정보가 없는 경우, 해당 식별 정보를 외부 장치에 통지함으로써 AR데이터를 취득한다. 키 정보 관리 테이블에 비어 있는 레코드가 없는 경우, 이용 일시가 오래된 키 정보를 삭제 대상으로 한다. 또, AR데이터 관리 테이블에 비어 있는 레코드가 없는 경우, 이용 일시가 오래된 AR데이터를 삭제 대상으로 한다.

Description

정보 표시 시스템, 정보 표시 장치 및, 기억 매체{INFORMATION DISPLAY SYSTEM, INFORMATION DISPLAY APPARATUS, AND STORAGE MEDIUM}

본 발명은 정보 표시 시스템, 정보 표시 장치 및, 기억 매체에 관한 것으로서, 특히, AR기술을 이용한 정보 표시에 바람직한 정보 표시 시스템, 정보 표시 장치 및, 기억 매체에 관한 것이다.

소위 스마트폰 등과 같은 촬상 기능을 구비하는 고성능의 휴대 통신 단말이 보급되고 있으며, 이러한 단말장치에 AR(Augmented Reality：확장 현실감) 기술을 적용한 서비스(이하, 「AR서비스」라 함)가 실현되고 있다. AR서비스에서는 단말로 촬상하고 있는 실사 화상상에 부가 정보가 리얼타임으로 중첩되므로, 예를 들면, 일본국 특허공고공보 제2008-510254호와 같이, 촬영하고 있는 장소에 있어서의 각종 정보를 용이하게 얻을 수 있다.

실사 화상상에 정보를 중첩하는 경우에 있어서, 화상내에 복수의 피사체가 있는 경우, 각 피사체와 중첩할 정보를 정확하게 대응시키기 위한 위치 맞춤이 필요하게 된다. 위치 맞춤의 방법으로서 예를 들면, 일본국 특허공개공보 제2009-230255호는 촬영된 실사 화상상에서 화상 인식을 실행하고, 네트워크상의 서버나 데이타베이스 등에 축적되어 있는 각종 실사 화상과 대조하는 것에 의해서, 피사체가 특정되는 것을 개시하고 있다.

이 방법의 경우, AR서비스가 충실함에 따라, 각종의 것이 AR서비스의 대상으로 되고, 서버에의 문의 회수가 증대한다. 또, 방대한 대조 화상이 데이터베이스에 축적되게 되고, 문의에 대해 제공되는 정보의 양도 많아져, 네트워크의 트래픽 부하를 증대시켜 버린다.

또, 제공된 정보를 이용하는 단말에 있어서도 취득하는 정보량이 많아지기 때문에, 메모리 사용량이 증대하는 것 이외에, 대조 대상의 수도 증가하므로, 대조에 시간이 소요되어 버린다. 그 결과, AR서비스 이용시의 퍼포먼스가 저하하고, 편리성이 손상되어 버린다.

본 발명은 상기 실상을 감안해서 이루어진 것으로써, AR서비스에 있어서의 편리성의 향상을 도모할 수 있는 정보 표시 시스템, 정보 표시 장치 및, 기억 매체를 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해, 본 발명의 제 1 관점에 관한 정보 표시 시스템은 촬상 기능을 구비하고, 외부로부터 제공된 정보를 상기 촬상 기능에 의해 촬상된 촬상 화상상에 중첩 표시하는 정보 표시 장치와,　상기 정보 표시 장치에 의한 촬상 화상상에 중첩 표시시키는 중첩 정보를 상기 정보 표시 장치에 제공하는 정보 제공 장치를 구비하고, 상기 정보 표시 장치는, 상기 촬상 화상에 있어서의 피사체를 특정하기 위한 키 정보를 취득하는 키 정보 취득 수단과, 상기 키 정보를 상기 정보 제공 장치에 통지하는 키 정보 통지 수단을 구비하고, 상기 정보 제공 장치는, (i) 상기 촬상 기능과 비교하는 것에 의해 피사체와 특정하기 위한 대조 화상과, (ii) 해당 대조 화상에 의해 특정된 피사체와 대응지어 상기 촬상 화상상에 중첩 표시시키는 중첩 정보를 포함한 확장 현실감(AR) 데이터를, 해당 AR데이터를 식별하기 위한 식별 정보와, 상기 키 정보 통지 수단에 의해 통지되는 키 정보에 대응지어 기억하는 AR데이터 기억 수단과, (i) 상기 정보 표시 장치로부터 키 정보가 제공된 경우에는 해당 키 정보에 대응하는 식별 정보를 해당 정보 표시 장치에 송신하고, (ii) 상기 정보 표시 장치로부터 식별 정보가 제공된 경우에는 해당 식별 정보에 대응하는 AR데이터를 해당 정보 표시 장치에 송신하는 정보 제공 수단을 구비하고, 상기 정보 표시 장치는, 상기 촬상 기능에 의해서 촬상된 피사체를 특정하기 위한 키 정보를 취득하는 키 정보 취득 수단과, 상기 키 정보를 상기 정보 제공 장치에 통지하는 키 정보 통지 수단과, 상기 키 정보의 통지에 따라 상기 정보 제공 장치로부터 제공되는 식별 정보를 취득하는 식별 정보 취득 수단과, 레코드 수가 규정되어 있는 제 1 테이블에, 상기 키 정보와 상기 식별 정보를 대응지어 기록하는 키 정보 기록 수단과, 상기 제 1 테이블에 기록되어 있는 식별 정보를 상기 정보 제공 장치에 통지하는 식별 정보 통지 수단과, 상기 식별 정보의 통지에 따라 상기 정보 제공 장치로부터 제공되고, 상기 AR표시에 이용되는 AR데이터를 취득하는 AR데이터 취득 수단과, 레코드 수가 규정되어 있는 제 2 테이블에, 취득한 AR데이터를, 상기 제 1 테이블과 대응지어 기록하는 AR데이터 기록 수단과, 상기 AR데이터 기록 수단이 기록한 AR데이터를 이용하여 상기 AR표시를 실행하는 AR표시 수단을 구비하는 것을 특징으로 하는 확장 현실감(AR)에 의한 정보 표시(AR표시)를 실행하는 정보 표시 시스템이다.

상기 목적을 달성하기 위해, 본 발명의 제 2 관점에 관한 정보 표시 장치는 　촬상 수단과, 외부 장치와의 통신을 행하는 통신 수단과, 표시 수단을 구비하고, 상기 외부 장치가 상기 정보 표시 장치에 제공하는 정보를 특정하기 위해 이용하는 키 정보를 취득하는 키 정보 취득 수단과, 상기 키 정보 취득 수단이 취득한 키 정보를, 통신 네트워크를 통해 상기 외부 장치에 통지하는 키 정보 통지 수단과, 상기 키 정보 통지 수단에 의한 키 정보의 통지에 따라 상기 외부 장치가 송신한, (i) 상기 촬상 수단에서 촬상된 촬상 화상과 비교하는 것에 의해 피사체를 특정하기 위한 대조 화상과, (ii) 해당 대조 화상에 의해 특정된 피사체와 대응지어 상기 촬상 화상상에 중첩 표시시키는 중첩 정보를 포함한 확장 현실감(AR) 데이터를 나타내는 식별 정보를, 상기 통신 네트워크를 통해 취득하는 식별 정보 취득 수단과, 상기 키 정보 취득 수단이 취득한 키 정보를, 해당 키 정보의 이용 일시와, 상기 식별 정보 취득 수단이 취득한 식별 정보에 대응지어, 레코드 수가 규정되어 있는 제 1 테이블에 기록하는 키 정보 기록 수단과, 상기 제 1 테이블에 기록되어 있는 식별 정보를, 상기 통신 네트워크를 통해 상기 외부 장치에 통지하는 식별 정보 통지 수단과, 상기 식별 정보 통지 수단에 의한 식별 정보의 통지에 따라 상기 외부 장치가 송신한 상기 AR데이터를 취득하는 AR데이터 취득 수단과, 상기 AR데이터 취득 수단이 취득한 AR데이터를, 상기 통지한 식별 정보와, 해당 AR데이터의 이용 일시에 대응지어, 레코드 수가 규정되어 있는 제 2 테이블에 기록하는 AR데이터 기록 수단을 구비하고, 상기 표시 수단은 상기 제 2 테이블에 기록되어 있는 AR데이터를 이용하여 AR표시를 실행하는 AR표시 수단을 구비하고, 상기 식별 정보 통지 수단은 상기 제 1 테이블에 기록되어 있는 식별 정보가 상기 제 2 테이블에 기록되어 있지 않은 경우, 해당 식별 정보를 상기 외부 장치에 통지하고,　상기 키 정보 기록 수단은 상기 키 정보 취득 수단이 키 정보를 취득했을 때에 상기 제 1 테이블에 비어 있는 레코드가 없는 경우, 이미 기록되어 있는 키 정보의 이용 일시에 의거한 삭제를 실행하고, 상기 AR데이터 기록 수단은 상기 식별 정보 통지 수단이 식별 정보를 통지할 때에 상기 제 2 테이블에 비어 있는 레코드가 없는 경우, 이미 기록되어 있는 AR데이터의 이용 일시에 의거한 삭제를 실행하는 것을 특징으로 하는 확장 현실감(AR)에 의한 정보 표시(AR표시)를 실행하는 정보 표시 장치이다.

상기 목적을 달성하기 위해, 본 발명의 제 3 관점에 관한 기억 매체는 촬상 수단과, 외부 장치와의 통신을 실행하는 통신 수단과, 표시 수단을 구비한 정보 표시 장치를 제어하는 컴퓨터에, 상기 촬상 수단에 의한 촬상 화상에 상기 외부 장치로부터 제공된 정보를 중첩 표시시키는 기능과, 상기 외부 장치가 상기 정보 표시 장치에 제공하는 정보를 특정하기 위해 이용하는 키 정보를 취득하는 기능과, 취득한 키 정보를, 통신 네트워크를 통해 상기 외부 장치에 통지하는 기능과, 키 정보의 통지에 따라 상기 외부 장치가 송신한, (i) 상기 촬상 수단에서 촬상된 촬상 화상과 비교하는 것에 의해 피사체를 특정하기 위한 대조 화상과, (ii) 해당 대조 화상에 의해 특정된 피사체와 대응지어 상기 촬상 화상상에 중첩 표시시키는 중첩 정보를 포함한 확장 현실감(AR) 데이터를 나타내는 식별 정보를, 상기 통신 네트워크를 통해 취득하는 기능과, 상기 취득한 키 정보를, 해당 키 정보의 이용 일시와, 상기 취득한 식별 정보에 대응지어, 레코드 수가 규정되어 있는 제 1 테이블에 기록하는 기능과, 상기 외부 장치로부터 취득한 식별 정보와 AR데이터를 대응 지어 기록하는 제 2 테이블에, 상기 제 1 테이블에 기록되어 있는 식별 정보가 기록되어 있지 않은 경우에, 해당 식별 정보를, 상기 통신 네트워크를 통해 상기 외부 장치에 통지하는 기능과, 상기 식별 정보의 통지에 따라 상기 외부 장치가 송신한 상기 AR데이터를 취득하는 기능과, 취득한 AR데이터를, 상기 통지한 식별 정보와 해당 AR데이터의 이용 일시에 대응지어, 레코드 수가 규정되어 있는 상기 제 2 테이블에 기록하는 기능과, 상기 표시 수단에, 상기 제 2 테이블에 기록되어 있는 AR데이터를 이용하여 AR표시를 실행하는 기능과, 키 정보를 취득했을 때에 상기 제 1 테이블에 비어 있는 레코드가 없는 경우, 이미 기록되어 있는 키 정보의 이용 일시에 의거한 삭제를 실행하는 기능과, 상기 외부 장치에 식별 정보를 통지할 때에 상기 제 2 테이블에 비어 있는 레코드가 없는 경우, 이미 기록되어 있는 AR데이터의 이용 일시에 의거한 삭제를 실행하는 기능을 실현시켜, 확장 현실감(AR)에 의한 정보 표시(AR표시)를 실행하는 정보 표시 장치를 제어하는 프로그램을 기억하는 것을 특징으로 한다.

본 발명에 따르면, AR기술을 이용한 서비스를 이용할 때의 편리성을 향상시킬 수 있다.

본 발명의 상기 및 그 밖의 목적과 새로운 특징은 첨부도면에 결부하여 상세한 설명으로부터 더욱 명백하게 될 것이다. 그것은 이해를 명확하게 하며, 도면은 단지 설명을 목적으로 하며, 본 발명을 한정하는 것은 아니다..

도 1은 본 발명의 실시형태에 관한 정보 표시 시스템을 나타내는 모식도.
도 2는 도 1에 나타내는 정보 표시 장치의 외관 구성을 나타내는 모식도로서, 도 2의 (a)는 주면측의 외관 구성을 나타내고, 도 2의 (b)는 배면측의 외관 구성을 나타내는 도면.
도 3은 도 1에 나타내는 정보 표시 장치의 구성을 나타내는 블럭도.
도 4는 도 3에 나타내는 제어부에 의해서 실현되는 기능을 나타내는 기능 블럭도.
도 5는 도 1에 나타내는 정보 제공 장치의 구성을 나타내는 블럭도.
도 6은 도 5에 나타내는 제어부에 의해서 실현되는 기능을 나타내는 기능 블럭도.
도 7은 도 5에 나타내는 기억부에 저장되는 「대조 화상 저장 테이블」의 예를 나타내는 도면.
도 8은 본 발명의 실시형태 1에 관한 「AR 표시 처리(1)」을 설명하기 위한 흐름도.
도 9는 본 발명의 실시형태 1에 관한 「AR 정보 제공 처리(1)」을 설명하기 위한 흐름도.
도 10은 본 발명의 실시형태 1에 관한 동작을 설명하기 위한 도면으로써, 도 10의 (a)는 상정되는 장면의 예를 나타내고, 도 10의 (b)는 이용되는 대조 화상의 예를 나타내는 도면.
도 11은 도 8에 나타낸 「AR 표시 처리(1)」에 관한 화면 표시예를 나타내는 도면으로써, 도 11의 (a)는 분포 표시의 예를 나타내고, 도 11의 (b)는 분포 표시에 가이드를 표시한 예를 나타내는 도면.
도 12는 도 8에 나타낸 「AR 표시 처리(1)」에 관한 화면 표시예를 나타내는 도면으로써, 도 12의 (a)는 가이드가 이동했을 때의 표시예를 나타내고, 도 12의 (b)는 중첩 정보를 표시한 예를 나타내는 도면.
도 13은 가이드 표시의 다른 예를 나타내는 도면으로써, 도 13의 (a)는 피사체에의 접근을 재촉하는 가이드 표시의 예를 나타내고, 도 13의 (b)는 피사체로부터 멀어지는 것을 재촉하는 가이드 표시의 예를 나타내며, 도 13의 (c)는 필요한 화각을 나타내는 가이드 표시의 예를 나타내는 도면.
도 14는 본 발명의 실시형태 2에 관한 「AR 표시 처리(2)」를 설명하기 위한 흐름도.
도 15는 본 발명의 실시형태 2에 관한 「대조 화상 저장 테이블」의 예를 나타내는 도면.
도 16은 도 14에 나타낸 「AR 표시 처리(2)」에서 실행되는「키 정보 관리 처리」를 설명하기 위한 흐름도.
도 17은 도 14에 나타낸 「AR 표시 처리(2)」에서 실행되는「AR 데이터 관리 처리」를 설명하기 위한 흐름도.
도 18은 도 14에 나타낸 「AR 표시 처리(2)」에서 이용되는 테이블을 설명하기 위한 도면으로써, 도 18의 (a)는「키 정보 관리 테이블」의 예를 나타내고, 도 18의 (b)는 「AR 데이터 관리 테이블」의 예를 나타내는 도면.
도 19는 본 발명의 실시형태 3에 관한 「AR 표시 처리(3)」를 설명하기 위한 흐름도.
도 20은 도 19에 나타낸 「AR 표시 처리(3)」에 있어서의 대조 화상과 3D 모델링 데이터를 설명하기 위한 도면으로써, 도 20의 (a)는 대상물에 대한 시선방향을 모식적으로 나타내고, 도 20의 (b)는 대조 화상의 예를 나타내며, 도 20의 (c)는 생성된 3D 모델링 데이터의 예를 나타내고, 도 20의 (d)는 시선을 변경시킨 3D 모델링 데이터의 예를 나타내는 도면.

본 발명에 관한 실시형태를, 도면을 참조하여 이하에 설명한다.

(실시형태 1)

본 발명의 실시형태에 관한 정보 표시 시스템(1)을 도 1을 참조하여 설명한다. 도 1은 실시형태에 관한 정보 표시 시스템(1)의 구성을 나타내는 블럭도이다.

도시하는 바와 같이, 본 실시형태에 관한 정보 표시 시스템(1)은 통신 네트워크 NW에 의해서 접속된 정보 표시 장치(100), 정보 제공 장치(200) 등으로 구성되어 있다.

본 실시형태에 관한 통신 네트워크 NW는 예를 들면, 인터넷 등의 IP망이나 이동체 통신용의 셀룰러망 등을 포함한 WAN(Wide Area Network: 광역 통신망)이다.

본 실시형태에 관한 정보 표시 장치(100)는 적어도, 통신 기능과, 촬상 기능과, 표시 기능을 구비하고 있는 휴대형 단말장치이며, 소위 스마트 폰이 정보 표시 장치(100)로서 바람직한 형태이다. 본 실시형태에서는 정보 표시 장치(100)는 도 1에 나타내는 바와 같은 스마트 폰인 것으로 한다. 본 실시형태에서는 이러한 정보 표시 장치(100)를 포함한 정보 표시 시스템(1)에 의해, AR(Augmented Reality: 확장 현실감) 기술을 적용한 서비스(이하, 「AR 서비스」로 함)가 실현되어 있는 것으로 한다. 즉, 정보 표시 장치(100)의 촬상 기능에 의해서 촬영된 실사 화상상에, 해당 화상내의 피사체에 관한 정보를 리얼타임으로 중첩해서 표시한다.

정보 표시 장치(100)의 구성을, 도 2 및 도 3을 참조하여 설명한다. 도 2는 정보 표시 장치(100)의 외관 구성을 나타내는 모식도이며, 도 2의 (a)는 정보 표시 장치(100)의 주면측을 나타내고, 도 2의 (b)는 정보 표시 장치(100)의 배면측을 나타내고 있다. 또, 도 3은 정보 표시 장치(100)의 구성을 나타내는 블럭도이다.

상기 각 도면에 나타내는 바와 같이, 본 실시형태에 관한 정보 표시 장치(100)는 제어부(110), 통신부(120), 키 정보 취득부(130), 촬상부(140), 입출력부(150), 기억부(160) 등으로 구성되어 있다.

제어부(110)는 예를 들면, CPU(Central Processing Unit: 중앙 연산 처리장치)나 RAM(Random Access Memory) 등으로 구성된다. 제어부(110)는 정보 표시 장치(100)의 각 부를 제어하는 동시에, 프로그램을 실행함으로써 후술하는 각 처리를 실행한다.

통신부(120)는 통신 네트워크 NW를 거친 통신을 실행하기 위한 구성이다. 통신부(120)는 예를 들면, CDMA2000 방식 등의 셀룰러 통신 모듈이나 IEEE 802.16e(소위, 모바일 WiMAX)용의 통신 모듈 등과 같은 WAN에 직접 액세스할 수 있는 통신 모듈, 및/또는 예를 들면, WAN에 액세스할 수 있는 외부 통신 장치(예를 들면, 모바일 라우터 등)나 공중 무선 LAN의 액세스 포인트 등과 통신하기 위한 IEEE 802.11 시리즈(무선 LAN) 용의 통신 모듈 등으로 구성된다.

키 정보 취득부(130)는 AR 서비스를 받을 때에 필요하게 되는 키 정보를 취득하기 위한 구성이다. 키 정보 취득부(130)는 예를 들면, GPS(Global Positioning System: 전체 지구 측위 시스템) 모듈, RFID(Radio Frequency IDentification), IrDA(Infrared Data Association), Bluetooth(상표) 등과 같은 근거리 무선 통신 모듈, 가시광 통신 모듈 등으로 구성된다. 키 정보 취득부(130)는 외부로부터 제공되는 키 정보를 취득한다.

여기서의 「키 정보」는 예를 들면, 정보 표시 장치(100)의 현재 위치를 나타내는 위치 정보(위도/경도 정보) 이외에, AR 서비스에서 중첩되는 정보를 정보 제공 장치(200)에 등록하고 있는 점포 등의 각종 시설 등에 부여되어 있는 ID 정보 등이며, 정보 표시 장치(100)가 취득한 키 정보를 정보 제공 장치(200)에 송신함으로써, 위치 맞춤에 필요하게 되는 대조 화상이나 AR 서비스에서 제공되는 정보의 선택이 실행된다.

따라서, 정보 표시 장치(100)의 현재 위치 정보를 취득하기 위한 구성으로서 GPS 모듈 등이 이용된다. 그 밖에, 각종 시설 등에서 취득 가능한 ID정보를 취득하기 위한 구성으로서, 근거리 무선 통신 모듈이나 가시광 통신 모듈 등이 이용된다. 이들 구성은 예를 들면, 도 2의 (b)에 나타내는 바와 같이, 정보 표시 장치(100)의 외면상이나 내부 등에 적절히 구성되어 있다. 또한, 정보 표시 장치(100)는 이들 구성의 전부를 구비하고 있지 않아도 좋지만, 본 실시형태에서는 정보 표시 장치(100)는 적어도, 위치 정보를 취득하기 위한 구성(GPS 모듈 등)이 구비되어 있는 것으로 한다.

본 실시형태에서는 적어도 현재 위치를 취득하기 위한 구성(GPS 모듈 등)이 키 정보 취득부(130)에 포함되어 있는 것으로 하고, ID정보를 취득하기 위한 구성에 대해서는 임의로 구비되어 있는 것으로 한다. 또, 키 정보 취득부(130)는 GPS 이외의 방법에 의해서 현재 위치 정보를 취득해도 좋고, 예를 들면, 키 정보 취득부(130)는 셀룰러 통신에 의해서 액세스한 기지국이나 무선 LAN에 의해서 액세스한 액세스 포인트로부터 위치 정보를 취득해도 좋다. 이 경우, 키 정보 취득부(130)에는 이들 통신을 실행하기 위한 통신부(120)가 포함되게 된다.

촬상부(140)는 정보 표시 장치(100)의 촬상 기능을 실현하기 위한 구성이며, 예를 들면, 고체 촬상 소자를 이용한 디지털카메라 모듈 등으로 구성된다. 본 실시형태에서는 촬상부(140)에 의해서 얻어지는 라이브 뷰 화상으로서의 동화상(실사 화상)상에 AR 서비스에 의해서 제공되는 정보가 중첩되게 된다.

또한, 상술한 키 정보가 예를 들면, QR코드(상표)와 같은 2차원 코드 등의 시각적인 오브젝트로 제공되는 경우, 촬상부(140)의 촬상 동작에 의해서 키 정보가 취득되게 된다. 이 경우, 키 정보 취득부(130)에는 촬상부(140)가 포함되게 된다.

또, 촬상부(140)는 도 2의 (b)에 나타내는 바와 같은 2안식(two-lenses type)의 스테레오 카메라인 것이 바람직하다. 즉, 촬상부(140)는 시차에 상당하는 간격으로 수평 방향으로 병렬한 2개의 렌즈를 갖는 촬상 장치이다. 이러한 스테레오 카메라로 함으로써, 3각 측량의 원리에 의한 피사체까지의 거리 측정이나 3D 모델링 데이터의 생성을 실행할 수 있다.

입출력부(150)는 적어도, 촬상부(140)에 의한 촬상 화상이나 AR 서비스에 의해서 제공되는 정보 등을 표시 출력하는 표시 장치, 정보 표시 장치(100)의 유저에 의한 입력 조작을 접수하는 입력장치를 포함하는 것이며, 본 실시형태에서는 표시 기능과 입력 기능이 일체적으로 실현되는 터치 패널(터치 스크린)이 입출력부(150)로서 구성된다. 또, 스마트폰에 있어서의 통화 기능 등의 음성 입출력에 이용되는 스피커나 마이크로폰 등도 입출력부(150)에 포함되는 것으로 한다.

기억부(160)는 예를 들면, 플래시 메모리 등의 반도체 기억장치 등으로 구성되고, 제어부(110)가 실행하는 프로그램, 각종 처리시에 이용되는 데이터, 각종 처리에 의해서 생성되는 데이터, 통신부(120)나 키 정보 취득부(130)의 동작에 의해서 취득된 데이터 등을 저장한다.

기억부(160)에 저장되어 있는 프로그램을 제어부(110)가 실행함으로써 실현되는 기능을, 도 4를 참조하여 설명한다. 도 4는 제어부(110)에 의해서 실현되는 기능을 나타낸 기능 블럭도이다.

본 실시형태에서는 도시하는 바와 같이, AR 처리부(111), 촬상 처리부(112), 대조 처리부(113) 등의 기능이 제어부(110)에 의해서 실현된다.

AR 처리부(111)는 유저 조작에 의거하는 입출력부(150)로부터의 입력 신호 등에 의거하여, 기억부(160)에 저장되어 있는 AR 서비스에 관한 어플리케이션(이하, 「AR 어플리케이션」으로 함)을 실행하고 그 동작을 제어한다. AR 처리부(111)는 AR 서비스에 관한 표시 동작(이하, 「AR 표시」로 함)에 필요하게 되는 화상 처리를 실행하여 입출력부(150)에 표시 출력한다. 이 경우, 기억부(160)에 저장되어 있는 화상 데이터 등을 이용한 화상 처리를 실행함으로써 AR 표시를 실행한다.

촬상 처리부(112)는 촬상부(140)를 제어함으로써, 정보 표시 장치(100)의 촬상 기능에 관한 동작을 제어한다. 본 실시형태에서는 촬상 처리부(112)는 AR 처리부(111)에 의해서 실행된 AR 어플리케이션에서 필요하게 되는 촬상 동작을 제어한다.

대조 처리부(113)는 통신부(120)나 키 정보 취득부(130)를 제어함으로써, 정보 제공 장치(200)나 각종 외부 장치로부터 정보를 취득함으로써, AR 표시에 있어서의 위치맞춤에 필요하게 되는 대조 동작을 실행한다. 여기서는 AR 어플리케이션의 실행에 따라, 키 정보를 취득하도록 키 정보 취득부(130)를 제어하고, 취득한 키 정보를 기억부(160)에 저장하는 동시에, 취득한 키 정보를 정보 제공 장치(200) 등에 송신하여 AR 어플리케이션의 실행에 필요하게 되는 대조 화상이나 중첩 정보를 정보 제공 장치(200)로부터 취득하도록 통신부(120)를 제어한다. 그리고, 대조 처리부(113)는 취득한 대조 화상이나 중첩 정보를 기억부(160)에 저장하고, 촬상 처리부(112)에 의해서 취득된 촬상 화상과 대조 화상의 대조를 실행한다.

본 실시형태에서는 이들 기능이 제어부(110)에 의해서 논리적으로 실현되는 것으로 하지만, 이들 일부 혹은 전부가 예를 들면, ASIC(Application Specific Integrated Circuit: 특정용도용 집적회로) 등의 하드웨어에 의해서 실현되어 있어도 좋다.

상술한 정보 표시 장치(100)의 각 구성은 본 발명을 실현하기 위해 필요한 구성이며, 스마트 폰으로서 기능하기 위해 필요한 그 밖의 구성에 대해서는 적절히 구비되어 있는 것으로 한다.

다음에, 정보 제공 장치(200)에 대해 설명한다. 정보 제공 장치(200)는 예를 들면, ASP(Application Service Provider) 서버 등과 같은 정보 처리 장치이며, 본 실시형태에서는 통신 네트워크 NW를 통해 접속되는 정보 표시 장치(100)에 AR 서비스를 제공한다. 이러한 정보 제공 장치(200)의 구성을, 도 5를 참조하여 설명한다. 도 5는 정보 제공 장치(200)의 구성을 나타내는 블럭도이다.

도시하는 바와 같이, 정보 제공 장치(200)는 제어부(210), 통신부(220), 입출력부(230), 기억부(240) 등으로 구성되어 있다.

제어부(210)는 예를 들면, CPU나 RAM 등으로 구성된다. 제어부(210)는 정보 제공 장치(200)의 각 부를 제어하는 동시에, 프로그램을 실행함으로써 후술하는 각 처리를 실행한다.

통신부(220)는 통신 네트워크 NW를 거친 통신을 실행하기 위한 구성이다. 통신부(220)는 예를 들면, NIC(Network Interface Card)나 라우터, 모뎀 등의 통신용 디바이스로 구성되고, 바람직한 통신 프로토콜을 이용한 데이터 송수신을 실행한다.

입출력부(230)는 예를 들면, 키보드나 마우스 등과 같은 정보 제공 장치(200)의 오퍼레이터에 의한 조작에 따른 입력을 실행하는 입력장치와, 디스플레이 장치 등과 같은 처리 결과의 출력을 실행하는 출력 장치로 구성된다.

기억부(240)는 예를 들면, 하드 디스크 장치 등과 같은 기억장치로 구성된다. 기억부(240)는 제어부(210)가 실행하는 프로그램을 저장한다. 또한, 기억부(240)는 프로그램의 실행에 의해 실행되는 각 처리에 필요하게 되는 데이터 및 처리에 의해서 생성된 데이터 등을 저장한다.

기억부(240)에 저장되어 있는 프로그램을 제어부(210)가 실행함으로써 실현되는 기능을, 도 6을 참조하여 설명한다. 도 6은 제어부(210)에 의해서 실현되는 기능을 나타낸 기능 블록도이다.

본 실시형태에서는 도시하는 바와 같이, 통신 처리부(211), 정보 등록부(212), 정보 검색부(213) 등의 기능이 제어부(210)에 의해서 실현된다.

통신 처리부(211)는 통신부(220)를 제어하고, 통신 네트워크 NW를 거친 정보 표시 장치(100)와의 통신을 실행한다. 본 실시형태에서는 통신 처리부(211)는 정보 표시 장치(100)로부터 송신된 키 정보의 수신을 실행하는 것 이외에, 후술하는 정보 검색부(213)에 의해서 검색된 정보를 정보 표시 장치(100)에 송신한다.

정보 등록부(212)는 AR 서비스의 제공에 필요한 정보를 기억부(240)에 등록하기 위한 처리를 실행한다. 기억부(240)에 등록되는 정보의 예를 도 7에 나타낸다. 본 실시형태에서는 도시하는 바와 같은 「대조 화상 저장 테이블」이 기억부(240)에 작성되고, AR 서비스의 제공에 필요하게 되는 각종 정보가 저장된다.

이 대조 화상 저장 테이블에는 AR 서비스를 이용하는 정보 표시 장치(100)가 촬상한 실사 화상에 투영되어 있는 피사체를 대조하기 위해 준비되어 있는 복수의 대조 화상에, 각 대조 화상의 인덱스로 되는 정보(이하, 「인덱스 정보」로 함)나, 대조 화상에 의해 특정된 피사체와 대응지어 촬상 화상상에 중첩해서 표시되는 정보(이하, 「중첩 정보」로 함) 등이 대응지어져 저장된다.

여기서, 본 실시형태에 있어서의 「대조 화상」은 AR 서비스에 의해서 중첩 되는 정보에 관련된 것이 피사체로서 투영되어 있는 화상이며, 예를 들면, 점포 등과 같은 건축물의 외관이 피사체로 되어 있는 화상이나, 상품 등과 같은 물품 등이 피사체로 되어 있는 화상이 대조 화상으로서 등록된다.

이러한 대조 화상에 대응지어지는 인덱스 정보는 예를 들면, 해당 피사체가 존재하는 장소를 나타내는 위치 정보(위도/경도 정보) 등이다. 이들 정보는 예를 들면, GPS 기능을 구비한 촬상 장치에 의한 촬상 화상을 대조 화상으로 함으로써, Exif(Exchangeable Image File Format)의 부가 정보 등으로서 얻어진다. 그 밖에, 이들 정보는 기억부(240)에의 등록시에, 정보 제공 장치(200)의 오퍼레이터가 입출력부(230)를 조작함으로써 입력된다.

이러한 인덱스 정보 이외에, 도 7에 나타내는 바와 같은 「스케일 정보」와「단위 스케일」이 대조 화상 저장 테이블에 기록된다.

스케일 정보는 해당 대조 화상에 관한 촬영 데이터 중, 피사체의 스케일을 특정하기 위해 이용되는 정보이며, 여기서는 해당 화상의 화상 사이즈(픽셀 수), 촬상 소자의 사이즈(센서 사이즈), 피사체까지의 거리, 렌즈의 초점거리 등이 스케일 정보로서 기록된다. 이들 정보는 대조 화상에 관한 Exif 데이터 등의 부가 정보로부터 취득되는 것 이외에, 오퍼레이터 조작에 의한 입력 등에 의해서 기록된다.

또, 스케일 정보에는 화각을 나타내는 정보도 포함되는 것으로 한다. 화각에 대해서는 상기의 스케일 정보로부터 산출해서 기록되는 것으로 한다. 이 경우, 예를 들면, 식 1을 연산함으로써 화각[도]이 산출된다.

[식 1]

2×tan^-1{센서 사이즈[㎜]/(2×초점거리[㎜])｝

여기서, 촬상 소자의 사이즈는 세로 또는 가로의 어느 하나의 사이즈이며, 초점거리는 예를 들면, 스틸 카메라에 있어서의 35밀리판에서의 렌즈 초점거리로 환산한 값으로 한다.

단위 스케일은 상기 스케일 정보에 의거하여 산출되는 피사체의 스케일을 나타내는 정보이며, 본 실시형태에서는 예를 들면, 1픽셀(화소)이 상당하는 실 치수의 사이즈를 단위 스케일로서 기록한다. 이러한 단위 스케일의 계산은 대조 화상의 등록시에 정보 등록부(212)에 의해서 실행된다. 혹은 미리 산출된 값이 오퍼레이터에 의해서 입력되어도 좋다.

단위 스케일의 계산은 예를 들면, 다음과 같은 수순으로 실행한다. 우선, 피사체까지의 거리, 촬상 소자의 사이즈, 렌즈의 초점거리로부터 식 2를 연산함으로써, 대조 화상내의 피사체의 사이즈를 산출한다.

(식 2)

(피사체까지의 거리[㎜]×센서 사이즈[㎜])/초점거리[㎜]

여기서, 촬상 소자의 사이즈는 세로 또는 가로의 어느 하나의 사이즈이며, 초점거리는 예를 들면, 스틸 카메라에 있어서의 35밀리판에서의 렌즈 초점거리로 환산한 값으로 한다. 상기 연산에 의해, 대입한 촬상 소자 사이즈의 방향(세로 또는 가로)에 있어서의 피사체의 실제의 사이즈[㎜]가 특정된다.

이와 같이 산출된 피사체 사이즈를, 연산에 이용한 촬상 사이즈의 방향(세로 또는 가로)에 있어서의 화상 사이즈(픽셀 수)로 나누는 것에 의해, 1픽셀이 상당하는 실 치수의 사이즈가 산출된다.

정보 검색부(213)는 통신 처리부(211)에 의해서 수신된 정보 표시 장치(100)로부터의 키 정보에 의거하여, 대조 화상 저장 테이블로부터, 해당하는 레코드를 검색하고, 취득한다. 여기서는 정보 표시 장치(100)의 현재 위치를 나타내는 위치 정보 등이 키 정보로서 취득되고, 취득한 키 정보가 인덱스 정보로 되어 있는 레코드를 특정한다. 특정된 레코드에 기록되어 있는 정보 중, 적어도, 대조 화상의 화상 데이터, 중첩 정보, 스케일 정보, 단위 스케일 등(이하, 「AR 데이터」로 함)이 통신 처리부(211)에 의해서 정보 표시 장치(100)에 송신된다.

본 실시형태에서는 상기 각 기능이 제어부(210)에 의해서 논리적으로 실현되는 것으로 하지만, 이들 기능의 일부 혹은 전부가 예를 들면, ASIC 등의 하드웨어에 의해서 실현되고 있어도 좋다.

이상 설명한 바와 같은 구성의 정보 표시 장치(100) 및 정보 제공 장치(200)에 의한 동작예를 이하에 설명한다.

우선, 정보 표시 장치(100)의 동작을, 도 8에 나타내는 흐름도를 참조하여 설명한다. 도 8은 본 실시형태에 관한 정보 표시 장치(100)에 있어서 실행되는 「AR 표시 처리(1)」을 설명하기 위한 흐름도이다.

AR 처리부(111)에 의해 AR 어플리케이션이 시작되면, AR 처리부(111)는 그 취지를 촬상 처리부(112) 및 대조 처리부(113)에 통지한다. 통지를 받은 촬상 처리부(112)는 촬상부(140)를 제어하고, 촬상 동작이 시작된다(스텝 S1101).

촬상 동작이 시작되면, 대조 처리부(113)는 키 정보 취득부(130)를 제어함으로써, 키 정보의 취득 동작이 실행된다. 여기서는 적어도 GPS 모듈 등에 의한 위치 정보의 취득이 실행되고, 위치 정보의 취득이 성공한 경우에, 다른 키 정보에 대한 취득을 시도하는 것으로 한다. 또한, 위치 정보의 취득을 할 수 없는 경우에는 AR 서비스를 받을 수 없으므로, 대조 처리부(113)는 취득할 수 있을 때까지 대기하거나 본 처리를 종료하는 등의 에러 처리가 실행되는 것으로 한다.

그리고, 적어도 위치 정보를 포함하는 키 정보가 취득되면, 대조 처리부(113)는 취득한 키 정보를 기억부(160)에 기록한다(스텝 S1102). 여기서 기록된 키 정보는 본 처리의 종료시에 삭제되는 것으로 한다.

여기서, 대조 처리부(113)는 기록한 키 정보에 변동이 있는지 없는지를 판별한다(스텝 S1103). 처리 시작 직후에 키 정보를 취득한 경우에 있어서는 전회의 기록이 없기 때문에, 대조 처리부(113)는 「변동 있음」으로 판별한다(스텝 S1103: Yes).

이 경우, 대조 처리부(113)는 통신부(120)를 제어함으로써, 취득한 키 정보를, 통신 네트워크 NW를 통해 정보 제공 장치(200)에 송신한다(스텝 S1104).

이와 같이 해서 정보 표시 장치(100)로부터 송신된 키 정보를 정보 제공 장치(200)가 수신하면, AR 데이터를 정보 표시 장치(100)에 송신하기 위한 「AR 정보 제공 처리(1)」가 정보 제공 장치(200)에 있어서 실행된다. 본 실시형태에 관한 정보 제공 장치(200)에서 실행되는「AR 정보 제공 처리(1)」을, 도 9에 나타내는 흐름도를 참조하여 설명한다.

정보 표시 장치(100)가 송신한 키 정보를 통신 처리부(211)가 수신하면, 정보 검색부(213)는 대조 화상 저장 테이블에 있어서의 인덱스 정보에 해당하는 정보를, 수신한 키 정보로부터 취득한다(스텝 S1201). 여기서는 정보 표시 장치(100)에서의 촬영 장소를 나타내는 위치 정보가 키 정보로부터 취득된다.

정보 검색부(213)는 취득한 인덱스 정보(위치 정보)를 검색 대상으로 해서, 기억부(240)의 대조 화상 저장 테이블로부터, 촬영 장소에 대응하는 위치 정보가 기록되어 있는 레코드를 검색하고(스텝 S1202), 촬영 장소에 대응하는 위치 정보가 기록되어 있는 레코드가 대조 화상 저장 테이블내에 있는지 판별한다(스텝 S1203). 또한, 위치 정보에 의거하여 검색할 때, 정보 검색부(213)는 촬영 장소를 나타내는 위치 정보가 기록된 레코드 뿐만 아니라, 촬영 장소 부근(촬영 장소에서 소정의 거리 떨어진 영역)을 나타내는 위치 정보가 기록된 레코드도 검색한다.

정보 표시 장치(100)에 의한 촬영 장소에 대응하는 위치 정보가 기록된 레코드가 대조 화상 저장 테이블내에 있는 경우(스텝 S1203: Yes), 정보 검색부(213)는 해당 레코드로부터 AR 데이터를 취득하고(스텝 S1204), 그 AR 데이터를 통신 처리부(211)에 인도한다.

통신 처리부(211)는 통신부(220)를 제어하고, 정보 검색부(213)가 취득한 AR 데이터를, 통신 네트워크 NW를 통해 정보 표시 장치(100)에 송신하고(스텝 S1205), 처리를 종료한다.

한편, 촬영 장소에 대응하는 위치 정보를 기록한 레코드가 대조 화상 저장 테이블에 존재하지 않는 경우(스텝 S1203: No), 정보 제공 장치(200)는 AR 데이터를 정보 표시 장치(100)에 송신하지 않고 처리를 종료한다. 이 경우, 정보 제공 장치(200)는 현재 위치에서는 AR 서비스를 제공할 수 없는 취지를 나타내는 통지 정보 등을 정보 표시 장치(100)에 송신해도 좋다.

이상과 같은 정보 표시 장치(100)와의 송수신 동작은 예를 들면, CGI(Co㎜on Gateway Interface) 기술 등을 이용한 기존의 트랜잭션(transaction) 기술을 이용하는 등 해서 실현되어 있는 것으로 한다.

도 8의 흐름도로 되돌려, AR 데이터가 반송된 정보 표시 장치(100)의 동작을 설명한다.

AR 데이터가 정보 제공 장치(200)로부터 송신되면, 정보 표시 장치(100)의 통신부(120)가 통신 네트워크 NW를 통해 그 AR 데이터를 수신한다. 이러한 수신이 이루어지면(스텝 S1105: Yes), 대조 처리부(113)는 수신한 AR 데이터를 기억부(160)에 저장하는 동시에, 그 취지를 AR 처리부(111)에 통지한다.

AR 처리부(111)는 입출력부(150)를 제어함으로써, 촬상부(140)가 현재 촬상하고 있는 라이브 뷰 화상을 표시 출력하는 동시에, 수신한 AR데이터의 단위 스케일에 의거하여, 수신한 대조 화상의 분포를 나타내는 화상을 생성하rh, 생성된 화상을 입출력부(150)에 표시 출력한다(스텝 S1106).

여기서, 상정될 수 있는 장면의 예에 의거한 도면을 참조하면서 처리 내용을 설명한다. 본 실시형태에서는 도 10의 (a)에 나타내는 바와 같은 점포 A∼점포 E가 있는 거리에 있어서 AR 서비스가 이용된다. 여기서, 점포 A에 대해서는 정보 제공 장치(200)에 대조 화상 등이 등록되어 있고, 점포 A는 AR 서비스를 제공할 수 있는 것으로 하지만, 다른 점포 B∼E에 대해서는 정보 제공 장치(200)에 정보가 등록되어 있지 않기 때문에, 점포 B∼E는 AR 서비스를 제공할 수 없는 것으로 한다.

그리고, 점포 A에 대해서는 도 10의 (b)에 나타내는 바와 같은 대조 화상이 정보 제공 장치(200)에 등록되어 있는 것으로 한다. 도시하는 바와 같이, 여기서는 점포 A의 외관을 촬영한 대조 화상 AA 이외에, 점포 A내에서 판매되고 있는 상품을 촬영한 대조 화상 AB∼AZ가 정보 제공 장치(200)에 등록되어 있는 것으로 한다. 이러한 대조 화상의 화상 사이즈는 모두 동일한 것으로 한다.

그리고, 대조 화상은 대상으로 되는 피사체만이 화상 사이즈내에 들어가도록 촬영되어 있는 것으로 한다. 이와 같이 복수의 피사체에 대한 복수의 대조 화상이 준비되어 있는 경우, 피사체의 크기도 균일하지는 않기 때문에, 화상마다의 피사체의 스케일도 다르다. 즉, 대조 화상 AA는 건조물의 외관이 화각 가득히 촬영되고 있는데 반해, 대조 화상 AZ는 상품인 펜이 화각 가득히 촬영되어 있으므로, 1픽셀이 상당하는 실 치수 사이즈가 크게 다르다.

이 경우, 실사 화상의 화각 가득히 점포 A의 외관을 촬영하면, 대조 화상 AA를 사용한 대조를 실행할 수 있지만, 거기에 상품의 펜이 비추어도, 화상내의 펜의 스케일이 너무 작아져 버려, 대조 화상 AZ와의 대조는 할 수 없게 된다. 즉, 대상으로 하는 피사체에 따라 적절한 화각으로 촬영하지 않으면, AR 서비스에 의해서 제공되는 정보를 적절히 얻을 수 없게 된다.

이러한 불합리를 해소하기 위해, 본 실시형태에서는 정보 제공 장치(200)의 대조 화상 저장 테이블에 대조 화상과 함께 등록되어 있는 단위 스케일을 이용함으로써, 유저가 적절한 화각으로 촬영할 수 있도록 가이드한다.

이 때문에, 본 실시형태에서는 스텝 S1106에 있어서, 정보 제공 장치(200)로부터 수신한 대조 화상의 단위 스케일에 의거한 분포 표시를 실행한다. 이 경우의 표시예를 도 11의 (a)에 나타낸다. 도시하는 바와 같이, 입출력부(150)에 「촬상 화상 표시 영역」과 「가이드 표시 영역」을 설정하고, 촬상 화상 표시 영역에는 촬상부(140)에 의한 라이브 뷰 화상을 표시한다. 그리고, 가이드 표시 영역에서는 도 11의 (a)에 나타내는 바와 같은 분포 표시를 실행한다.

이 분포 표시는 도시하는 바와 같이, 예를 들면, 상하 방향의 양 화살표가 표시되고, 그 양 화살표의 우측에 단위 스케일에 의거한 대조 화상의 분포가 그래프형상으로 표시되는 것이다. 도 11의 (a)의 예에서는 분포의 위치가 양 화살표의 위쪽일수록, 정보 표시 장치(100)(카메라)로부터 그 분포에 대응하는 대조 화상의 피사체까지의 거리가 먼 것을 나타내고, 분포의 위치가 양 화살표의 아래쪽일수록, 정보 표시 장치(100)(카메라)로부터 그 분포에 대응하는 대조 화상의 피사체까지의 거리가 가까운 것을 나타내고 있다.

즉, 단위 스케일은 1픽셀이 상당하는 실 치수의 사이즈이기 때문에, 대조 화상 AA(도 10의 (b))과 같은 건조물의 외관을 촬영한 화상에서는 단위 스케일의 값이 비교적 커지고, 대조 화상 AZ와 같은 펜을 촬영한 화상에서는 단위 스케일의 값이 비교적 작아진다. 따라서, 단위 스케일의 값이 클수록, 피사체로부터 떨어져 촬영한 것으로 되고, 단위 스케일의 값이 작을수록, 피사체에 근접하여 촬영한 것이 된다.

이 때문에, 도 11의 (a)에 나타내는 분포 표시에 있어서는 단위 스케일의 값이 클수록, 대조 화상의 피사체가 더욱 먼 것을 나타내고 있는 양 화살표의 상측에 분포가 표시되고, 단위 스케일의 값이 작을수록, 대조 화상의 피사체가 더욱 가까운 것을 나타내고 있는 양 화살표의 하측에 분포가 표시된다. 그리고, 분포 표시의 횡방향은 해당 단위 스케일의 화상수를 나타내고 있다. 도 11의 (a)의 예에 있어서는 양 화살표의 우상측에서의 분포가 점포의 외관을 촬영한 대조 화상 AA(도 10의 (a))에 대응하고, 양 화살표의 우하측에 있어서의 복수의 분포는 상품을 촬영한 복수의 대조 화상 AB∼AZ(도 10의 (b))에 대응한다.

여기서, 도 8의 흐름도로 되돌려, 처리의 설명을 계속한다. 상술한 바와 같이 해서, 스텝 S1106에서 분포 표시를 실행하면, AR 처리부(111)는 촬상부(140)에 의해서 현재 촬상되어 있는 화상에 대한 단위 스케일을 산출한다(스텝 S1107). 여기서는 촬상부(140)의 성능 정보(센서 사이즈 등), 그 때의 촬영 설정(화상 사이즈, 렌즈 초점거리 등) 및, 거리측정 동작에 의해서 얻어진 피사체까지의 거리 등을 이용하고, 상술한 정보 제공 장치(200)의 정보 등록부(212)와 마찬가지의 방법으로 단위 스케일을 산출한다. 여기서, 촬상부(140)가 스테레오 카메라이면, 3각 측량의 원리를 이용한 거리측정을 실행할 수 있으므로, 피사체까지의 거리를 더욱 정확하게 구할 수 있다.

촬상 화상에 대한 단위 스케일을 산출하면, AR 처리부(111)는 도 11의 (b)에 나타내는 바와 같은 가이드를, 가이드 표시 영역에 표시한다(스텝 S1108). 이 가이드는 산출한 촬상 화상의 단위 스케일을 반영한 것이며, 가이드는 예를 들면, 분포 표시에 있어서의 양 화살표의 좌측에 표시된다.

여기서, 도 11의 (b)의 촬상 화상 표시 영역에 표시되어 있는 라이브 뷰 화상은 AR 서비스를 제공 가능한 점포 A뿐만 아니라, AR 서비스를 제공할 수 없는 점포 B∼E까지가 비친 넓은 화각을 갖는다. 이러한 경우, 점포 A가 화각내에 포함되어 있어도, 화상 전체에 있어서의 점포 A의 사이즈가 작기 때문에, 라이브 뷰 화상의 스케일은 대조 화상 AA(도 10의 (b))의 스케일과 다르게 되어 버려, 적절히 대조할 수 없는 경우가 있다.

이 경우, 도 11의 (b)에 나타내는 바와 같이, 촬상 화상의 단위 스케일을 반영한 가이드는 대조 화상 AA를 나타내고 있는 분포보다도 상측에 위치하도록 표시된다. 도 11의 (b)의 예에 있어서는 가이드의 위치에 대조 화상 분포가 존재하지 않으므로, 유저는 피사체에 근접하거나, 줌에 의해서 망원측의 화각으로 하지 않으면, AR 표시를 실행하기 위한 대조를 실행할 수 없다고 인식할 수 있다.

이와 같이, 현재의 촬상 화상에서는 정보 제공 장치(200)로부터 취득한 대조 화상을 이용한 대조를 할 수 없는 경우(스텝 S1109: No), 스텝 S1107로 되돌리고, AR 처리부(111)는 촬상 화상의 단위 스케일을 재차 산출한다. 즉, 가이드 표시에 의해서 대조 불가인 것을 인식한 유저가, 피사체에 근접하거나 줌을 망원측으로 함으로써, 도 12의 (a)에 나타내는 바와 같이 화각을 좁히면, 그 촬상 화상에 대한 단위 스케일이 산출되게 된다(스텝 S1107).

이 경우, 산출된 단위 스케일에 따라 가이드 표시가 이루어지지만(스텝 S1108), 도 12의 (a)에 나타내는 바와 같이, 가이드가 하측으로 이동하도록 표시된다. 도시하는 바와 같이, 가이드가 대조 화상 AA의 분포에 상당하는 위치로 이동하면, 현재의 화각으로 대조 화상 AA와의 대조가 가능하게 된다(스텝 S1109: Yes).

이 경우, 대조 처리부(113)는 AR 표시에 있어서의 이미 알고 있는 화상 처리를 실행함으로써, 가이드에 대응하는 단위 스케일의 대조 화상(이 경우, 대조 화상 AA)과 촬상 화상의 대조를 실행하고(스텝 S1110), 촬상 화상내에서의 점포 A의 위치를 인식한다. 이와 같이 해서 대조가 이루어지면, AR 처리부(111)에 의해, 예를 들면, 도 12의 (b)에 나타내는 바와 같이, 촬상 화상이 전체 화면 표시되는 동시에, 대조 화상 AA에 대응지어져 정보 제공 장치(200)로부터 제공된 중첩 정보가 촬상 화상내의 점포 A에 대응하는 위치에 중첩 표시된다(스텝 S1111).

그리고, 예를 들면, AR 어플리케이션의 종료 지시나 정보 표시 장치(100)의 전원 오프 등과 같은 소정의 종료 이벤트가 발생하지 않으면(스텝 S1112: No), 스텝 S1102 이후의 처리가 반복 실행된다. 여기서, 스텝 S1102에 있어서 키 정보의 취득 동작이 실행되지만, 정보 표시 장치(100)가 대폭 이동하는 등 하지 않으면, 전회 취득된 키 정보로부터 변동하지 않는다(스텝 S1103: No). 이러한 경우는 처리는 스텝 S1107로 진행하고, 현재의 단위 스케일에 의거한 가이드 표시(화각 변화에 따른 가이드 위치의 갱신)이 실행되게 된다.

한편, 새로이 취득한 키 정보에 변동이 있는 경우(스텝 S1103: Yes)에는 해당 키 정보를 재차 정보 제공 장치(200)에 송신하고(스텝 S1104), 해당 키 정보에 의거하여 제공된 AR데이터를 이용한 이후의 처리가 실행된다(스텝 S1105∼).

또한, 정보 표시 장치(100)로부터 송신한 키 정보에 해당하는 대조 화상이 정보 제공 장치(200)에 없는 경우에는 상술한 바와 같이, 정보 제공 장치(200)로부터 AR데이터가 송신되지 않거나, 혹은 AR 서비스를 제공할 수 없는 취지의 통지 정보가 송신된다. 이러한 경우(스텝 S1105: No)에는 처리는 스텝 S1112로 진행하고, 종료 이벤트의 발생 유무에 따른 동작이 실행되게 된다. 즉, 종료 이벤트가 발생하지 않으면(스텝 S1112: No), 재차 키 정보의 취득 동작부터 처리가 반복된다(스텝 S1102∼).

여기서, 종료 이벤트가 발생한 경우(스텝 S1112: Yes)에는 기억부(160)에 기록한 키 정보를 소거하여, 처리를 종료한다.

이상 설명한 바와 같이, 본 실시형태에 의하면, 단말장치에서 AR 표시를 실행할 때에, 그 촬영 장소에 관련해서 준비되어 있는 대조 화상의 피사체 스케일에 의거한 분포가 표시되는 동시에, 촬상 화상에 있어서의 피사체의 스케일이 해당 분포 표시상에서 가이드 표시되므로, 제공된 대조 화상을 이용한 대조에 적합한 화각이나 촬영 위치로 하는 것을 용이하게 실행할 수 있고, AR 표시를 이용할 때의 편리성을 향상시킬 수 있다.

또한, 본 실시형태에서는 도 11의 (a), (b) 및 도 12의 (a), (b)에 나타낸 바와 같은 가이드 표시를 예시했지만, 가이드 표시의 방법이나 형태는 임의이다. 따라서, 본 발명은 이들 실시형태에 한정되는 것은 아니다. 예를 들면, 피사체로부터 떨어져 있기 때문에 촬상 화상내에서의 피사체상이 작은 경우에는 정보 표시 장치(100)는 피사체에의 접근 혹은 줌 인에 의한 화각 변경을 재촉하는 도 13의 (a)에 나타내는 바와 같은 상향의 화살표 화상을 가이드로서 표시해도 좋다.

반대로, 피사체에 너무 접근하고 있기 때문에 피사체상이 화각내에 들어가지 않은 바와 같은 경우에는 정보 표시 장치(100)는 피사체를 멀리하거나 혹은 줌 아웃에 의한 화각 변경을 재촉하는 도 13의 (b)에 나타내는 바와 같은 하향의 화살표 화상을 가이드로서 표시해도 좋다.

혹은 정보 표시 장치(100)는 도 13의 (c)에 나타내는 바와 같은 대조에 필요한 화각을 나타내는 직사각형 틀을 가이드로서 표시하고, 해당 직사각형 틀 가득히 피사체상이 들어가도록 화각 변경을 재촉하도록 해도 좋다.

이들 가이드 표시는 예를 들면, 촬상 화상과 대조 화상의 단위 스케일이 가까운 경우에 있어서, 더욱 적절한 화각에 접근시킬 때에 유효하고, 더욱 직감적인 가이드 표시로 함으로써, 효율적인 화각 변경을 재촉할 수 있다. 따라서, 우선, 도 11의 (a), (b)에 예시한 바와 같은 가이드 표시를 실행하여, 어느 정도 단위 스케일이 근사한 단계에서 도 13의 (a)∼(c)에 나타낸 바와 같은 가이드 표시로 전환하도록 해도 좋다. 혹은 대조 화상의 수가 적은 경우 등에는 처음부터 도 13에 나타낸 바와 같은 가이드 표시로 하도록 해도 좋다.

본 실시형태에 있어서는 단위 스케일을 산출하기 위해 필요하게 되는 피사체까지의 거리를 스테레오 카메라에 의한 거리측정에 의해 얻음으로써 더욱 정확한 거리 정보를 얻도록 했지만, 피사체까지의 거리를 얻기 위한 방법은 임의이다. 예를 들면, 렌즈의 초점맞춤 거리가 피사체까지의 거리를 얻기 위해 이용되어도 좋다. 이 경우, 정보 표시 장치(100)에 구비되는 촬상부(140)는 예시한 바와 같은 스테레오 카메라가 아니어도 좋고, 일반적인 단안식(monocular-type)의 카메라 모듈로 촬상부(140)를 구성해도 좋다.

(실시형태 2)

상기 실시형태 1에서는 GPS 등에 의해서 위치 정보 등의 키 정보를 정보 표시 장치(100)가 취득하면, 그 키 정보에 의거하여 정보 제공 장치(200)가 AR데이터를 검색하여, 그 AR데이터를 정보 표시 장치(100)에 제공하고 있었지만, AR 서비스의 제공자가 확대하면, 현재 위치 부근에서의 AR 서비스의 제공자가 증대하기 때문에, 정보 제공 장치(200)에의 문의 회수가 많아지는 것 외에, 한번에 제공되는 AR데이터의 양도 많아지고, 트래픽 부하나 정보 표시 장치(100)내에서의 메모리 사용량이 증대하고, 퍼포먼스의 저하를 초래할 우려가 있다.

또, 상술한 바와 같이, 정보 표시 장치(100)는 복수 종류의 키 정보를 취득해도 좋기 때문에, 경우에 따라서는 복수의 키 정보에 대응한 대량의 대조 화상을 교대로 대조하지 않으면 안 되는 것도 고려되고, 마찬가지로 정보 표시 장치(100)의 퍼포먼스 저하의 요인으로 된다.

또, 동일 종류의 키 정보를 이용하는 경우에도, 예를 들면, GPS에 의한 위치 정보를 이용하는 경우에 있어서는 유저가 목적의 장소에 도착하기 전에, 경로를 되돌리는 바와 같은 행동을 취하는 경우도 있다. 이러한 때에, 정보 처리 장치(100)는 위치 정보의 변동에 따라 정보 제공 장치(200)에 액세스하고 있는 것에서는 정보 표시 장치(100)의 퍼포먼스가 저하하고, 유저의 편리성에 있어서도 바람직하지 않다.

이 경우, 가능한 한 많은 AR데이터를 정보 표시 장치(100)내에 축적해 두면, 정보 제공 장치(200)에의 액세스 회수를 저감시킬 수 있지만, 대조가 실행되는 정보 표시 장치(100)내에 많은 AR데이터가 축적되어 있으면 대조 처리에 시간이 걸려 버리므로, 퍼포먼스의 저하는 면할 수 없다.

본 실시형태에서는 취득한 키 정보 및 AR데이터의 관리에 의해, 정보 제공 장치(200)에의 문의 회수의 저감과, 정보 표시 장치(100)에 있어서의 메모리 사용의 효율화를 도모한다.

이 때문에 정보 표시 장치(100)에서 실행되는 「AR 표시 처리(2)」를, 도 14의 흐름도를 참조하여 설명한다. 이 처리는 실시형태 1의 「AR 표시 처리(1)」 대신에 실행되는 것으로 한다.

여기서, 상기 실시형태 1에서는 GPS 등에 의해서 취득되는 위치 정보를 키 정보로서 필수인 것으로 했지만, 본 실시형태에서는 위치 정보가 취득되지 않고 다른 종류의 키 정보가 취득된 경우에도, 정보 표시 장치(100)는 정보 제공 장치(200)에의 문의를 실행하는 것으로 한다.

상술한 바와 같이, 키 정보는 점포 등의 시설 등으로부터 발신되는 경우도 있다. 예를 들면, 점포의 매장 등에 근거리 무선 통신이나 가시광 통신에 의한 발신 장치를 설치하고, 해당 점포에 대한 AR데이터에 관한 키 정보를 발신하고 있으면, 해당 점포에 가까워졌을 때에 키 정보를 취득할 수 있다. 이 경우에 발신되는 키 정보는 예를 들면, GPS에 의해 취득되는 위치 정보에 상당하는 위치 정보 등으로 할 수 있는 것 외에, 해당 시설이 정보 제공 장치(200)에 AR데이터 등을 등록하고 있는 경우에 있어서는 해당 시설을 나타내는 식별 정보를 키 정보로서 발신하고 있어도 좋다.

이러한 경우, 정보 제공 장치(200)의 대조 화상 저장 테이블에는 도 15에 나타내는 바와 같은 「그룹 ID」가 인덱스 정보로서 부가되어 있는 것으로 한다. 1개의 그룹 ID에 대해 복수의 AR데이터를 대응지음으로써, 정보 제공 장치(200)에 있어서의 검색의 효율을 향상시킬 수 있다.

또, 본 실시형태에서는 도 15에 나타내는 바와 같이, 각 AR데이터에 일의의 식별 정보(AR데이터 식별 정보)가 부여되어 있는 것으로 한다. 이 경우, 본 실시형태에 관한 정보 제공 장치(200)는 정보 표시 장치(100)로부터 키 정보가 송신되었을 때에는 해당 키 정보에 대응하는 식별 정보(AR데이터 식별 정보)를 정보 표시 장치(100)에 회신하고, 정보 표시 장치(100)로부터 식별 정보(AR데이터 식별 정보)가 송신되었을 때에는 해당 식별 정보(AR데이터 식별 정보)에 대응하는 AR데이터를 정보 표시 장치(100)에 회신한다.

또한, 정보 표시 장치(100)가 취득하는 키 정보에는 예를 들면, 점포내에서 판매되는 상품 등에 부가되어 있는 프라이스 카드 등에 붙어 있는 RFID 칩으로부터 발신되는 것이나, 표시되어 있는 2차원 코드에 의해서 나타나고 있는 것도 포함하고, 이들 키 정보는 해당 상품에 대한 AR데이터와 대응지어진 식별 정보로 된다. 본 실시형태에서는 이러한 식별 정보는 상술한 AR데이터 식별 정보와 동일한 것으로 한다.

이상과 같은 상정에 있어서 실행되는 「AR 표시 처리(2)」에 의한 동작을 설명한다. 또한, 실시형태 1과 마찬가지로, 유저에 의한 AR 어플리케이션의 실행 지시를 계기로 처리가 시작되는 것으로 한다.

처리가 시작되면, 촬상 처리부(112)는 촬상부(140)를 제어하고, 촬상 동작이 시작되는 동시에(스텝 S2101), 대조 처리부(113)가 키 정보 취득부(130)를 제어함으로써, 키 정보의 취득 동작이 실행된다(스텝 S2102). 취득된 키 정보는 예를 들면, RAM 등의 기억 영역상에 일시적으로 유지된다.

실시형태 1의 예와 마찬가지로, 취득한 키 정보를 기억부(160)에 기록하게 되지만, 본 실시형태에서는 도 18의 (a)에 나타내는 바와 같은 「키 정보 관리 테이블」이 기억부(160)에 작성되고, 취득된 키 정보와 부가 정보가 이 테이블에 저장된다.

이 키 정보 관리 테이블은 도 18의 (a)에 나타내는 바와 같이, 레코드 No.를 키로 한 레코드에 의해서 구성된다. 여기서, 테이블을 구성하는 레코드 수는 예를 들면, 기억부(160)의 용량 중에서 AR 어플리케이션에 할당되어 있는 용량이나 정보 표시 장치(100)의 처리 능력 등에 의해서 규정되어 있는 것으로 한다. 즉, 기록되는 키 정보가, AR 어플리케이션의 실행에 관한 퍼포먼스가 저하하지 않을 정도의 데이터량으로 되는 바와 같은 레코드 수가 규정된다. 본 실시형태에서는 예를 들면, n개의 레코드에 의해서 테이블이 구성되어 있는 것으로 한다.

또, 스텝 S2102에서 취득된 키 정보의 수를 N(개)로 한다. 상술한 바와 같이, 복수의 방법으로 키 정보가 취득되므로, 동일한 장소에서 키 정보 취득 동작을 실행한 경우에, 예를 들면, GPS에 의해서 위치 정보가 취득되는 동시에, 근거리 무선 통신에 의해서 그룹 ID가 취득되는 등과 같은 복수의 키 정보가 동시에 취득되는 경우도 있으므로, 키 정보의 수 N은 N≥1이라는 것으로 된다.

이러한 키 정보 관리 테이블에는 도 18의 (a)에 나타내는 바와 같이, 취득된 키 정보(예를 들면, 위치 정보, 그룹 ID, 식별 정보 등), 해당 키 정보를 취득한 방법의 종류를 나타내는 정보(예를 들면, GPS, 가시광 통신, RFID, IrDA, Bluetooth(상표), 2차원 코드 등), 이용 일시, 해당 키 정보에 대해 정보 제공 장치(200)로부터 송신된 식별 정보(AR데이터 식별 정보), 삭제 대상에서 제외할 레코드인 것을 나타내는 플래그(「제외 플래그」) 등이 기록되게 된다.

여기서, 「이용 일시」에는 취득된 키 정보가 기록되었을 때의 일시가 기록된다. 또, 이미 키 정보 관리 테이블에 기록되어 있는 키 정보가 재차 취득되었을 때에는 이용 일시는 그 때의 일시로 갱신되는 것으로 한다.

이러한 키 정보 관리 테이블에 키 정보를 저장하기 위한 처리로서 「키 정보 관리 처리」가 실행된다(스텝 S2200). 이 「키 정보 관리 처리」를, 도 16에 나타내는 흐름도를 참조하여 설명한다.

처리가 시작되면, 대조 처리부(113)는 기억부(160)의 키 정보 관리 테이블로 액세스하고, RAM에 유지하고 있는 키 정보와 동일한 키 정보가 키 정보 관리 테이블에 저장되어 있는 경우, 해당 키 정보에 대한 「이용 일시」를 현재 일시로 갱신한다(스텝 S2201). 여기서, RAM에 유지되어 있는 금회 취득한 키 정보 중, 이러한 키 정보 관리 테이블에 기록필(기록완료)의 키 정보에 대해서는 이용 일시의 갱신 후, RAM으로부터 삭제한다.

이미 기록필의 키 정보를 RAM에서 삭제한 후에 RAM에 잔존하고 있는 키 정보는 키 정보 관리 테이블에 미기록의 키 정보라는 것으로 된다. 금회 취득한 키 정보에, 키 정보 관리 테이블에 미기록의 것이 없는 경우(스텝 S2202: No)는 이용 일시의 갱신을 실행하는 것만으로 처리를 종료하여, 「AR 표시 처리(2)」(도 14)의 흐름으로 되돌린다.

한편, 금회 취득한 키 정보 중에, 키 정보 관리 테이블에 미기록의 키 정보가 있는 경우(스텝 S2202: Yes), 대조 처리부(113)는 이러한 미기록의 키 정보를, 키 정보 관리 테이블에 추가 가능한지의 여부를 판별한다(스텝 S2203). 상술한 바와 같이, 본 실시형태에 관한 키 정보 관리 테이블은 기억부(160)의 용량 등에 의거하여, 레코드 수가 n개까지 제한되어 있다. 이러한 n개의 레코드 중, 비어 있는 레코드가 1이상 있으면, 대조 처리부(113)는 키 정보를 추가 가능하다고 판별한다(스텝 S2203: Yes).　

이 경우, 대조 처리부(113)는 RAM에 잔존하고 있는 키 정보 중의 하나에 대해, 해당 키 정보와 그 취득 방법을 나타내는 정보 및, 취득 일시로서 현재 일시를 나타내는 정보를 비어 있는 레코드의 1개에 기록한다(스텝 S2209). 이 경우, 대조 처리부(113)는 RAM상의 해당 키 정보를 삭제한다.

금회 취득한 키 정보의 1개를 키 정보 관리 테이블에 기록하면, 대조 처리부(113)는 통신부(120)를 제어함으로써, 해당 키 정보를, 통신 네트워크 NW를 통해 정보 제공 장치(200)에 송신하고, 대응하는 식별 정보(AR데이터 식별 정보)를, 통신 네트워크 NW를 통해 정보 제공 장치(200)로부터 취득한다(스텝 S2210).

이 경우, 정보 제공 장치(200)에 있어서는 정보 표시 장치(100)로부터 송신된 키 정보를 통신부(220)가 수신하면, 정보 검색부(213)가 기억부(240)로 액세스하고, 도 15에 나타낸 대조 화상 저장 테이블로부터, 수신한 키 정보에 대응지어져 있는 식별 정보(AR데이터 식별 정보)를 검색하고, 통신부(220)가 그 식별 정보(AR데이터 식별 정보)를 정보 표시 장치(100)에 송신한다.

이와 같이 해서 정보 제공 장치(200)가 식별 정보(AR데이터 식별 정보)를 송신하면, 정보 표시 장치(100)의 통신부(120)가 식별 정보(AR데이터 식별 정보)를 수신한다. 대조 처리부(113)는 수신된 식별 정보(AR데이터 식별 정보)를, 스텝 S2209에서 키 정보 관리 테이블에 기록한 키 정보의 레코드에 기록한다(스텝 S2211).

1개의 레코드에의 키 정보의 기록이 완료하면, 대조 처리부(113)는 금회 취득한 키 정보가 RAM상에 잔존하고 있는지 아닌지를 판별함으로써, 키 관리 정보 테이블에 미기록이었던 키 정보가 모두 기록되었는지 아닌지를 판별한다(스텝 S2212).

금회 취득한 키 정보가 아직 RAM에 잔존해 있으면(스텝 S2212: No), 처리는 스텝 S2203으로 되돌린다. 여기서, n개의 레코드 전부에 정보가 기록되어 있는 경우, 대조 처리부(113)는 키 정보를 추가할 수 없다고 판별하고(스텝 S2203: No), 어느 하나의 레코드의 내용을 삭제함으로써 비어 있는 레코드를 준비한다.

이 경우, 대조 처리부(113)는 키 정보 관리 테이블에 기록되어 있는 이용 일시를 주사하고, 가장 오래된 이용 일시가 기록되어 있는 레코드를 특정한다(스텝 S2204). 그리고, 대조 처리부(113)는 그 레코드에 기록되어 있는 키 정보가 위치 정보 이외의 것(그룹 ID나 식별 정보 등)인지 아닌지를 판별한다(스텝 S2205).

위치 정보 이외의 키 정보가 기록되어 있는 레코드인 경우(스텝 S2205: Yes), 대조 처리부(113)는 해당 레코드의 내용을 삭제한다(스텝 S2208). 이것에 의해 비어 있는 레코드를 1개 준비할 수 있었으므로, 스텝 S2209 이후의 처리에 의해, 해당 비어 있는 레코드에 해당하는 정보가 기록된다.

한편, 가장 오래된 이용 일시가 기록되어 있는 레코드의 키 정보가 위치 정보인 경우(스텝 S2205: No), 대조 처리부(113)는 해당 위치 정보와 현재 위치로부터, 해당 레코드에 기록되어 있는 위치 정보가 현재 위치에 가까운 위치인지 아닌지를 판별한다(스텝 S2206).

여기서, 금회 취득한 키 정보에 위치 정보가 포함되어 있으면, 대조 처리부(113)는 해당 위치 정보가 나타내는 위치를 현재 위치로서 이용한다. 위치 정보가 포함되어 있지 않으면, 대조 처리부(113)는 키 정보 취득부(130)를 제어함으로써 현재 위치 정보의 취득을 실행한다. 그리고, 대조 처리부(113)는 각 위치를 나타내는 위도/경도로부터 2점간의 거리를 연산하고, 산출된 거리와 소정의 임계값을 비교함으로써, 해당 위치 정보가 나타내는 위치가 현재 위치에 가까운지의 여부를 판별한다. 이 경우의 임계값은 임의이다. 임계값은 정보 표시 장치(100)의 제조자에 의해서 설정되는 것 이외에, 사용자에 의해서 임의로 설정할 수 있는 것이어도 좋다.

이러한 동작에 의해, 이용 일시가 가장 오래된 레코드에 기록되어 있는 위치 정보가, 현재 위치에 가까운 위치를 나타내는 것이면(스텝 S2206: Yes), 대조 처리부(113)는 해당 레코드를 삭제 대상에서 제외하고(스텝 S2207), 스텝 S2204로 되돌린다. 이 경우, 예를 들면, 삭제 대상에서 제외할 레코드인 것을 나타내는 플래그(제외 플래그)를 해당 레코드에 세우는 것으로 한다.

한편, 현재 위치에서 먼 위치를 나타내는 위치 정보가 기록되어 있는 레코드이면(스텝 S2206: No), 처리는 스텝 S2208로 진행하고, 대조 처리부(113)는 해당 레코드의 내용을 삭제한다. 그리고, 스텝 S2209 이후의 처리를 실행함으로써, 해당 레코드에 각종 정보가 기록된다.

이와 같이 해서, 금회 취득된 키 정보의 전부가 키 정보 관리 테이블에 기록되면(스텝 S2212: Yes), 대조 처리부(113)는 본 처리를 종료하고, 「AR 표시 처리(2)」(도 14)의 흐름으로 되돌린다.

여기서, 본 실시형태에서는 정보 제공 장치(200)로부터 취득한 AR데이터가, 기억부(160)에 작성된 도 18의 (b)에 나타내는 바와 같은 「AR데이터 관리 테이블」에 기록되는 것으로 한다.

도시하는 바와 같이, 「AR데이터 관리 테이블」에 있어서는 레코드 No.를 키로 한 레코드가 작성되고, 각 레코드에는 키 정보에 대응하는 식별 정보(AR데이터 식별 정보)가 기록되는 동시에, 해당 식별 정보(AR데이터 식별 정보)에 대응하는 AR데이터(즉, 대조 화상, 중첩 정보, 스케일 정보, 단위 스케일 정보 등)와, 해당 AR데이터의 이용 일시를 나타내는 정보 등이 기록된다. 여기서, 「이용 일시」에는 해당 AR데이터를 정보 제공 장치(200)로부터 취득했을 때의 일시가 기록된다.

또한, AR데이터 관리 테이블을 구성하는 레코드 수에 대해서도, AR 어플리케이션에 할당되어 있는 기억부(160)의 용량이나 정보 표시 장치(100)의 처리 능력 등에 의해서 규정되어 있는 것으로 한다. 즉, AR 어플리케이션의 실행에 관한 퍼포먼스가 저하하지 않는 정보량이 기록되는 바와 같은 레코드 수가 규정되어 있다. 본 실시형태에서는 m개의 레코드에 의해서 테이블이 구성되어 있는 것으로 한다.

상술한 「키 정보 관리 처리」(스텝 S2200)의 실행 후, 「AR 표시 처리(2)」에서는 이러한 AR데이터 관리 테이블에 AR데이터를 기록하기 위한 「AR데이터 관리 처리」가 실행된다(스텝 S2300). 이 AR데이터 관리 처리를, 도 17에 나타내는 흐름도를 참조하여 설명한다.

처리가 시작되면, 대조 처리부(113)는 우선, 기억부(160)의 키 정보 관리 테이블(도 18(a))로 액세스하고, 금회의 키 정보 취득 동작에 대응하는 일시가 이용 일시로서 기록되어 있는 레코드를 특정하고, 해당 레코드에 기록되어 있는 식별 정보(AR데이터 식별 정보)를 특정한다. 즉, 대조 처리부(113)는 금회 취득한 키 정보에 대응지어져 있는 식별 정보(AR데이터 식별 정보)를 특정한다. 이 경우, 대조 처리부(113)는 특정한 식별 정보(AR데이터 식별 정보)를 키 정보 관리 테이블로부터 취득하고(스텝 S2301), RAM상에 일시적으로 유지한다.

다음에, 대조 처리부(113)는 기억부(160)의 AR데이터 관리 테이블(도 18의 (b))로 액세스하고, 스텝 S2301에서 취득한 식별 정보(AR데이터 식별 정보)가 이미 기록되어 있는 레코드를 특정하고, 해당 레코드의 「이용 일시」를 현재 일시로 갱신한다(스텝 S2302). 즉, 금회 취득한 키 정보에 대응지어져 있는 AR데이터가 이미 AR데이터 관리 테이블에 기록 완료된 경우, 이 때에 정보 제공 장치(200)로부터 AR데이터가 취득된 것으로 해서, 「이용 일시」를 갱신한다.

이러한, AR데이터 관리 테이블에 기록필의 AR데이터를 나타내는 식별 정보(AR데이터 식별 정보)에 대해 「이용 일시」를 갱신하면, 해당 식별 정보를 RAM으로부터 삭제한다. 이러한 삭제를 실행한 후에 RAM에 식별 정보가 잔존해 있으면, RAM에 남아 있는 해당 식별 정보에 의해서 나타나는 AR데이터는 AR데이터 관리 테이블에 미기록인 것으로 된다.

또, RAM상에 식별 정보가 잔존하지 않으면, 금회 취득한 키 정보에 대응하는 AR데이터는 모두 AR데이터 관리 테이블에 기록 완료라는 것이 된다. 이 경우(스텝 S2303: No)는 대조 처리부(113)는 금회 취득한 키 정보에 대응하는 AR데이터에 대한 「이용 일시」를 갱신하는 것만으로 처리를 종료하고, 처리는「AR 표시 처리(2)」(도 14)의 흐름으로 되돌린다.

한편, AR데이터 관리 테이블에 기록되어 있지 않은 AR데이터가 있는 경우(스텝 S2303: Yes), 대조 처리부(113)는 AR데이터 관리 테이블에 추가 가능한지 아닌지를 판별한다(스텝 S2304). 상술한 바와 같이, 본 실시형태에 관한 AR데이터 관리 테이블은 기억부(160)의 용량 등에 의거하여, 레코드 수가 m개까지 제한되어 있다. 이러한 m개의 레코드 중, 비어 있는 레코드가 1이상 있으면, 대조 처리부(113)는 AR데이터를 추가 가능하다고 판별한다(스텝 S2304: Yes).

이 경우, 대조 처리부(113)는 RAM에 유지되어 있는 식별 정보(AR데이터 식별 정보) 중의 하나를 선택한다. 그리고, 대조 처리부(113)는 통신부(120)를 제어하고, 선택한 식별 정보(AR데이터 식별 정보)를, 통신 네트워크 NW를 통해 정보 제공 장치(200)에 송신함으로써, 해당 식별 정보(AR데이터 식별 정보)에 대응지어져 있는 AR데이터를 정보 제공 장치(200)로부터 취득한다(스텝 S2310).

이 때, 정보 제공 장치(200)에 있어서는 정보 표시 장치(100)로부터 송신된 식별 정보(AR데이터 식별 정보)를 통신부(220)가 수신하면, 정보 검색부(213)가 기억부(240)로 액세스하고, 도 15에 나타낸 대조 화상 저장 테이블로부터, 수신한 식별 정보(AR데이터 식별 정보)에 대응지어져 있는 AR데이터를 검색하고, 통신부(220)가 AR데이터를 정보 표시 장치(100)에 송신한다.

이와 같이 해서 정보 제공 장치(200)가 AR데이터를 송신하면, 정보 표시 장치(100)의 통신부(120)가 그 AR데이터를 수신한다. 대조 처리부(113)는 수신된 AR데이터를, 비어 있는 레코드의 하나에 기록한다(스텝 S2311). 대조 처리부(113)는 또, 이 때의 현재 일시를 나타내는 정보를, 해당 AR데이터의 이용 일시로서 기록한다. 이 때, 대조 처리부(113)는 RAM에 유지되어 있는 식별 정보(AR데이터 식별 정보) 중, AR데이터 관리 테이블에 기록한 AR데이터에 대한 식별 정보(AR데이터 식별 정보)를 RAM에서 삭제한다.

대조 처리부(113)는 RAM상에 식별 정보(AR데이터 식별 정보)가 잔존해 있는지 아닌지를 판별함으로써, AR데이터 관리 테이블에 기록되어 있지 않았던 AR데이터의 전부가 AR데이터 관리 테이블에 기록되었는지 아닌지를 판별한다(스텝 S2312).

RAM상에 식별 정보(AR데이터 식별 정보)가 잔존해 있는 경우(스텝 S2312: No), 처리는 스텝 S2304로 되돌리고, 그러한 식별 정보(AR데이터 식별 정보)에 대해, AR데이터의 취득과 기록이 실행된다. 여기서, AR데이터 관리 테이블의 m개의 레코드 전부에 정보가 기록되어 있는 경우, 대조 처리부(113)는 AR데이터를 추가할 수 없다고 판별하고(스텝 S2304: No), 어느 하나의 레코드의 내용을 삭제함으로써 비어 있는 레코드를 준비한다.

이 경우, 대조 처리부(113)는 AR데이터 관리 테이블에 기록되어 있는 이용 일시를 주사하고, 가장 오래된 이용 일시가 기록되어 있는 레코드를 특정한다(스텝 S2305). 그리고, 대조 처리부(113)는 그 레코드에 기록되어 있는 식별 정보(AR데이터 식별 정보)를 특정한다.

다음에, 대조 처리부(113)는 키 정보 관리 테이블로 액세스하고, 특정한 식별 정보(AR데이터 식별 정보)가 기록되어 있는 레코드가 없는지 판별한다. 즉, 대조 처리부(113)는 이용 일시가 가장 오래된 AR데이터에 대응하는 키 정보가 현재의 키 정보 관리 테이블에 잔존해 있는지 아닌지를 판별한다(스텝 S2306).

키 정보 관리 테이블에, 대응하는 키 정보가 잔존해 있지 않은 경우(스텝 S2306: No), 대조 처리부(113)는 AR데이터 관리 테이블로부터, 스텝 S2305에서 특정한 레코드의 내용을 삭제한다(스텝 S2307). 이것에 의해 비어 있는 레코드를 1개 준비할 수 있었으므로, 스텝 S2310 이후의 처리에 의해, 해당 레코드에 해당하는 정보가 기록된다.

한편, 이용 일시가 가장 오래된 AR데이터에 대응하는 키 정보가, 현재의 키 정보 관리 테이블에 잔존하고 있는 경우(스텝 S2306: Yes), 대조 처리부(113)는 해당 키 정보의 레코드로 「제외 플래그」가 세워져 있는지 아닌지를 판별함으로써, 해당 키 정보가, 「키 정보 관리 처리」(도 16)의 스텝 S2207에 있어서, 삭제 대상에서 제외된 것인지 아닌지를 판별한다(스텝 S2308).

여기서, 스텝 S2305에서 특정한 AR데이터에 대응하는 키 정보가, 키 정보 관리 테이블에 있어서 삭제 대상에서 제외되고 있던 경우(스텝 S2308: Yes), 대조 처리부(113)는 스텝 S2305에서 특정한 레코드에 대해서도, 삭제 대상에서 제외하고(스텝 S2309), 처리는 스텝 S2305로 되돌린다. 이 경우, 예를 들면, 레코드에 대상 제외인 것을 나타내는 플래그를 세우는 것 외에, 해당 레코드의 이용 일시를 현재의 일시로 갱신함으로써, 스텝 S2305에서 특정한 레코드가 제외되도록 해도 좋다.

상술한 「키 정보 관리 처리」(도 16)에 의해, 키 정보 관리 테이블에는 비교적 최근에 취득된 키 정보, 혹은 이용 일시는 오래되지만 현재 위치에 가까운 위치를 나타내는 키 정보가 남도록 관리되어 있다. 따라서, 스텝 S2305에서 특정된 AR데이터에 대응하는 키 정보가 키 정보 관리 테이블에 잔존하고, 또한, 삭제 대상에서 제외되고 있던 것이면, AR데이터의 이용 일시가 오래되어도, 그 AR데이터는 금회 취득된 키 정보를 이용한 AR 표시 또는 가까운 장래에 취득될 수 있는 키 정보를 이용한 AR 표시에 이용될 가능성이 높다. 따라서, 이러한 AR데이터는 AR데이터 관리 테이블로부터의 삭제 대상에서 제외함으로써, AR관리 테이블에 잔존시킨다.

이러한 제외 처리 후, 처리는 스텝 S2305로 되돌려, 삭제 대상으로 할 수 있는 레코드가 검색되고, 그 내용이 삭제된다(스텝 S2305∼스텝 S2307). 그리고, 이와 같이 해서 준비된 비어있는 레코드에, 새로이 취득되는 AR데이터가 기록된다(스텝 S2310∼스텝 S2311).

한편, 대응하는 키 정보가 키 정보 관리 테이블에 잔존하고 있는 것이어도, 삭제 대상에서 제외된 것이 아니면(스텝 S2308: No), 키 정보 관리 테이블에 잔존하고 있는 것 중에서도 비교적 해당 키 정보의 이용 일시가 오래되고, 해당 키 정보가 나타내는 위치가 현재 위치에 가깝지 않고, 또한, 대응하는 AR데이터에 대해서는 그 이용 일시가 가장 오래되게 된다. 이 때문에, 대조 처리부(113)는 스텝 S2305에서 특정한 레코드에 기록되어 있는 AR데이터가 금회 또는 가까운 장래에 이용될 가능성은 낮다고 간주하고, 대조 처리부(113)는 해당 레코드의 내용을 삭제하고 비어 있는 레코드를 준비한다(스텝 S2307).

이상과 같은 동작을, 대상으로 되어 있는 모든 AR데이터가 기록될 때까지 반복 실행되고(스텝 S2312: No), 모든 AR데이터가 기록되면(스텝 S2312: Yes), 대조 처리부(113)는 본 처리를 종료하고, 「AR 표시 처리(2)」(도 14)의 흐름으로 되돌린다.

「AR 표시 처리(2)」에서는 AR 처리부(111)는 스텝 S2102에서 취득된 키 정보에 대응하는 AR데이터를 이용한 AR 표시를 실행한다. 여기서는 실시형태 1에서 설명한 「AR 표시 처리(1)」(도 8)의 스텝 S1106∼스텝 S1111과 마찬가지의 동작을 실행하는 것에 의해, 취득필의 AR데이터를 이용한 AR 표시가 실행된다(스텝 S2103).

그리고, 소정의 종료 이벤트가 발생하지 않으면(스텝 S2104: No), 스텝 S2102 이후의 처리를 반복 실행함으로써, AR 처리부(111)는 AR 표시를 실행한다. 그리고, 종료 이벤트의 발생에 의해(스텝 S2104: Yes), 본 처리를 종료한다.

이상과 같이, 본 실시형태에 의하면, 정보 표시 장치(100)에서 이용할 수 있는 메모리 자원이나 처리 능력 등에 따라, 정보 표시 장치(100)에서 유지하는 키 정보나 AR데이터가, AR 표시를 효율적으로 실행할 수 있도록 적절히 관리되는 동시에, 정보 제공 장치(200)로부터 정보 표시 장치(100)에 AR데이터를 제공하기 위한 데이터 전송을 효과적으로 저감시킬 수 있으므로, 트래픽 부하를 저감하는 것 외에, 정보 표시 장치(100)의 퍼포먼스 저하를 방지할 수 있고, AR 서비스의 이용에 관한 편리성의 향상을 도모할 수 있다.

즉, 정보 표시 장치(100)에서 키 정보가 취득되었을 때에는 해당 키 정보에 대응하는 식별 정보만을 정보 제공 장치(200)로부터 취득하므로, 대조 화상 등과 같은 비교적 데이터 사이즈가 큰 AR데이터는 전송되지 않는다. 그리고, 취득한 식별 정보에 의거하여, 정보 표시 장치(100)가 유지하고 있는 AR데이터에 해당하는 AR데이터가 포함되어 있지 않은 경우에만, 정보 표시 장치(100)는 정보 제공 장치(200)로부터 AR데이터의 제공을 받는다. 이것에 의해, 키 정보를 취득할 때마다 AR데이터를 정보 제공 장치(200)로부터 취득하는 경우에 비해, 통신 네트워크 NW상에서의 데이터 전송량을 대폭 삭감할 수 있다.

또, 정보 표시 장치(100)내에는 비교적 최근에 취득된 키 정보와 현재 위치에 가까운 위치 정보를 나타내는 키 정보가 우선적으로 남도록 유지되고, 이들 키 정보에 대응하는 AR데이터는 삭제되지 않도록 관리되어 있으므로, 현재 혹은 바로 가까운 장래에 이용될 가능성이 높은 AR데이터가 우선적으로 정보 표시 장치(100)내에 유지되게 되고, AR데이터를 취득하기 위한 정보 제공 장치(200)와의 트랜잭션 회수를 또한 저감시킬 수 있다.

또한, 본 실시형태에 있어서는 그 때 취득한 키 정보에 대응하는 AR데이터가 이미 AR데이터 관리 테이블에 기록필인 경우에, 해당 AR데이터에 대한 「이용 일시」를 갱신하는 것으로 했지만(「AR데이터 관리 처리」(도 17)의 스텝 S2302), AR데이터 관리 테이블에 기록되어 있는 AR데이터를 AR 표시에 이용했을 때에도 「이용 일시」를 갱신하도록 해도 좋다. 이것에 의해, 실제로 AR 표시에 이용된 AR데이터를 우선적으로 정보 표시 장치(100)에 유지시킬 수 있다.

또, 키 정보 관리 테이블로부터 키 정보를 삭제했을 때(「키 정보 관리 처리」(도 16)의 스텝 S2208), 해당 키 정보에 대응지어져 있는 AR데이터를 AR데이터 관리 테이블에서 삭제해도 좋고, AR데이터 관리 테이블에서 AR데이터를 삭제했을 때(「AR데이터 관리 처리」(도 17)의 스텝 S2307), 해당 AR데이터의 식별 정보(AR데이터 식별 정보)가 대응지어져 있는 키 정보를 키 정보 관리 테이블에서 삭제해도 좋다. 이것에 의해, 키 정보 혹은 AR데이터의 어느 한쪽에 있어서 삭제 대상으로 되었을 때에, 서로 대응하는 AR데이터 혹은 키 정보도 아울러 삭제되므로, 키 정보 관리 테이블 및 AR데이터 관리 테이블의 어느 것에 있어서도, 비어 있는 레코드가 미리 준비되어 있을 가능성을 높일 수 있다.

(실시형태 3)

상기 실시형태 2에 있어서는 점포 등의 시설 등으로부터 발신하는 키 정보로서 그룹 ID를 예시했지만, 이 그룹 ID를 취득하는 것과 마찬가지의 방법에 의해서, 키 정보 뿐만 아니라, AR데이터(대조 화상)를 시설로부터 취득할 수 있도록 해도 좋다. 이 경우, 예를 들면, GPS에 의한 위치 정보의 취득을 할 수 없는 경우에도, AR 서비스의 이용에 필요하게 되는 AR데이터를 취득할 수 있는 것 이외에, 정보 제공 장치(200) 등에 액세스하지 않고 AR데이터를 취득할 수 있으므로, 통신 네트워크 NW에 있어서의 트래픽 부하가 저감된다.

이 형태에서는 점포 등의 시설 등에 설치된 근거리 무선 통신 장치나 가시광 통신 장치가 정보 제공 장치(200)로서 기능하게 되지만, 상기 각 실시형태에서 예시한 정보 제공 장치(200)와는 달리, 이러한 장치는 설치 장소에 관한 정보만을 유지해서 발신하면 좋기 때문에, 소규모이고 또한 간이적으로 실현할 수 있는 것 이외에, 방대한 AR데이터의 제공을 분산해서 실행할 수 있다.

이와 같이 제공되는 대조 화상으로서, 상기 각 실시형태에서는 사진 화상 등의 소위 2D화상을 이용하는 것으로 하였다. 이 경우, 대조 화상을 촬영한 카메라로부터의 시선 방향과 일치하는 시선 방향에서 촬영한 경우가 아니면 대조를 원활하게 실행할 수 없는 경우가 있다. 특히, 점포 등의 내부에 있어서 다수의 상품 각각에 대해 AR 표시를 실행하는 바와 같은 경우, 점포 내부가 좁거나, 대상물이 근접해 있는 경우가 있으면, 반드시 대조 화상의 시선 방향과 동일한 시선 방향에서 촬영할 수 있다고는 할 수 없다. 또, 대조 동작은 백그라운드에서 실행되기 때문에, 어떠한 대조 화상이 이용되고 있는지 유저가 인식할 것도 없기 때문에, 대조 화상의 시선 방향에 맞춘 촬영을 능동적으로 실행하는 것도 통상적으로는 할 수 없다.

여기서, 촬상부(140)를 스테레오 카메라로 구성한 정보 표시 장치(100)의 경우, 정보 표시 장치(100)는 촬상 화상으로부터 3D 모델링 데이터를 생성할 수 있다. 그 때문에, 정보 표시 장치(100)는 이러한 3D 모델링 데이터를 대조 화상과 대조시킴으로써, 상기와 같은 문제의 해소를 도모할 수 있다. 본 실시형태에서는 이 경우의 동작예를 이하에 설명한다.

정보 표시 장치(100)가 3D 모델링 데이터를 이용하고 대조를 실행하는 경우의 「AR 표시 처리(3)」을 도 19에 나타내는 흐름도를 참조하여 설명한다. 또한, 본 실시형태에서는 점포 등의 시설 등에 설치되어 있는 근거리 무선 통신 장치나 가시광 통신 장치에 의해서 AR데이터가 정보 표시 장치(100)에 제공되는 것으로 한다.

처리가 시작되면, 촬상 처리부(112)에 의해서 스테레오 카메라인 촬상부(140)가 제어되고, 촬상 동작이 시작된다(스텝 S3101). 본 실시형태에서는 예를 들면, VRAM(Video RAM) 등과 같은 화상 처리를 위해 화상 데이터가 전개되는 기억장치가 기억부(160)에 포함되는 것으로 한다. 이 경우, 대조 처리부(113)는 기억부(160)에 전개된 화상 데이터에 대해, 3D 모델링에 있어서의 기존의 기술을 이용하여, 촬상 화상으로부터 피사체를 추출하는 동시에, 깊이 추정을 실행함으로써, 추출한 피사체의 3D 모델링 데이터를 생성한다(스텝 S3102).

3D 모델링 데이터를 생성하면, 대조 처리부(113)는 화상 처리에 있어서의 기존의 기술을 이용하여, 촬상 화상으로 3D 모델링 데이터를 생성한 피사체에 대해, 예를 들면, SIFT(Scale Invariant Feature Transform)나 SURF(Speeded Up Robust Features) 등에 의해서, 특징점의 추출이나 특징량의 산출을 실행한다(스텝 S3103).

또, 대조 처리부(113)는 키 정보 취득부(130) 등을 제어함으로써, 점포 등의 시설 등에 설치되어 있는 근거리 무선 통신 장치나 가시광 통신 장치로부터 발신되어 있는 AR데이터를 취득하여, AR데이터를 기억부(160)에 기록한다(스텝 S3104). AR데이터의 기록에 있어서는 대조 처리부(113)는 실시형태 2에서 예시한 바와 같은 AR데이터 관리 테이블 등에 기록한다.

취득한 AR데이터에 포함되는 대조 화상이 복수 포함되는 경우, 대조 처리부(113)는 생성한 3D 모델링 데이터와 이들 대조 화상의 대조를 순차 실행하기 위해, 처리 대상으로 하는 대조 화상의 인덱스 번호 i에 초기값 「0」을 설정한 후(스텝 S3105), i의 값을 +1함으로써(스텝 S3106), 1번째의 대조 화상을 지정한다.

대조 처리부(113)는 기억부(160)에 저장되어 있는 해당 대조 화상(i번째의 대조 화상)에 대해, 스텝 S3103에서의 처리와 마찬가지의 처리를 실행함으로써, SIFT나 SURF 등에 의해서, 특징점의 추출이나 특징량의 산출을 실행한다(스텝 S3107).

여기서, 현재 촬상되어 있는 피사체가 도 20의 (a)에 나타내는 바와 같은 입체물인 경우에 있어서, 준비되어 있는 대조 화상은 도 20의 (a)에 있어서의 「대조 화상의 시선」이 나타내는 방향으로부터 촬영된 도 20의 (b)에 나타내는 바와 같은 사진 화상(2D 화상)인 것으로 한다. 여기서, 정보 표시 장치(100)에 의한 현재의 촬상 방향이, 도 20의 (a)에 있어서의 「현재의 카메라 시선」이 나타내는 방향인 것으로 하면, 스텝 S3102에서 생성된 3D 모델링 데이터는 도 20의 (c)에 나타내는 바와 같은 것으로 된다.

이 경우, 대조 화상의 시선과 현재의 촬상에 있어서의 시선이 다르므로, 생성한 3D 모델링 데이터에서는 대조 화상을 이용한 대조를 실행할 수 없다. 이 때문에, 대조 처리부(113)는 촬상 화상의 특징점/특징량과, 대조 화상의 특징점/특징량을 비교하고, 대조 화상의 시선으로 되도록, 3D 모델링 데이터의 시선 방향을 변경한다(스텝 S3108). 이와 같이 시선 변경한 3D 모델링 데이터는 도 20의 (d)에 나타내는 바와 같이, 대조 화상과 상사하므로, 대조 화상을 이용한 대조를 실행할 수 있다.

또한, 현재 비교하고 있는 대조 화상이, 3D 모델링 데이터를 생성한 피사체에 대한 것이 아닌 경우, 3D 모델링 데이터의 시선을 변경해도 대조가 성공하지 않게 된다(스텝 S3109: No). 이 경우는 처리는 스텝 S3106으로 되돌리고, 대조 처리부(113)는 대상으로 하는 대조 화상의 인덱스 번호 i를 +1함으로써, 다음의 대조 화상에 대해 상술한 처리를 실행한다.

그리고, 대조가 성공한 경우(스텝 S3109: Yes)에는 AR 처리부(111)는 실시형태 1에서 예시한 「AR 표시 처리(1)」(도 8)의 스텝 S1106∼스텝 S1111과 마찬가지의 처리를 실행하는 것에 의해, AR 표시를 실행한다(스텝 S3110).

그리고, 상기 각 실시형태에서 예시한 바와 같은 소정의 종료 이벤트가 발생하지 않으면(스텝 S3111: No), 처리는 스텝 S3104로 되돌리고, 대조 처리부(113)는 이후의 처리를 반복 실행한다. 종료 이벤트의 발생에 의해(스텝 S3111: Yes), 대조 처리부(113)는 본 처리를 종료한다.

이상과 같은 본 실시형태에 의하면, 촬상 화상과 대조 화상으로부터 추출한 특징점이나 특징량에 의거하여, 촬상 화상으로부터 생성한 3D 모델링 데이터의 시선 방향을 변경하므로, 대조 화상의 시선 방향과는 다른 방향에서 촬영하고 있는 경우에도 적절하게 대조를 실행할 수 있고, 촬상 화상의 촬영 방향에 관계없이 적확하게 AR 표시를 실행할 수 있다. 즉, AR 서비스의 확대에 의해서, AR 서비스의 대상이 증가한 경우에도, 정확한 AR 표시를 실행할 수 있고, 유저의 편리성을 향상시킬 수 있다.

또한, 본 실시형태에서는 점포 등의 시설 등에 설치되어 있는 근거리 무선 통신 장치나 가시광 통신 장치로부터, 사진 화상으로서의 대조 화상을 취득하는 것으로 했지만, 이와 같이 제공되는 대조 화상 자체를 3D 모델링 데이터로 해도 좋다. 이것은 실시형태 1이나 실시형태 2에서 예시한 정보 제공 장치(200)가 대조 화상을 제공하는 경우도 마찬가지로 3D 모델링 데이터로 할 수 있다. 3D 모델링 데이터끼리의 대조이면, 화상 처리를 실행하지 않고 수치 연산에 의거했던 것보다 정확한 대조 동작을 실행할 수 있다.

이상 설명한 바와 같이, 본 발명에 관한 상기 각 실시형태에 의하면, AR 서비스를 이용하는 경우에 있어서, 대상이 방대하게 된 경우에도, 유저의 편리성을 향상시킬 수 있다.

상기 실시형태는 일예이며, 본 발명의 적용 범위는 이것에 한정되지 않는다. 즉, 각종 응용이 가능하고, 모든 실시형태가 본 발명의 범위에 포함된다.

예를 들면, 상기 각 실시형태에서 나타낸 규격이나 포맷 등은 일예이며, 마찬가지의 효과가 얻어지는 것이면, 채용할 수 있는 규격이나 포맷은 임의이다.

또, 상기 각 실시형태에서는 정보 표시 장치(100)로서 스마트폰을 예시했지만, 정보 표시 장치(100)는 적어도, 촬상 기능과, 키 정보 및/또는 AR데이터를 취득할 수 있는 구성을 갖고 있는 것이면, 스마트폰에 한정되지 않고, 임의의 장치를 정보 표시 장치(100)로서 이용할 수 있다.

이러한, 정보 표시 장치(100)로서 채용 가능한 임의의 장치에 있어서, 상술한 제어부(110)가 실현되는 기능을 갖고 있지 않은 것이어도, 프로그램을 적용하는 것에 의해, 도 4에 나타낸 바와 같은 기능 구성을 실현할 수 있으면, 기존의 장치를 본 발명에 관한 정보 표시 장치로서 기능시킬 수 있다.

마찬가지로, 범용의 서버 장치 등에 프로그램을 적용함으로써, 도 6에 나타낸 바와 같은 기능 구성을 실현할 수 있으면, 기존의 정보 처리 장치 등을 본 발명에 관한 정보 제공 장치로서 기능시킬 수 있다.

정보 표시 장치나 정보 제공 장치로서 기능시키기 위해 임의의 장치에 프로그램을 적용하는 방법은 필요에 따라 적절히 결정되어도 좋다. 예를 들면, CD-ROM이나 메모리 카드 등의 기억 매체에 저장하는 것에 의해, 프로그램을 적용할 수 있는 것 외에, 예를 들면, 인터넷 등의 통신 매체를 통해 적용할 수도 있다.

이 기술의 숙련자에게 있어서 추가의 이점 및 변경은 간단하게 발생할 수 있다. 따라서, 본 발명의 더 넓은 양태는 여기에 나타내고 기술한 구체적인 설명 및 대표의 실시예에 한정되는 것은 아니다. 즉, 첨부한 청구범위 등에 의해 규정된 일반적인 발명의 개념을 정신 및 범위를 이탈하지 않고 각종 변형이 가능하다.

110; 제어부 120; 통신부
130; 키 정보 취득부 140; 촬상부
150; 입출력부 160; 기억부
111; AR 처리부 112; 촬상 처리부
113; 대조 처리부

Claims

촬상 기능을 구비하고, 외부로부터 제공된 정보를 상기 촬상 기능에 의해 촬상된 촬상 화상상에 중첩 표시하는 정보 표시 장치와,
상기 정보 표시 장치에 의한 촬상 화상상에 중첩 표시시키는 중첩 정보를 상기 정보 표시 장치에 제공하는 정보 제공 장치를 구비하고,
상기 정보 표시 장치는,
상기 촬상 화상에 있어서의 피사체를 특정하기 위한 키 정보를 취득하는 키 정보 취득 수단과,
상기 키 정보를 상기 정보 제공 장치에 통지하는 키 정보 통지 수단을 구비하고,
상기 정보 제공 장치는,
(i) 상기 촬상 화상과 비교하는 것에 의해 피사체를 특정하기 위한 대조 화상과, (ii) 해당 대조 화상에 의해 특정된 피사체와 대응지어 상기 촬상 화상에 중첩 표시시키는 중첩 정보를 포함한 확장 현실감(AR) 데이터를, 해당 AR데이터를 식별하기 위한 식별 정보와, 상기 키 정보 통지 수단에 의해 통지되는 키 정보에 대응지어 기억하는 AR데이터 기억 수단과,
(i) 상기 정보 표시 장치로부터 키 정보가 제공된 경우에는 해당 키 정보에 대응하는 식별 정보를 해당 정보 표시 장치에 송신하고, (ii) 상기 정보 표시 장치로부터 식별 정보가 제공된 경우에는 해당 식별 정보에 대응하는 AR데이터를 해당 정보 표시 장치에 송신하는 정보 제공 수단을 구비하고,
상기 정보 표시 장치는,
상기 키 정보의 통지에 따라 상기 정보 제공 장치로부터 제공되는 식별 정보를 취득하는 식별 정보 취득 수단과,
제 1 테이블에, 상기 키 정보와 상기 식별 정보를 대응지어 기록하는 키 정보 기록 수단과,
상기 제 1 테이블에 기록되어 있는 식별 정보를 상기 정보 제공 장치에 통지하는 식별 정보 통지 수단과,
상기 식별 정보의 통지에 따라 상기 정보 제공 장치로부터 제공되는 AR표시에 이용되는 AR데이터를 취득하는 AR데이터 취득 수단과,
제 2 테이블에, 취득한 AR데이터를, 상기 제 1 테이블과 대응지어 기록하는 AR데이터 기록 수단과,
상기 AR데이터 기록 수단이 기록한 AR데이터를 이용하여 상기 AR표시를 실행하는 AR표시 수단을 구비하는 것을 특징으로 하는 확장 현실감(AR)에 의한 정보 표시(AR표시)를 실행하는 정보 표시 시스템.
촬상 수단과,
외부 장치와의 통신을 실행하는 통신 수단과,
표시 수단을 구비하고,
상기 외부 장치가 정보 표시 장치에 제공하는 정보를 특정하기 위해 이용하는 키 정보를 취득하는 키 정보 취득 수단과,
상기 키 정보 취득 수단이 취득한 키 정보를, 통신 네트워크를 통해 상기 외부 장치에 통지하는 키 정보 통지 수단과,
상기 키 정보 통지 수단에 의한 키 정보의 통지에 따라 상기 외부 장치가 송신한, (i) 상기 촬상 수단에서 촬상된 촬상 화상과 비교하는 것에 의해 피사체를 특정하기 위한 대조 화상과, (ii) 해당 대조 화상에 의해 특정된 피사체와 대응지어 상기 촬상 화상상에 중첩 표시시키는 중첩 정보를 포함한 확장 현실감(AR) 데이터를 나타내는 식별 정보를, 상기 통신 네트워크를 통해 취득하는 식별 정보 취득 수단과,
상기 키 정보 취득 수단이 취득한 키 정보를, 해당 키 정보의 이용 일시와, 상기 식별 정보 취득 수단이 취득한 식별 정보에 대응지어, 레코드 수가 규정되어 있는 제 1 테이블에 기록하는 키 정보 기록 수단과,
상기 제 1 테이블에 기록되어 있는 식별 정보를, 상기 통신 네트워크를 통해 상기 외부 장치에 통지하는 식별 정보 통지 수단과,
상기 식별 정보 통지 수단에 의한 식별 정보의 통지에 따라 상기 외부 장치가 송신한 상기 AR데이터를 취득하는 AR데이터 취득 수단과,
상기 AR데이터 취득 수단이 취득한 AR데이터를, 상기 통지한 식별 정보와 해당 AR데이터의 이용 일시에 대응지어, 레코드 수가 규정되어 있는 제 2 테이블에 기록하는 AR데이터 기록 수단을 구비하고,
상기 표시 수단은,
상기 제 2 테이블에 기록되어 있는 AR데이터를 이용하여 AR표시를 실행하는 AR표시 수단을 구비하고,
상기 식별 정보 통지 수단은 상기 제 1 테이블에 기록되어 있는 식별 정보가 상기 제 2 테이블에 기록되어 있지 않은 경우, 해당 식별 정보를 상기 외부 장치에 통지하고,
상기 키 정보 기록 수단은 상기 키 정보 취득 수단이 키 정보를 취득했을 때에 상기 제 1 테이블에 비어 있는 레코드가 없는 경우, 이미 기록되어 있는 키 정보의 이용 일시에 의거한 삭제를 실행하고,
상기 AR데이터 기록 수단은 상기 식별 정보 통지 수단이 식별 정보를 통지할 때에 상기 제 2 테이블에 비어 있는 레코드가 없는 경우, 이미 기록되어 있는 AR데이터의 이용 일시에 의거한 삭제를 실행하는 것을 특징으로 하는 확장 현실감(AR)에 의한 정보 표시(AR표시)를 실행하는 정보 표시 장치.
제 2 항에 있어서,
상기 키 정보 기록 수단은 해당 키 정보를 취득한 일시를 이용 일시로서 기록하고, 해당 키 정보에 대응하는 상기 AR데이터를 이용한 AR표시가 실행되었을 때의 일시로 갱신하고,
상기 AR데이터 기록 수단은 해당 AR데이터를 취득한 일시를 이용 일시로서 기록하고, 해당 AR데이터를 이용한 AR표시가 실행되었을 때의 일시로 갱신하고,
상기 키 정보 기록 수단 및 상기 AR데이터 기록 수단은 가장 오래된 일시가 이용 일시로서 기록되어 있는 레코드를 삭제 대상으로서 특정하는 것을 특징으로 하는 정보 표시 장치.
제 3 항에 있어서,
상기 키 정보는 상기 촬상 수단에 의한 촬상시의 상기 정보 표시 장치의 위치를 나타내는 위치 정보를 포함하고,
상기 키 정보 기록 수단은
(i) 삭제 대상으로서 특정한 레코드에 기록되어 있는 키 정보가 위치 정보인 경우, 해당 위치 정보가 나타내는 위치와 상기 정보 표시 장치의 현재 위치의 거리를 산출하고,
(ii) 산출한 거리가 소정의 임계값보다 작은 경우, 해당 레코드를 삭제 대상에서 제외하는 것을 특징으로 하는 정보 표시 장치.
제 4 항에 있어서,
상기 AR데이터 기록 수단은 (i) 삭제 대상으로서 특정한 레코드에 기록되어 있는 식별 정보가 상기 제 1 테이블에 기록되어 있고 또한 (ii) 해당 제 1 테이블에 있어서 해당 식별 정보를 기록하고 있는 레코드가 상기 키 정보 기록 수단에 의해서 삭제 대상으로부터 제외되어 있는 경우, 상기 특정한 레코드를 삭제 대상에서 제외하는 것을 특징으로 하는 정보 표시 장치.
촬상 수단과, 외부 장치와의 통신을 실행하는 통신 수단과, 표시 수단을 구비한 정보 표시 장치를 제어하는 컴퓨터에,
상기 외부 장치가 상기 정보 표시 장치에 제공하는 정보를 특정하기 위해 이용하는 키 정보를 취득하는 기능과,
취득한 키 정보를, 통신 네트워크를 통해 상기 외부 장치에 통지하는 기능과,
키 정보의 통지에 따라 상기 외부 장치가 송신한, (i) 상기 촬상 수단에서 촬상된 촬상 화상과 비교하는 것에 의해 피사체를 특정하기 위한 대조 화상과, (ii) 해당 대조 화상에 의해 특정된 피사체와 대응지어 상기 촬상 화상상에 중첩 표시시키는 중첩 정보를 포함한 확장 현실감(AR) 데이터를 나타내는 식별 정보를, 상기 통신 네트워크를 통해 취득하는 기능과,
상기 취득한 키 정보를, 해당 키 정보의 이용 일시와, 상기 취득한 식별 정보에 대응지어, 레코드 수가 규정되어 있는 제 1 테이블에 기록하는 기능과,
상기 외부 장치로부터 취득한 식별 정보와 AR데이터를 대응지어 기록하는 제 2 테이블에, 상기 제 1 테이블에 기록되어 있는 식별 정보가 기록되어 있지 않은 경우에, 해당 식별 정보를, 상기 통신 네트워크를 통해 상기 외부 장치에 통지하는 기능과,
상기 식별 정보의 통지에 따라 상기 외부 장치가 송신한 상기 AR데이터를 취득하는 기능과,
취득한 AR데이터를, 상기 통지한 식별 정보와, 해당 AR데이터의 이용 일시에 대응지어, 레코드 수가 규정되어 있는 상기 제 2 테이블에 기록하는 기능과,
상기 표시 수단에, 상기 제 2 테이블에 기록되어 있는 AR데이터를 이용하여 AR표시를 실행하는 기능과,
키 정보를 취득했을 때에 상기 제 1 테이블에 비어 있는 레코드가 없는 경우, 이미 기록되어 있는 키 정보의 이용 일시에 의거한 삭제를 실행하는 기능과,
상기 외부 장치에 식별 정보를 통지할 때에 상기 제 2 테이블에 비어 있는 레코드가 없는 경우, 이미 기록되어 있는 AR데이터의 이용 일시에 의거한 삭제를 실행하는 기능을 실현시키고, 확장 현실감(AR)에 의한 정보 표시(AR표시)를 실행하는 정보 표시 장치를 제어하는 것을 특징으로 하는 프로그램을 기억하는 컴퓨터 판독 가능한 기억 매체.