KR20230033016A

KR20230033016A - 화상 정보 생성 장치, 방법 및 프로그램

Info

Publication number: KR20230033016A
Application number: KR1020237002290A
Authority: KR
Inventors: 켄 김
Original assignee: 에누티티 코뮤니케-숀즈 가부시키가이샤; 주식회사 쓰리아이
Priority date: 2020-07-01
Filing date: 2021-05-17
Publication date: 2023-03-07
Also published as: JP2022012444A; JP7467262B2; WO2022004153A1; US20230131239A1

Abstract

3차원 공간의 변화의 모습을 적절하게 표현 가능한 화상 정보를 생성한다. 본 발명의 일 실시형태에서, 서버 장치(SV)가, 시설의 각 층마다 그 3차원 공간을 복수의 위치에서 각각 촬영된 전방위 화상을 전방위 화상 기억부(21)에 기억해둔다. 그리고, 촬영 일시가 다른 동일 층의 2개의 화상을 비교 표시할 때에, 비교 대상으로 되는 모든 전방위 화상 중에서, 그 촬영 위치 좌표가 비교 기준으로 되는 화상의 촬영 위치 좌표에 가장 가까운 전방위 화상을 선택하고, 선택된 비교 대상의 전방위 화상의 각도를 비교 기준으로 되는 화상의 각도와 대응하도록 조정하고, 조정 후의 비교 대상의 화상과 비교 기준의 화상을 나란히 배치한 비교 표시 화상 데이터를 생성하고, 사용자 단말(UT1)에 송신한다.

Description

화상 정보 생성 장치, 방법 및 프로그램

본 발명의 실시형태는, 예를 들면 시설 등의 3차원 공간을 촬영한 화상을 이용하여 상기 시설을 관리하는 시스템에서 사용되는 화상 정보 생성 장치, 방법 및 프로그램에 관한 것이다.

최근, 사업소나 오피스, 주거 등의 시설이 촬영된 화상을 이용하여 관리하는 기술이 제안되고 있다. 예를 들면, 특허문헌 1에는, 건물 내의 3차원 공간을 상이한 복수의 위치에서 각각 전방위(360°)를 촬영하여 그 촬영 화상을 기억 매체에 기록하고, 기록된 각 전방위 화상을 접속하는 것에 의해 상기 시설 내를 나타내는 3차원(3D) 화상을 생성하는 기술이 기재되어 있다. 이 기술을 이용하면, 예를 들면 시설의 관리자 또는 이용자는, 현장에 나가지 않아도 시설의 상태를 3D 화상에 의해 원격으로 파악하는 것이 가능해진다.

[특허문헌 1] 미국 특허 출원 공개 2018/0075652호 명세서

그런데, 건축 현장이나 거주 공간의 인테리어 등은 시간의 경과에 따라 변화하지만, 이 변화의 모습을 화상을 이용하여 관리할 수 있도록 하는 것이 요구되고 있다. 그러나, 종래에는 일반적으로, 지정된 복수의 일시에 대응하는 동일 공간의 화상을 단순히 기억 매체로부터 선택하여 나란히 표시하는 것으로 되어 있다. 이 때문에, 예를 들면 상기 복수의 일시에 촬영된 각 화상의 촬영 조건, 예를 들면 촬영 위치나 촬영 방향, 배율 등이 다르면, 이들 화상을 단순히 나란히 표시해도 관리자 또는 이용자는 공간의 변화의 모습을 정확하게 파악하는 것이 곤란해진다.

본 발명은 상기 사정에 주목하여 이루어진 것으로, 일 측면에서는, 3차원 공간의 변화의 모습을 적절하게 표현 가능한 화상 정보를 생성하는 기술을 제공하고자 하는 것이다.

상기 과제를 해결하기 위해서 본 발명에 따른 화상 정보 생성 장치 또는 화상 정보 생성 방법의 일 태양은, 복수의 촬영 기회에 있어서 3차원 공간을 복수의 촬영 위치에서 각각 촬영한 전방위 화상을, 상기 촬영 위치를 나타내는 좌표와 관련하여 기억한 기억 장치를 이용한다. 그리고, 상기 복수의 촬영 기회 중, 제 1 촬영 기회 및 제 2 촬영 기회에 각각 촬영된 상기 3차원 공간에서의 제 1 전방위 화상과 제 2 전방위 화상의 비교를 요구하는 정보가 입력된 경우에, 상기 기억 장치에 기억된 상기 전방위 화상 중, 상기 제 2 촬영 기회에 촬영된 모든 상기 제 2 전방위 화상 중에서, 그 촬영 위치 좌표가 상기 제 1 전방위 화상의 촬영 위치 좌표에 대해 가장 가까운 제 2 전방위 화상을 선택한다. 그리고, 선택된 상기 제 2 전방위 화상의 표시 범위 및 표시 방향을, 상기 제 1 전방위 화상의 표시 범위 및 촬영 방향에 대응하도록 조정하고, 조정된 상기 제 2 전방위 화상과 상기 제 1 전방위 화상을 비교 가능하게 배치한 합성 화상을 생성하고 출력하도록 한 것이다.

본 발명에 따른 일 태양에 의하면, 비교의 기준으로 되는 화상과 비교 대상의 화상의 촬영 위치가 다른 경우에도, 촬영 위치가 비교 기준으로 되는 화상의 촬영 위치에 가장 가까운 비교 대상의 화상이 선택되고, 또한, 선택된 비교 대상 화상의 각도가 비교 기준의 화상에 대응하도록 조정된 후, 양 화상을 대비하는 표시 화상 정보가 생성된다. 이 때문에, 3차원 공간의 변화의 모습을 적절하게 표현 가능한 화상 정보를 생성할 수 있다.

도 1은 본 발명의 일 실시형태에 따른 화상 정보 생성 장치로서 동작하는 서버 장치를 포함하는 시스템의 개략 구성도이다.
도 2는 도 1에 도시한 시스템에서의 서버 장치의 하드웨어 구성의 일례를 나타내는 블록도이다.
도 3은 도 1에 도시한 시스템에서의 서버 장치의 소프트웨어 구성의 일례를 나타내는 블록도이다.
도 4는 도 3에 도시한 서버 장치에 의한 화상 정보 생성 처리의 순서와 처리 내용의 일례를 나타내는 흐름도이다.
도 5는 비교 기준으로 되는 전방위 화상의 촬영 위치의 일례를 나타내는 도면이다.
도 6은 비교 대상으로 되는 전방위 화상의 촬영 위치의 일례를 나타내는 도면이다.
도 7은 표시 화상 정보의 일례를 나타내는 도면이다.

이하, 도면을 참조하여 본 발명에 관한 실시형태를 설명한다.

[일 실시형태] 　

(구성예) 　

(1) 시스템

도 1은 본 발명의 일 실시형태에 따른 화상 정보 생성 장치를 포함하는 시스템의 개략 구성도이다.

이 시스템은 화상 정보 생성 장치로서 동작하는 서버 장치 SV를 구비하고 있다. 그리고, 이 서버 장치 SV와, 사용자가 사용하는 사용자 단말 MT, UT1~UTn 사이에서 네트워크 NW를 거쳐 데이터 통신이 가능하게 구성되어 있다.

사용자 단말 MT, UT1~UTn에는, 전방위 화상의 등록을 행하는 사용자가 사용하는 사용자 단말 MT와, 등록된 화상을 열람하는 사용자가 사용하는 사용자 단말 UT1~UTn이 있고, 모두 예를 들면 스마트폰 또는 더블릿형 단말 등의 휴대 정보 단말에 의해 구성된다. 또한, 사용자 단말로서는 노트북형의 퍼스널 컴퓨터나 데스크탑형의 퍼스널 컴퓨터를 이용해도 좋고, 또한 네트워크 NW에의 접속 인터페이스에 대해서도 무선에 한정하지 않고 유선을 사용해도 좋다.

사용자 단말 MT는, 카메라 CM과의 사이에서, 예를 들면 신호 케이블 또는 Bluetooth(등록상표) 등의 소전력 무선 데이터 통신 인터페이스를 거쳐 데이터 전송이 가능하게 되어 있다. 카메라 CM은, 전방위를 촬영 가능한 카메라로 이루어지고, 예를 들면 높이 위치를 일정하게 유지할 수 있는 삼각대에 고정되어 있다. 카메라 CM은, 촬영된 전방위 화상 데이터를, 상기 소전력 무선 데이터 통신 인터페이스를 거쳐 사용자 단말 MT에 송신한다.

또한, 사용자 단말 MT는, 예를 들면 GPS(Global Positioning System) 또는 무선 LAN(Local Area Network)으로부터 송신되는 신호를 이용하여 현재 위치를 측정하는 기능을 갖는다. 또한, 사용자 단말 MT는, 예를 들면 건물 내와 같이 상기 위치 측정 기능을 사용할 수 없는 경우에 대비하여, 사용자가 기준점으로 되는 위치 좌표를 수동으로 입력하는 기능을 갖고 있다.

사용자 단말 MT는, 상기 카메라 CM으로부터 하나의 위치에서 촬영된 전방위 화상 데이터를 수신할 때마다, 당해 촬영 위치를 나타내는 위치 좌표를, 상기 기준점의 위치 좌표와, 내장하는 움직임 센서(예를 들면, 가속도 센서와 자이로 센서)에 의해 계측된 이동 거리 및 이동 방향을 기초로 산출된다. 그리고, 수신된 상기 전방위 화상 데이터를, 계산된 상기 촬영 위치 좌표와 촬영 일시를 나타내는 정보와 함께, 네트워크 NW를 거쳐 서버 장치 SV에 송신한다. 이러한 처리는 사전에 설치된 전용 애플리케이션에 의해 실행된다.

사용자 단말 UT1~UTn은, 예를 들면 브라우저를 갖는다. 그리고, 상기 브라우저에 의해 서버 장치 SV에 액세스하고, 사용자의 입력 조작에 따라, 원하는 시설 및 층의, 원하는 일시의 원하는 장소의 화상을 다운로드하여, 디스플레이에 표시하는 기능을 갖고 있다.

또, 네트워크 NW는, 인터넷을 포함하는 IP 네트워크와, 이 IP 네트워크에 액세스하기 위한 액세스 네트워크로 구성된다. 액세스 네트워크로서는, 예를 들면 공중 유선 네트워크나 휴대전화 네트워크, 유선 LAN(Local Area Network), 무선 LAN, CATV(Cable Television) 등이 사용된다.

(2) 서버 장치 SV

도 2 및 도 3은, 각각 서버 장치 SV의 하드웨어 구성 및 소프트웨어 구성을 나타내는 블록도이다.

서버 장치 SV는, 클라우드 상에 또는 웹 상에 설치된 서버 컴퓨터로 이루어지며, 중앙 처리 유닛(Central Processing Unit : CPU) 등의 하드웨어 프로세서를 갖는 제어부(1)를 구비한다. 그리고, 이 제어부(1)에 대해 버스(4)를 거쳐 기억부(2) 및 통신 인터페이스(통신 I/F)(3)를 접속한 것으로 되어 있다.

통신 I/F(3)는, 제어부(1)의 제어 하에, 네트워크 NW를 거쳐 상기 사용자 단말 MT, UT1~UTn과의 사이에서 데이터의 송수신을 행하는 것으로, 예를 들면 유선 네트워크용 인터페이스가 사용된다.

[0019] 기억부(2)는, 예를 들면 주 기억 매체로서 HDD(Hard Disk Drive) 또는 SSD(Solid State Drive) 등의 수시 기록 및 판독이 가능한 비 휘발성 메모리를 사용한다. 또, 기억 매체로서는, ROM(Read Only Memory) 및 RAM(Random Access Memory)을 조합하여 사용해도 좋다.

기억부(2)의 기억 영역에는, 프로그램 기억 영역과 데이터 기억 영역이 마련되어 있다. 프로그램 기억 영역에는, OS(Operating System) 등의 미들웨어에 부가하여, 본 발명의 일 실시형태에 따른 각종 제어 처리를 실행하기 위해 필요한 프로그램이 저장된다.

데이터 기억 영역에는, 일 실시형태를 실시하는데 필요한 기억부로서, 전방위 화상 기억부(21)와, 평면도 데이터 기억부(22)와, 조정 완료 화상 기억부(23)가 마련되고, 제어부(1)에 의한 각종 처리에 필요한 작업용의 기억부가 더 마련되어 있다.

전방위 화상 기억부(21)는, 사용자 단말 MT로부터 취득한 대상 시설의 층마다의 전방위 화상군을 기억하기 위해서 이용된다. 평면도 데이터 기억부(22)는, 상기 대상 시설의 각 층의 평면도 데이터를 기억하기 위해 사용된다. 조정 완료 화상 기억부(23)는, 제어부(1)에 의한 비교 화상 조정 처리에 의해 조정된 화상을 기억하기 위해 사용된다.

제어부(1)는, 본 발명의 일 실시형태에 따른 제어 처리 기능으로서, 전방위 화상 취득부(11)와, 화상 열람 제어부(12)와, 비교 대상 화상 선택부(13)와, 화상 각도 조정부(14)와, 비교 표시 화상 생성 출력부(15)를 구비하고 있다. 이들 처리부(11~15)는, 모두 기억부(2) 내의 프로그램 기억 영역에 저장된 프로그램을 하드웨어 프로세서에 실행시키는 것에 의해 실현된다.

전방위 화상 취득부(11)는, 사용자 단말 MT로부터, 예를 들면 건물 내의 복수의 위치의 각각에서 촬영된 전방위 화상 데이터가 송신될 때마다, 이 전방위 화상 데이터를 통신 I/F(3)를 거쳐 수신한다. 그리고, 수신된 상기 전방위 화상 데이터를, 당해 화상 데이터와 함께 수신된 촬영 위치 좌표와 촬영 일시를 나타내는 정보와 관련지어 전방위 화상 기억부(21)에 기억시키는 처리를 행한다.

화상 열람 제어부(12)는, 사용자 단말 UT1~UTn으로부터 송신되는 화상 열람 요구를 통신 I/F(3)를 거쳐 수신한 경우, 요구 내용에 따라 해당하는 전방위 화상을 요구원의 사용자 단말 UT1~ UTn에 다운로드하는 처리를 행한다. 또한 화상 열람 제어부(12)는, 사용자 단말 UT1~UTn으로부터 화상 비교 요구를 수신한 경우에는, 비교 대상 화상 선택부(13)에 당해 화상 비교 요구를 전달하는 처리를 행한다.

화상 비교 요구에는, 비교 기준을 지정하는 정보 및 비교 대상을 지정하는 정보의 양쪽이 포함되는 경우와, 비교 대상을 지정하는 정보만이 포함되는 경우가 있다. 전자는 사용자가 처음부터 비교 화상의 열람을 희망하는 경우에 사용되고, 후자는 사용자가 이미 비교 기준으로 되는 화상을 열람하는 중에 비교 대상만을 지정하는 경우에 사용된다.

비교 대상 화상 선택부(13)는, 전방위 화상 기억부에 기억된, 상기 지정된 시설명 및 대상 영역에 관한 모든 전방위 화상 중에서, 상기 비교 대상을 지정하는 정보에 포함되는 촬영 일시에 대응하는 전방위 화상을 먼저 선택하고, 선택된 각 전방위 화상 중에서, 촬영 위치 좌표가, 열람 중인 비교 기준의 화상의 촬영 위치 좌표, 또는 비교 기준을 지정하는 정보에 포함되는 촬영 위치 좌표에 대해 가장 가까운 전방위 화상을 선택하는 처리를 행한다.

화상 각도 조정부(14)는, 상기 비교 기준을 지정하는 정보에 의해 지정된 화상과, 상기 비교 대상 화상 선택부(13)에 의해 선택된 전방위 화상을 비교하고, 비교 대상의 전방위 화상의 각도(예를 들면 표시 범위 및 촬영 방향)를, 비교 기준으로 되는 화상의 각도와 동일하하게 되도록 또는 가까워지도록 조정한다. 그리고, 조정 후의 비교 대상의 화상을 비교 기준의 화상과 함께 조정 완료 화상 기억부(23)에 일시 보존하는 처리를 행한다.

비교 표시 화상 생성 출력부(15)는, 상기 조정 완료 화상 기억부(23)에 보존된 조정 후의 비교 대상 화상과 비교 기준 화상을 판독하고, 양 화상을 합성함으로써 좌우로 나란히 배치한 표시 화상 데이터를 생성한다. 그리고, 생성된 상기 표시 화상 데이터를 통신 I/F(3)를 거쳐, 요구원의 사용자 단말 UT1~UTn에 송신하는 처리를 행한다.

(동작예)

다음으로, 이상과 같이 구성된 서버 장치 SV의 동작예를 설명한다. 도 4는 그 처리 순서와 처리 내용의 일례를 나타내는 흐름도이다.

(1) 전방위 화상의 취득

예를 들면, 원하는 건물의 원하는 층에서의 다지점의 전방위 화상을 촬영하고 기록하고자 하는 경우, 사용자는 우선 등록 대상의 건물과 그 층의 평면도 데이터를 이용하여, 층의 촬영을 개시하려고 하는 위치를 기준점으로 정하고, 이 기준점의 위치 좌표를 상기 평면도 데이터의 좌표계로부터 구하여 사용자 단말 MT에 입력한다. 그 결과 사용자 단말 MT에는, 상기 대상 층의 기준점의 위치 좌표가 설정된다. 또, 등록 대상의 건물과 층의 평면도 데이터는, 서버 장치 SV의 평면도 데이터 기억부(22)에 사전에 기억되어 있고, 사용자 단말 MT는 서버 장치 SV로부터 원하는 건물 및 층의 평면도 데이터를 다운로드함으로써 취득할 수 있다.

그리고, 사용자는 카메라 CM을 조작하여 상기 기준점에 있어서 전방위를 촬영한다. 또한, 카메라 CM의 촬영 동작은, 사용자 단말 MT에 의해 원격으로 행해져도 좋다. 상기 촬영 조작이 행해지면, 카메라 CM에 의해 촬영된 상기 기준점의 전방위 화상 데이터가 사용자 단말 MT에 송신되고, 당해 전방위 화상 데이터는 사용자 단말 MT로부터 서버 장치 SV로 송신된다. 이 때, 사용자 단말 MT는, 상기 기준점의 위치 좌표와 촬영 일시를 나타내는 정보를, 상기 전방위 화상 데이터에 부가하여 송신한다.

상기 기준점에서의 촬영을 종료하면, 사용자는 다음 촬영 위치(촬영 포인트)로 이동하여 마찬가지로 카메라 CM에 의해 전방위 촬영을 행한다. 사용자 단말 MT는, 상기 카메라 CM으로부터 상기 새로운 촬영 포인트에서 촬영된 전방위 화상 데이터를 수신하면, 당해 전방위 화상 데이터를 촬영 위치 좌표와 촬영 일시를 나타내는 정보와 함께 서버 장치 SV에 송신한다. 이 때, 촬영 위치 좌표는, 상기 기준점에서 설정된 위치 좌표와, 사용자 단말 MT의 거리 센서(예를 들면 가속도 센서와 자이로 센서)에 의해 계측된, 기준점으로부터 상기 새로운 촬영 포인트까지의 이동 거리 및 이동 방향에 의해 산출된다.

이후 마찬가지로 사용자 단말 MT는, 사용자가 새로운 촬영 포인트로 이동하여 카메라 CM에 의해 전방위 촬영을 행할 때마다, 카메라 CM으로부터 송신되는 전방위 화상 데이터를, 그 때마다 움직임 센서의 계측치를 기초로 산출되는 촬영 위치 좌표와, 촬영 일시를 나타내는 정보와 함께, 서버 장치 SV에 송신된다.

이에 대하여, 서버 장치 SV는, 전방위 화상 취득부(11)의 제어 하에, 단계 S10에서 화상 촬영의 개시를 감시한다. 그리고, 사용자 단말 MT로부터 화상 촬영의 개시 통지를 수신하면, 단계 S11로 이행하여 전방위 화상 데이터의 수신·기억 처리를 이하와 같이 실행한다.

즉, 전방위 화상 취득부(11)는, 사용자 단말 MT로부터 송신되는 전방위 화상 데이터를 통신 I/F(3)를 거쳐 수신하고, 수신된 전방위 화상 데이터를, 당해 데이터와 함께 수신된 촬영 위치 좌표 및 촬영 일시를 나타내는 정보와 연관된 상태에서, 전방위 화상 기억부(21)에 기억하게 한다. 또한, 그와 함께 전방위 화상 취득부(11)는, 상기 촬영 위치 좌표를, 평면도 데이터 기억부(22)에 기억되어 있는 해당하는 층의 평면도 데이터에 플롯한다.

이후 마찬가지로 전방위 화상 취득부(11)는, 사용자 단말 MT로부터 전방위 화상 데이터가 송신될 때마다, 상기 단계 S11에 의해 전방위 화상 데이터의 수신·기억 처리를 반복하여 실행한다. 또, 이 전방위 화상 데이터의 수신·기억 처리는, 전방위 화상 취득부(11)가 사용자 단말 MT로부터 촬영 종료 통지가 송신된 것을 단계 S12에서 검출한 시점에서 종료한다.

또, 이상 설명한 화상 촬영은, 동일 일시에 복수의 사람이 각각 행하는 경우와, 다른 일시에 동일한 사람 또는 다른 사람이 각각 행하는 경우를 포함하고, 어느 하나의 화상 촬영으로 얻어진 화상도 각각 서버 장치 SV에 기억된다. 또한, 상기 화상 촬영이 행해질 때마다, 그 촬영 포인트가 플롯된 평면도 데이터가 생성되고, 평면도 데이터 기억부(22)에 기억된다. 또한, 상기 촬영 포인트는 모든 촬영 포인트에 대해 플롯되지 않아도 되고, 적어도 하나의 촬영 포인트가 플롯되도록 해도 좋다.

(2) 전방위 화상에 의한 3차원 열람 투어

서버 장치 SV에 기억된 전방위 화상을 열람하는 경우, 사용자는 자신의 사용자 단말 UT1에서 브라우저를 기동하고, 서버 장치 SV에 대해 액세스한다. 그러면, 서버 장치 SV는 화상 열람 제어부(12)의 제어 하에, 먼저 홈 화면을 송신한다. 이 상태에서, 사용자가 열람을 희망하는 시설명과 그 층 번호를 지정하면, 서버 장치 SV는 화상 열람 제어부(12)에 의해 해당하는 층의 평면도 데이터를 송신하고, 사용자 단말 UT1에 표시하게 한다.

도 5는, 이 때 다운로드되는 평면도 데이터의 일례를 나타내는 것이다. 도 5에 도시한 바와 같이 평면도 데이터에는, 층의 배치와 촬영 위치(촬영 포인트) 및 촬영 순서가 원숫자로 표시되어 있다. 이 상태에서 사용자가 예를 들면 임의의 촬영 포인트를 지정하면, 당해 촬영 포인트에서의 전방위 화상이 서버 장치 SV로부터 사용자 단말 UT1로 다운로드된다. 그리고, 사용자가 예를 들어 마우스 조작에 의해 화상의 표시 방향을 변화시키면, 이 조작에 응답하여 상기 전방위 화상의 표시 대상 범위가 360°에 걸쳐 변화한다. 또한, 마우스 조작에 의해 순차 촬영 포인트를 이동시키면, 각 촬영 포인트에 있어서의 전방위 화상이 순차 다운로드되어 표시된다. 이와 같이 하여, 상기 층의 각 방에 대해 전방위 화상을 이용한 3차원 열람 투어가 가능하게 된다.

(3) 비교 대상 화상의 선택

상기 3차원 열람 투어 중에, 사용자가 예를 들어 현재 표시 중인 임의의 방의 화상(비교 기준의 화상)과, 과거의 다른 일시에 촬영된 동일한 방의 화상(비교 대상의 화상)을 비교하기 위해, 사용자 단말 UT1에서 상기 다른 촬영 일시를 입력했다고 한다. 그러면 사용자 단말 UT1로부터 서버 장치 SV에 대해 상기 다른 촬영 일시를 지정하는 화상 비교 요구가 송신된다.

이에 대하여, 서버 장치 SV는, 단계 S13에 의해 상기 화상 비교 요구를 수신하면, 비교 대상 화상 선택부(13)의 제어 하에, 우선 단계 S14에서, 상기 3차원 열람 투어에 의해 표시 중인 화상의 촬영 위치 좌표를 전방위 화상 기억부(21)로부터 특정한다. 이어서, 단계 S15에서, 전방위 화상 기억부(21)를 검색함으로써, 상기 화상 비교 요구에 의해 지정된 다른 촬영 일시에서의 동일 층의 모든 전방위 화상 중에서, 그 촬영 위치 좌표가 상기 비교 기준 화상의 촬영 위치 좌표에 대하여 가장 가까운 전방위 화상을 선택한다.

예를 들면, 현재 사용자가 도 5의 "10"의 촬영 포인트 P1에서 촬영된 전방위 화상을 도면 중 Q1에 도시된 각도(표시 범위와 방향)에서 열람 중인 것으로 한다. 또한, 사용자가 비교 대상으로 지정한 다른 촬영 일시에서의 동일 층의 촬영 포인트가, 도 6에 도시된 것으로 한다. 이 경우, 서버 장치 SV의 비교 대상 화상 선택부(13)는, 상기 도 6에 나타낸 모든 촬영 포인트 중에서, 도 5에 나타낸 열람 중인 촬영 포인트 P1과의 사이의 거리가 가장 짧은 촬영 포인트 P2를 선택한다.

(4) 비교 대상 화상의 각도 조정

서버 장치 SV는, 다음에 화상 각도 조정부(14)의 제어 하에, 단계 S16에서, 선택된 상기 촬영 포인트 P2에 대응하는 전방위 화상을 전방위 화상 기억부(21)로부터 판독하고, 이 판독된 비교 대상의 전방위 화상을 상기 비교 기준의 표시 화상과 비교한다. 그리고, 비교 대상 화상의 각도 Q2를 비교 기준 화상의 각도 Q1에 가까워지도록, 비교 대상 화상의 표시 범위 및 표시 방향을 조정한다. 이 조정 처리는, 예를 들면, 표시되어 있는 비교 기준 화상과 비교 대상 화상의 대조 위치를 화소 단위로 시프트시키면서, 비교 기준 화상과 비교 대상 화상 사이의 대응하는 각 화소간의 차분값이 최소로 되는 시프트 위치를 탐색하는 것에 의해 행해진다.

화상 각도 조정부(14)는, 상기 비교 대상 화상에 대한 표시 범위 및 표시 방향의 조정 처리가 종료되면, 조정된 비교 대상 화상을 상기 비교 기준 화상과 대응시켜 일단 조정 완료 화상 기억부(23)에 보존시킨다.

(5) 비교 표시 화상의 생성과 송신

이어서, 서버 장치 SV는 비교 표시 화상 생성 출력부(15)의 제어 하에, 단계 S17에서, 상기 조정 완료 화상 기억부(23)로부터 비교 기준 화상과 비교 대상 화상을 판독하고, 이들 화상을 횡 방향으로 나열한 상태에서 합성하고, 비교 표시 화상 데이터를 생성한다. 또한, 그와 함께 비교 표시 화상 생성 출력부(15)는, 상기 비교 표시 화상 데이터의 비교 기준 화상 상에, 층의 평면도 데이터를 중첩하여 합성한다. 이 평면도 데이터에는 열람중인 화상의 촬영 포인트 P1과 그 각도 Q1이 표시된다.

비교 표시 화상 생성 출력부(15)는, 생성된 비교 표시 화상 데이터를, 단계 S18에 의해 통신 I/F(3)로부터 요구원의 사용자 단말 UT1을 향해 송신한다.

사용자 단말 UT1은, 서버 장치 SV로부터 송신된 상기 비교 표시 화상 데이터를 수신하면, 당해 비교 표시 화상을 지금까지 표시된 비교 기준 화상 대신에 디스플레이에 표시한다. 도 7은 이 비교 표시 화상의 표시예를 나타내는 것으로, 화면 우측은 비교 기준 화상을 나타내고, 좌측은 비교 대상 화상을 각각 나타내고 있다. 도면 중 RD는 비교 기준 화상 상에 표시된 층의 평면도이다.

(작용·효과)

이상 설명한 바와 같이 일 실시형태에서, 시설의 각 층마다 그 3차원 공간을 복수의 위치에서 각각 촬영된 전방위 화상을 전방위 화상 기억부(21)에 기억해둔다. 그리고, 촬영 일시가 다른 동일 층의 2개의 화상을 비교 표시할 때에, 비교 대상으로 되는 모든 전방위 화상 중에서, 그 촬영 위치 좌표가 비교 기준으로 되는 화상의 촬영 위치 좌표에 가장 가까운 전방위 화상을 선택하고, 선택된 비교 대상의 전방위 화상의 각도를 비교 기준으로 되는 화상의 각도와 대응하도록 조정하고, 조정 후의 비교 대상의 화상과 비교 기준의 화상을 나란히 배치한 비교 표시 화상 데이터를 생성하고, 사용자 단말 UT1에 송신하도록 하고 있다.

따라서, 일 실시형태에 따르면, 비교 기준으로 되는 화상과 비교 대상 화상의 촬영 위치가 다른 경우에도, 촬영 위치가 비교 기준 화상의 촬영 위치에 가장 가까운 비교 대상 화상이 선택되고, 또한 선택된 비교 대상 화상의 각도가 비교 기준 화상의 각도에 대응하도록 조정된 후, 양 화상을 비교하는 표시 화상 정보가 생성된다. 이 때문에, 사용자는 3차원 공간의 변화의 모습을 적절하게 표현가능한 화상 정보를 생성할 수 있다.

또한, 비교 표시 화상 데이터에는 층의 평면도 데이터가 중첩되어 표시되고, 이 평면도 데이터에는 촬영 포인트와 촬영 각도가 표시되므로, 사용자는 자신이 현재 열람하고 있는 화상의 촬영 위치와 촬영 방향을 평면도에 의해 한눈에 확인할 수 있다.

[다른 실시형태]

(1) 비교 대상의 전방위 화상 중에, 비교 기준의 화상의 촬영 위치에 대응하는 화상이 존재하지 않는 경우에는, 비교 기준의 화상과 비교 대상의 화상을 비교하는 화상 데이터를 생성하는 것은 곤란하다.

따라서, 이러한 경우에는, 비교 대상 화상 선택부(13)에 의해 촬영 위치 좌표가 가장 가까운 비교 대상 화상을 선택할 때, 비교 기준 화상의 촬영 위치 좌표와의 사이의 거리가 미리 설정한 임계치 이상 떨어져 있는지 여부를 판정한다. 그리고, 촬영 위치 좌표간의 거리가 임계치 이상 떨어져 있다고 판정된 경우에는, 이 때의 전방위 화상을 비교 대상 화상으로서 선택하지 않고, 비교 표시 화상 생성 출력부(15)에 그 취지를 통지한다. 비교 표시 화상 생성 출력부(15)는, 대응하는 비교 대상 화상이 존재하지 않는다는 취지의 메시지를 생성하고, 이 메시지를 사용자 단말 UT1에 송신하여 표시하게 한다. 이와 같이 하면, 비교 대상으로서 부적절한 화상이 표시되는 문제를 방지할 수 있다.

(2) 상기 일 실시형태에서는, 동일 장소에서의 상이한 2개의 일시의 전방위 화상을 나란히 표시하는 비교 표시 화상 데이터를 생성하는 경우를 예로 들어 설명했지만, 상이한 3개 이상의 일시의 화상을 나란히 표시하는 비교 표시 화상 데이터를 생성하도록 해도 좋다.

(3) 상기 일 실시형태에서는, 상이한 2개의 일시에 촬영된 화상을 비교 표시하는 비교 표시 화상 데이터를 생성하는 경우를 예로 들어 설명했지만, 동일한 층에 대해 동일한 날에 상이한 2명의 사용자가 각각 촬영한 전방위 화상을 비교 표시하는 데이터를 생성하도록 해도 좋다.

(4) 상기 일 실시형태는, 화상 정보 생성 장치의 기능을 서버 장치 SV에 마련한 경우를 예로 들어 설명했지만, 에지 라우터 등의 네트워크 간 접속 장치나 사용자 단말에 마련해도 좋다. 또한, 제어부와 기억부를 별도의 서버 장치 또는 단말 장치에 분산하여 마련하고, 이들을 통신 회선 또는 네트워크를 거쳐 접속하도록 해도 좋다.

(5) 그 외에, 화상 정보 생성 장치의 구성이나 화상 생성 처리의 순서 및 처리 내용, 3차원 공간의 종류 등에 대해서도, 본 발명의 요지를 일탈하지 않는 범위에서 여러 가지 변형하여 실시할 수 있다.

요컨대, 본 발명은 상기 실시형태 그대로 한정되는 것은 아니며, 실시 단계에서는 그 요지를 일탈하지 않는 범위에서 구성 요소를 변형하여 구체화할 수 있다. 또한, 상기 실시형태에 개시되어 있는 복수의 구성 요소의 적절한 조합에 의해 여러 가지 발명을 형성할 수있다. 예를 들어, 실시형태에 도시되는 모든 구성 요소로부터 몇 가지의 구성 요소를 삭제해도 좋다. 또한, 다른 실시형태에 걸치는 구성 요소를 적절히 조합해도 좋다.

SV : 서버 장치 MT, UT1~UTn : 사용자 단말
NW : 네트워크 CM : 카메라
1 : 제어부 2 : 기억부
3 : 통신 I/F 4 : 버스
11 : 전방위 화상 취득부 12 : 화상 열람 제어부
13 : 비교 대상 화상 선택부 14 : 화상 각도 조정부
15 : 비교 표시 화상 생성 출력부 21 : 전방위 화상 기억부
22 : 평면도 데이터 기억부 23 : 조정 완료 화상 기억부

Claims

복수의 촬영 기회에 있어서 3차원 공간을 복수의 촬영 위치에서 각각 촬영한 전방위 화상을, 상기 촬영 위치를 나타내는 좌표와 관련시켜 기억한 기억 장치에 대해, 접속 가능한 화상 정보 생성 장치로서,
상기 복수의 촬영 기회 중, 제 1 촬영 기회 및 제 2 촬영 기회에 각각 촬영된 상기 3차원 공간에서의 제 1 전방위 화상과 제 2 전방위 화상의 비교를 요구하는 정보가 입력된 경우에, 상기 기억 장치에 기억된 상기 전방위 화상 중, 상기 제 2 촬영 기회에 촬영된 모든 상기 제 2 전방위 화상 중에서, 그 촬영 위치 좌표가 상기 제 1 전방위 화상의 촬영 위치 좌표에 대해 가장 가까운 제 2 전방위 화상을 선택하는 선택부와,
선택된 상기 제 2 전방위 화상의 표시 범위 및 표시 방향을, 상기 제 1 전방위 화상의 표시 범위 및 촬영 방향에 대응하도록 조정하는 조정부와,
상기 표시 범위 및 표시 방향이 조정된 상기 제 2 전방위 화상과 상기 제 1 전방위 화상을 비교 가능하게 배치한 합성 화상을 생성하고 출력하는 화상 생성부
를 구비하는 화상 정보 생성 장치.
제 1 항에 있어서,
상기 선택부는, 제 1 일시 및 제 2 일시에 각각 촬영된 상기 3차원 공간에 있어서의 상기 제 1 전방위 화상과 상기 제 2 전방위 화상의 비교를 요구하는 정보가 입력된 경우에, 상기 기억 장치에 기억된 상기 전방위 화상 중, 상기 제 2 일시에 촬영된 모든 상기 제 2 전방위 화상 중에서, 그 촬영 위치 좌표가 상기 제 1 전방위 화상의 촬영 위치 좌표에 대해 가장 가까운 제 2 전방위 화상을 선택하는 화상 정보 생성 장치.
제 1 항에 있어서,
상기 선택부는, 상기 제 2 촬영 기회에 촬영된 모든 상기 제 2 전방위 화상 중에서 선택된 상기 제 2 전방위 화상의 촬영 위치 좌표가, 상기 제 1 전방위 화상의 촬영 위치 좌표로부터 미리 설정된 거리 이상 떨어진 경우에, 선택된 상기 제 2 전방위 화상을 상기 합성 화상의 생성 대상으로부터 제외하는 화상 정보 생성 장치.
제 3 항에 있어서,
상기 화상 생성부는, 상기 선택된 상기 제 2 전방위 화상이 상기 합성 화상의 생성 대상으로부터 제외된 경우에, 비교 대상의 상기 제 2 전방위 화상이 존재하지 않는다는 취지의 메시지를 생성하고 출력하는 화상 정보 생성 장치.
제 1 항에 있어서,
상기 화상 생성부는, 상기 제 1 전방위 화상과 상기 제 2 전방위 화상을 비교 가능하게 배치한 상기 합성 화상에, 상기 3차원 공간의 평면도에 상기 제 1 전방위 화상과 상기 제 2 전방위 화상 중 적어도 한쪽의 촬영 위치 좌표를 플롯한 화상을 더 중첩한 화상을 생성하는 화상 정보 생성 장치.
복수의 촬영 기회에 있어서 3차원 공간을 복수의 촬영 위치에서 각각 촬영한 전방위 화상을, 상기 촬영 위치를 나타내는 좌표와 관련시켜 기억한 기억 장치에 대하여, 접속 가능한 장치가 실행하는 화상 정보 생성 방법으로서,
상기 복수의 촬영 기회 중, 제 1 촬영 기회 및 제 2 촬영 기회에 각각 촬영된 상기 3차원 공간에서의 제 1 전방위 화상과 제 2 전방위 화상의 비교를 요구하는 정보가 입력된 경우, 상기 기억 장치에 기억된 전방위 화상 중, 상기 제 2 촬영 기회에 촬영된 모든 상기 제 2 전방위 화상 중에서, 그 촬영 위치 좌표가 상기 제 1 전방위 화상의 촬영 위치 좌표에 대해 가장 가까운 제 2 전방위 화상을 선택하는 과정과,
선택된 상기 제 2 전방위 화상의 표시 범위 및 표시 방향을, 상기 제 1 전방위 화상의 표시 범위 및 촬영 방향에 대응하도록 조정하는 과정과,
상기 표시 범위 및 표시 방향이 조정된 상기 제 2 전방위 화상과 상기 제 1 전방위 화상을 비교 가능하게 배치한 합성 화상을 생성하고 출력하는 과정
을 구비하는 화상 정보 생성 방법.
청구항 1 내지 청구항 5 중 어느 한 항에 기재된 화상 정보 생성 장치가 구비하는 상기 각 부의 처리를, 상기 화상 정보 생성 장치가 구비하는 프로세서로 하여금 실행하게 하는 프로그램.