KR102111425B1

KR102111425B1 - 화상 처리 장치, 화상 처리 시스템 및 프로그램

Info

Publication number: KR102111425B1
Application number: KR1020187023942A
Authority: KR
Inventors: 도모히코 사사키; 히토미 미츠타니; 아유무 와카바야시
Original assignee: 가부시키가이샤 리코
Priority date: 2016-02-24
Filing date: 2016-11-30
Publication date: 2020-06-04
Also published as: JP6673459B2; EP3422696A1; US10701286B2; US20180359430A1; WO2017145483A1; KR20180104067A; JPWO2017145483A1; EP3422696A4; CN108702441A

Abstract

화상 처리 장치가, 제1 화상을 입력하고, 상기 제1 화상에 더해지는 제2 화상을 선택하고, 상기 제2 화상을 상기 제1 화상에 기초하여 변환하여 변환 화상을 생성하고, 상기 제1 화상과 상기 변환 화상을 합성하여 합성 화상을 생성함으로써, 상기 과제를 해결한다.

Description

화상 처리 장치, 화상 처리 시스템 및 프로그램

본 발명은, 화상 처리 장치, 화상 처리 시스템 및 프로그램에 관한 것이다.

종래, 파노라마 화상을 표시하는 방법이 알려져 있다. 또한, 파노라마 화상의 표시에서, 파노라마 화상의 표시에 대한 사용자의 지시를 접수하기 위한 유저 인터페이스(이하 “UI”라 칭함)가 알려져 있다.

예컨대, 통신 단말은, 파노라마 화상의 소정 영역 화상에 관한 섬네일(thumbnail)을 표시하고, 소정의 섬네일을 선택하는 지시를 접수함으로써, 접수한 섬네일에 관한 소정 영역 화상을 표시한다. 이와 같이, 사용자가 원하는 파노라마 화상또는 파노라마 화상에 있어서 사용자가 원하는 소정 영역 화상을 사용자가 용이하게 찾을 수 있도록 하는 방법이 알려져 있다(예컨대, 특허문헌 1).

마찬가지로, 먼저, 컴퓨터는, 화상의 일부 영역이며, 화상상의 임의의 시점을 중앙에 포함하는 부분 화상을 화상으로부터 생성하고, 화상과, 복수의 부분 화상의 섬네일의 일람을 나타내는 시점 일람 화상(viewpoint list image)을 표시한다. 다음으로, 컴퓨터는, 부분 화상과, 부분 화상에 대한 사용자의 코멘트를 관련시킴으로써 얻은 코멘트 정보를 서버 장치로부터 수신하고, 시점 일람 화상에 표시된 부분 화상의 섬네일마다, 코멘트의 수를 표시한다. 이와 같이 하여, 사용자가 주목도가 높은 화상내의 시점을 파악할 수 있도록 하는 방법이 알려져 있다(예컨대, 특허문헌 2).

추가로, 사용자가 수신 장치를 이용하여 화상관리 시스템으로부터 화상데이터를 다운로드 하려고 할 때에, 수신 장치는, 대응하는 화상식별 정보에 기초하여, 부가 정보 관리 시스템으로부터 부가 정보를 다운로드 한다. 이와 같이 하여, 사용자가 화상데이터를 보정하는 등의 화상 처리를 행하는 데, 메타데이터를 이용할 수 있도록 하는 방법이 알려져 있다(예컨대, 특허문헌 3).

공지의 방법에 따르면, 촬상한 화상에 새롭게 화상이 더해지면, 화상이 부자연스럽게 되어, 위화감이 있는 화상이 생성되는 경우가 많다고 하는 문제가 있다.

본 발명의 일 양태는, 촬상한 화상에 새롭게 화상을 더하더라도, 위화감이 적은 화상을 생성할 수 있는 화상 처리 장치를 제공하는 것을 목적으로 한다.

상술한 과제를 해결하기 위해서, 본 발명의 일 실시형태에 따른 화상 처리 장치는, 제1 화상을 입력하도록 구성된 입력부와, 상기 제1 화상에 더해지는 제2 화상을 선택하도록 구성된 선택부와, 상기 제2 화상을 상기 제1 화상에 기초하여 변환하여 변환 화상을 생성하도록 구성된 변환부와, 상기 제1 화상과 상기 변환 화상을 합성하여 합성 화상을 생성하도록 구성된 합성부를 구비한다.

촬상한 화상에 새롭게 화상을 더하더라도, 위화감이 적은 화상을 생성할 수 있는 화상 처리 장치를 제공할 수 있다.

도 1은 본 발명의 일 실시형태에 따른 화상 처리 시스템의 전체 구성의 일례를 설명하는 도면이다.
도 2는 본 발명의 일 실시형태에 따른 촬영 장치의 일례를 설명하는 도면(버전 1)이다.
도 3은 본 발명의 일 실시형태에 따른 촬영 장치의 일례를 설명하는 도면(버전 2)이다.
도 4는 본 발명의 일 실시형태에 따른 촬영 장치의 일례를 설명하는 도면(버전 3)이다.
도 5는 본 발명의 일 실시형태에 따른 촬영 장치에 의한 촬영의 일례를 설명하는 도면이다.
도 6은 본 발명의 일 실시형태에 따른 촬영 장치에 의해서 촬영된 화상의 일례를 설명하는 도이다.
도 7은 본 발명의 일 실시형태에 따른 촬영 장치의 하드웨어 구성의 일례를 설명하는 블록도이다.
도 8은 본 발명의 일 실시형태에 따른 스마트폰의 하드웨어 구성의 일례를 설명하는 블록도이다.
도 9는 본 발명의 일 실시형태에 따른 화상 처리 시스템에 의한 전체 처리의 일례를 설명하는 시퀀스도이다.
도 10은 본 발명의 일 실시형태에 따른 천구 화상(celestial sphere image)의 일례를 설명하는 도면(버전 1)이다.
도 11은 본 발명의 일 실시형태에 따른 천구 화상의 일례를 설명하는 도면(버전 2)이다.
도 12는 본 발명의 일 실시형태에 따른 천구 화상의 일례를 설명하는 도면(버전 3)이다.
도 13은 본 발명의 일 실시형태에 따른 천구 화상의 일례를 설명하는 도면(버전 4)이다.
도 14는 본 발명의 일 실시형태에 따른 천구 파노라마 화상의 일례를 설명하는 도면이다.
도 15는 본 발명의 일 실시형태에 따른 초기 화상의 일례를 설명하기 위한 도면(버전 1)이다.
도 16은 본 발명의 일 실시형태에 따른 초기 화상의 일례를 설명하기 위한 도면(버전 2)이다.
도 17은 본 발명의 일 실시형태에 따른 초기 화상의 일례를 설명하기 위한 도면(버전 3)이다.
도 18은 본 발명의 일 실시형태에 따른 초기 화상의 일례를 설명하기 위한 도면(버전 4)이다.
도 19는 본 발명의 일 실시형태에 따른 다른 줌 처리(zooming process)의 일례를 설명하기 위한 도면이다.
도 20은 본 발명의 일 실시형태에 따른 다른 줌 처리의 일례를 설명하기 위한 표이다.
도 21은 본 발명의 일 실시형태에 따른 다른 줌 처리의 "범위"의 일례를 설명하기 위한 도면(버전 1)이다.
도 22는 본 발명의 일 실시형태에 따른 다른 줌 처리의 "범위"의 일례를 설명하기 위한 도면(버전 2)이다.
도 23은 본 발명의 일 실시형태에 따른 다른 줌 처리의 "범위"의 일례를 설명하기 위한 도면(버전 3)이다.
도 24는 본 발명의 일 실시형태에 따른 다른 줌 처리의 "범위"의 일례를 설명하기 위한 도면(버전 4)이다.
도 25는 본 발명의 일 실시형태에 따른 다른 줌 처리의 "범위"의 일례를 설명하기 위한 도면(버전 5)이다.
도 26은 본 발명의 일 실시형태에 따른 편집 모드에 있어서의 화상및 GUI의 일례를 도시한 도면이다.
도 27은 본 발명의 일 실시형태에 따른 스탬프 화면의 일례를 도시한 도면이다.
도 28은 본 발명의 일 실시형태에 따른 스탬프를 배치하는 화면의 일례를 도시한 도면(버전 1)이다.
도 29는 본 발명의 일 실시형태에 따른 스탬프를 배치하는 화면의 일례를 도시한 도면(버전 2)이다.
도 30은 본 발명의 일 실시형태에 따른 스탬프를 배치하는 화면의 일례를 도시한 도면(버전 3)이다.
도 31은 본 발명의 일 실시형태에 따른 스탬프의 사이즈를 변경한 경우의 일례를 도시한 도면이다.
도 32는 본 발명의 일 실시형태에 따른 스탬프의 각도를 변경한 경우의 일례를 도시한 도면이다.
도 33은 본 발명의 일 실시형태에 따른 텍스트 화면의 일례를 도시한 도면이다.
도 34는 본 발명의 일 실시형태에 따른 텍스트를 배치하는 화면의 일례를 도시한 도면이다.
도 35는 본 발명의 일 실시형태에 따른 합성 화상을 나타내는 화면의 일례를 도시한 도면이다.
도 36은 본 발명의 일 실시형태에 따른 스마트폰에 의한 처리의 일례를 도시하는 플로우차트이다.
도 37은 본 발명의 일 실시형태에 따른 스마트폰에 의해 제2 화상을 더하는 처리의 일례를 도시한 도면이다.
도 38은 본 발명의 일 실시형태에 따른 스마트폰에 의해서 제2 화상의 배치가 제한되는 범위의 일례를 도시한 도면이다.
도 39는 본 발명의 일 실시형태에 따른 화상 처리 장치의 기능 구성의 일례를 도시하는 기능 블록도이다.

이하, 본 발명의 실시의 형태에 관해서 설명한다.

<화상 처리 시스템의 전체 구성의 예>

도 1은, 본 발명의 일 실시형태에 따른 화상 처리 시스템의 전체 구성의 일례를 설명하는 도면이다. 도시하는 예에서, 화상 처리 시스템(10)은, 촬영 장치(1)와, 화상 처리 장치의 예인 스마트폰(2)을 구비한다.

촬영 장치(1)는, 복수의 광학계를 구비하는 카메라이다. 예컨대, 촬영 장치(1)는, 복수의 광학계를 이용하여 촬영한 화상에 기초하여, 모든 방향(all directions) 등과 같은 넓은 범위를 나타내는 화상(이하, "천구 화상(celestial sphere image)" 이라 칭함)을 생성한다. 다음으로, 촬영 장치(1)는, 천구 화상을 스마트폰(2)에 출력한다. 그리고, 스마트폰(2)은, 천구 화상등의 입력 화상을 화상 처리한다. 이하에서, 입력 화상, 즉, 제1 화상이 천구 화상인 예를 설명한다. 이하의 설명에서는, 파노라마 화상은, 예컨대, 천구 화상이라는 점에 유의한다.

또한, 이 예에서는, 촬영 장치(1) 및 스마트폰(2)은, 유선 또는 무선으로 접속된다. 예컨대, 스마트폰(2)은, 촬영 장치(1)가 출력하는 천구 화상을 나타내는 데이터를 촬영 장치(1)로부터 다운로드 한다. 접속은, 네트워크를 확립될 수도 있다.

여기서, 전체 구성은, 도시된 구성으로 한정되지 않는다. 예컨대, 촬영 장치(1) 및 스마트폰(2)은 일체의 장치일 수도 있다. 또한, 화상 처리 시스템(10)은, 촬영 장치(1) 및 스마트폰(2) 이외에, 정보 처리 장치를 더 포함할 수도 있다.

<촬영 장치의 예>

촬영 장치(1)(도 1)는, 예컨대, 이하에 설명하는 것과 같은 장치이다.

도 2 내지 도 4는, 본 발명의 일 실시형태에 따른 촬영 장치의 일례를 설명하는 도면이다. 도 2 내지 도 4는, 촬영 장치(1)의 외관의 일례를 도시한 도면이다. 구체적으로, 도 2는, 촬영 장치(1)의 정면도의 일례이다. 도 3은, 촬영 장치(1)의 좌측면도의 일례이다. 도 4는, 촬영 장치(1)의 평면도의 일례이다.

촬영 장치(1)는, 전면 촬영 센서(1H1)와, 후면 촬영 센서(1H2)와, 스위치(1H3)를 갖는다. 이 예에서는, 전면 촬영 센서(1H1) 및 후면 촬영 센서(1H2) 등의 하나 이상의 광학계가 촬영에 이용되고, 촬영 장치(1)는, 각각의 광학계를 이용하여 촬영된 화상에 기초하여, 천구 화상을 생성한다. 천구 화상의 생성 방법의 상세는 후술한다.

스위치(1H3)는, 셔터 버튼이며, 사용자가 촬영 장치(1)에 대하여 촬영을 지시하기 위한 입력 장치의 예이다.

예컨대, 도 2에 도시한 바와 같이, 사용자가 촬영 장치(1)를 손으로 잡고, 스위치(1H3)를 누르면, 촬영 장치(1)는 촬영한다. 구체적으로, 촬영 장치(1)는, 후술하는 바와 같이, 촬영에 이용된다.

도 5는, 본 발명의 일 실시형태에 따른 촬영 장치에 의한 촬영의 일례를 설명하는 도면이다. 도시하는 바와 같이, 사용자는, 촬영 장치(1)를 손으로 잡고, 도 3에 도시하는 스위치(1H3)를 눌러 촬영을 한다. 이와 같이 하여, 도시하는 바와 같이, 촬영 장치(1)는, 전면 촬영 센서(1H1)(도 2) 및 후면 촬영 센서(1H2)(도 2)에 의해서, 촬영 장치(1)의 모든 방향에서 촬영할 수 있다. 이와 같이 하여 촬영된 화상은, 예컨대, 이하와 같은 화상일 수 있다.

도 6은, 본 발명의 일 실시형태에 따른 촬영 장치에 의해서 촬영된 화상의 일례를 설명하는 도면이다. 구체적으로, 도 6a는, 전면 촬영 센서(1H1)(도 2)에 의해서 촬영되는 화상의 일례이다. 도 6b는, 후면 촬영 센서(1H2)(도 2)에 의해서 촬영되는 화상의 일례이다. 도 6c는, 전면 촬영 센서(1H1)에 의해서 촬영되는 화상, 즉, 도 6a에 도시하는 화상과, 후면 촬영 센서(1H2)에 의해서 촬영되는 화상, 즉, 도 6b에 도시하는 화상에 기초하여 생성되는 화상의 일례이다.

도 6a에 도시한 바와 같이, 전면 촬영 센서(1H1)에 의해서 촬영되는 화상은, 180°의 화각에 대응하는 범위와 같이, 촬영 장치(1)의 전방의 넓은 범위를 촬영 범위로 하는 화상이다. 도시하는 바와 같이, 넓은 범위를 촬영하기 위한 광학계, 예컨대, 어안 렌즈가 전면 촬영 센서(1H1)에 이용되는 경우에, 전면 촬영 센서(1H1)에 의해서 촬영되는 화상은 왜곡 수차(distortion aberration)를 갖는다. 즉, 도 6a에 도시하는 화상은, 촬영 장치(1)의 일측의 넓은 범위를 나타내고, 또한, 왜곡 수차를 갖는 반구 화상(이하 "반구 화상"이라 칭함)이다.

여기서, 각 광학계의 화각은, 180° 이상 200° 이하의 범위가 바람직하다. 특히, 화각이 180° 이상이면, 도 6a에 도시하는 반구 화상과, 도 6b에 도시하는 반구 화상을 합성할 때 중첩하는 화상영역이 있다. 이에 따라, 촬영 장치는, 천구 화상을 생성하기 쉽다.

도 6b에 도시한 바와 같이, 후면 촬영 센서(1H2)에 의해서 촬영되는 화상은, 180°의 화각에 대응하는 범위와 같이, 촬영 장치(1)의 후방측의 넓은 범위를 촬영 범위로 하는 화상이다. 이와 같이, 후면 촬영 센서(1H2)에 의해서 촬영되는 화상은, 도 6a의 것과 유사한 반구 화상이다.

다음으로, 촬영 장치(1)는, 왜곡 보정 처리 및 합성 처리 등의 처리를 실행하고, 도 6a에 도시하는 전방측의 반구 화상과, 도 6b에 도시하는 후방측의 반구 화상에 기초하여, 도 6c에 도시하는 화상을 생성한다. 즉, 도 6c에 도시하는 화상은, 소위 메르카토 도법(Mercator projection method) 또는 정거 원통 도법(equidistance cylindrical projection method)의해 생성되는 화상, 즉 천구 화상의 일례이다.

여기서, 제1 화상은, 촬영 장치(1)에 의해서 생성되는 화상으로 한정되지 않는다. 예컨대, 제1 화상은, 다른 카메라로 촬영되는 화상일 수도 있고, 다른 카메라로 촬영되는 화상에 기초하여 생성된 화상일 수도 있다. 제1 화상은, 도 6에 도시한 것과 같은, 소위 전방향 카메라 또는 소위 광각 렌즈의 카메라등에 의해서, 넓은 시야각의 범위를 촬영한 화상인 것이 바람직하다.

이하의 설명에서는, 제1 화상이 천구 화상인 예를 설명하고 있다. 그러나 제1 화상은 천구 화상으로 한정되지 않는다. 예컨대, 제1 화상은, 콤팩트 카메라, 일안 레플렉스 카메라 또는 스마트폰으로 촬영된 화상일 수도 있다. 화상은, 수평 또는 수직으로 신장하는 파노라마 화상일 수도 있다.

<촬영 장치의 하드웨어 구성의 예>

도 7은, 본 발명의 일 실시형태에 따른 촬영 장치의 하드웨어 구성의 일례를 설명하는 블록도이다. 도시하는 바와 같이, 촬영 장치(1)는, 촬영 유닛(1H4)과, 화상 처리 유닛(1H7), 촬영 제어 유닛(1H8)과, CPU(Central Processing Unit; 1H9)와, ROM(Read-Only Memory; 1H10)를 갖는다. 또한, 촬영 장치(1)는, SRAM(Static Random Access Memory; 1H11)와, DRAM(Dynamic Random Access Memory; 1H12)와, 조작 I/F(Interface; 1H13)를 갖는다. 또한, 촬영 장치(1)는, 네트워크 I/F(1H14)와, 무선 I/F(1H15)과, 안테나(1H16)를 갖는다. 촬영 장치(1)가 갖는 하드웨어는, 버스(1H17)로 접속되고, 버스(1H17)를 통해 데이터 또는 신호를 입/출력한다.

촬영 유닛(1H4)은, 전면 촬영 센서(1H1)와 후면 촬영 센서(1H2)를 갖는다. 또한, 전면 촬영 센서(1H1)에 대응하는 렌즈(1H5) 및 후면 촬영 센서(1H2)에 대응하는 렌즈(1H6)가 설치된다.

전면 촬영 센서(1H1) 및 후면 촬영 센서(1H2)는 카메라 유닛이다. 구체적으로는, 전면 촬영 센서(1H1) 및 후면 촬영 센서(1H2)는, CMOS(Complementary Metal Oxide Semiconductor) 또는 CCD(Charge Coupled Device) 등의 광학 센서를 각각 갖는다. 전면 촬영 센서(1H1)는, 렌즈(1H5)를 통해서 입사하는 광을 변환하고, 반구 화상을 나타내는 화상데이터를 생성한다. 마찬가지로, 후면 촬영 센서(1H2)는, 렌즈(1H6)를 통해서 입사하는 광을 변환하고, 반구 화상을 나타내는 화상데이터를 생성한다.

다음으로, 촬영 유닛(1H4)은, 전면 촬영 센서(1H1) 및 후면 촬영 센서(1H2)가 생성하는 각각의 화상데이터를 화상 처리 유닛(1H7)에 출력한다. 예컨대, 출력 화상데이터는, 도 6a에 도시하는 전방의 반구 화상이고, 다른 출력 화상데이터는 도 6b에 도시하는 후방의 반구 화상이다.

또한, 고화질의 촬영을 하기 위해서, 전면 촬영 센서(1H1) 및 후면 촬영 센서(1H2)는 각각, 렌즈 이외에, 조리개(diaphragm) 또는 로우패스 필터 등의 다른 광학 요소를 더 포함할 수도 있다. 또한, 고화질의 촬영을 하기 위해서, 전면 촬영 센서(1H1) 및 후면 촬영 센서(1H2)는 각각, 결함 화소 보정 또는 손떨림 보정을 행할 수도 있다.

화상 처리 유닛(1H7)은, 촬영 유닛(1H4)으로부터 입력되는 화상데이터에 기초하여, 도 6c에 도시하는 천구 화상을 생성한다.

촬영 제어 유닛(1H8)은, 촬영 장치(1)의 하드웨어를 제어하는 제어 장치이다.

CPU(1H9)는, 각 처리를 실현하기 위한 연산 및 데이터를 가공하는 연산 장치이고, 하드웨어를 제어하는 제어 장치이다. 예컨대, CPU(1H9)는, 미리 인스톨되는 프로그램에 기초하여, 각 처리를 실행한다.

ROM(1H10), SRAM(1H11) 및 DRAM(1H12)은, 기억 장치의 예이다. 구체적으로는, ROM(1H10)은, 예컨대, CPU(1H9)에 처리를 실행시키기 위한 프로그램, 데이터 또는 파라미터를 기억한다. SRAM(1H11) 및 DRAM(1H12)은, 예컨대, CPU(1H9)가 다른 프로그램에 기초하여 처리를 실행하는 데 이용되는 프로그램, 프로그램이 사용하는 데이터, 프로그램이 생성하는 데이터를 기억한다. 여기서, 촬영 장치(1)는, 하드 디스크 등의 보조 기억 장치를 더 포함할 수도 있다.

조작 I/F(1H13)는, 스위치(1H3) 등의 입력 장치에 접속되고, 촬영 장치(1)에 대한 사용자의 조작을 입력하는 처리를 위한 인터페이스이다. 예컨대, 조작 I/F(1H13)는, 스위치 등의 입력 장치, 입력 장치를 접속하기 위한 커넥터, 케이블, 입력 장치로부터 입력되는 신호를 처리하는 회로, 드라이버 및 제어 장치이다. 조작 I/F(1H13)는, 디스플레이 등의 출력 장치를 더 포함할 수도 있다. 조작 I/F(1H13)는, 입력 장치와 출력 장치가 일체로 터치 패널일 수도 있다. 조작 I/F(1H13)는, USB(Universal Serial Bus) 등의 인터페이스를 더 포함할 수 있고, 플래시 메모리 등의 기록 매체를 촬영 장치(1)에 접속할 수도 있다. 그 결과, 조작 I/F(1H13)는, 촬영 장치(1)로부터 기록 매체에 데이터를 입력할 수도 있고, 기록 매체로부터 촬영 장치(1)로 데이터를 출력할 수도 있다.

스위치(1H3)는, 셔터에 관한 조작 이외의 조작을 행하기 위한 전원 스위치 및 파라미터 입력 스위치일 수도 있다.

네트워크 I/F(1H14), 무선 I/F(1H15) 및 안테나(1H16)는, 무선 또는 유선으로, 외부 장치를 촬영 장치(1)에 접속한다. 예컨대, 촬영 장치(1)는 네트워크 I/F(1H14)에 의해서 네트워크에 접속하고, 스마트폰(2)(도 1)에 데이터를 송신한다. 여기서, 네트워크 I/F(1H14), 무선 I/F(1H15) 및 안테나(1H16)는 각각, USB 등의 유선으로 다른 외부 장치와 접속하는 하드웨어일 수도 있다. 즉, 네트워크 I/F(1H14), 무선 I/F(1H15) 및 안테나(1H16)는 각각, 커넥터 및 케이블일 수도 있다.

버스(1H17)는, 촬영 장치(1)의 하드웨어 구성들 사이에서 데이터를 입출력하는 데 이용된다. 즉, 버스(1H17)는 내부 버스이다. 구체적으로, 버스(1H17)는 예컨대, PCI Express(Peripheral Component Interconnect Bus Express)이다.

촬영 장치(1)는, 2개의 촬영 센서가 포함되는 경우로 한정되지 않는다. 예컨대, 3개 이상의 촬영 센서를 가질 수도 있다. 또한, 촬영 장치(1)는, 하나의 촬영 센서의 촬영 각도를 변경하여 복수의 부분 화상을 촬영할 수도 있다. 또한, 촬영 장치(1)는, 어안 렌즈를 이용하는 광학계에 한정되지 않는다. 예컨대, 광각 렌즈를 이용할 수도 있다.

촬영 장치(1)가 실행하는 처리는, 다른 장치에 의해 실행될 수도 있다. 예컨대, 처리의 일부 또는 전부는, 촬영 장치(1)에 의해 데이터 및 파라미터를 송신함으로써, 스마트폰(2) 또는 네트워크에 접속되는 다른 정보 처리 장치에 의해 실행될 수도 있다. 이와 같이 하여, 화상 처리 시스템은, 복수의 정보 처리 장치를 구비하고, 처리를 분산식으로, 용장식으로 또는 병렬로 실행할 수도 있다.

<정보 처리 장치의 하드웨어 구성의 예>

도 8은, 본 발명의 일 실시형태에 따른 스마트폰의 하드웨어 구성의 일례를 설명하는 블록도이다. 도시하는 바와 같이, 정보 처리 장치의 일례인 스마트폰(2)은, 보조 기억 장치(2H1)와, 주 기억 장치(2H2)와, 입출력 장치(2H3)와, 상태 센서(2H4)와, CPU(2H5)와, 네트워크 I/F(2H6)를 갖는다. 또한, 스마트폰(2)이 갖는 하드웨어는, 버스(2H7)에 의해 접속되고, 버스(2H7)를 통해 데이터 또는 신호를 입출력한다.

보조 기억 장치(2H1)는, 데이터, 파라미터 또는 프로그램을 기억한다. 구체적으로, 보조 기억 장치(2H1)는, 예컨대, 하드 디스크, 플래시 SSD(Solid State Drive)이다. 보조 기억 장치(2H1)에 기억된 데이터의 일부 또는 전부는, 네트워크 I/F(2H6)에 의해 접속되는 파일 서버에 용장식으로(redundantly) 또는 대신해서(alternatively) 기억할 수도 있다.

주 기억 장치(2H2)는, 처리를 실행하기 위한 프로그램이 사용하는 기억 영역인 메모리(Memory)이다. 즉, 주 기억 장치(2H2)는, 데이터, 프로그램 또는 파라미터를 기억한다. 구체적으로는, 주 기억 장치(2H2)는, 예컨대, SRAM(Static Random Access Memory) 또는 DRAM이다. 주 기억 장치(2H2)는, 기억 및 추출을 하는 제어장치를 더 포함할 수도 있다.

입출력 장치(2H3)는, 화상또는 처리 결과를 표시하는 출력 장치이고, 사용자의 조작을 입력하는 입력 장치이다. 구체적으로, 입출력 장치(2H3)는, 터치 패널, 주변 회로 및 드라이버이다. 예컨대, 입출력 장치(2H3)는, 소정의 GUI(Graphical User Interface) 및 화상 처리된 화상을 사용자에게 표시한다. 예컨대, 사용자가 표시되는 GUI 또는 화상을 조작하면, 입출력 장치(2H3)는, 사용자의 조작을 입력한다.

상태 센서(2H4)는, 스마트폰(2)의 상태를 검출하는 센서이다. 구체적으로, 상태 센서(2H4)는, 자이로(gyro) 센서 또는 각도 센서이다. 예컨대, 상태 센서(2H4)는, 스마트폰(2)의 변 중에서 한 변이 수평에 대하여 소정의 각도 이상인가 아닌가를 판정한다. 즉, 상태 센서(2H4)는, 스마트폰(2)이 세로 방향의 자세 상태로 있는지 가로 방향의 자세 상태로 있는지를 검출한다.

CPU(2H5)는, 각 처리를 실현하기 위한 연산 및 데이터를 가공하는 연산 장치이고, 하드웨어를 제어하는 제어 장치이다. 처리를 병렬식으로, 용장식으로 또는 분산식으로 실행하기 위해서, CPU(2H5)는, 복수의 CPU, 디바이스 또는 복수의 코어로 구성될 수도 있다. 스마트폰(2)은, 화상 처리를 실행하기 위해서, GPU(Graphics Processing Unit)를 내부 또는 외부에 구비할 수도 있다.

네트워크 I/F(2H6)는, 무선 또는 유선으로, 네트워크를 통해 외부 장치에 접속한다. 구체적으로, 네트워크 I/F(2H6)는, 데이터를 입출력하기 위한 안테나, 주변 회로 및 드라이버이다. 예컨대, 스마트폰(2)은, CPU(2H5) 및 네트워크 I/F(2H6)에 의해서, 촬영 장치(1)(도 1)로부터 화상데이터를 입력한다. 스마트폰(2)은, CPU(2H5) 및 네트워크 I/F(2H6)에 의해서, 촬영 장치(1)에 데이터를 출력한다.

정보 처리 장치는, 스마트폰에 한정되지 않는다. 즉, 정보 처리 장치는, 스마트폰 이외의 컴퓨터일 수도 있다. 예컨대, 정보 처리 장치는, PC(Personal Computer), PDA(Personal Digital Assistance), 태블릿, 휴대 전화기 또는 이들의 조합일 수도 있다.

<화상 처리 시스템에 의한 전체 처리의 예>

도 9는, 본 발명의 일 실시형태에 따른 화상 처리 시스템에 의한 전체 처리의 일례를 설명하는 시퀀스도이다. 예컨대, 화상 처리 시스템(10)은, 이하의 처리를 행하여, 합성 화상을 생성한다.

스텝 S0701에서는, 촬영 장치(1)는, 천구 화상을 생성하는 처리를 한다. 천구 화상은, 촬영 장치(1)에 의한 이하의 처리에 의해서, 미리 촬영되는 도 6a 및 도 6b에 도시하는 반구 화상으로부터 생성된다.

도 10 내지 도 13은, 본 발명의 일 실시형태에 따른 천구 화상의 일례를 설명하는 도면이다. 도 10은, 도 6a에 도시하는 반구 화상을 광축에 대하여 수평 방향 및 수직 방향의 입사각이 등위인 개소를 선으로 연결한 것을 나타내는 도면이다. 이하, 광축에 대하여 수평 방향의 입사각을 "θ"로 나타내고, 광축에 대하여 수직 방향의 입사각을 "φ"로 나타낸다. 도 10과 마찬가지로, 도 11은, 도 6b에 도시하는 반구 화상을 광축에 대하여 수평 방향 및 수직 방향의 입사각이 등위인 개소를 선으로 연결한 것을 나타내는 도면이다.

도 12은, 메르카토 도법에 의해서 처리된 화상의 일례를 설명하는 도면이다. 구체적으로, 도 12에 도시하는 화상은, 예컨대, 도 10 및 도 11에 도시하는 화상을 미리 생성되는 LUT(Look Up Table)에 의해 대응시키고, 정거 원통 도법에 의해서 처리함으로써 생성되는 화상이다. 도 12에 도시하는 상태로 된 후, 도 10 및 도 11에 나타내는 각각의 화상을 도 13에 도시한 바와 같이 합성함으로써, 촬영 장치에 의해서 천구 화상이 생성된다. 이와 같이, 합성 처리는, 예컨대, 도 12에 도시하는 상태의 2개의 반구 화상을 이용하여, 천구 화상을 생성하는 처리이다. 여기서, 합성 처리는, 도 13에 도시한 것과 같이, 도 12에 도시하는 상태의 반구 화상을 단순히 연속하여 배치하는 처리에 한정되지 않는다. 예컨대, 천구 화상의 수평 방향 중심이 θ=180°가 아닌 경우에는, 합성 처리에서, 촬영 장치는, 우선, 도 6a에 도시하는 반구 화상을 전처리하여, 천구 화상의 중심에 배치한다. 다음으로, 촬영 장치는, 도 6b에 도시하는 반구 화상을 전처리하여 얻은 화상을, 생성하는 화상의 좌우 부분에 배치할 수 있는 크기로 분할하고, 반구 화상을 합성하여 도 6c에 도시하는 천구 화상을 생성할 수도 있다.

천구 화상을 생성하는 처리는, 정거 원통 도법으로 한정되지 않는다. 예컨대, φ 방향에서, 도 11에 도시하는 반구 화상의 화소들의 배열(arrangement)과, 도 10에 도시하는 반구 화상의 화소들의 배열이 상하 방향으로 반대이고, 또한, θ 방향에서, 화소들의 배열이 수평 방향으로 반대로 되도록 업사이드 다운(upside down)의 경우가 있다. 전술한 바와 같이, 업사이드 다운의 경우에, 전처리에서, 촬영 장치는, 도 11에 도시하는 반구 화상이 도 10의 φ 방향 및 θ 방향의 화소들의 배열과 정렬되도록 하기 위해서, 도 11에 도시하는 반구 화상을 180° 만큼 회전시키는 처리를 실행할 수도 있다.

또한, 천구 화상을 생성하는 처리에서는, 도 10 및 도 11에 도시하는 반구 화상 각각의 왜곡 수차를 보정하는 왜곡 보정 처리일 수도 있다. 또한, 천구 화상을 생성하는 처리는, 예컨대, 셰이딩 보정, 감마 보정, 화이트 밸런스, 손떨림 보정(image stabilization), 광학 블랙 보정 처리(optical black correction processing), 결함 화소 보정 처리, 에지 강조 처리 및 선형 보정 처리일 수도 있다. 여기서, 예컨대, 반구 화상의 촬영 범위와 다른 반구 화상의 촬영 범위가 중복되는 경우에는, 합성 처리는, 중복되는 촬영 범위로 촬영되는 피사체의 화소를 이용하여 보정을 행하여, 정밀도 좋게 반구 화상을 합성할 수 있다.

천구 화상을 생성하는 이러한 처리에 의해서, 촬영 장치(1)는, 촬영되는 복수의 반구 화상으로부터 천구 화상을 생성한다. 천구 화상은, 다른 처리에 의해서 생성될 수도 있다. 이하에서는, 도시하는 방법으로 생성되는 천구 화상을 이용하는 예를 설명한다.

다시 도 9를 참조하면, 스텝 S0702에서, 스마트폰(2)은, 스텝 S0701에서 생성되는 천구 화상을 네트워크를 통해 취득한다. 이하에서는, 스마트폰(2)이 도 13에 도시하는 천구 화상을 취득하는 경우의 예를 설명한다.

스텝 S0703에서, 스마트폰(2)은, 스텝 S0702에서 취득되는 천구 화상으로부터 천구 파노라마 화상을 생성한다. 천구 파노라마 화상은, 이하와 같은 화상이다.

도 14는, 본 발명의 일 실시형태에 따른 천구 파노라마 화상의 일례를 설명하는 도면이다. 예컨대, 도 9에 도시하는 스텝 S0703에서, 스마트폰(2)은, 도 13에 도시하는 취득 천구 화상으로부터 도 14에 도시하는 천구 파노라마 화상을 생성한다. 천구 파노라마 화상은, 도시하는 바와 같이, 천구 화상을 구 형상으로 붙인 화상이다.

천구 파노라마 화상을 생성하는 처리는, 예컨대, OpenGL ES(OpenGL(등록상표) for Embedded Systems) 등과 같은 API(Application Programming Interface)에 의해 실현된다. 구체적으로, 천구 파노라마 화상은, 우선, 천구 화상의 화소를 삼각형으로 분할하고, 이어서 3각형들의 정점 P(이하 "정점(P)"이라 칭함)를 서로 연결하고, 폴리곤으로서 접착함으로써 생성된다.

다시 도 9를 참조하면, 스텝 S0704에서, 스마트폰(2)은, 화상을 선택하는 사용자의 조작을 입력한다. 구체적으로, 우선, 스텝 S0704에서, 스마트폰(2)은, 예컨대, 스텝 S0703에서 생성되는 천구 파노라마 화상을 축소하여 얻은 화상인 섬네일 화상(thumbnail image)을 표시한다. 즉, 복수의 천구 파노라마 화상이 스마트폰(2)에 기억되어 있는 경우에, 스마트폰(2)은, 복수의 천구 파노라마 화상으로부터 이후의 처리에서 처리되는 천구 파노라마 화상을 사용자가 선택할 수 있게 하도록 섬네일 화상을 일람(list)으로서 출력한다. 스텝 S0704에서, 스마트폰(2)은, 예컨대, 섬네일 화상의 일람으로부터 하나의 섬네일 화상을 선택하는 사용자의 조작을 입력한다. 이하에서, 스텝 S0704에서 선택된 천구 파노라마 화상이 처리 대상으로 되는 처리를 행한다.

스텝 S0705에서, 스마트폰(2)은, 스텝 S0704에서 선택되는 천구 파노라마 화상에 기초하여 초기 화상을 생성한다. 초기 화상은, 예컨대, 이하와 같은 화상이다.

도 15 내지 도 18은, 본 발명의 일 실시형태에 따른 초기 화상의 일례를 설명하기 위한 도면이다. 구체적으로는, 우선, 도 15는, 본 발명의 일 실시형태에 따른 초기 화상의 일례를 설명하기 위한 3차원 좌표계를 설명하는 도면이다. 이하에서는, 도 15에 도시한 바와 같은 XYZ 축의 3차원 좌표계를 참고로 설명한다. 이 예에서는, 스마트폰(2)이 원점의 위치에 가상 카메라(3)를 설치하고, 가상 카메라(3)로부터의 시점에 각 화상을 생성하는 것으로 한다. 예컨대, 도 15에 도시하는 좌표계에서, 천구 파노라마 화상은 입체구(CS)로서 표현된다. 여기서, 가상 카메라(3)는, 설치 위치, 즉 원점으로부터 입체구(CS)인 천구 파노라마 화상에 대하여, 천구 파노라마 화상을 보는 사용자의 시점에 해당한다.

도 16은, 본 발명의 일 실시형태에 따른 가상 카메라에 의한 소정 영역의 일례를 설명하기 위한 도면이다. 구체적으로, 도 16은, 도 15를 삼면도로 도시하는 예이다. 즉, 도 15 및 도 16은, 동일한 상태를 도시한다. 따라서 도시하는 바와 같이, 도 16에서는, 원점에 가상 카메라(3)가 설치되는 것으로 한다.

다음으로, 도 17은, 본 발명의 일 실시형태에 따른 가상 카메라에 의한 소정 영역의 일례를 나타내는 투영도이다. 도 17에서, 소정 영역(T)은, 가상 카메라(3)의 시야각을 입체구(CS)에 투영하여 얻은 영역이다. 이하에서는, 도시하는 바와 같이, 스마트폰(2)이 소정 영역(T)의 화상을 생성하는 예를 설명한다. 즉, 스마트폰(2)은, 소정 영역(T)에 기초하여 화상을 생성한다. 소정 영역(T)은, 예컨대, 이하와 같이 결정된다.

도 18은, 본 발명의 일 실시형태에 따른 가상 카메라에 의한 소정 영역을 결정하기 위한 정보의 일례를 설명하기 위한 도면이다. 이 예에서, 소정 영역(T)은, 예컨대, 소정 영역 정보(x, y, α)에 의해서 결정된다. 구체적으로, 도 18에 도시한 바와 같이, 시야각(α)은, 가상 카메라(3)의 화각을 나타내는 각도이다. 시야각(α)에 의해서 표시되는 소정 영역(T)에서의 대각선 화각(2L)에 대하여 소정 영역(T)의 중심점(CP)의 좌표는, 소정 영역 정보의 (x, y)로 표시된다.

다음으로, 가상 카메라(3)로부터 중심점(CP)까지의 거리가 하기 식 (1)로 표시된다.

[식 1]

초기 화상은, 미리 설정된 초기 설정에 기초하여 결정되는 소정 영역(T)에 기초하여 생성되는 화상이다. 예컨대, 초기 설정은, (x, y, α)=(0,0,34) 등과 같이 사용자에 의해서 설정된다.

그리고, 화각을 바꾸는 조작, 즉 줌 조작이 입력되면, 스마트폰(2)은, 이하와 같이 줌 처리를 실행한다. 여기서, 줌 처리는, 입력되는 사용자의 조작에 기초하여, 소정의 영역을 확대 또는 축소한 화상을 생성하는 처리이다. 이하에서, 줌 조작에 의해서 입력되는 조작량을 "변화량(dz)"이라 한다. 우선, 줌 조작이 입력되면, 스마트폰(2)은, 입력되는 사용자의 조작에 기초하여 변화량(dz)을 취득한다. 그리고, 스마트폰(2)은, 변화량(dz)에 기초하여, 하기 식 (2)를 계산한다.

[식 2]　

여기서, 상기 식 (2)에 있어서의 "α"는, 도 18에 도시하는 가상 카메라(3)의 시야각(α)이다. 또한, 상기 식 (2)에서 나타내는 "m"은, 줌량을 조정하기 위한 계수이며, 사용자에 의해서 미리 설정되는 값이다. 또한, 상기 식 (2)에 있어서의 "α0"는, 초기 상태에서의 가상 카메라(3)의 시야각(α), 즉, 스텝 S0705에서 생성되는 초기 화상에서의 시야각(α) 이다.

다음으로, 스마트폰(2)은, 상기 식 (2)에 기초하여 계산되는 시야각(α)을 투영 행렬에 이용하여, 도 17에 도시하는 소정 영역(T)의 범위를 결정한다.

여기서, 변화량이 dz2로 되는 줌 조작을 사용자가 더욱 행하면, 스마트폰(2)은, 하기 식 (3)을 계산한다.

[식 3]

상기 식 (3)에 나타낸 바와 같이, 시야각(α)은, 각각의 줌 조작에 의한 변화량을 합하여 얻은 값에 기초하여 계산된다. 이와 같이, 복수의 줌 조작을 행하는 경우에도, 스마트폰(2)은, 천구의 시야각(α)의 계산을 먼저 행함으로써 일관된 조작성을 유지할 수 있다.

여기서, 줌 처리는, 상기 식 (2) 또는 상기 식 (3)에 기초하는 처리에 한정되지 않는다. 예컨대, 줌 처리는, 가상 카메라(3)(도 16)의 시야각(α)　및 시점 위치의 변경을 조합하여 실현할 수도 있다. 구체적으로는, 이하와 같은 줌 처리를 실행할 수도 있다.

도 19는, 본 발명의 일 실시형태에 따른 다른 줌 처리의 일례를 설명하기 위한 도면이다. 여기서, 도 19는, 다른 줌 처리를 설명하기 위한 모델도이다. 입체구(CS)는, 도 10에 도시하는 입체구(CS)와 동일한 것이다. 또한, 이하의 설명에서는, 입체구(CS)의 반경을 "1"로 하는 예를 설명한다.

우선, 도시하는 원점은, 가상 카메라(3)의 초기 위치이다. 그리고, 가상 카메라(3)는, 광축, 즉 도 15에 도시하는 Z축 상에서 이동하여 위치를 변경한다. 다음으로, 가상 카메라(3)의 이동량(d)은, 원점부터의 거리로 나타낸다. 예컨대, 가상 카메라(3)가 원점에 위치하는 경우, 즉 초기 상태에 위치하는 경우에는, 이동량(d)은 "0"이다.

가상 카메라(3)의 이동량(d) 및 시야각(α)에 기초하여, 도 17에 도시하는 소정 영역(T)으로 범위를 화각(ω)으로 나타낸다. 예컨대, 도시하는 화각(ω)은, 가상 카메라(3)가 원점에 위치하는 경우, 즉 d=0인 경우의 화각을 말한다. 가상 카메라(3)가 원점에 위치하는 경우, 즉 d= 0인 경우에는, 화각(ω)은 시야각(α)과 일치한다. 가상 카메라(3)가 원점으로부터 떨어지면, 즉 d의 값이 "0"보다 커지면, 화각(ω) 및 시야각(α)은 다른 범위를 나타낸다. 다른 줌 처리는, 예컨대, 이하와 같이, 화각(ω)을 변경하는 처리이다.

도 20은, 본 발명의 일 실시형태에 따른 다른 줌 처리의 일례를 설명하기 위한 표이다. 여기서, 설명표 4는, 화각(ω)의 범위가 60° 내지 300°인 경우의 예를 나타낸다. 설명표 4에 나타내는 바와 같이, 스마트폰(2)은, 줌 지정치(ZP)에 기초하여, 시야각(α)　및 가상 카메라(3)의 이동량(d) 중 어느 쪽을 우선적으로 변경할 것인가를 결정한다.

여기서, "범위(range)"는, 줌 지정치(ZP)에 기초하여 결정하는 범위이다. 또한, "출력 배율"은, 다른 줌 처리에 의해서 결정되는 화상 파라미터에 기초하여 계산된 화상의 출력 배율이다. 또한, "줌 지정치(ZP)"는, 출력되는 화각에 대응하는 값이다.

전술한 바와 같이, 다른 줌 처리는, 줌 지정치(ZP)에 기초하여 이동량(d) 및 시야각(α)을 결정하는 처리를 변경한다. 구체적으로, 설명표 4에 나타내는 바와 같이, 다른 줌 처리에 의해 실행되는 처리는, 줌 지정치(ZP)에 기초하여, 도시하는 4개의 방법 중 어느 하나로 결정된다. 이 예에서, 줌 지정치(ZP)의 범위는, "A 내지 B", "B 내지 C", "C 내지 D" 및 "D 내지 E"의 4개의 범위로 구분된다.

또한, "화각(ω)"은, 다른 줌 처리에 의해서 결정한 화상 파라미터에 대응하는 화각(ω)이다. 또한, "변경되는 파라미터"는, 줌 지정치(ZP)에 기초하여 4개의 방법에 의해 각각 변경하는 파라미터를 설명하는 표현이다. "비고(remark)"는, "변경되는 파라미터"에 대한 비고이다.

설명표 4에 있어서, "viewWH"는, 출력 영역의 폭 또는 높이를 나타내는 값이다. 예컨대, 출력 영역이 가로로 길면, "viewWH"는, 폭의 값을 나타낸다. 출력 영역이 세로로 길면, "viewWH"는 높이의 값을 나타낸다. 즉, "viewWH"는, 출력 영역의 길이 방향의 사이즈를 나타내는 값이다.

설명표 4에 있어서, "imgWH"는, 출력 화상의 폭 또는 높이를 나타내는 값이다. 예컨대, 출력 영역이 가로로 길면, "viewWH"는, 출력 화상의 폭의 값을 나타낸다. 출력 영역이 세로로 길면, "viewWH"는, 출력 화상의 높이의 값을 나타낸다. 즉, "viewWH"는, 출력 화상의 길이방향의 사이즈를 나타내는 값이다.

또한, 설명표 4에 있어서, "imgDeg"는, 출력 화상의 표시 범위의 각도를 나타내는 값이다. 구체적으로는, 출력 화상의 폭을 나타내는 경우에, "imgDeg"은, 360° 이다. 출력 화상의 높이를 나타내는 경우에, "imgDeg"은, 180° 이다.

도 21 내지 도 25는, 본 발명의 일 실시형태에 따른 다른 줌 처리의 "범위"의 일례를 설명하기 위한 도면이다. 도시하는 예는, 상기한 다른 줌 처리가 실행되는 경우에 화상에 표시되는 "범위" 및 화상의 예를 도시한다. 이하, 도시하는 예를 이용하여, 줌 아웃의 경우를 예로서 설명한다. 도 21 내지 도 25의 각각에 있어서의 좌측 도면은, 출력되는 화상의 일례를 도시한다. 도 21 내지 도 25의 각각에 있어서의 우측 도면은, 출력 시의 가상 카메라(3)의 상태의 일례를 도 11과 같은 모델도로 도시한 도면이다.

구체적으로는, 도 21은, 도 20에 도시하는 설명표 4에 있어서의 "범위"가 "A 내지 B"인 줌 지정치(ZP)가 입력되었을 때의 출력 화상 및 "범위"의 예를 도시한다. 이와 같이, 줌 지정치(ZP)가 "A 내지 B"의 값이면, 가상 카메라(3)(도 19)의 시야각(α)은, 예컨대 α= 60°로 고정된다. 또한, 줌 지정치(ZP)가 "A 내지 B"이고, 가상 카메라(3)의 이동량(d)은, 도 21에 도시한 바와 같이, 시야각(α)이 고정된 상태에서 변경되는 것으로 한다. 이하에서는, 시야각(α)이 고정된 상태로, 가상 카메라(3)의 이동량(d)이 커지도록 변경되는 예를 설명한다. 이 경우, 화각(ω)은 넓어진다. 즉, 줌 지정치(ZP)를 "A 내지 B"로 설정하고, 시야각(α)을 고정하고, 가상 카메라(3)의 이동량(d)을 크게 하면, 줌 아웃 처리가 실현될 수 있다. 여기서, 줌 지정치(ZP)가 "A 내지 B"인 경우에는, 가상 카메라(3)의 이동량(d)은, "0"으로부터 입체구(CS)의 반경까지이다. 구체적으로, 도 21 내지 도 25에 도시하는 경우에는, 입체구(CS)의 반경이 "1"이기 때문에, 가상 카메라(3)의 이동량(d)은, "0 내지 1"의 값으로 된다. 또한, 가상 카메라(3)의 이동량(d)은, 줌 지정치(ZP)에 대응하는 값으로 된다.

다음으로, 도 22는, 도 20에 도시된 설명표 4에 있어서의 "범위"가 "B 내지 C"인 줌 지정치(ZP)가 입력되었을 때의 출력 화상 및 "범위"의 예를 도시한다. 여기서, "B 내지 C"는, "A 내지 B"보다 줌 지정치(ZP)가 큰 값이다. 그리고, 줌 지정치(ZP)를 "B 내지 C"고 하고, 가상 카메라(3)의 이동량(d)은, 가상 카메라(3)가 입체구(CS)의 외부 에지에 위치하는 값으로 고정되는 것으로 한다. 이 경우에, 도 22에 도시한 바와 같이, 가상 카메라(3)의 이동량(d)은 입체구(CS)의 반경인 "1"에 고정된다. 또한, 줌 지정치(ZP)가 "B 내지 C"이고 가상 카메라(3)의 이동량(d)이 고정된 상태에서, 시야각(α)이 변경되는 것으로 한다. 이하에서는, 가상 카메라(3)의 이동량(d)이 고정된 상태로 시야각(α)이 커지도록 변경하는 예를 설명한다. 이 경우에, 화각(ω)은, 도 21로부터 도 22에 도시한 바와 같이 넓어진다. 즉, 줌 지정치(ZP)를 "B 내지 C"로 설정하고, 또한, 가상 카메라(3)의 이동량(d)을 고정하고, 시야각(α)을 크게 하면, 줌 아웃 처리가 실현될 수 있다. 여기서, 줌 지정치(ZP)가 "B 내지 C"인 경우에, 시야각(α)은, "ω/2"으로 계산된다. 또한, 줌 지정치(ZP)가 "B 내지 C"인 경우에, 시야각(α)의 범위는, "A 내지 B"인 경우에 고정되는 값인 "60°" 내지 "120°"로 된다.

줌 지정치(ZP)가 "A 내지 B" 또는 "B 내지 C"이면, 화각(ω)은, 줌 지정치(ZP)와 일치한다. 또한, 줌 지정치(ZP)가 "A 내지 B" 및 "B 내지 C"인 경우에는, 화각(ω)은 증가한다.

도 23은, 도 20에 도시된 설명표 4에 있어서의 "범위"가 "C 내지 D"인 줌 지정치(ZP)가 입력되었을 때의 출력 화상 및 "범위"의 예를 도시한다. 여기서, "C 내지 D"는, "B 내지 C"보다 줌 지정치(ZP)가 큰 값이다. 그리고, 줌 지정치(ZP)를 "C 내지 D"라고 하고, 시야각(α)은, 예컨대 α= 120°로 고정되는 것으로 한다. 다음으로, 도 23에 도시한 바와 같이, 줌 지정치(ZP)가 "C 내지 D"이고, 가상 카메라(3)의 이동량(d)은 시야각(α)이 고정된 상태로 변경되는 것으로 한다. 이하에서는, 시야각(α)이 고정된 상태로, 가상 카메라(3)의 이동량(d)이 커지도록 변경되는 예를 설명한다. 그 결과, 화각(ω)은, 넓어진다. 또한, 가상 카메라(3)의 이동량(d)은, 설명표 4(도 20)에 도시하는 줌 지정치(ZP)에 기초하는 식에 의해서 계산된다. 여기서, 줌 지정치(ZP)가 "C 내지 D"인 경우에는, 가상 카메라(3)의 이동량(d)은 최대 표시 거리(dmax1)까지 변경된다. 그리고, 최대 표시 거리(dmax1)는, 스마트폰(2)(도 1)의 출력 영역에서 입체구(CS)를 최대로 표시할 수 있는 거리이다. 출력 영역은, 예컨대, 스마트폰(2)이 화상을 출력하는 화면의 사이즈이다. 또한, 최대 표시 거리(dmax1)는, 예컨대, 도 24에 도시한 것과 같은 상태이다. 또한, 최대 표시 거리(dmax1)는, 하기 식 (4)에 의해 계산된다.

[식 4]　

여기서, 상기 식 (4)에 있어서, "viewW"는, 스마트폰(2)의 출력 영역의 폭을 나타내는 값이다. 또한, 상기 식 (4)에 있어서, "viewH"는, 스마트폰(2)의 출력 영역의 높이를 나타내는 값이다. 동일한 사항이 이하에 적용된다. 이와 같이, 최대 표시 거리(dmax1)는, 스마트폰(2)의 출력 영역, 즉, "viewW" 및 "viewH"의 값에 기초하여 계산된다.

도 24는, 도 20에 도시된 설명표 4에 있어서의 "범위(range)"가 "D 내지 E"인 줌 지정치(ZP)가 입력되었을 때의 출력 화상 및" 범위"의 예를 도시한다. 여기서, "D 내지 E"는, "C 내지 D"보다 줌 지정치(ZP)가 큰 값이다. 그리고, 줌 지정치(ZP)를 "D 내지 E"이라 하고, 시야각(α)은, 예컨대 α= 120°로 고정되는 것으로 한다. 다음으로, 도 24에 도시한 바와 같이, 줌 지정치(ZP)가 "C 내지 D"이고, 가상 카메라(3)의 이동량(d)은 시야각(α)이 고정된 상태에서 변경되는 것으로 한다. 가상 카메라(3)의 이동량(d)은 한계 표시 거리(dmax2)까지 변경된다. 여기서, 한계 표시 거리(dmax2)는, 스마트폰(2)의 출력 영역에서 입체구(CS)가 내접하여 표시되는 거리이다. 구체적으로는, 한계 표시 거리(dmax2)는, 하기 식 (5)에 의해 계산된다. 한계 표시 거리(dmax2)는, 예컨대, 도 25에 도시한 바와 같은 상태이다.

[식 5]　

상기 식 (5)에서 나타낸 바와 같이, 한계 표시 거리(dmax2)는, 스마트폰(2)의 출력 영역을 획정하는 "viewW" 및 "viewH"의 값에 기초하여 계산된다. 또한, 한계 표시 거리(dmax2)는, 스마트폰(2)이 출력할 수 있는 최대의 범위, 즉, 가상 카메라(3)의 이동량(d)을 크게 할 수 있는 한계의 값을 나타낸다. 스마트폰(2)은, 줌 지정치(ZP)가 설명표 4(도 20)에서 설명하는 범위 내에 수습되도록, 즉 가상 카메라(3)의 이동량(d)의 값이 한계 표시 거리(dmax2) 이하가 되도록, 입력 값을 제한할 수도 있다. 이러한 제한에 의해서, 스마트폰(2)은, 출력 화상을 출력 영역인 화면에 피트시킨 상태 또는 화상을 소정의 출력 배율로 사용자에게 출력할 수 있는 상태로 되어, 줌 아웃을 실현할 수 있다. "D 내지 E"의 처리에 의해서, 스마트폰(2)은, 사용자에게 출력 화상이 천구 파노라마인 것을 인식시킬 수 있다.

여기서, 줌 지정치(ZP)가 "C 내지 D" 또는 "D 내지 E"이면, 화각(ω)은, 줌 지정치(ZP)와 다른 값으로 된다. 설명표 4 및 도 21 내지 도 25에 도시하는 각 범위에서는 화각(ω)이 연속하고 있지만, 화각(ω)은 광각측으로의 줌 아웃에 의해서 균일하게 증가하지 않을 수도 있다. 즉, 예컨대, 줌 지정치(ZP)가 "C 내지 D"이면, 화각(ω)은, 가상 카메라(3)의 이동량(d)에 따라 증가한다. 그러나, 줌 지정치(ZP)가 "D 내지 E"이면, 화각(ω)은, 가상 카메라(3)의 이동량(d)에 따라 감소한다. 줌 지정치(ZP)가 "D 내지 E"인 경우의 가상 카메라(3)의 이동량(d)의 감소는, 입체구(CS)의 외측의 영역의 반사(reflection)에 의해 야기된다. 이와 같이, 줌 지정치(ZP)가 240° 이상의 광 시야 영역을 지정하는 경우에, 스마트폰(2)은, 가상 카메라(3)의 이동량(d)을 변경함으로써, 사용자에게 위화감이 적은 화상을 출력할 수 있고, 또한 화각(ω)을 변화시킬 수 있다.

줌 지정치(ZP)가 광각 방향으로 변경되면, 화각(ω)은, 넓어지는 경우가 많다. 이와 같이, 화각(ω)이 넓어지는 경우에, 스마트폰(2)은, 가상 카메라(3)의 시야각(α)을 고정하고, 가상 카메라(3)의 이동량(d)를 크게 한다. 이와 같이 하면, 스마트폰(2)은, 가상 카메라(3)의 시야각(α)을 고정함으로써, 가상 카메라(3)의 시야각(α)의 증가를 적게 할 수 있다. 또한, 가상 카메라(3)의 시야각(α)의 증가를 적게 함으로써, 스마트폰(2)은, 사용자에게 왜곡이 적은 화상을 출력할 수 있다.

가상 카메라(3)의 시야각(α)을 고정하고, 스마트폰(2)에 의해 가상 카메라(3)의 이동량(d)을 증가시킴으로써, 즉, 가상 카메라(3)를 멀어지게 하는 방향으로 이동시킴으로써, 스마트폰(2)은, 사용자에게 광각 표시의 개방감을 부여할 수 있다. 또한, 가상 카메라(3)의 멀어지는 방향으로의 움직임은, 인간이 광범위를 확인할 때의 움직임과 유사하다. 따라서 스마트폰(2)은, 가상 카메라(3)의 멀어지는 방향으로의 움직임에 의해서, 위화감이 적은 줌 아웃을 실현할 수 있다.

줌 지정치(ZP)가 "D 내지 E"이면, 화각(ω)은, 줌 지정치(ZP)가 광각 방향으로 변경함에 따라 감소한다. 이와 같이 하여, 줌 지정치(ZP)가 "D 내지 E"이면, 스마트폰(2)은, 화각(ω)을 감소시킴으로써, 사용자에게 입체구(CS)로부터 멀어져 가는 감각을 부여할 수 있다. 사용자에게 입체구(CS)로부터 멀어져 가는 감각을 부여함으로써, 스마트폰(2)은, 사용자에게 위화감이 적은 화상을 출력할 수 있다.

이상과 같이, 설명표 4(도 20)에 설명하는 다른 줌 처리에 의해서, 스마트폰(2)은, 사용자에게 위화감이 적은 화상을 출력할 수 있다.

여기서, 스마트폰(2)은, 설명표 4에 설명하는 가상 카메라(3)의 이동량(d) 또는 시야각(α)만을 변경하는 경우에 한정되지 않는다. 즉, 스마트폰(2)은, 설명표 4에 있어서, 우선적으로 가상 카메라(3)의 이동량(d) 또는 시야각(α)을 변경할 수도 있다. 예컨대, 조정을 위해, 스마트폰(2)은, 고정 값을 충분히 작은 값으로 변경할 수도 있다. 또한, 스마트폰(2)은, 줌 아웃을 행하는 것에 한정되지 않는다. 예컨대, 스마트폰(2)은, 줌 인을 행할 수도 있다.

다시 도 9를 참조하면, 스텝 S0706에서, 스마트폰(2)은, 예컨대, 화상을 편집하는 상태(이하, 편집 모드라 칭함)로 전환하는 사용자의 조작을 입력한다. 편집 모드로 전환된 것을 검출하면, 스마트폰(2)은, 편집용의 화면을 출력한다.

스텝 S0707에서, 스마트폰(2)은, 편집용 화면을 출력한다. 이하의 설명에서는, 이하와 같은 화면이 출력되는 예를 설명한다.

도 26은, 본 발명의 일 실시형태에 따른 편집 모드에 있어서의 화면 및 GUI의 일례를 도시한 도면이다. 예컨대, 스마트폰은, 도시하는 것과 같은 편집용 화면(이하, 편집 화면이라 칭함)을 출력한다. 여기서, 도시하는 바와 같이, 편집 화면은, 제1 화상의 예인 초기 화상(ImgF)과 편집용의 아이콘(이하, 단순히 아이콘( ICN)이라 칭함)을 표시한다. 이와 같이, 사용자는, 출력 아이콘(ICN)과 같은 GUI(Graphical User Interface)를 이용하여 화상을 편집한다. 예컨대, 이하와 같이, 사용자의 조작에 의해서 편집이 행해진다. 구체적으로는, 도 26에 도시하는 편집 화면에 있어서, 화면을 스탬프 선택 화면(이하, 스탬프 화면이라 칭함)으로 전환하는 스탬프 버튼(ICNS)이 사용자에 의해서 눌려진 것으로 전제한다. 그 결과, 예컨대, 이하와 같은 스탬프 화면이 스마트폰에 의해서 출력된다.

도 27은, 본 발명의 일 실시형태에 따른 스탬프 화면의 일례를 도시한 도면이다. 도 26에 도시하는 편집 화면과 비교하면, 도시하는 스탬프 화면은, 화면의 하부에 스탬프 선택 메뉴(SELS)를 표시하는 점이 다르다. 이 예에서는, 스탬프 선택 메뉴(SELS)로부터, 제2 화상의 예인 하나의 스탬프를 나타내는 화상(이하, 제1 스탬프 화상이라 칭함)이 사용자의 조작에 의해서 선택된다. 즉, 스탬프 선택 메뉴(SELS)에 의해서, 사용자는, 초기 화상(ImgF)에 대하여 중첩하는 제2 화상의 종류를 선택하는 조작을 입력할 수 있다. 예컨대, 사용자의 조작에 의해서, 도시하는 제1 스탬프 화상(ImgS1)이 선택되는 것으로 한다. 그 결과, 스마트폰은, 이하와 같은 화면을 출력한다.

도 28은, 본 발명의 일 실시형태에 따른 스탬프를 배치하는 화면의 일례를 도시한 도면(버전 1)이다. 도 27에 도시하는 화면과 비교하면, 도시하는 화면은, 스탬프 선택 메뉴(SELS)(도 27)로부터 선택된 제1 스탬프 화상(ImgS1)이 초기 화상(ImgF)에 표시되는 점이 다르다. 또한, 이 화면에서는, 사용자는, 제1 스탬프 화상(ImgS1)에 관련한 편집을 할 수 있다. 구체적으로, 예컨대, 사용자는, 제1 스탬프 화상(ImgS1)을 표시하는 초기 화상(ImgF) 상의 위치를 지정할 수 있다. 즉, 사용자는, 제1 스탬프 화상(ImgS1)을 출력하는 초기 화상(ImgF) 상의 위치를 결정하는 배치를 행할 수 있다.

여기서, 스탬프 등의 다른 제2 화상이 선택되면, 제2 화상의 이전의 선택이 확정되는 것이 바람직하다. 즉, 제2 화상은, 하나씩 선택되는 것이 바람직하다. 도시하는 바와 같이, 제1 스탬프 화상(ImgS1)이 선택되는 것으로 한다. 선택에 있어서, 상기와 같은 편집이 행해질 수도 있다. 다음으로, 제1 스탬프 화상(ImgS1)의 위치가 확정하면, 사용자는, 다음 스탬프를 선택할 수 있다. 이하, 제1 스탬프 화상(ImgS1)의 다음에 선택되는 스탬프를 나타내는 화상을 "제2 스탬프 화상(ImgS2)" 이라 한다. 이하에서는, 다음 스탬프가 선택되면, 이전의 스탬프가 확정되는 예를 설명한다.

도 29는, 본 발명의 일 실시형태에 따른 스탬프를 배치하는 화면의 일례를 도시한 도면(버전 2)이다. 예컨대, 제2 스탬프 화상(ImgS2)에 대한 편집을 할 수 있는 상황에서는, 제1 스탬프 화상(ImgS1)의 배치는, 확정되어 있는 상태인 것이 바람직하다. 즉, 이 예에서는, 제1 스탬프 화상(ImgS1)의 배치를 변경하는 등의 편집은 제한된다. 그러나, 제2 스탬프 화상(ImgS2)의 배치를 변경하는 등의 편집은 가능하다. 즉, 예컨대, 사용자는, 이하와 같은 조작을 행할 수 있다.

도 30은, 본 발명의 일 실시형태에 따른 스탬프를 배치하는 화면의 일례를 도시한 도면(버전 3)이다. 도시하는 예에서는, 제2 스탬프 화상(ImgS2)이 이미 선택되어 있기 때문에, 제1 스탬프 화상(ImgS1)이 확정되어 있다. 그 결과, 제1 스탬프 화상(ImgS1)의 위치를 변경하는 등의 편집은 제한된다. 그러나, 제2 스탬프 화상(ImgS2)은, 아직 확정되지 않았기 때문에, 위치를 변경할 수 있다. 그 결과, 예컨대, 제2 스탬프 화상(ImgS2)의 위치를, 도 29에 도시하는 제2 스탬프 화상(ImgS2)의 위치로부터 도 30에 도시하는 제2 스탬프 화상(ImgS2)의 위치로 변경하는 것이 가능하다. 이와 같이, 제2 화상이 변경의 대상으로 된다. 즉, 확정 전의 상태인 제2 화상은 하나씩인 것이 바람직하다. 여기서, 상기한 예는, 변경 대상인 제2 화상을, 도시하는 바와 같이, 화이트 프레임으로 나타내고 있는 예이다. 이러한 구성에 의해, 사용자는, 제2 화상에 관련한 조작을 하기 쉽다. 즉, 제2 화상을 하나씩 선택하게 함으로써, 스마트폰은 사용자의 사용성을 향상시킬 수 있다. 여기서, 확정 후라도, 제2 화상을 삭제하는 변경은 허용될 수 있다.

여기서, 편집은, 제2 화상의 위치를 변경하는 것에 한정되지 않는다. 예컨대, 편집은, 제2 화상의 종류, 사이즈, 위치, 각도 또는 이들의 조합을 설정하는 조작일 수도 있다. 구체적으로는, 예컨대, 제2 화상의 사이즈가 변경되면, 출력은 이하와 같이 된다.

도 31은, 본 발명의 일 실시형태에 따른 스탬프의 사이즈를 변경한 경우의 일례를 도시한 도면이다. 도 30과 비교하면, 도 31에 도시하는 제2 스탬프 화상(ImgS2)은 사이즈가 다르다. 구체적으로, 도 31에 도시하는 제2 스탬프 화상(ImgS2)은, 도 30에 도시하는 제2 스탬프 화상(ImgS2)보다 크게 출력되도록, 사이즈를 확대한 경우의 예이다. 여기서, 사이즈의 변경은, 사이즈의 축소일 수도 있다. 또한, 제2 화상의 각도를 변경하는 조작이 행하여지면, 출력은 이하와 같이 된다.

도 32는, 본 발명의 일 실시형태에 따른 스탬프의 각도를 변경한 경우의 일례를 도시한 도면이다. 도 31과 비교하면, 도 32에 도시하는 제2 스탬프 화상(ImgS2)은 각도가 다르다. 구체적으로, 도 32에 도시하는 제2 스탬프 화상(ImgS2)은, 도 31에 도시하는 제2 스탬프 화상(ImgS2)의 각도가 시계 방향으로 회전하도록 변경된 경우의 예이다.

여기서, 제2 화상은 스탬프에 한정되지 않는다. 예컨대, 제2 화상은, 이하와 같은 텍스트를 포함할 수도 있다.

도 33은, 본 발명의 일 실시형태에 따른 텍스트 화면의 일례를 도시한 도면이다. 예컨대, 제2 화상은, 도시하는 텍스트를 나타내는 화상(이하, "텍스트 화상(ImgT)" 이하 칭함)일 수도 좋다. 여기서, 텍스트 화상(ImgT)에 표시되는 문자, 기호, 도형, 숫자 또는 이들의 조합(이하 "문자 등"으로 칭함)은, 예컨대, 텍스트 선택 메뉴(TESL)로부터 사용자의 조작에 의해서 선택된다. 또한, 문자 등에는, 볼드, 이탤릭, 착색, 폰트의 선택, 문자 등의 사이즈의 변경과 같은 장식(decoration)이 더해질 수도 있다. 스탬프와 마찬가지로, 텍스트 화상(ImgT)에 대하여 편집이 행하여질 수도 있다. 예컨대, 이하와 같이, 텍스트 화상(ImgT)의 위치가 변경되도록 편집이 행하여질 수도 있다.

전술한 편집이 행하여진 후, 다음의 제2 화상이 선택되면, 이전에 선택된 제2 화상은 확정된다. 구체적으로는, 확정된 제2 화상은, 이하와 같이 된다.

도 34는, 본 발명의 일 실시형태에 따른 텍스트를 배치하는 화면의 일례를 도시한 도면이다. 먼저, 도 34는, 확정 전의 일례를 도시한다. 구체적으로는, 도 33과 비교하면, 도 34는, 텍스트 화상(ImgT)의 위치가 다르다. 즉, 도 30과 마찬가지로, 도 34는, 텍스트 화상(ImgT)의 위치를 변경하는 조작이 입력된 경우의 예를 도시한다. 또한, 도시하는 바와 같이, 텍스트 화상(ImgT)이 나타내는 문자 등의 색상을 흑색으로 변경하도록 편집될 수도 있다. 그리고, 다음 스탬프가 선택되거나 종료 조작이 입력되면, 스마트폰은, 텍스트 화상(ImgT)을 확정시키고, 예컨대, 이하와 같은 화면을 출력한다.

도 35는, 본 발명의 일 실시형태에 따른 합성 화상을 나타내는 화면의 일례를 도시한 도면이다. 예컨대, 도 34에 도시하는 텍스트 화상(ImgT)이 확정되는 경우의 예를 도시한다. 이 예에서는, 도 34와 비교하면, 도 35에 도시한 바와 같이, 텍스트 화상(ImgT)이 확정되면, 변환 화상(ImgCC)이 생성된다. 여기서, 스탬프 화상이 확정된 경우에도, 마찬가지로 스마트폰에 의해서 변환이 행해진다.

여기서, 변환 화상(ImgCC)은, 예컨대, 초기 화상의 곡률을 반영하도록 변환된다. 즉, 초기 화상은, 도 15에 도시하는 입체구(CS)이다. 따라서, 곡률을 갖는다. 스마트폰은, 제2 화상이 배치된 위치에 기초하여, 제1 화상의 곡률을 특정하고, 특정되는 곡률을 제2 화상에 반영하도록 제2 화상을 변환하여 변환 화상(ImgCC)을 생성한다. 이와 같이 화상이 변환되면, 변환 화상(ImgCC)이 제1 화상에 더해지더라도, 위화감이 적다.

먼저, 사용자가, 촬영된 제1 화상에 새롭게 제2 화상을 더하는 조작을 하여, 더해진 제2 화상이 확정되는 것으로 한다. 다음으로, 스마트폰은, 제1 화상의 곡률에 맞추도록, 제2 화상을 변환하여 변환 화상(ImgCC)을 생성한다. 이와 같이 하여, 스마트폰은, 더해지는 화상을 촬상 화상에 맞춰 변환한다. 또한, 제1 화상과 변환 화상(ImgCC)을 합성하여 합성 화상(ImgCO)를 생성한다. 구체적으로는, 제2 화상을 더하기 위해서는, 즉, 합성 화상(ImgCO)를 생성하기 위해서는, 스마트폰은, 이하와 같은 처리를 한다.

도 36은, 본 발명의 일 실시형태에 따른 스마트폰에 의한 처리의 일례를 도시하는 플로우차트이다. 여기서, 도시하는 처리는, 도 9에 있어서 스텝 S0708 및 스텝 S0709에 해당한다. 이하의 설명에서는, 입체구(CS)(도 15) 상의 3차원 좌표(r, θ, φ)를 3D 폴리곤 좌표라고 지칭한다.

스텝 S2401에서, 스마트폰은, 제2 화상의 위치, 사이즈 및 각도를 취득한다. 먼저, 스텝 S2401 및 도 9의 스텝 S0708에서, 스마트폰은, 도 26 내지 도 35에 도시하는 화면을 출력하고, 사용자의 조작을 입력한다. 제2 화상의 확정이 검출되면, 스텝 S2401에서, 스마트폰은, 제2 화상의 위치, 사이즈 및 각도를 취득한다. 예컨대, 위치는, 화면에 있어서 좌표(x, y)로 표시된다. 사이즈는, 제2 화상의 세로 및 가로의 화소 수이다. 여기서, 사이즈는, 어떤 크기를 기준으로 하는 배율일 수도 있다. 각도는, 화면 상의 수평 방향(x 축)에 대한 제2 화상의 각도이다.

스텝 S2402에서, 스마트폰은, 제2 화상의 위치에 대응하는 3D 폴리곤 좌표계를 계산한다. 즉, 스마트폰은, 화면 상의 좌표인 좌표(x, y)에 대응하는 입체구(CS)(도 15) 상의 3차원 좌표(r, θ, φ)를 계산한다. 스마트폰은, 3D 구체 폴리곤, 즉 입체구(CS)와 같이, 360° 화상을 표시할 때에 사용되는 3D 오브젝트 상에, 화면 상의 좌표(x, y)가 투영되는 위치를, 계산된다.

스텝 S2403에서, 스마트폰은, 화면 사이즈 및 화면 상에 있어서의 제2 화상의 사이즈에 기초하여, 3D 폴리곤 좌표에 있어서의 제2 화상의 사이즈를 계산한다. 즉, 스텝 S2403에서, 스마트폰은, 3차원 좌표(r, θ, φ)에 있어서의 제2 화상의 사이즈를 계산한다. 이 계산은, 스텝 S2401에서 취득되는 화면 상의 좌표(x, y)에 있어서의 제2 화상의 사이즈에 기초하여 행해진다.

스텝 S2404에서는, 스마트폰은, 3D 폴리곤 좌표에 있어서의 제2 화상의 좌표, 사이즈 및 각도에 기초하여 직사각형 폴리곤을 생성한다. 여기서, 직사각형 폴리곤은, 변환 화상을 제1 화상에 더하기 위해서 생성되는 직사각형의 3D 오브젝트이다. 예컨대, 직사각형 폴리곤은, OpenGL(등록상표)에 의해서 생성된다.

스텝 S2405에서, 스마트폰은, 스텝 S2404에서 생성되는 직사각형 폴리곤에 제2 화상을 묘화한다. 묘화는, 예컨대, OpenGL(등록상표)에 의해서 실현된다. 이와 같이 하면, 스마트폰은, 변환 화상을 생성할 수 있다.

이상과 같은 처리를 행함으로써, 이하와 같은 처리 결과가 얻어진다.

도 37은, 본 발명의 일 실시형태에 따른 스마트폰에 의해 제2 화상을 더하는 처리의 일례를 도시한 도면이다. 도 37은, 도 36의 처리 결과를 도시하는 개념도이다. 이 예에서는, 스마트폰(2)(도 1)의 화면(PNL) 상에 있어서의 제2 화상(Img2)의 중심의 위치가 좌표(x, y)로 표시되는 것으로 한다. 먼저, 제2 화상(Img2)의 위치, 사이즈 및 각도는, 스텝 S2401(도 36)에서 스마트폰(2)에 의해 취득된다.

다음으로, 스텝 S2402(도 36)에서, 스마트폰(2)은, 3D 구체 폴리곤(3DP) 상의 3차원 좌표(r, θ, φ)를 계산한다. 즉, 도시하는 바와 같이, 스마트폰(2)은, 사용자의 시점으로부터 보아, 좌표(x, y)가 위치하는 3D 구체 폴리곤(3DP) 상의 위치를 계산한다. 그리고, 스텝 S2402에서 계산된 위치에, 제2 화상(Img2)을 더하기 위하여, 스마트폰은, 직사각형 폴리곤(RPL)을 생성한다.

먼저, 스마트폰(2)은, 스텝 S2403(도 36)에서 직사각형 폴리곤(RPL)의 사이즈를 계산한다. 그리고, 스텝 S2404(도 36)에서, 스마트폰(2)은, 계산된 사이즈를 갖도록 직사각형 폴리곤(RPL)을 생성한다. 계속해서, 스텝 S2405(도 36)에서는, 직사각형 폴리곤(RPL)에 제2 화상(Img2)을 묘화한다. 이와 같이 하여, 스마트폰(2)은, 도 35에 도시한 바와 같이, 제1 화상에 맞는 곡률을 갖는 변환 화상을 생성할 수 있다.

여기서, 제2 화상이 선택되면, 제1 화상은, 고정되는 것이 바람직하다. 즉, 많은 경우에, 제1 화상은, 확대 또는 축소되거나, 표시 개소가 변경될 수 있다. 이 경우에도, 제2 화상이 선택되면, 제1 화상은, 일정한 사이즈 및 동일한 개소를 나타내는 것이 바람직하다. 제2 화상이 편집되는 동안에 제1 화상이 변경되면, 사용자가 조작하기 어려운 경우가 많다. 따라서, 제2 화상이 이미 선택된 경우에, 스마트폰은, 제1 화상을 고정하여, 제1 화상의 표시가 변경되지 않도록 한다. 이와 같이 하면, 스마트폰은, 사용자의 조작성을 향상시킬 수 있다.

스마트폰은, 제2 화상의 위치를 사용자가 지정할 수 있는 범위를 제한하는 것이 바람직하다. 도 36에 도시한 바와 같이, 스마트폰은, 3D 구체 폴리곤 상의 3차원 좌표(r, θ, φ)를 계산한다. 따라서, 3차원 좌표(r, θ, φ)의 계산이 어려운 위치에 제2 화상이 배치되면, 스마트폰은, 스텝 S2402(도 36) 등을 행하는 것이 어렵게 된다. 여기서, 3차원 좌표(r, θ, φ)의 계산이 어려운 위치는, 반구 화상이 화소를 갖지 않는 위치이다. 구체적으로, 이하에 설명하는 바와 같은 위치이다.

도 38은, 본 발명의 일 실시형태에 따른 스마트폰에 의해서 제2 화상의 배치가 제한되는 범위의 일례를 도시한 도면이다. 예컨대, 도 6a에 도시하는 반구 화상을 예로서 설명한다. 이 예에서는, 제2 화상의 배치가 제한되는 범위(이하, 제한 범위 AR로 지칭함)는, 도시하는 범위이다. 예컨대, 스마트폰은, 제한 범위(AR)가 화면 상에 출력되지 않도록, 제2 화상을 선택하는 화면에 있어서, 표시되는 제1 화상을 제한할 수도 있다. 이와 같이 하면, 사용자는, 제한 범위(AR)에 해당하는 위치에 제2 화상을 배치하는 조작을 행하는 것이 어렵게 된다. 이와 같이 하여, 스마트폰은, 제2 화상의 위치를 사용자가 지정할 수 있는 범위를 제한하여, 제2 화상을 제1 화상에 중첩하기 쉽게 할 수 있다.

또한, 스마트폰은, 제2 화상을 선택하는 화면에 있어서, 도 38에 있어서의 φ= 90° 및 φ=-90°와 같이 극점이 되는 개소의 부근을 표시하는 것을 제한하는 것이 보다 바람직하다. 극점이 표시되면, 사용자가 의도하지 않은 화상이 표시될 수도 있다. 그 때문에, 스마트폰은, 극점이 되는 개소가 화면 상에 출력되지 않도록 하는 것이 보다 바람직하다. 여기서, 스마트폰은, 제2 화상이 극점에 가까운 개소에 배치되는 것을 제한할 수도 있다. 이와 같이 하여, 스마트폰은, 높이 방향, 즉, φ 방향에 있어서 제2 화상을 선택하는 조작을 제한할 수도 있다.

<기능 구성의 예>

도 39는, 본 발명의 일 실시형태에 따른 화상 처리 장치의 기능 구성의 일례를 도시하는 기능 블록도이다. 도시하는 바와 같이, 화상 처리 장치의 예인 스마트폰(2)은, 입력부(2F1), 선택부(2F2), 변환부(2F3), 및 합성부(2F4)를 구비한다.

입력부(2F1)는 제1 화상(Img1)을 입력한다. 예컨대, 제1 화상(Img1)으로서 천구 파노라마 화상을 입력하는 경우에, 입력부(2F1)는, 촬영 장치(1)(도 7) 및 네트워크 I/F(2H6)(도 8)에 의해서 실현된다.

선택부(2F2)는, 제1 화상(Img1)에 더해지는 스탬프 등의 제2 화상(Img2)을 선택한다. 또한, 선택부(2F2)는, 제2 화상(Img2)에 대한 편집 등의 사용자 조작을 접수할 수도 있다. 예컨대, 선택부(2F2)는, 입출력 장치(2H3)(도 8)등에 의해서 실현될 수도 있다.

변환부(2F3)는, 선택부(2F2)에 의해서 선택되는 제2 화상(Img2)을 입력부(2F1)에 의해서 입력되는 제1 화상(Img1)에 기초하여 변환하여 변환 화상(ImgCC)을 생성한다. 예컨대, 변환부(2F3)는, 도 36 및 도 37에 도시한 바와 같이, 제2 화상(Img2)을 변환하여 변환 화상(ImgCC)을 생성한다. 변환부(2F3)는, 예컨대, CPU(2H5)(도 8)에 의해서 실현될 수도 있다.

합성부(2F4)는, 입력부(2F1)에 의해서 입력되는 제1 화상(Img1)과, 변환부(2F3)에 의해서 제2 화상(Img2)으로부터 변환된 변환 화상(ImgCC)을 합성하여 합성 화상(ImgCO)을 생성한다. 예컨대, 합성부(2F4)는, CPU(2H5)에 의해서 실현된다.

먼저, 스마트폰(2)은, 입력부(2F1)에 의해서, 제1 화상(Img1)을 입력한다. 그리고, 제1 화상(Img1)에는, 사용자의 조작에 의해서, 스탬프 또는 텍스트 등의 제2 화상(Img2)이 더해진다. 제2 화상(Img2)은, 선택부(2F2)에 의해서 선택된다. 다음으로, 스마트폰(2)은, 제2 화상(Img2)을 제1 화상(Img1)에 맞춰 변환하여, 변환 화상(ImgCC)을 생성한다.

제1 화상(Img1)은, 천구 화상일 수도 있다. 이 때문에, 제1 화상은 광각 렌즈 또는 어안 렌즈 등의 광학계로 촬영된 화상일 수도 있다. 이러한 제1 화상(Img1)은, 왜곡 수차 등에 기인하여 곡률을 갖는 경우가 많다. 이에 대하여, 제2 화상(Img2)은, 스탬프 등일 수 있기 때문에, 곡률이 작은 경우가 많다. 따라서 단순히 제2 화상(Img2)을 제1 화상(Img1)에 더하면, 제1 화상(Img1)과 제2 화상(Img2)이 상이한 곡률을 갖기 때문에, 2개의 화상이 불연속적이거나, 관계가 부자연스러운 경우가 많다. 즉, 단순히 제2 화상(Img2)을 변환하지 않고 제1 화상(Img1)에 더하면, 위화감이 있는 화상이 얻어지는 경우가 많다.

이와 달리, 변환부(2F3)에 의해서, 제1 화상(Img1)에 기초하여 변환되어 생성되는 변환 화상(ImgCC)은, 변환에 의해서, 제1 화상(Img1)에 가까운 곡률을 갖는다. 그 때문에, 합성부(2F4)에 의해서 제1 화상(Img1)과 변환 화상(ImgCC)을 합성하더라도, 합성 화상(ImgCO)은 위화감이 적은 화상으로 된다. 이와 같이 하여, 화상 처리 장치는, 촬상한 화상에 새롭게 화상이 더해지더라도, 위화감이 적은 화상을 생성할 수 있다.

본 발명에 따른 실시형태는, 프로그램 언어로 기술되는 프로그램에 의해서 실현될 수도 있다. 즉, 본 발명에 따른 실시형태는, 화상 처리 장치 등의 컴퓨터에 화상 처리 방법을 실행시키기 위한 프로그램에 의해서 실현될 수도 있다. 여기서, 프로그램은, 플래시 메모리, SD(등록상표) 카드 또는 광학 디스크 등의 기록 매체에 기억되어 반포될 수 있다. 대안으로, 프로그램은, 인터넷 등의 전기 통신 회선을 통하여 반포될 수 있다.

본 발명의 실시형태에 따른 화상은, 정지 화상으로 한정되지 않는다. 예컨대, 화상은, 동화상일 수도 있다. .

본 발명의 실시형태에 있어서, 처리의 일부 또는 전부는, 필드 프로그래머블 게이트 어레이(FPGA; field programmable gate array) 등의 프로그래머블 디바이스(PD)로 처리되고 실현될 수도 있다. 또한, 발명에 따른 실시형태에 있어서, 처리의 일부 또는 전부는, ASIC(Application Specific Integrated Circuit)로 처리되고 실현될 수도 있다.

이상, 본 발명의 바람직한 실시형태를 상세히 설명했다. 그러나 본 발명은 특정의 실시형태로 한정되지 않는다. 즉, 특허청구의 범위에 기재된 본 발명의 요지의 범위 내에서, 여러 가지의 변형 및 변경이 가능하다.

본 국제 출원은, 2016년 2월24일에 출원된 일본 특허 출원 2016-033642에 기초하여 우선권을 주장하는 것으로, 그 전체 내용은 여기에 참고로 원용된다.

10　　　　　화상 처리 시스템
1　　　　　　촬영 장치
2　　　　　　스마트폰
Img1　　　제1 화상
Img2　　　제2 화상
ImgCC　　변환 화상
ImgCO　　합성 화상
특허문헌　
특허문헌 1: 일본 특허 공개 2014-6880호 공보
특허문헌 2: 일본 특허 공개 2015-18013호 공보
특허문헌 3: 일본 특허 공개 2014-30104호 공보

Claims

제1 화상(Img1) - 상기 제1 화상(Img1)은 광각 렌즈 또는 어안 렌즈에 의해 촬영됨 - 을 입력하도록 구성된 입력부(2F1)와,
상기 제1 화상(Img1)에 중첩될 제2 화상(Img2)을 선택하도록 구성된 선택부(2F2)와,
상기 제2 화상(Img2)을 상기 제1 화상(Img1)에 기초하여 변환하여 변환 화상(ImgCC)을 생성하고, 상기 광각 렌즈 또는 상기 어안 렌즈의 왜곡에 의해 야기된 상기 제1 화상(Img1)의 곡률로 조정되도록 상기 제2 화상(Img2)을 변환하도록 구성된 변환부(2F3)와,
상기 제1 화상(Img1)과 상기 변환 화상(ImgCC)을 합성하여 합성 화상을 생성하도록 구성된 합성부(2F4)
를 구비하는 화상 처리 장치.
제1항에 있어서, 상기 제1 화상(Img1)은, 촬영 장치로 촬상된 화상 또는 복수의 촬영 장치로 촬상된 복수의 화상에 기초하여 생성된 화상인 것인 화상 처리 장치.
제1항에 있어서, 상기 선택부는, 상기 선택에서, 상기 제2 화상(Img2)의 종류, 사이즈, 위치, 각도 또는 이들의 조합을 편집하는 조작을 입력하도록 구성되는 것인 화상 처리 장치.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 화상 처리 장치는 스마트폰인 것인 화상 처리 장치.
제1항에 있어서, 상기 제1 화상은 천구 화상(celestial sphere image)이고, 상기 선택부는, 상기 제2 화상의 위치가 지정되는 범위를 제한하도록 구성되는 것인 화상 처리 장치.
제1항에 있어서, 상기 제1 화상은 천구 화상이고, 상기 선택부는, 상기 제2 화상을 선택하는 화면에서, 상기 제1 화상이 나타내는 범위를 제한하도록 구성되는 것인 화상 처리 장치.
제6항에 있어서, 상기 제1 화상은 천구 화상이고, 상기 범위는, 높이 방향의 범위인 것인 화상 처리 장치.
제1항에 있어서, 상기 제2 화상을 선택하는 화면에서는, 상기 제1 화상이 고정되는 것인 화상 처리 장치.
제1 화상(Img1)을 생성하도록 구성된 광각 렌즈 또는 어안 렌즈를 갖는 촬영 장치(1)와,
상기 촬영 장치(1)와 접속되는 정보 처리 장치(2)
를 포함하는 화상 처리 시스템으로서,
상기 정보 처리 장치(2)는,
상기 제1 화상(Img1)을 입력하도록 구성된 입력부(2F1)와,
상기 제1 화상(Img1)에 중첩될 제2 화상(Img2)을 선택하도록 구성된 선택부(2F2)와,
상기 제2 화상(Img2)을 상기 제1 화상(Img1)에 기초하여 변환하여 변환 화상(ImgCC)을 생성하고, 상기 광각 렌즈 또는 상기 어안 렌즈의 왜곡에 의해 야기된 상기 제1 화상(Img1)의 곡률로 조정되도록 상기 제2 화상(Img2)을 변환하도록 구성된 변환부와,
상기 제1 화상(Img1)과 상기 변환 화상(ImgCC)을 합성하여 합성 화상을 생성하도록 구성된 합성부
를 포함하는 것인 화상 처리 시스템.
컴퓨터로 하여금 화상 처리 방법을 실행시키기 위한, 매체에 저장된 프로그램으로서,
상기 컴퓨터로 하여금,
제1 화상(Img1) - 상기 제1 화상(Img1)은 광각 렌즈 또는 어안 렌즈에 의해 촬영됨 - 을 입력하는 입력 과정과,
상기 제1 화상(Img1)에 중첩될 제2 화상(Img2)을 선택하는 선택 과정과,
상기 제2 화상(Img2)을 상기 제1 화상(Img1)에 기초하여 변환하여 변환 화상(ImgCC)을 생성하고, 상기 광각 렌즈 또는 상기 어안 렌즈의 왜곡에 의해 야기된 상기 제1 화상(Img1)의 곡률로 조정되도록 상기 제2 화상(Img2)을 변환하는 변환 과정과,
상기 제1 화상(Img1)과 상기 변환 화상(ImgCC)을 합성하여 합성 화상을 생성하는 합성 과정을 실행시키기 위한, 매체에 저장된 프로그램.
삭제