KR20180111991A

KR20180111991A - 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템

Info

Publication number: KR20180111991A
Application number: KR1020187026218A
Authority: KR
Inventors: 도시하루 다케마츠; 사치요 데라다; 유키 나카무라
Original assignee: 가부시키가이샤 리코
Priority date: 2016-03-15
Filing date: 2017-01-12
Publication date: 2018-10-11
Also published as: US20180376130A1; EP3432567A4; WO2017159014A1; JPWO2017159014A1; CN108781251A; US10785470B2; EP3432567A1

Abstract

제1 화상 및 제2 화상을 입력하고, 상기 제1 화상을 접착한 3D 모델에 상기 제2 화상을 배치하여 출력 화상을 생성하는 화상 처리 장치가 제공된다.

Description

화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템

본 발명은, 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템에 관한 것이다.

파노라마 화상을 표시하는 기법이 알려져 있다. 또한, 파노라마 화상을 표시하는 사용자의 지시를 접수하기 위한 유저 인터페이스(이하 “UI”라 칭함)가 알려져 있다.

예컨대, 통신 단말로 하여금, 파노라마 화상 내의 소정 영역 화상에 관한 섬네일(thumbnail)을 표시하게 하고, 소정의 섬네일을 선택하는 지시를 접수하게 함으로써, 선택한 섬네일에 관한 소정 영역 화상을 표시하게 하는 기법이 알려져 있다. 이와 같이, 사용자는 원하는 파노라마 화상 또는 파노라마 화상에 있어서 원하는 소정 영역 화상을 용이하게 찾을 수 있다(예컨대, 특허문헌 1 참조).

또한, 컴퓨터로 하여금, 먼저, 화상의 일부 영역에 대응하고 화상의 임의의 시점을 중앙에 포함하는 부분 화상을 화상으로부터 생성하게 하고, 화상과, 복수의 부분 화상의 섬네일을 포함하는 시점 일람 화상(viewpoint list image)을 표시하게 하는 기법이 알려져 있다. 이어서, 컴퓨터는, 부분 화상과, 부분 화상에 대한 사용자의 코멘트를 관련시킴으로써 얻은 코멘트 정보를 서버 장치로부터 수신하고, 시점 일람 화상에 포함된 부분 화상의 섬네일마다 코멘트의 수를 표시한다. 이와 같이 하여, 사용자는 주목도가 높은 화상 내의 시점을 파악할 수 있다(예컨대, 특허문헌 2 참조).

또한, 사용자가 수신 장치를 이용하여 화상 관리 시스템으로부터 화상 데이터를 다운로드 하려고 할 때에, 수신 장치는, 화상 데이터의 대응하는 화상 식별 정보에 기초하여, 부가 정보 관리 시스템으로부터 부가 정보를 다운로드할 수 있다. 이와 같이 하여, 사용자가 화상 데이터를 보정하는 등의 화상 처리를 행할 때에, 메타 데이터를 이용할 수 있다(예컨대, 특허문헌 3 참조).

그러나, 화상을 새로이 부가하여 개선된 연출 효과를 생성할 수 있게 하는 종래의 기법은 없다.

본 발명의 적어도 하나의 실시형태의 목적은, 화상을 새로이 부가하여 개선된 연출 효과를 생성할 수 있는 화상 처리 장치를 제공하는 것이다.

본 발명의 일 실시형태에 따르면, 제1 화상 및 제2 화상을 입력하도록 구성된 입력부와, 상기 제1 화상을 접착한 3D 모델에 상기 제2 화상을 배치하여 출력 화상을 생성하도록 구성된 생성부를 구비하는 화상 처리 장치가 제공된다.

본 발명의 일 양태에 따르면, 화상을 새로이 부가하여 개선된 연출 효과를 생성할 수 있는 화상 처리 장치를 제공할 수 있다.

도 1은 본 발명의 일 실시형태에 따른 화상 처리 시스템의 전체 구성의 일례를 설명하는 다이어그램이다
도 2는 본 발명의 일 실시형태에 따른 촬영 장치의 일례를 설명하는 제1 다이어그램이다.
도 3은 본 발명의 일 실시형태에 따른 촬영 장치의 일례를 설명하는 제2 다이어그램이다.
도 4는 본 발명의 일 실시형태에 따른 촬영 장치의 일례를 설명하는 제3 다이어그램이다.
도 5는 본 발명의 일 실시형태에 따른 촬영 장치에 의한 촬영 조작의 일례를 설명하는 다이어그램이다.
도 6은 본 발명의 일 실시형태에 따른 촬영 장치에 의해서 촬영된 화상의 일례를 설명하는 다이어그램이다.
도 7은 본 발명의 일 실시형태에 따른 촬영 장치의 하드웨어 구성의 일례를 설명하는 블록도이다.
도 8은 본 발명의 일 실시형태에 따른 스마트폰의 하드웨어 구성의 일례를 설명하는 블록도이다.
도 9는 본 발명의 일 실시형태에 따른 화상 처리 시스템에 의한 전체 처리의 일례를 설명하는 시퀀스도이다.
도 10은 본 발명의 일 실시형태에 따른 천구 화상을 생성하는 공정의 일례를 설명하는 제1 다이어그램이다.
도 11은 본 발명의 일 실시형태에 따른 천구 화상을 생성하는 공정의 일례를 설명하는 제2 다이어그램이다.
도 12는 본 발명의 일 실시형태에 따른 천구 화상을 생성하는 공정의 일례를 설명하는 제3 다이어그램이다.
도 13은 본 발명의 일 실시형태에 따른 천구 화상을 생성하는 공정의 일례를 설명하는 제4 다이어그램이다.
도 14는 본 발명의 일 실시형태에 따른 천구 파노라마 화상의 일례를 설명하는 다이어그램이다.
도 15는 본 발명의 일 실시형태에 따른 초기 화상의 일례를 설명하기 위한 제1 다이어그램이다.
도 16은 본 발명의 일 실시형태에 따른 초기 화상의 일례를 설명하기 위한 제2 다이어그램이다.
도 17은 본 발명의 일 실시형태에 따른 초기 화상의 일례를 설명하기 위한 제3 다이어그램이다.
도 18은 본 발명의 일 실시형태에 따른 초기 화상의 일례를 설명하기 위한 제4 다이어그램이다.
도 19는 본 발명의 일 실시형태에 따른 다른 줌 처리(zooming process)의 일례를 설명하기 위한 다이어그램이다.
도 20은 본 발명의 일 실시형태에 따른 다른 줌 처리의 일례를 설명하기 위한 표이다.
도 21은 본 발명의 일 실시형태에 따른 다른 줌 처리의 "범위"의 일례를 설명하기 위한 제1 다이어그램이다.
도 22는 본 발명의 일 실시형태에 따른 다른 줌 처리의 "범위"의 일례를 설명하기 위한 제2 다이어그램이다.
도 23은 본 발명의 일 실시형태에 따른 다른 줌 처리의 "범위"의 일례를 설명하기 위한 제3 다이어그램이다.
도 24는 본 발명의 일 실시형태에 따른 다른 줌 처리의 "범위"의 일례를 설명하기 위한 제4 다이어그램이다.
도 25는 본 발명의 일 실시형태에 따른 다른 줌 처리의 "범위"의 일례를 설명하기 위한 제5 다이어그램이다.
도 26은 본 발명의 일 실시형태에 따른 제1 화상의 일례를 도시한 다이어그램이다.
도 27은 본 발명의 일 실시형태에 따른 제2 화상의 일례를 도시한 다이어그램이다.
도 28은 본 발명의 일 실시형태에 따른 출력 화상의 일례를 도시한 다이어그램이다.
도 29는 본 발명의 일 실시형태에 따른 출력 화상에 있어서의 제2 화상의 이동의 일례를 도시한 다이어그램이다.
도 30은 본 발명의 일 실시형태에 따른 내려다보는 시점(looking-down viewpoint)에 있어서의 출력 화상의 일례를 도시한 다이어그램이다.
도 31은 본 발명의 일 실시형태에 따른 내려다보는 시점의 출력 화상에 있어서의 제2 화상의 이동의 일례를 도시한 다이어그램이다.
도 32는 본 발명의 일 실시형태에 따른 올려다보는 시점(looking-up viewpoint)에 있어서의 출력 화상의 일례를 도시한 다이어그램이다.
도 33은 본 발명의 일 실시형태에 따른 올려다보는 시점의 출력 화상에 있어서의 제2 화상의 이동의 일례를 도시한 다이어그램이다.
도 34는 본 발명의 일 실시형태에 따른 줌 아웃된 출력 화상의 일례를 도시한 다이어그램이다.
도 35는 본 발명의 일 실시형태에 따른 줌 인된 출력 화상의 일례를 도시한 다이어그램이다.
도 36은 본 발명의 일 실시형태에 따른 화상 처리 장치의 기능 구성의 일례를 도시하는 기능 블록도이다.

이하, 첨부 도면을 참조하여 본 발명의 실시의 형태에 관해서 설명한다.

<화상 처리 시스템의 전체 구성의 예>

도 1은, 본 발명의 일 실시형태에 따른 화상 처리 시스템(10)의 전체 구성의 일례를 설명하는 다이어그램이다. 도시하는 예에서, 화상 처리 시스템(10)은, 촬영 장치(1)와, 화상 처리 장치의 예인 스마트폰(2)을 구비한다.

촬영 장치(1)는, 복수의 광학계를 구비하는 카메라 등이다. 예컨대, 촬영 장치(1)는, 복수의 광학계를 이용하여 촬영한 화상에 기초하여, 천구 화상 등과 같이 넓은 시야를 포함하는 화상을 생성할 수 있다. 다음으로, 촬영 장치(1)는, 천구 화상 등을 스마트폰(2)에 출력한다. 이어서, 스마트폰(2)은, 천구 화상 등의 입력 화상을 화상 처리한다. 이하에서는, 입력 화상, 즉, 제1 화상이 천구 화상인 예를 설명한다. 이하의 설명에서는, 파노라마 화상은 천구 화상을 포함한다.

또한, 이 예에서는, 촬영 장치(1) 및 스마트폰(2)은, 유선 또는 무선으로 접속될 수 있다. 예컨대, 스마트폰(2)은, 촬영 장치(1)가 출력하는 천구 화상을 나타내는 데이터를 촬영 장치(1)로부터 다운로드할 수 있다. 촬영 장치(1) 및 스마트폰(2)은, 네트워크 등을 통해 접속될 수도 있다.

여기서, 화상 처리 시스템(10)의 전체 구성은, 도시된 구성으로 한정되지 않는다. 예컨대, 촬영 장치(1) 및 스마트폰(2)은 일체의 장치일 수도 있다. 예컨대, 스마트폰(2) 이외에, 퍼스널 컴퓨터나 휴대 전화 등의 표시 장치가 화상 처리 장치로서 사용될 수도 있다. 화상 처리 시스템(10)은, 촬영 장치(1) 및 스마트폰(2) 이외에, 정보 처리 장치 등을 더 포함할 수도 있다.

<촬영 장치의 예>

촬영 장치(1)(도 1)는, 예컨대, 이하에 설명하는 것과 같은 장치일 수 있다.

도 2 내지 도 4는, 본 발명의 일 실시형태에 따른 촬영 장치(1)의 일례를 설명하는 다이어그램이다. 도 2 내지 도 4는, 촬영 장치(1)의 외관의 일례를 도시한 도면이다. 구체적으로, 도 2는, 촬영 장치(1)의 정면도의 일례이다. 도 3은, 촬영 장치(1)의 좌측면도의 일례이다. 또한, 도 4는, 촬영 장치(1)의 평면도의 일례이다.

촬영 장치(1)는, 전면 촬영 소자(1H1)와, 후면 촬영 소자(1H2)와, 스위치(1H3)를 갖는다. 이 예에서는, 전면 촬영 소자(1H1) 및 후면 촬영 소자(1H2) 등의 광학계가 촬영에 이용된다. 촬영 장치(1)는, 각각의 광학계를 이용하여 촬영된 화상에 기초하여, 천구 화상을 생성한다. 천구 화상의 생성 방법의 상세는 후술한다.

스위치(1H3)는, 소위 셔터 릴리스 버튼이며, 사용자가 촬영 장치(1)에 대하여 촬영을 지시하기 위한 입력 장치의 예이다.

예컨대, 도 2에 도시한 바와 같이, 사용자가 촬영 장치(1)를 손으로 잡고, 스위치(1H3)를 누르면, 촬영 장치(1)는 촬영 동작을 행할 수 있다. 구체적으로, 촬영 장치(1)는, 예컨대 후술하는 바와 같이, 촬영에 이용될 수 있다.

도 5는, 본 발명의 일 실시형태에 따른 촬영 장치(1)에 의한 촬영의 일례를 설명하는 다이어그램이다. 사용자는, 촬영 장치(1)를 손으로 잡고, 도 3에 도시하는 스위치(1H3)를 눌러 촬영을 한다. 이와 같이 하여, 촬영 장치(1)는, 전면 촬영 소자(1H1)(도 2) 및 후면 촬영 소자(1H2)(도 2)를 이용하여 촬영 장치(1)의 모든 방향에서 촬영할 수 있다. 이와 같이 하여 촬영된 화상은, 예컨대, 도 6에 도시하는 바와 같은 화상일 수 있다.

도 6은, 본 발명의 일 실시형태에 따른 촬영 장치(1)에 의해서 촬영된 화상의 일례를 설명하는 다이어그램이다. 구체적으로, 도 6a는, 전면 촬영 소자(1H1)(도 2)에 의해서 촬영되는 화상의 일례이다. 다른 한편으로, 도 6b는, 후면 촬영 소자(1H2)(도 2)에 의해서 촬영되는 화상의 일례이다. 도 6c는, 전면 촬영 소자(1H1)에 의해서 촬영되는 화상, 즉, 도 6a에 도시하는 화상과, 후면 촬영 소자(1H2)에 의해서 촬영되는 화상, 즉, 도 6b에 도시하는 화상에 기초하여 생성되는 화상의 일례이다.

도 6a에 도시한 바와 같이, 전면 촬영 소자(1H1)에 의해서 촬영되는 화상은, 촬영 장치(1)의 전방의 넓은 범위를 촬영 범위로 하고 180°의 화각을 갖는 화상이다. 또한, 도시하는 바와 같이, 전면 촬영 소자(1H1)가 넓은 범위를 촬영하기 위한 광학계, 예컨대, 어안 렌즈를 이용하는 경우에, 전면 촬영 소자(1H1)에 의해서 촬영되는 화상은 왜곡 수차를 가질 수도 있다. 즉, 도 6a에 도시하는 화상은, 촬영 장치(1)의 일측의 넓은 범위를 나타내고, 또한, 왜곡 수차를 갖는 소위 반구 화상(이하 "반구 화상"이라 칭함)이다.

각 광학계의 화각은, 180° 내지 200°의 범위가 바람직하다. 특히, 화각이 180°를 초과하면, 도 6a에 도시하는 반구 화상과, 도 6b에 도시하는 반구 화상을 합성할 때 중첩하는 화상 영역이 있을 수 있고, 이에 의해 천구 화상을 생성하기 쉽다.

다른 한편으로, 도 6b에 도시한 바와 같이, 후면 촬영 소자(1H2)에 의해서 촬영되는 화상은, 촬영 장치(1)의 후방측의 넓은 범위를 촬영 범위로 하고, 예컨대 180°의 화각을 갖는 화상이다. 이와 같이, 후면 촬영 소자(1H2)에 의해서 촬영되는 화상은, 도 6a의 화상과 유사한 반구 화상이다.

다음으로, 촬영 장치(1)는, 왜곡 보정 처리 및 화상 합성 처리 등의 화상 처리를 실행하여, 도 6a에 도시하는 전방측의 반구 화상과, 도 6b에 도시하는 후방측의 반구 화상에 기초하여, 도 6c에 도시하는 화상을 생성한다. 즉, 도 6c에 도시하는 화상은, 예컨대 소위 메르카토 도법(Mercator projection method) 또는 정거 원통 도법(equidistance cylindrical projection method)의해 생성되는 화상, 즉 천구 화상의 일례이다.

여기서, 제1 화상은, 촬영 장치(1)에 의해서 생성되는 화상으로 한정되지 않는다. 예컨대, 제1 화상은, 다른 카메라로 촬영되는 화상일 수도 있고, 다른 카메라로 촬영되는 화상에 기초하여 생성된 화상일 수도 있다. 제1 화상은, 예컨대, 소위 전방향 카메라 또는 소위 광각 렌즈의 카메라를 이용하여 넓은 시야각의 범위를 촬영한 화상인 것이 바람직하다.

이하의 설명에서는, 제1 화상이 천구 화상인 예를 설명하고 있다. 그러나 제1 화상은 천구 화상으로 한정되지 않는다. 예컨대, 제1 화상은, 콤팩트 카메라, 일안 레플렉스 카메라 또는 스마트폰 등으로 촬영된 화상일 수도 있다. 화상은, 예컨대 수평 또는 수직으로 신장하는 파노라마 화상일 수도 있다.

또한, 본 예에서는, 스위치(1H3)를 누르는 사용자의 조작에 기초하여 셔터 릴리스 버튼이 제어되고 있지만, 셔터 릴리스 버튼을 예컨대 스마트폰(2) 등의 표시 장치로부터 원격 제어될 수도 있다.

<촬영 장치의 하드웨어 구성의 예>

도 7은, 본 발명의 일 실시형태에 따른 촬영 장치(1)의 하드웨어 구성의 일례를 설명하는 블록도이다. 도 7에서, 촬영 장치(1)는, 촬영 유닛(1H4)과, 화상 처리 유닛(1H7)과, 촬영 제어 유닛(1H8)과, CPU(Central Processing Unit; 1H9)와, ROM(Read-Only Memory; 1H10)를 갖는다. 또한, 촬영 장치(1)는, SRAM(Static Random Access Memory; 1H11)와, DRAM(Dynamic Random Access Memory; 1H12)와, 조작 I/F(Interface; 1H13)를 갖는다. 또한, 촬영 장치(1)는, 네트워크 I/F(1H14)와, 무선 I/F(1H15)과, 안테나(1H16)를 갖는다. 촬영 장치(1)의 하드웨어 요소는, 버스(1H17)를 매개로 서로 접속되어, 버스(1H17)를 통해 데이터 또는 신호를 입/출력할 수 있다.

촬영 유닛(1H4)은, 전면 촬영 소자(1H1)와 후면 촬영 소자(1H2)를 갖는다. 촬영 유닛(1H4)은, 또한, 전면 촬영 소자(1H1)용의 렌즈(1H5) 및 후면 촬영 소자(1H2)용의 렌즈(1H6)가 설치된다.

전면 촬영 소자(1H1) 및 후면 촬영 소자(1H2)는 소위 카메라 유닛이다. 구체적으로는, 전면 촬영 소자(1H1) 및 후면 촬영 소자(1H2)는, CMOS(Complementary Metal Oxide Semiconductor) 또는 CCD(Charge Coupled Device) 등의 광학 소자를 각각 갖는다. 전면 촬영 소자(1H1)는, 렌즈(1H5)를 통해서 입사하는 광을 변환하여, 반구 화상 등을 나타내는 화상 데이터를 생성한다. 마찬가지로, 후면 촬영 소자(1H2)는, 렌즈(1H6)를 통해서 입사하는 광을 변환하여, 반구 화상 등을 나타내는 화상 데이터를 생성한다.

다음으로, 촬영 유닛(1H4)은, 전면 촬영 소자(1H1) 및 후면 촬영 소자(1H2)가 생성하는 각각의 화상 데이터를 화상 처리 유닛(1H7)에 출력한다. 예컨대, 출력 화상 데이터는, 도 6a에 도시하는 전방의 반구 화상 및 도 6b에 도시하는 후방의 반구 화상에 대응할 수 있다.

고화질의 촬영을 하기 위해서, 전면 촬영 소자(1H1) 및 후면 촬영 소자(1H2)는, 렌즈 이외에, 조리개 또는 로우패스 필터 등의 다른 광학 요소를 더 포함할 수도 있다. 또한, 고화질의 촬영을 하기 위해서, 전면 촬영 소자(1H1) 및 후면 촬영 소자(1H2)는, 소위 결함 화소 보정 또는 소위 손떨림 보정을 행할 수도 있다.

화상 처리 유닛(1H7)은, 예컨대 촬영 유닛(1H4)으로부터 입력되는 화상 데이터에 기초하여, 도 6c에 도시하는 천구 화상을 생성한다. 천구 화상을 생성하는 공정을 이하에서 상세하게 설명한다.

촬영 제어 유닛(1H8)은, 촬영 장치(1)의 하드웨어 요소를 제어하는 제어 장치이다.

CPU(1H9)는, 각 처리를 실현하기 위한 연산 및 데이터를 가공하는 연산 장치이고, 촬영 장치(1)의 하드웨어 요소를 제어하는 제어 장치이다. 예컨대, CPU(1H9)는, 미리 인스톨되는 프로그램에 기초하여, 각 처리를 실행할 수 있다.

ROM(1H10), SRAM(1H11) 및 DRAM(1H12)은, 기억 장치의 예이다. 구체적으로는, ROM(1H10)은, 예컨대, CPU(1H9)에 각종 처리를 실행시키기 위한 프로그램, 데이터 또는 파라미터 등을 기억할 수 있다. SRAM(1H11) 및 DRAM(1H12)은, 예컨대, CPU(1H9)가 다른 프로그램에 기초하여 처리를 실행하는 데 이용되는 프로그램, 프로그램이 사용하는 데이터, 프로그램이 생성하는 데이터를 기억한다. 촬영 장치(1)는, 하드 디스크 등의 보조 기억 장치를 더 포함할 수도 있다.

조작 I/F(1H13)는, 스위치(1H3) 등의 입력 장치에 접속되고, 촬영 장치(1)에 대한 사용자의 조작을 입력하는 처리를 위한 인터페이스이다. 예컨대, 조작 I/F(1H13)는, 스위치 등의 입력 장치, 입력 장치를 접속하기 위한 커넥터, 케이블, 입력 장치로부터 입력되는 신호를 처리하는 회로, 드라이버 및 제어 장치이다. 조작 I/F(1H13)는, 디스플레이 등의 출력 장치를 더 포함할 수도 있다. 조작 I/F(1H13)는, 예컨대 입력 장치와 출력 장치가 일체로 된 소위 터치 패널일 수도 있다. 조작 I/F(1H13)는, USB(Universal Serial Bus) 등의 인터페이스를 더 포함하여, 플래시 메모리 등의 기록 매체를 촬영 장치(1)에 접속할 수도 있다. 그 결과, 조작 I/F(1H13)는, 촬영 장치(1)로부터 기록 매체에 데이터를 입력할 수도 있고, 기록 매체로부터 촬영 장치(1)로 데이터를 출력할 수도 있다.

스위치(1H3)는, 셔터에 관한 조작 이외의 조작을 행하기 위한 전원 스위치 및 파라미터 입력 스위치일 수도 있다.

네트워크 I/F(1H14), 무선 I/F(1H15) 및 안테나(1H16)는, 무선 또는 유선으로, 촬영 장치(1)를 외부 장치에 접속한다. 예컨대, 촬영 장치(1)는 네트워크 I/F(1H14)에 의해서 네트워크에 접속하고, 스마트폰(2)(도 1)에 데이터를 송신할 수 있다. 여기서, 네트워크 I/F(1H14), 무선 I/F(1H15) 및 안테나(1H16)는 각각, USB 등의 유선으로 다른 외부 장치와 접속하는 하드웨어일 수도 있다. 즉, 네트워크 I/F(1H14), 무선 I/F(1H15) 및 안테나(1H16)는 각각, 커넥터 및 케이블 등일 수도 있다.

버스(1H17)는, 촬영 장치(1)의 하드웨어 구성들 사이에서 데이터 등을 입출력하는 데 이용된다. 즉, 버스(1H17)는 소위 내부 버스이다. 구체적으로, 버스(1H17)는 PCI Express(Peripheral Component Interconnect Bus Express)일 수도 있다.

촬영 장치(1)는, 2개의 촬영 소자를 포함하는 구성으로 한정되지 않는다. 예컨대, 촬영 장치(1)는, 3개 이상의 촬영 소자를 가질 수도 있다. 또한, 촬영 장치(1)는, 예컨대 하나의 촬영 소자의 촬영 각도를 변경하여 복수의 부분 화상을 촬영하도록 구성될 수도 있다. 또한, 촬영 장치(1)는, 어안 렌즈를 이용하는 광학계에 한정되지 않는다. 예컨대, 광각 렌즈를 이용할 수도 있다.

대안으로, 촬영 장치(1)가 실행하는 하나 이상의 처리는, 다른 장치에 의해 실행될 수도 있다. 예컨대, 촬영 장치(1)가 데이터 및 파라미터 등을 송신하고, 스마트폰(2) 또는 네트워크에 접속되는 다른 정보 처리 장치에 의해 촬영 장치(1)가 실행하는 처리의 일부 또는 전부를 실행할 수도 있다. 이와 같이 하여, 화상 처리 시스템(10)은, 복수의 정보 처리 장치를 구비하고, 처리를 분산식으로, 용장식으로 또는 병렬로 실행할 수도 있다.

<정보 처리 장치의 하드웨어 구성의 예>

도 8은, 본 발명의 일 실시형태에 따른 스마트폰(2)의 하드웨어 구성의 일례를 설명하는 블록도이다. 도 8에 있어서, 정보 처리 장치의 일례인 스마트폰(2)은, 보조 기억 장치(2H1)와, 주 기억 장치(2H2)와, 입출력 장치(2H3)와, 상태 센서(2H4)와, CPU(2H5)와, 네트워크 I/F(2H6)를 갖는다. 스마트폰(2)의 하드웨어 요소는 버스(2H7)에 의해 서로 접속되고, 버스(2H7)를 통해 하드웨어 요소에 대해 데이터 및 신호를 입출력한다.

보조 기억 장치(2H1)는, 데이터, 파라미터 및 프로그램 등을 기억한다. 보다 구체적으로, 보조 기억 장치(2H1)는, 하드 디스크, 플래시 SSD(Solid State Drive) 등일 수 있다. 보조 기억 장치(2H1)에 기억된 데이터의 일부 또는 전부는, 예컨대 네트워크 I/F(2H6)를 매개로 스마트폰(2)에 의해 접속되는 파일 서버에 용장식으로(redundantly) 또는 대신해서(alternatively) 기억할 수도 있다.

주 기억 장치(2H2)는, 처리를 실행하기 위한 프로그램이 사용하는 기억 영역을 제공하는 소위 메모리(Memory)이다. 즉, 주 기억 장치(2H2)는, 데이터, 프로그램 및 파라미터 등을 기억한다. 구체적으로는, 주 기억 장치(2H2)는, SRAM(Static Random Access Memory) 또는 DRAM 등일 수 있다. 주 기억 장치(2H2)는, 예컨대 기억 및 추출을 하는 제어 장치를 더 포함할 수도 있다.

입출력 장치(2H3)는, 화상 또는 처리 결과 등을 표시하는 출력 장치이고, 사용자의 조작을 입력하는 입력 장치이다. 구체적으로, 입출력 장치(2H3)는, 소위 터치 패널, 주변 회로 및 드라이버 등을 포함할 수 있다. 예컨대, 입출력 장치(2H3)는, 소정의 GUI(Graphical User Interface) 및 화상 처리된 화상을 사용자에게 표시할 수 있다. 또한, 사용자가 표시되는 GUI 또는 화상을 조작하면, 입출력 장치(2H3)는, 사용자에 의한 조작을 입력할 수 있다.

상태 센서(2H4)는, 스마트폰(2)의 상태를 검출하는 센서이다. 보다 구체적으로, 상태 센서(2H4)는, 자이로(gyro) 센서 또는 각도 센서 등일 수 있다. 예컨대, 상태 센서(2H4)는, 스마트폰(2)의 변 중에서 한 변이 수평에 대하여 소정의 각도 이상인가 아닌가를 판정한다. 즉, 상태 센서(2H4)는, 스마트폰(2)이 세로 방향의 자세 상태로 있는지 가로 방향의 자세 상태로 있는지를 검출할 수 있다.

CPU(2H5)는, 각종 처리를 실현하기 위한 연산 및 데이터를 가공하는 연산 장치이고, 스마트폰(2)의 하드웨어 요소를 제어하는 제어 장치이다. 예컨대 처리를 병렬식으로, 용장식으로 또는 분산식으로 실행하기 위해서, CPU(2H5)는, 복수의 CPU, 디바이스 또는 복수의 코어를 포함할 수도 있다. 또한, 스마트폰(2)은, 예컨대 화상 처리를 실행하기 위해서, 내부 또는 외부 GPU(Graphics Processing Unit) 등을 구비할 수도 있다.

네트워크 I/F(2H6)는, 무선 또는 유선으로, 네트워크를 통해 외부 장치에 접속한다. 구체적으로, 네트워크 I/F(2H6)는, 데이터 등을 입출력하기 위한 안테나, 주변 회로 및 드라이버 등을 포함할 수 있다. 예컨대, 스마트폰(2)은, CPU(2H5) 및 네트워크 I/F(2H6)를 이용하여, 촬영 장치(1)(도 1)로부터 화상 데이터를 입력한다. 또한, 스마트폰(2)은, 예컨대 CPU(2H5) 및 네트워크 I/F(2H6)를 이용하여, 촬영 장치(1)에 데이터 등을 출력할 수 있다.

정보 처리 장치는, 스마트폰에 한정되지 않는다. 즉, 정보 처리 장치는, 스마트폰 이외의 컴퓨터일 수도 있다. 예컨대, 정보 처리 장치는, PC(Personal Computer), PDA(Personal Digital Assistance), 태블릿, 휴대 전화기 또는 이들의 조합일 수도 있다.

<화상 처리 시스템에 의한 전체 처리의 예>

도 9는, 본 발명의 일 실시형태에 따른 화상 처리 시스템(10)에 의해 실행되는 전체 처리의 일례를 설명하는 시퀀스도이다. 예컨대, 화상 처리 시스템(10)은, 이하의 처리를 행하여, 합성 화상을 생성할 수 있다.

스텝 S0701에서, 촬영 장치(1)는, 천구 화상을 생성하는 처리를 한다. 천구 화상은, 예컨대, 도 10 내지 도 13에 도시한 바와 같은 처리에 의해서 촬영 장치(1)에 의해 미리 촬영되는 도 6a 및 도 6b에 도시하는 반구 화상으로부터 생성될 수 있다.

도 10 내지 도 13은, 본 발명의 일 실시형태에 따른 천구 화상을 생성하는 공정의 일례를 설명하는 다이어그램이다. 도 10은, 도 6a에 도시하는 반구 화상을 광축에 대하여 수평 방향 및 수직 방향의 입사각이 등위인 개소를 선으로 연결한 것을 나타내는 다이어그램이다. 이하의 설명에서는, 광축에 대하여 수평 방향의 입사각을 "θ"로 나타내고, 광축에 대하여 수직 방향의 입사각을 "φ"로 나타낸다. 도 10과 마찬가지로, 도 11은, 도 6b에 도시하는 반구 화상을 광축에 대하여 수평 방향 및 수직 방향의 입사각이 등위인 개소를 선으로 연결한 것을 나타내는 다이어그램이다.

도 12는, 메르카토 도법을 이용하여 처리한 화상의 일례를 설명하는 다이어그램이다. 구체적으로, 도 12의 화상은, 예컨대, 도 10 및 도 11에 도시하는 화상을 미리 생성한 LUT(Look Up Table) 등에 의해 대응시키고, 정거 원통 도법을 이용하여 처리함으로써 생성되는 화상에 대응한다. 도 12에 도시하는 상태로 처리된 후, 도 10 및 도 11에 나타내는 처리 화상을 도 13에 도시한 바와 같이 촬영 장치(1)에 의해 합성함으로써, 천구 화상이 생성된다. 이와 같이, 합성 처리는, 예컨대, 도 12에 도시하는 상태의 2개의 반구 화상을 이용하여, 천구 화상을 생성하는 처리를 포함할 수 있다. 여기서, 화상 합성 처리는, 도 13에 도시한 바와 같이, 도 12에 도시하는 상태의 반구 화상을 단순히 연결하는 처리에 한정되지 않는다. 예컨대, 천구 화상의 수평 방향 중심이 θ=180°가 아닌 경우에는, 화상 합성 처리에서, 촬영 장치는, 우선, 도 6a에 도시하는 반구 화상을 전처리하고, 전처리된 화상을 천구 화상의 중심에 배치한다. 다음으로, 촬영 장치는, 도 6b에 도시하는 반구 화상을 전처리하여 얻은 화상을, 생성하는 천구 화상의 좌우 부분에 배치할 수 있는 크기로 분할하고, 반구 화상들을 합성하여 도 6c에 도시하는 천구 화상을 생성할 수도 있다.

천구 화상을 생성하는 처리는, 정거 원통 도법을 이용하는 화상 처리로 한정되지 않는다. 예컨대, 도 11에 도시하는 반구 화상의 φ 방향에 있어서의 화소들의 배열과, 도 10에 도시하는 반구 화상의 φ 방향에 있어서의 화소들의 배열이 그들의 상하가 서로에 대해 반대로 되도록 반대 방향일 수 있고, θ 방향에 있어서 반구 화상의 화소들의 배열이 그들의 좌우가 반대로 되도록 반대 방향일 수도 있다. 이와 같이 반구 화상들이 서로에 대하여 반대로 되어 있으면, 촬영 장치는, 도 11에 도시하는 반구 화상의 화소 배열이 도 10에 도시하는 φ 방향 및 θ 방향의 반구 화상의 화소들의 배열과 정렬되도록 하기 위해서, 도 11에 도시하는 반구 화상을 180° 만큼 회전(롤링)시키는 전처리를 실행할 수도 있다.

또한, 천구 화상을 생성하는 처리는, 예컨대 도 10 및 도 11에 도시하는 반구 화상들의 왜곡 수차를 보정하는 왜곡 보정 처리를 포함할 수도 있다. 또한, 천구 화상을 생성하는 처리는, 예컨대, 셰이딩 보정, 감마 보정, 화이트 밸런스, 손떨림 보정(image stabilization), 광학 블랙 보정 처리(optical black correction processing), 결함 화소 보정 처리, 에지 강조 처리 및 선형 보정 처리 등을 포함할 수도 있다. 여기서, 예컨대, 하나의 반구 화상의 촬영 범위와 다른 반구 화상의 촬영 범위가 중복되는 경우에, 합성 처리는, 중복되는 촬영 범위로 촬영되는 피사체의 화소를 이용하여 보정을 행하여, 정밀도 좋게 반구 화상을 합성할 수 있다.

전술한 바와 같이 천구 화상을 생성하는 처리를 실행함으로써, 촬영 장치(1)는, 촬영되는 복수의 반구 화상으로부터 천구 화상을 생성할 수 있다. 천구 화상은, 다른 처리에 의해서 생성될 수도 있다. 이하에서는, 도시하는 방법으로 생성되는 천구 화상을 이용하는 예를 설명한다.

다시 도 9를 참조하면, 스텝 S0702에서, 스마트폰(2)은, 스텝 S0701에서 생성되는 천구 화상을 네트워크 등을 통해 취득한다. 이하에서는, 스마트폰(2)이 도 13에 도시하는 천구 화상을 취득하는 경우의 예를 설명한다.

스텝 S0703에서, 스마트폰(2)은, 스텝 S0702에서 취득되는 천구 화상을 이용하여 천구 파노라마 화상을 생성한다. 천구 파노라마 화상은, 예컨대 도 14에 도시된 바와 같은 화상일 수 있다.

도 14는, 본 발명의 일 실시형태에 따른 천구 파노라마 화상의 일례를 설명하는 다이어그램이다. 예컨대, 도 9의 스텝 S0703에서, 스마트폰(2)은, 취득한 도 13의 천구 화상으로부터 도 14의 천구 파노라마 화상을 생성한다. 천구 파노라마 화상은, 천구 화상을 구 형상(3D 모델)으로 붙인 화상이다.

천구 파노라마 화상을 생성하는 처리는, 예컨대, OpenGL ES(OpenGL(등록상표) for Embedded Systems) 등과 같은 API(Application Programming Interface)에 의해 실현될 수 있다. 구체적으로는, 예컨대, 천구 파노라마 화상은, 우선, 천구 화상의 화소를 삼각형으로 분할하고, 이어서 3각형들의 정점 P(이하 "정점(P)" 또는 "정점들"이라 칭함)를 서로 연결하여, 폴리곤으로서 접착함으로써 생성된다.

다시 도 9를 참조하면, 스텝 S0704에서, 스마트폰(2)은, 화상을 선택하는 사용자의 조작을 입력한다. 구체적으로, 우선, 스텝 S0704에서, 스마트폰(2)은, 예컨대, 스텝 S0703에서 생성되는 천구 파노라마 화상의 축소 화상인 섬네일 화상(thumbnail image)을 표시한다. 즉, 복수의 천구 파노라마 화상이 스마트폰(2)에 기억되어 있는 경우에, 스마트폰(2)은, 사용자가 복수의 천구 파노라마 화상으로부터 이후에 처리되는 천구 파노라마 화상을 빠르게 선택할 수 있게 하도록 저장된 천구 파노라마 화상의 섬네일 화상의 일람(list)을 출력한다. 그리고, 스텝 S0704에서, 스마트폰(2)은, 예컨대, 섬네일 화상의 일람으로부터 하나의 섬네일 화상을 선택하는 사용자의 조작을 입력한다. 이하에서, 스텝 S0704에서 선택된 천구 파노라마 화상이 처리 대상으로 되는 처리를 행한다.

스텝 S0705에서, 스마트폰(2)은, 스텝 S0704에서 선택되는 천구 파노라마 화상에 기초하여 초기 화상을 생성한다. 초기 화상은, 예컨대, 도 15 내지 도 18에 도시된 바와 같은 화상일 수 있다.

도 15 내지 도 18은, 본 발명의 일 실시형태에 따른 초기 화상의 일례를 설명하기 위한 다이어그램이다. 구체적으로, 도 15는, 본 발명의 일 실시형태에 따른 초기 화상의 일례를 설명하기 위한 3차원 좌표계를 설명하는 다이어그램이다. 이하에서는, 도 15에 도시한 바와 같은 XYZ 축을 갖는 3차원 좌표계를 참고로 초기 화상을 설명한다. 이 예에서는, 스마트폰(2)이 원점의 위치에 가상 카메라(3)를 설치하고, 가상 카메라(3)의 시점으로부터 각 화상을 생성하는 것으로 한다. 예컨대, 도 15에 도시하는 좌표계에서, 천구 파노라마 화상은 입체구(CS)로서 표현될 수 있다. 여기서, 가상 카메라(3)는, 가상 카메라(3)의 설치 위치, 즉 원점으로부터 입체구(CS)로 표시되는 천구 파노라마 화상을 보는 사용자의 시점에 해당한다.

도 16은, 본 발명의 일 실시형태에 따른 가상 카메라(3)에 의한 촬영한 소정 영역의 일례를 설명하기 위한 다이어그램이다. 구체적으로, 도 16은, 도 15의 화상을 삼면도로 도시한다. 즉, 도 15 및 도 16은, 동일한 상태를 도시한다. 따라서, 도 16에서는, 가상 카메라(3)가 원점에 설치되는 것으로 한다.

도 17은, 본 발명의 일 실시형태에 따른 가상 카메라(3)에 의해 촬영한 소정 영역의 일례를 나타내는 투영도이다. 도 17에서, 소정 영역(T)은, 가상 카메라(3)의 시야각을 입체구(CS)에 투영하여 얻은 영역이다. 이하에서는, 스마트폰(2)이 소정 영역(T)의 화상을 생성하는 예를 설명한다. 즉, 스마트폰(2)은, 소정 영역(T)에 기초하여 화상을 생성한다. 소정 영역(T)은, 예컨대, 이하와 같이 결정될 수 있다.

도 18은, 본 발명의 일 실시형태에 따른 가상 카메라(3)에 의해 촬영한 소정 영역(T)을 결정하기 위한 정보의 일례를 설명하기 위한 다이어그램이다. 이 예에서, 소정 영역(T)은, 예컨대, 소정 영역 정보(x, y, α)에 의해서 결정된다. 구체적으로, 도 18에 도시한 바와 같이, 시야각(α)은, 가상 카메라(3)의 화각을 나타내는 각도이다. 시야각(α)에 의해서 표시되는 소정 영역(T)에서의 대각선 화각(2L)에 대하여 소정 영역(T)의 중심점(CP)의 좌표는, 소정 영역 정보의 (x, y)로 표시된다.

가상 카메라(3)로부터 중심점(CP)까지의 거리를 하기 식 (1)로 표시한다.

[식 1]

초기 화상은, 미리 설정된 소위 초기 설정에 기초하여 결정되는 소정 영역(T)에 기초하여 생성되는 화상이다. 예컨대, 초기 설정은, 사용자에 의해서 (x, y, α)=(0,0,34) 등으로 설정된다.

화각을 바꾸는 조작, 즉 소위 줌 조작이 입력되면, 스마트폰(2)은, 이하와 같이 줌 처리를 실행한다. 줌 처리는, 사용자가 입력하는 조작에 기초하여, 소정의 영역을 확대 또는 축소한 화상을 생성하는 처리이다. 이하에서, 줌 조작에 의해서 입력되는 조작량을 "변화량(dz)"이라 한다. 우선, 줌 조작이 입력되면, 스마트폰(2)은, 사용자가 입력하는 조작에 기초하여 변화량(dz)을 취득한다. 그리고, 스마트폰(2)은, 변화량(dz)에 기초하여, 하기 식 (2)를 이용하여 시야각(α)을 계산한다.

[식 2]　

상기 식 (2)에 있어서의 "α"는, 도 18에 도시하는 가상 카메라(3)의 시야각(α)을 나타낸다. 상기 식 (2)에 있어서의 "m"은, 줌량을 조정하기 위한 계수를 나타내며, 사용자에 의해서 미리 설정되는 값이다. 또한, 상기 식 (2)에 있어서의 "α0"는, 초기 상태에서의 가상 카메라(3)의 시야각(α), 즉, 스텝 S0705에서 생성되는 초기 화상에서의 시야각(α)을 나타낸다.

다음으로, 스마트폰(2)은, 상기 식 (2)에 기초하여 계산되는 시야각(α)을 투영 행렬에 이용하여, 도 18에 도시하는 소정 영역(T)의 범위를 결정한다.

여기서, 변화량이 dz2로 되는 줌 조작을 사용자가 더욱 행하면, 스마트폰(2)은, 하기 식 (3)을 계산한다.

[식 3]

상기 식 (3)으로부터 알 수 있는 바와 같이, 시야각(α)은, 각각의 줌 조작에 의한 변화량의 합에 기초하여 계산된다. 전술한 바와 같이 시야각(α)을 먼저 계산함으로써, 스마트폰(2)은, 복수의 줌 조작을 행하는 경우에도, 일관된 조작성을 유지할 수 있다.

여기서, 줌 처리는, 상기 식 (2) 또는 상기 식 (3)에 기초하는 처리에 한정되지 않는다. 예컨대, 줌 처리는, 가상 카메라(3)(도 16)의 시야각(α)　및 시점 위치의 변경을 조합하여 실현할 수도 있다. 구체적으로는, 도 19에 도시하는 바와 같은 줌 처리를 실행할 수도 있다.

도 19는, 본 발명의 일 실시형태에 따른 다른 줌 처리의 일례를 설명하기 위한 다이어그램이다. 여기서, 도 19는 다른 줌 처리를 설명하기 위한 모델도이다. 도 19의 입체구(CS)는, 도 15에 도시하는 입체구(CS)와 실질적으로 동일한 것이다. 또한, 이하의 설명에서는, 입체구(CS)의 반경을 "1"로 하는 예를 설명한다.

우선, 도시하는 원점은, 가상 카메라(3)의 초기 위치이다. 그리고, 가상 카메라(3)는, 광축, 즉 도 19에 도시하는 Z축 상에서 이동하여 그 위치를 변경한다. 가상 카메라(3)의 이동량(d)은, 원점으로부터의 거리로 나타낸다. 예컨대, 가상 카메라(3)가 원점에 위치하는 경우, 즉 초기 상태에 위치하는 경우에는, 이동량(d)은 "0"이다.

가상 카메라(3)의 이동량(d) 및 시야각(α)에 기초하여, 도 16에 도시하는 소정 영역(T)의 범위를 화각(ω)으로 나타낸다. 예컨대, 도 19에 도시하는 화각(ω)은, 가상 카메라(3)가 원점에 위치하는 경우, 즉 d=0인 경우의 화각에 상응한다. 가상 카메라(3)가 원점에 위치하는 경우, 즉 d= 0인 경우에, 화각(ω)은 시야각(α)과 일치한다. 이와 달리, 가상 카메라(3)가 원점으로부터 떨어지면, 즉 d의 값이 "0"보다 커지면(d>0), 화각(ω) 및 시야각(α)은 상이하다. 다른 줌 처리는, 도 20에 도시하는 바와 같이 화각(ω)을 변경하는 처리일 수 있다.

도 20은, 본 발명의 일 실시형태에 따른 다른 줌 처리의 일례를 설명하기 위한 표이다. 여기서, 설명표 4는, 화각(ω)의 범위가 60° 내지 300°인 경우의 예를 나타낸다. 설명표 4에 나타내는 바와 같이, 스마트폰(2)은, 줌 지정치(ZP)에 기초하여, 가상 카메라(3)의 이동량(d) 및 시야각(α) 중 어느 파라미터를 우선적으로 변경할 것인가를 결정한다.

여기서, "범위(range)"는, 줌 지정치(ZP)에 기초하여 결정하는 범위에 상응한다. "출력 배율"은, 다른 줌 처리에 의해서 결정되는 화상 파라미터에 기초하여 계산된 화상의 출력 배율에 상응한다. 또한, "줌 지정치(ZP)"는, 출력되는 화각에 따라 지정되는 값이다.

전술한 바와 같이, 다른 줌 처리는, 줌 지정치(ZP)에 기초하여 이동량(d) 및 시야각(α)을 결정하는 처리를 변경한다. 구체적으로, 설명표 4에 나타내는 바와 같이, 다른 줌 처리에 있어서는, 줌 지정치(ZP)에 기초하여, 도시하는 4개의 방법 중 어느 하나로 결정된다. 이 예에서, 줌 지정치(ZP)의 범위는, "A 내지 B", "B 내지 C", "C 내지 D" 및 "D 내지 E"의 4개의 범위로 구분된다.

"화각(ω)"은, 다른 줌 처리에 의해서 결정한 화상 파라미터에 대응하는 화각(ω)을 나타낸다. 또한, "변경되는 파라미터"는, 줌 지정치(ZP)에 기초하여 4개의 방법 중 대응하는 방법에 의해 변경하는 파라미터를 나타낸다. "비고"는, "변경되는 파라미터"에 대한 비고이다.

설명표 4에 있어서, "viewWH"는, 출력 영역의 폭 또는 높이를 나타내는 값이다. 예컨대, 출력 영역이 가로로 길면(풍경화), "viewWH"는, 출력 영역의 폭을 나타낸다. 다른 한편으로, 출력 영역이 세로로 길면(초상화), "viewWH"는 출력 영역의 높이를 나타낸다. 즉, "viewWH"는, 출력 영역의 길이 방향의 사이즈를 나타내는 값이다.

또한, 설명표 4에 있어서, "imgWH"는, 출력 화상의 폭 또는 높이를 나타내는 값이다. 예컨대, 출력 영역이 가로로 길면, "imgWH"는, 출력 화상의 폭을 나타낸다. 다른 한편으로, 출력 영역이 세로로 길면, "imgWH"는, 출력 화상의 높이를 나타낸다. 즉, "imgWH"는, 출력 화상의 길이 방향의 사이즈를 나타내는 값이다.

또한, 설명표 4에 있어서, "imgDeg"는, 출력 화상의 표시 범위의 각도를 나타내는 값이다. 구체적으로는, 출력 화상의 폭을 나타내는 경우에, "imgDeg"은, 360° 이다. 다른 한편으로, 출력 화상의 높이를 나타내는 경우에, "imgDeg"은, 180°이다.

도 21 내지 도 25는, 본 발명의 일 실시형태에 따른 다른 줌 처리의 "범위"의 일례를 설명하기 위한 다이어그램이다. 도시하는 예는, 상기한 다른 줌 처리가 실행되는 경우에 화상에 의해 표시되는 "범위" 및 대응 화상의 예를 도시한다. 이하, 도시하는 예를 이용하여, 소위 줌 아웃의 경우를 예로서 설명한다. 도 21 내지 도 25에 있어서의 좌측의 화상은, 출력되는 화상의 일례를 도시한다. 도 21 내지 도 25에 있어서의 우측의 도면은, 대응 화상 출력 시의 가상 카메라(3)의 상태의 일례를 나타내는, 도 11과 유사한 모델도이다.

구체적으로는, 도 21은, 도 20의 설명표 4에 있어서의 "범위"가 "A 내지 B" 내의 값이 줌 지정치(ZP)로서 입력되었을 때의 출력 화상 및 "범위"의 예를 도시한다. 알 수 있는 바와 같이, 범위 "A 내지 B" 내의 줌 지정치(ZP)가 입력되면, 가상 카메라(3)(도 19)의 시야각(α)은, 예컨대 α= 60°로 고정된다. 또한, 줌 지정치(ZP)가 "A 내지 B" 내이고, 가상 카메라(3)의 이동량(d)이, 도 21에 도시한 바와 같이, 시야각(α)이 고정된 상태에서 변경되면, 시야각(α)은 이하에 설명하는 방식으로 변경될 수 있다. 이하에서는, 시야각(α)이 고정된 상태로, 가상 카메라(3)의 이동량(d)이 커지도록 변경되는 예를 설명한다. 이 경우, 화각(ω)은 넓어진다. 즉, 줌 지정치(ZP)를 "A 내지 B" 내로 설정하고, 시야각(α)을 고정한 상태에서, 가상 카메라(3)의 이동량(d)을 크게 하면, 줌 아웃 처리가 실현될 수 있다. 여기서, 줌 지정치(ZP)가 "A 내지 B" 내인 경우에는, 가상 카메라(3)의 이동량(d)은, "0"으로부터 입체구(CS)의 반경까지의 범위이다. 구체적으로, 도 21 내지 도 25에 도시하는 예에서는, 입체구(CS)의 반경이 "1"이기 때문에, 가상 카메라(3)의 이동량(d)은, "0 내지 1"의 값으로 된다. 또한, 가상 카메라(3)의 이동량(d)은, 줌 지정치(ZP)에 대응하는 값으로 된다.

도 22는, 설명표 4(도 20)에 있어서의 "범위"가 "B 내지 C" 내인 줌 지정치(ZP)가 입력되었을 때의 출력 화상 및 "범위"의 예를 도시한다. 여기서, "B 내지 C"는, "A 내지 B"보다 줌 지정치(ZP)가 큰 값이다. 본 예에서, 줌 지정치(ZP)를 "B 내지 C" 내로 하고, 가상 카메라(3)의 이동량(d)은, 가상 카메라(3)가 입체구(CS)의 외부 에지에 위치하는 거리에 대응하는 값으로 고정되는 것으로 한다. 이 경우에, 도 22에 도시한 바와 같이, 가상 카메라(3)의 이동량(d)은 입체구(CS)의 반경에 대응하는 "1"에 고정된다. 또한, 줌 지정치(ZP)가 "B 내지 C" 내이고 가상 카메라(3)의 이동량(d)이 고정된 상태에서, 시야각(α)이 변경되는 경우에, 시야각(α)은 이하에 설명하는 방식으로 변경될 수 있다. 이하에서는, 가상 카메라(3)의 이동량(d)이 고정된 상태로 시야각(α)이 커지도록 변경하는 예를 설명한다. 이 경우에, 화각(ω)은, 예컨대 도 21에 도시된 바와 같은 상태로부터 도 22에 도시한 바와 같은 상태로 넓어진다. 즉, 줌 지정치(ZP)를 "B 내지 C" 내로 설정하고, 또한, 가상 카메라(3)의 이동량(d)을 고정하고, 시야각(α)을 크게 하면, 줌 아웃 처리가 실현될 수 있다. 여기서, 줌 지정치(ZP)가 "B 내지 C" 내인 경우에, 시야각(α)은, "ω/2"으로 계산된다. 또한, 줌 지정치(ZP)가 "B 내지 C" 내인 경우에, 시야각(α)의 범위는, 줌 지정치(ZP)가 "A 내지 B" 내인 경우의 고정 값인 "60°" 내지 "120°"로 된다.

줌 지정치(ZP)가 "A 내지 B" 또는 "B 내지 C" 내이면, 화각(ω)은, 줌 지정치(ZP)와 일치한다. 또한, 줌 지정치(ZP)가 "A 내지 B" 및 "B 내지 C" 내인 경우에는, 화각(ω)의 값은 증가한다.

도 23은, 설명표 4(도 20)에 있어서의 "범위"가 "C 내지 D" 내인 줌 지정치(ZP)가 입력되었을 때의 출력 화상 및 "범위"의 예를 나타낸다. 여기서, 범위 "C 내지 D"는, 범위 "B 내지 C"보다 줌 지정치(ZP)가 큰 값이다. 본 예에서, 줌 지정치(ZP)를 "C 내지 D" 내라고 하고, 시야각(α)은, 예컨대 α= 120°로 고정되는 것으로 한다. 또한, 도 23에 도시한 바와 같이, 줌 지정치(ZP)가 "C 내지 D" 내이고, 가상 카메라(3)의 이동량(d)은 시야각(α)이 고정된 상태로 변경되면, 시야각(α)은 이하에 설명하는 방식으로 변경될 수 있다. 이하에서는, 시야각(α)이 고정된 상태로, 가상 카메라(3)의 이동량(d)이 커지도록 변경되는 예를 설명한다. 이 경우, 화각(ω)은, 넓어진다. 또한, 가상 카메라(3)의 이동량(d)은, 설명표 4(도 20)에 나타내는 줌 지정치(ZP)에 기초하는 식을 이용하여 계산된다. 여기서, 줌 지정치(ZP)가 "C 내지 D" 내인 경우에는, 가상 카메라(3)의 이동량(d)은 최대 표시 거리(dmax1)까지 변경(증가)된다. 그리고, 최대 표시 거리(dmax1)는, 스마트폰(2)(도 1)의 출력 영역에서 입체구(CS)를 최대로 표시할 수 있는 거리이다. 또한, 출력 영역은, 예컨대, 스마트폰(2)이 화상을 출력하는 화면의 사이즈에 대응할 수 있다. 또한, 최대 표시 거리(dmax1)는, 예컨대, 도 24에 도시한 것과 같은 상태에 대응할 수 있다. 또한, 최대 표시 거리(dmax1)는, 하기 식 (4)에 의해 계산될 수 있다.

[식 4]　

상기 식 (4)에 있어서, "viewW"는, 스마트폰(2)의 출력 영역의 폭을 나타내는 값이다. 또한, 상기 식 (4)에 있어서, "viewH"는, 스마트폰(2)의 출력 영역의 높이를 나타내는 값이다. 동일한 사항이 이하에 적용된다. 이와 같이, 최대 표시 거리(dmax1)는, 스마트폰(2)의 출력 영역, 즉, "viewW" 및 "viewH" 등의 값에 기초하여 계산될 수 있다.

도 24는, 설명표 4(도 20)에 있어서의 "범위(range)"가 "D 내지 E" 내인 줌 지정치(ZP)가 입력되었을 때의 출력 화상 및 "범위"의 예를 도시한다. 여기서, 범위 "D 내지 E"는, 범위 "C 내지 D"보다 줌 지정치(ZP)가 큰 값이다. 본 예에서, 줌 지정치(ZP)를 "D 내지 E" 내라고 하고, 시야각(α)은, 예컨대 α= 120°로 고정되는 것으로 한다. 또한, 도 24에 도시한 바와 같이, 줌 지정치(ZP)가 "C 내지 D" 내이고, 가상 카메라(3)의 이동량(d)은 시야각(α)이 고정된 상태에서 변경되는 것으로 한다. 가상 카메라(3)의 이동량(d)은 한계 표시 거리(dmax2)까지 변경(증가)된다. 여기서, 한계 표시 거리(dmax2)는, 스마트폰(2)의 출력 영역에서 입체구(CS)가 내접하는 거리에 대응한다. 구체적으로는, 한계 표시 거리(dmax2)는, 하기 식 (5)에 의해 계산될 수 있다. 한계 표시 거리(dmax2)는, 예컨대, 도 25에 도시한 바와 같은 상태에 대응할 수 있다.

[식 5]　

상기 식 (5)에서 나타낸 바와 같이, 한계 표시 거리(dmax2)는, 스마트폰(2)의 출력 영역의 치수에 상응하는 "viewW" 및 "viewH"의 값에 기초하여 계산될 수 있다. 또한, 한계 표시 거리(dmax2)는, 스마트폰(2)이 출력할 수 있는 최대의 범위, 즉, 가상 카메라(3)의 이동량(d)을 크게 할 수 있는 한계의 값을 나타낸다. 스마트폰(2)은, 줌 지정치(ZP)가 설명표 4(도 20)에서 설명하는 범위 내에 수습되도록, 즉 가상 카메라(3)의 이동량(d)의 값이 한계 표시 거리(dmax2)를 초과하지 않도록, 입력 값을 제한할 수도 있다. 이러한 제한에 의해서, 스마트폰(2)은, 출력 화상을 출력 영역에 대응하는 그것의 화면에 피트시킨 상태 또는 화상을 소정의 출력 배율로 사용자에게 출력할 수 있는 상태로 되어, 줌 아웃을 실현할 수 있다. "D 내지 E"의 줌 처리에 의해서, 스마트폰(2)은, 사용자에게 출력 화상이 천구 파노라마 화상인 것을 인식시킬 수 있다.

줌 지정치(ZP)가 범위 "C 내지 D" 또는 범위 "D 내지 E"이면, 화각(ω)은, 줌 지정치(ZP)와 다른 값을 갖는다. 설명표 4 및 도 21 내지 도 25에 도시하는 각 범위에서는 화각(ω)이 연속하고 있지만, 화각(ω)은, 줌 지정치(ZP)가 광각측으로의 줌 아웃됨에 따라 균일하게 증가하지 않을 수도 있다. 즉, 예컨대, 줌 지정치(ZP)가 범위 "C 내지 D"이면, 화각(ω)은, 가상 카메라(3)의 이동량(d)이 증가함에 따라 증가한다. 다른 한편으로, 줌 지정치(ZP)가 범위 "D 내지 E"이면, 화각(ω)은, 가상 카메라(3)의 이동량(d)이 증가함에 따라 감소한다. 입체구(CS)의 외측의 영역이 출력 화상에서 반사되기 때문에, 줌 지정치(ZP)가 범위 "D 내지 E"인 경우의 가상 카메라(3)의 이동량(d)에 대한 화각(ω)의 감소가 발생된다. 이와 같이, 줌 지정치(ZP)가 240° 이상의 광 시야 영역을 지정하는 경우에, 스마트폰(2)은, 가상 카메라(3)의 이동량(d)을 변경하여, 사용자에게 위화감이 적은 화상을 출력할 수 있고, 또한 화각(ω)을 변화시킬 수 있다.

또한, 줌 지정치(ZP)가 광각 방향으로 변경되면, 화각(ω)은 넓어지는 경우가 많다. 이와 같이, 화각(ω)이 넓어지는 경우에, 스마트폰(2)은, 가상 카메라(3)의 시야각(α)을 고정하고, 가상 카메라(3)의 이동량(d)을 크게 한다. 스마트폰(2)은, 가상 카메라(3)의 시야각(α)을 고정함으로써, 가상 카메라(3)의 시야각(α)의 증가를 적게 할 수 있다. 또한, 가상 카메라(3)의 시야각(α)의 증가를 적게 함으로써, 스마트폰(2)은, 사용자에게 왜곡이 적은 화상을 출력할 수 있다.

가상 카메라(3)의 시야각(α)을 고정하고, 스마트폰(2)에 의해 가상 카메라(3)의 이동량(d)을 증가시키면, 즉, 가상 카메라(3)를 원점으로부터 멀어지는 방향으로 이동시키면, 스마트폰(2)은, 사용자에게 광각 표시의 개방감을 부여할 수 있다. 또한, 원점으로부터 멀어지는 방향으로의 가상 카메라(3)의 이동은, 인간이 광범위를 확인할 때의 움직임과 유사하므로, 스마트폰(2)은, 원점으로부터 멀어지는 방향으로 가상 카메라(3)를 이동시킴으로써, 위화감이 적은 줌 아웃을 실현할 수 있다.

줌 지정치(ZP)가 범위 "D 내지 E"이면, 화각(ω)은, 줌 지정치(ZP)가 광각 방향으로 변경함에 따라 감소한다. 이와 같이 하여, 줌 지정치(ZP)가 범위 "D 내지 E"이면, 스마트폰(2)은, 화각(ω)을 감소시킴으로써, 사용자에게 입체구(CS)로부터 멀어져 가는 감각을 부여할 수 있다. 사용자에게 입체구(CS)로부터 멀어져 가는 감각을 부여함으로써, 스마트폰(2)은, 사용자에게 위화감이 적은 화상을 출력할 수 있다.

이상과 같이 설명표 4(도 20)를 참고로 설명하는 다른 줌 처리를 실행함으로써, 스마트폰(2)은, 사용자에게 위화감이 적은 화상을 출력할 수 있다.

여기서, 스마트폰(2)은, 설명표 4에 설명하는 가상 카메라(3)의 이동량(d) 또는 시야각(α)만을 변경하여 줌 처리를 실행하는 것으로 한정되지 않는다. 즉, 설명표 4에 있어서, 스마트폰(2)은, 우선적으로 가상 카메라(3)의 이동량(d) 또는 시야각(α)을 변경할 수도 있다. 예컨대, 조정을 위해, 스마트폰(2)은, 고정 값을 충분히 작은 값으로 변경할 수도 있다. 또한, 스마트폰(2)은, 줌 아웃을 행하는 것에 한정되지 않는다. 예컨대, 스마트폰(2)은, 줌 인을 행할 수도 있다.

이하에서는, 도 26에서 설명하는 바와 같은 천구 화상을 제1 화상의 예로서 이용한다.

도 26은 본 발명의 일 실시형태에 따른 제1 화상의 일례를 도시한다. 예컨대, 사용자에 의한 선택에 의해서 도 26에 도시된 것과 같은 제1 화상(IMG11)이 선택될 수 있다. 이하의 예에서는, 제1 화상은, 정지 화상으로 간주한다. 그러나, 제1 화상은 동화상일 수도 있다.

도 9를 다시 참조하면, 스텝 S0706에서는, 스마트폰(2)은, 제2 화상을 선택하는 사용자의 조작을 입력한다. 또, 이하의 설명에서는, 제1 화상의 예에 상응하는 천구 화상에 새로이 더해지는 화상을 "제2 화상"이라 한다. 예컨대, 사용자는, 해시태그(hashtag) 등의 부가 정보를 제1 화상에 부가하는 조작을 스마트폰(2)에 입력한다. 그리고, 스마트폰(2)은, 제1 화상에 부가되는 해시태그에 대응하는 화상을 제2 화상으로 특정할 수 있다. 예컨대, 도 27에 도시된 바와 같은 화상을 제2 화상의 일례로 할 수 있다.

도 27은, 본 발명의 일 실시형태에 따른 제2 화상의 일례를 도시한다. 예컨대, "체리" 등의 해시태그가 입력된 경우에는, 스마트폰은, 입력된 해시태그에 대응하는 제2 화상을 특정한다. 구체적으로는, 도 27에 도시하는 바와 같이, 대응하는 제2 화상(IMG21)은, 제1 화상이 나타내는 꽃과 동일한 종류의 "꽃잎"을 나타내는 화상일 수 있다. 이하에서는, 제2 화상이 나타내는 물체를 "오브젝트(OBJ)"라고 칭한다. 본 예에서는, 해시태그 "체리"에 대응하는 화상, 즉 해시태그가 지정하는 것과 동일한 종류의 물체로서, 제1 화상에 벚나무가 포함되어 있는 것으로 한다. 이와 같이, 제2 화상은, 제1 화상이 표시하는 동일 종류의 물체의 일부(예컨대, 벚나무의 꽃잎)에 대응하는 화상일 수도 있고, 동일 종류의 물체의 전체(예컨대, 벚나무의 꽃잎, 잎(leaves) 및 가지)에 대응하는 화상일 수도 있다. 이하의 설명에서는, 입력 해시태그를 "체리"로 하고 제2 화상을 "꽃잎"으로 한 예를 설명한다. 그러나 본 발명의 실시형태는 이로 한정되지 않는다. 예컨대, 입력 해시태그를 "레인(rain)"으로 하는 경우에, 제2 화상은, 레인에 대응하는 "물방울(water droplet)"의 화상에 대응할 수 있고, 입력 해시태그를 "스노우(snow)"로 하는 경우에, 제2 화상은, "눈송이"의 화상에 대응할 수 있다. 제2 화상은, 하나의 오브젝트를 나타내는 화상일 수도 있다. 또한, 일부 실시형태에서, 복수의 제2 화상이 선택될 수도 있다.

예컨대, 제2 화상(IMG21)을 나타내는 데이터는, 미리 스마트폰(2)에 입력될 수 있다. 제2 화상(IMG21)을 나타내는 데이터는, 스마트폰(2)에 의해서, 미리 제2 화상을 등록한 서버 등으로부터 다운로드할 수도 있고, 검색 엔진을 이용하여 해시태그에 기초하여 검색하고 다운로드할 수도 있다.

스마트폰(2)이 화상을 인식하는 인식부를 포함하는 경우에는, 스마트폰(2)은 제1 화상에 포함되는 화상을 인식하고, 대응하는 제2 화상을 선택할 수도 있다. 예컨대, 도 26의 제1 화상(IMG11)은, "꽃잎"을 나타내는 화상을 포함한다. 그 때문에, 제1 화상(IMG11)에 대하여 화상 인식 처리가 행해지면, 스마트폰(2)은, 제1 화상(IMG11) 내에 촬영된 "꽃잎"을 인식할 수 있다. 인식부의 인식 결과에 기초하여, 스마트폰(2)은, 스마트폰(2)에 미리 입력되는 하나 이상의 제2 화상 중에서 도 26의 제1 화상에 촬영되는 "꽃잎"과 동일한 내용을 나타내는 제2 화상(IMG21)을 특정할 수도 있다. 또한, 제2 화상이 제1 화상에 포함되는 화상과 동일하지 않더라도, 예컨대 제1 화상에 포함되는 화상과 유사한 내용을 나타내는 화상이 도 27에 도시된 바와 같이 특정될 수도 있다.

제2 화상은, 예컨대, JSON(JavaScript(등록 상표) Object Notation) 형식의 3D 모델 데이터와, 오브젝트(OBJ)의 색채, 모양 및 기타 속성을 나타내는 데이터에 의해 표시된다. 제2 화상은, 다른 형식으로 표시될 수도 있다.

도 9를 다시 참조하면, 스텝 S0707에서, 스마트폰(2)은, 제1 화상을 접착한 3D 모델, 즉 입체구(CS)(도 15) 등에 제2 화상을 배치한다. 즉, 먼저, 3D 모델에는 스마트폰(2)에 의해서 제1 화상이 접착되고, 그 후 제2 화상이 표시하는 오브젝트(OBJ)(도 27)가 더해진다.

스텝 S0708에서, 스마트폰(2)은, 스텝 S0707에서 얻은, 제2 화상이 배치된 3D 모델에 기초하여 출력 화상을 생성한다. 구체적으로, 도 15 내지 도 18에 도시하는 초기 화상을 생성하는 경우와 같이, 스마트폰(2)은, 제2 화상이 배치된 3D 모델의 소정 영역의 화상을 출력 화상으로서 출력할 수 있다. 예컨대, 출력 화상은, 도 28에 도시된 바와 같은 화상일 수 있다.

도 28은, 본 발명의 일 실시형태에 따른 출력 화상의 일례를 도시한다. 예컨대, 스마트폰(2)은, 제1 출력 화상(IMGOUT1)을 제1 프레임으로서, 다음에, 제2 출력 화상(IMGOUT2)을 제2 프레임으로서 출력할 수 있다. 제1 출력 화상(IMGOUT1) 및 제2 출력 화상(IMGOUT2)은, 제2 화상이 표시하는 복수의 오브젝트(OBJ), 즉 "꽃잎들"이 더해지는 점에서 도 26에 도시된 제1 화상과 상이하다. 제2 화상이 표시하는 오브젝트(OBJ)가 복사되어, 출력되는 오브젝트(OBJ)의 수가 입력되는 제2 화상의 수보다 많이 출력될 수도 있다. 또한, 출력 화상에서, 각 오브젝트는, 각각 다른 각도 및 위치에 출력될 수도 있다.

도 28에 도시하는 제1 출력 화상(IMGOUT1) 및 제2 출력 화상(IMGOUT2)으로부터 알 수 있는 바와 같이, 스마트폰(2)은, 오브젝트(OBJ)를, 예컨대, 한 프레임으로부터 다음 프레임으로 중력 방향(도 28에서 Y축 방향이며, 제1 방향(DR1))으로 이동하도록 출력한다. 도시하는 예에서, 스마트폰(2)은, "꽃잎"에 대응하는 오브젝트(OBJ)를, 중력에 의해서 제1 방향(DR1)으로 떨어지는 것처럼 보이도록 출력한다. 즉, 스마트폰(2)은, 도 26에 도시하는 제1 화상에 대하여 제2 화상을 새로이 더하여, "꽃잎"이 펄럭이는 것과 같은 연출 효과를 낼 수 있다. 연출 효과는, 도시하는 예에 한정되지 않는다. 예컨대, 도 27의 제2 화상이 표시하는 것과는 다른 물체를 출력하여, 별도의 연출 효과를 낼 수도 있다.

출력 화상은 3D 모델에 기초하여 생성되기 때문에, 오브젝트(OBJ)는 소정의 방향으로 이동하도록 출력된다. 구체적으로, 도 28에 도시하는 예에서는, 예컨대, 제2 화상은 도 29에 도시된 바와 같이 이동하도록 출력될 수도 있다.

도 29는, 본 발명의 일 실시형태에 따른 출력 화상에 있어서의 제2 화상의 이동의 일례를 도시한 다이어그램이다. 도 29는, 도 28의 출력 화상에 있어서의 제2 화상, 즉 오브젝트의 이동을 3D 모델도로 설명하는 다이어그램이다. 도 29에 도시하는 바와 같이, 3D 모델의 예인 입체구(CS)에 제1 화상이 접착된 경우에, 스마트폰(2)은, 사용자가 지정하는 파라미터 등에 기초하여 파라미터가 특정하는 소정 영역(T)을 나타내는 화상을 출력한다. 즉, 소정 영역(T)에 기초하여 출력되는 화상이 출력 화상으로 된다. 또한, 도 28의 예에 있어서는, 오브젝트가 도 29에서 제1 방향(DR1)으로 이동하도록 출력 화상이 생성된다.

오브젝트가 이동하는 방향, 오브젝트가 출력되기 시작하는 위치, 오브젝트가 움직이는 속도 또는 이들의 조합은, 사용자 등에 의해서 지정될 수도 있다. 도 28의 예에서는, 오브젝트의 이동 방향은 제1 방향(DR1)이지만, 제1 방향(DR1)으로 한정되지 않는다.

예컨대, 오브젝트가 이동하는 방향은, 가로 방향(도 29에 있어서 X축 방향이며 제2 방향(DR2)), 깊이 방향(도 29에 있어서 Z축 방향이며, 제3 방향(DR3)) 또는 이들의 조합 방향일 수도 있다.

또한, 본 예에 있어서, 오브젝트가 출력되기 시작하는 위치는, 예컨대, Y 좌표값을 입력함으로써 지정될 수도 있다. 구체적으로는, 도 29에 도시하는 바와 같이, 개시 위치(SPOS)를 나타내는 좌표값이 입력될 수도 있다. 개시 위치(SPOS)가 정해지면, 오브젝트는, 개시 위치(SPOS)로부터 제1 방향(DR1)으로 이동하도록 출력된다. 또한, 오브젝트의 이동 속도는, 예컨대, 1프레임마다 오브젝트가 움직이는 거리를 나타내는 좌표수 등을 입력함으로써 지정될 수도 있다. 이와 같이 하면, 사용자는, 제1 화상의 프레임의 시퀀스에 걸쳐 오브젝트가 움직이는 모습을 상세히 설정할 수 있다.

또한, 출력 화상은 3D 모델에 기초하여 생성되기 때문에, 도 29에 도시하는 소정 영역(T)이 변경되도록 소위 시점 변환이 행하여지더라도, 오브젝트(OBJ)는, 대응하는 소정 방향으로 이동하도록 출력된다. 구체적으로는, 예컨대, 도 30에 도시된 바와 같은 화상이 시점 변환 후의 출력 화상으로서 출력될 수 있다.

도 30은, 본 발명의 일 실시형태에 따른 내려다보는 시점에 있어서의 출력 화상의 일례를 도시한다. 즉, 도 30은, 출력되는 영역인 소정 영역(T)이 도 29에 도시하는 영역으로부터 다른 영역으로 변경될 때의 출력 화상의 일례로서의 출력 화상(IMGOUTDW)을 도시한다. 보다 구체적으로, 출력 화상(IMGOUTDW)은, Y축 방향의 위에서 밑으로 본 시점에 대응하는 소위 내려다보는 시점으로 출력 화상의 시점을 변경하는 시점 변환 후의 출력 화상의 일례이다. 도 30에서, 오브젝트(OBJ)가 이동하는 방향은, 도 28에 도시하는 경우에서와 같이 제1 방향(DR1)이라 한다.

출력 화상(IMGOUTDW)에서는, 예컨대, 오브젝트(OBJ)의 이동 방향이 도 28에 도시된 것과 동일하게 설정되어 있더라도, 오브젝트(OBJ)는, 화면 내에서는 도 28과는 다르게 표시된다. 구체적으로는, 도 30의 출력 화상(IMGOUTDW)에서, 오브젝트(OBJ)는, 화면의 외측으로부터 중앙을 향하여, 또한, 서서히 축소되도록 출력된다. 즉, 오브젝트(OBJ)는, 화면의 깊이 방향에서, 앞쪽으로부터 안쪽을 향하여 이동하도록 출력된다. 즉, 시점이 내려다보는 시점으로 변경되더라도, "꽃잎"에 대응하는 오브젝트(OBJ)는, 중력에 의해서, 제1 방향(DR1)으로 떨어지는 것처럼 보이도록 출력된다. 이와 같이, 3D 모델에 기초하여 출력 화상이 생성되면, 시점 변환이 있더라도, 스마트폰(2)은, 제2 화상을, 대응하는 소정 방향으로 이동하도록 출력할 수 있다. 구체적으로는, 도 30에 도시하는 예에서는, 예컨대, 제2 화상은, 도 31에 도시된 바와 같이 이동하도록 출력된다.

도 31은, 본 발명의 일 실시형태에 따른 내려다보는 시점의 출력 화상에 있어서의 제2 화상의 이동의 일례를 도시한 다이어그램이다. 도 31은, 도 30에 도시하는 출력 화상에 있어서의 제2 화상, 즉, 오브젝트의 이동을 3D 모델도로 설명하는, 도 29와 유사한 다이어그램이다. 도 31은, 출력 화상이 시점 변환에 의해서 내려다보는 시점으로 변경됨으로 인하여, 소정 영역(T)의 위치가 도 29에 도시된 위치와는 상이하다. 도 31에 도시하는 바와 같이, 시점 변환이 있더라도, 스마트폰(2)은, 오브젝트가 제1 방향(DR1)으로 이동하도록 출력 화상을 생성할 수 있다. 또한, 예컨대, 도 32에 도시된 바와 같은 화상이 시점 변환 후의 출력 화상으로서 출력될 수 있다.

도 32는, 본 발명의 일 실시형태에 따른 올려다보는 시점에 있어서의 출력 화상의 일례를 도시한 다이어그램이다. 도 32는, 출력되는 영역에 대응하는 소정 영역(T)의 위치가 도 29에 도시된 위치로부터 변경될 때에 출력되는 화상의 일례로서 출력 화상(IMGOUTUP)을 도시한다. 즉, Y축 방향에서 밑으로부터 위를 향하는 소위 올려다보는 시점으로 출력 화상의 시점이 변환된 경우에 출력되는 화상의 일례이다. 도 32에 있어서, 오브젝트(OBJ)가 이동하는 방향은, 도 28에 도시하는 경우에서와 같이 제1 방향(DR1)이라고 한다.

출력 화상(IMGOUTUP)에서는, 오브젝트(OBJ)가 이동하는 방향이 도 28에서와 동일하게 설정되어 있더라도, 오브젝트(OBJ)는, 화면 내에서는, 도 28과 다르게 표시된다. 구체적으로는, 출력 화상(IMGOUTUP)에서는, 도 32에 도시하는 바와 같이, 오브젝트(OBJ)는, 화면의 중앙으로부터 화면의 외측을 향하여, 또한, 서서히 확대되도록 출력된다. 즉, 오브젝트(OBJ)는, 화면의 깊이 방향에서, 안쪽으로부터 앞쪽을 향하여 이동하도록 출력된다. 즉, 시점이 올려다보는 시점으로 되더라도, 오브젝트(OBJ)는, "꽃잎"에 대응하는 오브젝트(OBJ)가 중력에 의해서 제1 방향(DR1)으로 떨어지는 것처럼 보이도록 출력된다. 이와 같이, 3D 모델에 기초하여 출력 화상이 생성되면, 시점 변환이 있더라도, 스마트폰(2)은, 소정의 방향으로 이동하도록 제2 화상을 출력할 수 있다.

도 33은, 본 발명의 일 실시형태에 따른 올려다보는 시점의 출력 화상에 있어서의 제2 화상의 이동의 일례를 도시한 다이어그램이다. 도 33은, 도 32의 출력 화상에 있어서의 제2 화상, 즉 오브젝트의 이동을 3D 모델도로 설명하는, 도 29와 유사한 다이어그램이다. 도 33에 있어서는, 출력 화상이 올려다보는 시점으로 시점 변환됨으로 인하여, 소정 영역(T)의 위치가 도 29에 도시된 것과 상이하다. 도 33에 도시하는 바와 같이, 시점 변환이 있더라도, 스마트폰(2)은, 오브젝트가 제1 방향(DR1)으로 이동하도록 출력 화상을 생성할 수 있다.

또한, 출력 화상은 3D 모델에 기초하여 생성되기 때문에, 도 29의 소정 영역(T)의 범위가 변경되는 줌 처리를 행하면, 오브젝트(OBJ)는, 예컨대 줌 배율에 따라 출력될 수 있다. 보다 구체적으로, 예컨대, 도 34에 도시된 바와 같은 화상이 줌 아웃 처리가 행하여진 경우의 출력 화상으로서 출력될 수도 있다.

도 34는, 본 발명의 일 실시형태에 따른 줌 아웃된 출력 화상의 일례를 도시한다. 도 34는, 도 28의 출력 화상보다 넓은 범위를 나타내는, 도 28의 출력 화상에 대하여 줌 아웃 처리를 실행하여 얻은 출력 화상의 일례로서 줌 아웃 출력 화상(IMGOUTZO)을 도시한다. 줌 아웃 출력 화상(IMGOUTZO)의 다른 설정은, 도 28의 출력 화상의 경우와 동일한 것으로 한다. 구체적으로는, 예컨대, 오브젝트(OBJ)가 이동하는 방향은, 제1 방향(DR1)이라고 한다. 따라서 도 34의 줌 아웃 출력 화상(IMGOUTZO)에 있어서는, 도 28의 출력 화상에 촬영된 피사체가 보다 작게 출력된다. 도 34에 도시하는 바와 같이, 오브젝트(OBJ)도, 스마트폰에 의해서, 줌 배율에 맞춰 보다 작게 보이도록 출력된다. 또한, 줌 인 처리가 행해지면, 출력 화상도 마찬가지로 처리되어, 예컨대 도 35에 도시된 것과 같은 화상이 최종 출력 화상으로서 출력될 수 있다.

도 35는, 본 발명의 일 실시형태에 따른 줌 인된 출력 화상의 일례를 도시한 다이어그램이다. 도 35는, 도 28의 출력 화상에 줌 인 처리를 실시하여, 도 28의 출력 화상보다 좁은 범위를 나타내는 출력 화상의 일례로서의 줌 인 출력 화상(IMGOUTZI)을 도시한다. 도 35의 줌 인 출력 화상(IMGOUTZI)의 다른 설정은, 도 28의 출력 화상의 경우와 동일한 것으로 한다. 구체적으로는, 예컨대, 오브젝트(OBJ)가 이동하는 방향은, 제1 방향(DR1)이라고 한다. 따라서, 도 35의 줌 인 출력 화상(IMGOUTZI)에서는, 도 28의 출력 화상에 촬영된 피사체가 보다 크게 출력된다. 줌 인 출력 화상(IMGOUTZI)은, 도 28의 출력 화상의 중앙 부분이 확대된 화상이다. 도 35에 도시하는 바와 같이, 오브젝트(OBJ)도, 스마트폰에 의해서, 예컨대 줌 배율에 맞춰 보다 크게 보이도록 출력된다.

전술한 바와 같이, 출력 화상이 3D 모델에 기초하여 생성되면, 줌처리 또는 시점 변환이 있더라도, 스마트폰은, 예컨대, 대응 이동 방향 또는 대응 크기로 제2 화상을 출력할 수 있다. 이와 같이 하여, 스마트폰(2)은, 제1 화상에 새로이 제2 화상을 부가하여, 연출 효과를 낼 수 있다.

<기능 구성의 예>

도 36은, 본 발명의 일 실시형태에 따른 화상 처리 장치의 기능 구성의 일례를 도시하는 기능 블록도이다. 도 36에서, 화상 처리 장치의 일례로서의 스마트폰(2)은, 입력부(2F1)와, 생성부(2F2)를 갖는다.

입력부(2F1)는, 제1 화상과, 제1 화상에 부가되는 제2 화상을 입력한다. 예컨대, 입력부(2F1)는, 입출력 장치(2H3)(도 8) 등에 의해서 실현될 수 있다.

생성부(2F2)는, 제1 화상을 접착한 3D 모델에 제2 화상을 배치하여, 3D 모델에 기초하는 출력 화상을 생성한다. 예컨대, 생성부(2F2)는, CPU(2H5)(도 8) 등에 의해서 실현될 수 있다.

스마트폰(2)은, 제1 화상에 포함되는 화상을 인식하는 인식부를 더 구비할 수도 있다. 예컨대, 인식부는, CPU(2H5)(도 8)에 의해서 실현될 수 있다.

이와 같이 3D 모델에 기초하여 출력 화상을 생성하면, 스마트폰(2)은, 3D 모델에 배치되는 제2 화상이 소정의 방향으로 이동하도록 출력 화상을 출력할 수 있다. 즉, 스마트폰(2)은, 시점 변환, 줌 처리 또는 이들의 조합이 있더라도, 소정의 방향으로 이동하도록 제2 화상을 출력할 수 있다.

예컨대, 제2 화상을 제1 화상에 단순히 중첩시키고 화면의 위로부터 아래로 이동하도록 출력하는 경우에, 시점 변환이 있으면, 예컨대, 제2 화상은, 시점 변환에 따라 대응 방향으로 이동하도록 출력되지 않는다. 즉, 시점 변환이 있더라도, 제2 화상은 항상 화면의 위로부터 아래로 이동하도록 출력된다. 다른 한편으로, 도 36에 도시하는 것과 같은 기능 구성에 있어서는, 출력 화상이 3D 모델에 기초하여 생성되기 때문에, 제2 화상이 이동하는 방향은, 예컨대, 시점 변환에 맞춰 변경될 수 있다. 그 때문에, 도 30에 도시한 바와 같이, 예컨대, 스마트폰(2)은, 시점 변환이 있더라도, 제1 화상을 나타내는 화상에 새로이 제2 화상을 더하여, 꽃잎이 펄럭거리는 것과 같은 연출 효과를 낼 수 있다.

본 발명의 실시형태는, 예컨대 프로그램 언어로 기술되는 프로그램에 의해서 실현될 수도 있다. 즉, 본 발명의 실시형태는, 화상 처리 장치 등의 컴퓨터에 화상 처리 방법을 실행시키기 위한 프로그램에 의해서 실현될 수도 있다. 프로그램은, 플래시 메모리, SD(등록상표) 카드 또는 광학 디스크 등의 기록 매체에 기억되고 그 상태로 반포될 수 있다. 또한, 프로그램은, 예컨대 인터넷 등의 전기 통신 회선을 통하여 반포될 수 있다.

또한, 본 발명의 실시형태에 따르면, 처리의 일부 또는 전부는, 예컨대 필드 프로그래머블 게이트 어레이(FPGA; field programmable gate array) 등의 프로그래머블 디바이스(PD)로 실현될 수도 있다. 또한, 본 발명의 실시형태에 따르면, 처리의 일부 또는 전부는, ASIC(Application Specific Integrated Circuit)로 실현될 수도 있다.

또한, 본 발명의 실시형태에 따른 정보 처리 장치는, 스마트폰에 한정되지 않고, 서버 등일 수도 있다. 또한, 정보 처리 장치는, 하나의 정보 처리 장치에 한정되지 않고, 복수의 정보 처리 장치로 구성될 수도 있다. 즉, 본 발명에 따른 실시형태는, 예컨대 하나 이상의 정보 처리 장치를 갖는 화상 처리 시스템에 의해서 실현될 수도 있다.

이상, 본 발명을 바람직한 실시예를 참고로 설명하였지만, 본 발명은 이들 실시형태에 한정되지 않는다. 즉, 특허청구범위에 기재된 본 발명의 요지의 범위내에서 다양한 변형 및 변경이 가능하다.

본 출원은, 2016년 3월 15일에 출원된 일본 특허 출원 2016-051471에 기초하여 우선권을 주장하는 것으로, 그 전체 내용은 본 출원에 원용된다.

10 화상 처리 시스템
1 촬영 장치
2 스마트폰
OBJ 오브젝트
IMG11 제1 화상
IMG21 제2 화상
특허문헌
특허문헌 1 : 일본 특허 공개 2014-6880호 공보
특허문헌 2 : 일본 특허 공개 2015-18013호 공보
특허문헌 3 : 일본 특허 공개 2014-30104호 공보

Claims

제1 화상 및 제2 화상을 입력하도록 구성된 입력부와,
상기 제1 화상을 부착한 3D 모델에 상기 제2 화상을 배치하여 출력 화상을 생성하도록 구성된 생성부
를 구비하는 화상 처리 장치.
제1항에 있어서, 상기 제1 화상은 부가 정보를 포함하고,
상기 제2 화상은, 상기 부가 정보에 기초하여 특정되는 것인 화상 처리 장치.
제1항에 있어서, 상기 제1 화상에 포함되는 화상을 인식하도록 구성된 인식부를 더 구비하고,
상기 제2 화상은, 상기 인식부에 의해서 인식되는 화상과 동일하거나 유사한 내용을 나타내는 화상인 것인 화상 처리 장치.
제1항에 있어서, 상기 제1 화상은, 촬영 장치로 촬영된 화상 또는 복수의 촬영 장치로 촬영된 복수의 화상에 기초하여 생성된 화상에 대응하는 것인 화상 처리 장치.
제1항에 있어서, 상기 제2 화상은, 상기 제1 화상의 프레임의 시퀀스에 있어서 미리 정해진 방향으로 이동하도록 출력되는 것인 화상 처리 장치.
제5항에 있어서, 상기 제2 화상이 이동하는 방향, 상기 제2 화상이 출력되기 시작하는 위치, 상기 제2 화상이 이동하는 속도 또는 이들의 조합을 설정하는 것인 화상 처리 장치.
하나 이상의 정보 처리 장치를 구비하는 화상 처리 시스템으로서,
제1 화상 및 제2 화상을 입력하도록 구성된 입력부와,
상기 제1 화상을 접착한 3D 모델에 상기 제2 화상을 배치하여 출력 화상을 생성하도록 구성된 생성부
를 구비하는 화상 처리 시스템.
화상 처리 장치에 의해 실시되는 화상 처리 방법으로서,
상기 화상 처리 장치가, 제1 화상 및 제2 화상을 입력하는 스텝과,
상기 화상 처리 장치가, 상기 제1 화상을 접착한 3D 모델에 상기 제2 화상을 배치하여 출력 화상을 생성하는 스텝
을 포함하는 화상 처리 방법.