KR20160122702A - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR20160122702A
KR20160122702A KR1020167018597A KR20167018597A KR20160122702A KR 20160122702 A KR20160122702 A KR 20160122702A KR 1020167018597 A KR1020167018597 A KR 1020167018597A KR 20167018597 A KR20167018597 A KR 20167018597A KR 20160122702 A KR20160122702 A KR 20160122702A
Authority
KR
South Korea
Prior art keywords
image
user
information
display
information processing
Prior art date
Application number
KR1020167018597A
Other languages
English (en)
Inventor
준이치 레키모토
슌이치 가사하라
šœ이치 가사하라
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20160122702A publication Critical patent/KR20160122702A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G06T3/0062—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

시선의 자유도를 유지하면서 공간을 공유하는 것이 가능한, 정보 처리 장치, 정보 처리 방법 및 프로그램을 제공한다. 본 개시에 따른 정보 처리 장치는, 공간 내를 이동하는 이동체에 장착된 촬상 장치의 촬상에 의해 생성되는 화상 정보와, 당해 촬상 장치의 자세에 관한 정보인 촬상 장치 자세 정보와, 유저가 조작하는 유저 조작 기기로부터 얻어지는, 유저가 시인하고 싶은 영역을 특정하는 유저 시인 정보에 기초하여 생성되는 표시 화상을, 상기 유저가 시인하는 표시 영역에 표시시키는 제어를 행하는 제어부를 구비한다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램{INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM}
본 개시는, 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.
최근 들어, 인간의 체험을 그대로 다른 사람에게 전송하기 위해서, 헤드부 탑재 카메라 등의 웨어러블 기기에 의한 일인칭 시점의 화상이, 각종 콘텐츠의 작성 등에 이용되고 있다. 또한, 상기와 같은 일인칭 시점 화상의 전송에 의해 다른 사람과 커뮤니케이션을 도모하고, 다른 사람이 체험을 공유하거나, 다른 사람의 지식이나 지시를 요청하거나 하는 인터페이스도 제안되어 있다.
예를 들어 하기 특허문헌 1에는, 헤드부에 장착된 촬상 장치에 의해 촬상되는 영상을 다른 장치로 송신하고, 당해 다른 장치에 있어서 상기 영상을 감상하기 위한 기술이 개시되어 있다.
일본 특허공개 제2013-110764호 공보
그러나, 상기 특허문헌 1에 개시되어 있는 바와 같은 기술에서는, 전송된 일인칭 시점 화상을 시청하는 다른 사람의 시선은, 웨어러블 기기를 장착하고 있는 장착자의 시선으로 한정되어버리기 때문에, 다른 사람이 장착자와는 상이한 시점에서 공간을 파악할 수 없었다.
따라서, 본 개시에서는, 상기 사정을 감안하여 시선의 자유도를 유지하면서 공간을 공유하는 것이 가능한, 정보 처리 장치, 정보 처리 방법 및 프로그램을 제공한다.
본 개시에 의하면, 공간 내를 이동하는 이동체에 장착된 촬상 장치의 촬상에 의해 생성되는 화상 정보와, 당해 촬상 장치의 자세에 관한 정보인 촬상 장치 자세 정보와, 유저가 조작하는 유저 조작 기기로부터 얻어지는, 유저가 시인(視認)하고 싶은 영역을 특정하는 유저 시인 정보에 기초하여 생성되는 표시 화상을, 상기 유저가 시인하는 표시 영역에 표시시키는 제어를 행하는 제어부를 구비하는 정보 처리 장치가 제공된다.
또한, 본 개시에 의하면, 공간 내를 이동하는 이동체에 장착된 촬상 장치의 촬상에 의해 생성되는 화상 정보와, 당해 촬상 장치의 자세에 관한 정보인 촬상 장치 자세 정보와, 유저가 조작하는 유저 조작 기기로부터 얻어지는, 유저가 시인하고 싶은 영역을 특정하는 유저 시인 정보에 기초하여 생성되는 표시 화상을, 상기 유저가 시인하는 표시 영역에 표시시키는 제어를 행하는 것을 포함하는 정보 처리 방법이 제공된다.
또한, 본 개시에 의하면, 컴퓨터에, 공간 내를 이동하는 이동체에 장착된 촬상 장치의 촬상에 의해 생성되는 화상 정보와, 당해 촬상 장치의 자세에 관한 정보인 촬상 장치 자세 정보와, 유저가 조작하는 유저 조작 기기로부터 얻어지는, 유저가 시인하고 싶은 영역을 특정하는 유저 시인 정보에 기초하여 생성되는 표시 화상을, 상기 유저가 시인하는 표시 영역에 표시시키는 제어를 행하는 기능을 실현시키기 위한 프로그램이 제공된다.
이상 설명한 바와 같이 본 개시에 의하면, 시선의 자유도를 유지하면서 공간을 공유하는 것이 가능해진다.
또한, 상기한 효과는 반드시 한정적인 것이 아니라, 상기한 효과와 함께, 또는 상기한 효과 대신에, 본 명세서에 개시된 어느 하나의 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.
도 1은, 본 개시의 제1 실시 형태에 따른 시스템의 개략적인 구성을 나타낸 설명도이다.
도 2는, 상기 실시 형태에 따른 장치의 개략적인 구성을 나타낸 설명도이다.
도 3은, 상기 실시 형태에 따른 웨어러블 기기의 일례를 모식적으로 나타낸 설명도이다.
도 4a는, 상기 실시 형태에 따른 정보 처리 장치의 구성의 일례를 나타낸 블록도이다.
도 4b는, 상기 실시 형태에 따른 정보 처리 장치의 구성의 일례를 나타낸 블록도이다.
도 5는, 상기 실시 형태에 따른 정보 처리 장치의 기능을 설명하기 위한 설명도이다.
도 6은, 상기 실시 형태에 따른 정보 처리 장치의 기능을 설명하기 위한 설명도이다.
도 7은, 상기 실시 형태에 따른 정보 처리 장치의 기능을 설명하기 위한 설명도이다.
도 8은, 상기 실시 형태에 따른 정보 처리 장치의 기능을 설명하기 위한 설명도이다.
도 9는, 상기 실시 형태에 따른 정보 처리 장치의 기능을 설명하기 위한 설명도이다.
도 10은, 상기 실시 형태에 따른 정보 처리 장치의 기능을 설명하기 위한 설명도이다.
도 11은, 상기 실시 형태에 따른 정보 처리 방법의 흐름의 일례를 나타낸 흐름도이다.
도 12는, 상기 실시 형태에 따른 표시 제어 처리를 설명하기 위한 설명도이다.
도 13은, 상기 실시 형태에 따른 표시 제어 처리를 설명하기 위한 설명도이다.
도 14는, 상기 실시 형태에 따른 표시 제어 처리를 설명하기 위한 설명도이다.
도 15는, 상기 실시 형태에 따른 표시 제어 처리를 설명하기 위한 설명도이다.
도 16은, 상기 실시 형태에 따른 표시 제어 처리를 설명하기 위한 설명도이다.
도 17은, 상기 실시 형태에 따른 표시 제어 처리의 흐름의 일례를 나타낸 흐름도이다.
도 18은, 본 개시의 제2 실시 형태에 따른 정보 처리 장치의 구성의 일례를 나타낸 블록도이다.
도 19는, 상기 실시 형태에 따른 정보 처리 장치의 기능을 설명하기 위한 설명도이다.
도 20은, 상기 실시 형태에 따른 정보 처리 장치의 기능을 설명하기 위한 설명도이다.
도 21은, 상기 실시 형태에 따른 정보 처리 장치의 기능을 설명하기 위한 설명도이다.
도 22는, 상기 실시 형태에 따른 정보 처리 방법의 흐름의 일례를 나타낸 흐름도이다.
도 23은, 상기 실시 형태의 변형예에 따른 정보 처리 장치의 기능을 설명하기 위한 설명도이다.
도 24는, 상기 실시 형태의 변형예에 따른 정보 처리 방법의 흐름의 일례를 나타낸 흐름도이다.
도 25는, 광선 공간에 대하여 설명하기 위한 설명도이다.
도 26은, 본 개시의 제3 실시 형태에 따른 시스템의 개략적인 구성을 나타낸 설명도이다.
도 27a는, 상기 실시 형태에 따른 촬상 장치의 개략적인 구성을 나타낸 설명도이다.
도 27b는, 상기 실시 형태에 따른 촬상 장치의 개략적인 구성을 나타낸 설명도이다.
도 28a는, 상기 실시 형태에 따른 촬상 장치의 개략적인 구성을 나타낸 설명도이다.
도 28b는, 상기 실시 형태에 따른 촬상 장치의 개략적인 구성을 나타낸 설명도이다.
도 29는, 상기 실시 형태에 따른 촬상 장치의 개략적인 구성을 나타낸 설명도이다.
도 30은, 상기 실시 형태에 따른 정보 처리 장치의 구성의 일례를 나타낸 블록도이다.
도 31은 상기 실시 형태에 따른 정보 처리 장치의 기능을 설명하기 위한 설명도이다.
도 32a는, 상기 실시 형태에 따른 정보 처리 장치의 기능을 설명하기 위한 설명도이다.
도 32b는, 상기 실시 형태에 따른 정보 처리 장치의 기능을 설명하기 위한 설명도이다.
도 33은, 상기 실시 형태에 따른 정보 처리 장치의 기능을 설명하기 위한 설명도이다.
도 34는, 상기 실시 형태에 따른 정보 처리 방법의 흐름의 일례를 나타낸 흐름도이다.
도 35는, 상기 실시 형태에 따른 정보 처리 방법의 흐름의 일례를 나타낸 흐름도이다.
이하에 첨부 도면을 참조하면서, 본 개시의 바람직한 실시 형태에 대하여 상세히 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행하기로 한다.
1. 제1 실시 형태
1.1. 시스템 구성예에 대하여
1.2. 정보 처리 장치의 구성에 대하여
1.3. 정보 처리 방법의 흐름에 대하여
1.4. 표시 제어 처리의 예
1.5. 결론
2. 제2 실시 형태
2.1. 정보 처리 장치의 구성에 대하여
2.2. 정보 처리 방법의 흐름에 대하여
2.3. 정보 처리 방법의 변형예에 대하여
2.4. 결론
3. 제3 실시 형태
3.1. 시스템 구성예에 대하여
3.2. 촬상 기기의 구성에 대하여
3.3. 정보 처리 장치의 구성에 대하여
3.4. 정보 처리 방법의 흐름에 대하여
3.5. 결론
(제1 실시 형태)
<시스템 구성예에 대하여>
도 1은, 본 개시의 제1 실시 형태에 따른 시스템의 개략적인 구성을 나타내는 도면이다. 도 1에 도시한 바와 같이, 본 실시 형태에 있어서의 시스템(10)은 서버(100)와, 클라이언트(200 내지 700)를 갖는다.
서버(100)는, 단일의 서버 장치, 또는 유선 혹은 무선의 각종 네트워크를 통해 접속되어 협동하는 복수의 서버 장치에 의해 실현되는 기능의 집합체이며, 클라이언트 기기(200 내지 700)에 각종 서비스를 제공한다.
클라이언트 기기(200 내지 700)는, 서버(100)와 유선 혹은 무선의 각종 네트워크를 통해 접속된 단말 장치이다.
서버(100) 및 클라이언트 기기(200 내지 700)는, 단독으로, 또는 서로 협동함으로써 시스템(10) 중에서 이하의 (1) 내지 (7) 중 적어도 어느 하나의 기능을 실현한다.
(1) 카메라 등의 촬상 기구를 갖고, 촬상된 실공간의 화상을, 서버(100) 또는 다른 클라이언트 기기(200 내지 700)에 제공하는 장치.
(2) 카메라 등의 촬상 기구를 갖고, 촬상된 실공간의 화상에 대하여 각종 화상 처리를 실시하고, 화상 처리에 의해 얻어진 실공간에 관한 각종 화상을, 서버(100) 또는 다른 클라이언트 기기(200 내지 700)에 제공하는 장치.
(3) 카메라 등의 촬상 기구를 갖고, 촬상된 실공간의 화상에 대하여 각종 화상 처리를 실시하고, 유저에 의해 실시된 각종 화상에 관한 각종 조작에 따라서 유저가 원하는 화상을 생성하고, 생성된 각종 화상을, 서버(100) 또는 다른 클라이언트 기기(200 내지 700)에 제공하는 장치.
(4) 디스플레이 등의 표시 기구를 적어도 갖고, 바람직하게는 터치 패널 등의 조작 기구를 더 갖고, 상기 (1)에 기재된 장치에 의해 제공된 화상을 취득함과 함께, 유저에 의해 실시된 화상에 관한 각종 조작에 따라서 유저가 원하는 화상을 생성하고, 생성된 각종 화상을 유저의 열람에 제공하는 장치.
(5) 디스플레이 등의 표시 기구를 적어도 갖고, 바람직하게는 터치 패널 등의 조작 기구를 더 갖고, 상기 (2)에 기재된 장치에 의해 제공된 화상을 취득함과 함께, 유저에 의해 실시된 화상에 관한 각종 조작에 따라서 유저가 원하는 화상을 생성하고, 생성된 각종 화상을 유저의 열람에 제공하는 장치.
(6) 디스플레이 등의 표시 기구를 적어도 갖고, 바람직하게는 터치 패널 등의 조작 기구를 더 갖고, 상기 (3)에 기재된 장치에 의해 제공된 화상을 취득하여 유저의 열람에 제공함과 함께, 유저에 의한 화상으로의 각종 조작을 접수하는 장치.
(7) 디스플레이 등의 표시 기구를 갖고, 상기 (4) 내지 (6)에 기재된 장치에 의해 접수된 각종 유저 조작에 기초하여 생성된 각종 화상을 표시시키는 장치.
클라이언트 기기(200)는, 웨어러블 단말기이다(이하, 단순히 웨어러블 단말기(200)라고도 함). 웨어러블 단말기(200)는, 예를 들어 촬상 기구 혹은 표시 기구 중 적어도 어느 하나를 갖고, 상기 (1) 내지 (7) 중 적어도 어느 하나의 장치로서 기능한다. 도시된 예에 있어서 웨어러블 단말기(200)는 안경형이지만, 유저의 신체에 장착 가능한 형상이면, 이 예로는 한정되지 않는다. 상기 (1) 내지 (3)에 기재된 장치로서 기능하는 경우, 웨어러블 단말기(200)는 촬상 기구로서, 예를 들어 안경의 프레임 부분 등에 설치된 카메라를 갖는다. 이 카메라에 의해, 웨어러블 단말기(200)는, 유저의 시점에 가까운 위치로부터 실공간의 화상을 취득할 수 있다. 취득된 화상은, 서버(100) 또는 다른 클라이언트 기기(300 내지 700)로 송신된다. 또한, 상기 (4) 내지 (7)에 기재된 장치로서 기능하는 경우, 웨어러블 단말기(200)는 표시 기구로서, 예를 들어 안경의 렌즈 부분의 일부 또는 전부에 설치된 디스플레이 등을 갖는다. 웨어러블 단말기(200)는, 상기한 카메라에 의해 촬상된 화상을 이 디스플레이에 표시시킨다.
클라이언트 기기(300)는, 태블릿 단말기이다(이하, 단순히 태블릿 단말기(300)라고도 함). 태블릿 단말기(300)는, 적어도 표시 기구를 갖고, 바람직하게는 조작 기구를 더 갖고, 예를 들어 상기 (4) 내지 (7)에 기재된 장치로서 기능할 수 있다. 태블릿 단말기(300)는, 상기한 표시 기구 및 조작 기구에 추가하여 촬상 기구를 더 갖고, 상기한 (1) 내지 (3) 중 적어도 어느 하나에 기재된 장치로서 기능하여도 된다. 즉, 태블릿 단말기(300)는, 상기한 (1) 내지 (7)에 기재된 장치 중 임의의 장치로서 기능할 수 있다.
클라이언트 기기(400)는, 휴대전화(스마트폰)이다(이하, 단순히 휴대전화(400)라고도 함). 또한, 시스템(10)에 있어서의 휴대전화(400)의 기능은, 태블릿 단말기(300)와 마찬가지이기 때문에, 상세한 설명은 생략한다. 또한, 도시하지 않았지만, 예를 들어 휴대형 게임기나 휴대형 음악 재생기나 디지털 카메라와 같은 장치도, 통신 기구와 표시 기구, 조작 기구 또는 촬상 기구를 갖고 있으면, 시스템(10)에 있어서 태블릿 단말기(300)나 휴대전화(400)와 마찬가지로 기능할 수 있다.
클라이언트 기기(500)는, 랩톱 PC(Personal Computer)이다(이하, 단순히 랩톱 PC(500)라고도 함). 랩톱 PC(500)는, 표시 기구 및 조작 기구를 갖고, 상기 (4) 내지 (7)에 기재된 장치로서 기능한다. 도시된 예에 있어서, 랩톱 PC(500)는, 기본적으로 고정하여 사용되기 때문에 상기 (1) 내지 (3)에 기재된 장치로서는 기능하지 않는 장치의 예로서 취급되고 있다. 도시하지 않았지만, 예를 들어 데스크톱 PC나 텔레비전 등도, 랩톱 PC(500)와 마찬가지로 기능할 수 있다. 랩톱 PC(500)는, 표시 기구로서 디스플레이를, 조작 기구로서 마우스나 키보드를 갖고, 상기 (1) 내지 (3)에 기재된 장치로부터 직접적으로 또는 각종 장치를 경유하여 제공되는 화상을 표시함과 함께, 당해 화상에 대한 유저의 각종 조작을 접수한다. 또한, 랩톱 PC(500)가 카메라 등의 촬상 기구를 더 갖고 있는 경우, 랩톱 PC(500)는, 상기 (1) 내지 (3)에 기재된 장치로서 기능하는 것도 가능하다.
클라이언트 기기(600)는, 고정 카메라이다(이하, 단순히 고정 카메라(600)라고도 함). 고정 카메라(600)는 촬상 기구를 갖고, 상기 (1) 내지 (3)에 기재된 장치로서 기능한다. 도시된 예에 있어서, 고정 카메라(600)는 고정하여 사용되고, 또한 표시 기구를 갖지 않기 때문에 상기 (4) 내지 (7)에 기재된 장치로서는 기능하지 않는 장치의 예로서 취급되고 있다. 도시하지 않았지만, 예를 들어 데스크톱 PC나 텔레비전에 화면의 앞을 비추는 카메라가 설치되어 있는 경우나, 디지털 카메라와 같은 이동 가능한 장치가 삼각대 등으로 일시적으로 고정되어 있는 경우에도, 이들 장치는 고정 카메라(600)와 마찬가지로 기능할 수 있다. 고정 카메라(600)는, 촬상 기구로서 카메라를 갖고, 고정된 시점(카메라가 자동으로, 또는 촬상 화상을 열람하는 유저가 조작에 따라서 스윙하는 경우도 포함함)으로부터 실공간의 화상을 취득할 수 있다.
클라이언트 기기(700)는, 프로젝터이다(이하, 단순히 프로젝터(700)라고도 함). 프로젝터(700)는 표시 기구로서 투영 장치를 갖고, 상기 (7)에 기재된 장치로서 기능한다. 도시된 예에 있어서, 프로젝터(700)는 촬상 기구를 갖지 않고, 또한 표시(투영)한 화상에 대한 입력을 접수하는 조작 기구도 갖지 않기 때문에, 상기 (1) 내지 (6)에 기재된 장치로서는 기능하지 않는 장치의 예로서 취급되고 있다. 프로젝터(700)는, 투영 장치를 사용해서 스크린이나 오브젝트의 표면에 화상을 투영함으로써, 실공간에 각종 화상을 표시시킨다. 또한, 프로젝터(700)는, 고정형의 것이 도시되어 있지만, 핸드 헬드형의 것이어도 된다.
서버(100)는, 단독으로 또는 상기 클라이언트 기기(200 내지 700)와 협동함으로써, 상기 (1) 내지 (7) 중 적어도 어느 하나에 기재된 장치로서 기능한다. 즉, 서버(100)는 실공간의 화상을 취득하거나, 얻어진 화상에 대하여 각종 화상 처리를 행하거나, 취득된 실공간의 화상, 또는 화상 처리에 의해 얻어진 화상 중 적어도 어느 하나를 표시시키거나 하는 기능을 갖는다.
서버(100) 및 클라이언트 기기(200 내지 700)에 의해 실현되는 상기한 바와 같은 기능에 의해, 예를 들어 인간 등의 각종 생물, 지표, 지중 혹은 수중 등을 자주하는 자주체, 또는 공중을 비행하는 비행체 등과 같은 이동체가 존재하는 실공간의 화상을 유저가 열람하고, 각종 이동체와 유저에 의해, 공간을 공유하는 것이 가능해진다. 또한, 본 실시 형태에 따른 시스템에서는, 이하에서 상세히 설명한 바와 같은 처리가 행해짐으로써, 유저는, 이동체와는 독립하여, 이동체가 존재하는 실공간의 화상을 자유롭게 열람하는 것도 가능해진다.
이상, 본 실시 형태에 따른 시스템에 대하여 설명하였다. 도 1에 도시한 바와 같이, 본 실시 형태에 따른 시스템(10)은, 실공간의 화상을 취득 가능한 장치와, 실공간의 화상을 유저의 열람에 제공함과 함께 유저에 의한 각종 조작을 접수하는 것이 가능한 장치와, 유저에 의한 각종 조작에 의해 생성된 화상을 표시시키는 장치를 포함할 수 있다.
또한, 상기와 같은 시스템(10)에서 실시되는 화상 처리를 포함하는 각종 정보 처리는, 서버(100)나 클라이언트 기기(200 내지 700)가, 단독으로 또는 서로 협동함으로써 실시된다. 서버(100)나 클라이언트 기기(200 내지 700)가, 단독으로 또는 서로 협동하는 결과, 시스템(10) 전체로서 보면, 이하에서 상술하는 바와 같은 정보 처리 장치가 실현되게 된다.
[장치 구성]
도 2는, 본 실시 형태에 따른 장치의 개략적인 구성을 나타내는 도면이다. 도 2에 도시한 바와 같이, 장치(900)는, 프로세서(910) 및 메모리(920)를 포함한다. 장치(900)는, 표시부(930), 조작부(940), 통신부(950), 촬상부(960), 또는 센서(970) 중 적어도 어느 하나를 더 포함할 수 있다. 이들 구성 요소는, 버스(980)에 의해 서로 접속된다. 장치(900)는, 예를 들어 상기한 서버(100)를 구성하는 서버 장치, 및 클라이언트 기기(200 내지 700)를 실현할 수 있다.
프로세서(910)는, 예를 들어 CPU(Central Processing Unit) 또는 DSP(Digital Signal Processor) 등과 같은 각종 프로세서이며, 예를 들어 메모리(920)에 저장된 프로그램에 따라 연산이나 제어 등의 동작을 실행함으로써, 각종 기능을 실현한다. 프로세서(910)는, 예를 들어 상기한 서버(100) 및 클라이언트 기기(200 내지 700)의 장치 전체의 제어 기능을 실현한다. 프로세서(910)는 예를 들어 서버(100)나 클라이언트 기기(200 내지 700)에 있어서, 후술하는 바와 같은 각종 화상 처리나, 화상을 표시 화면에 표시시키기 위한 표시 제어를 실행한다.
메모리(920)는, 반도체 메모리 또는 하드디스크 등의 기억 매체에 의해 구성되고, 장치(900)에 의한 처리를 위한 프로그램 및 데이터를 저장한다. 메모리(920)는, 예를 들어 촬상부(960)에 의해 취득된 촬상 화상 데이터나, 센서(970)에 의해 취득된 센서 데이터를 저장하여도 된다. 또한, 본 명세서에서 설명하는 프로그램 및 데이터의 일부는, 메모리(920)에 저장되지 않고, 외부의 데이터 소스(예를 들어 데이터 서버, 네트워크 스토리지 또는 외장형 메모리 등)로부터 취득되어도 된다.
표시부(930)는, 예를 들어 전술한 표시 기구를 갖는 클라이언트에 설치된다. 표시부(930)는, 예를 들어 장치(900)의 형상에 대응한 디스플레이일 수도 있다. 예를 들어, 상기한 예로 말하자면, 웨어러블 단말기(200)는, 예를 들어 안경의 렌즈 부분에 대응한 형상, 또는 헤드 마운트 디스플레이의 표시 영역에 대응한 형상의 디스플레이를 가질 수 있다. 또한, 태블릿 단말기(300)나 휴대전화(400), 랩톱 PC(500)는, 각각의 케이싱에 설치되는 평판형 디스플레이를 가질 수 있다. 또는, 표시부(930)는 오브젝트에 화상을 투영하는 투영 장치여도 된다. 상기한 예에서는, 프로젝터(700)가 표시부로서 투영 장치를 가질 수 있다.
조작부(940)는, 예를 들어 전술한 조작 기구를 갖는 클라이언트에 설치된다. 조작부(940)는, 예를 들어 디스플레이 위에 설치된 터치 센서(디스플레이와 맞춰서 터치 패널을 구성함)나 터치 패드, 마우스 등의 포인팅 디바이스에, 필요에 따라서 키보드, 버튼, 스위치 등을 조합해서 구성된다. 조작부(940)는, 예를 들어 포인팅 디바이스에 의해 표시부(930)에 표시된 화상 중의 위치를 특정하고, 그 위치에 대하여 키보드나 버튼, 스위치 등에 의해 어떠한 정보를 입력하는 유저의 조작을 접수한다. 또는, 조작부(940)는, 포인팅 디바이스에 의해 표시부(930)에 표시된 화상 중의 위치를 특정하고, 또한 포인팅 디바이스에 의해 그 위치에 대하여 어떠한 정보를 입력하는 유저의 조작을 접수하여도 된다.
통신부(950)는, 장치(900)에 의한 다른 장치와의 사이의 통신을 중개하는 통신 인터페이스이다. 통신부(950)는, 임의의 무선 통신 프로토콜 또는 유선 통신 프로토콜을 서포트하고, 다른 장치와의 사이의 통신 접속을 확립한다.
촬상부(960)는, 화상을 촬상하는 카메라 모듈이다. 촬상부(960)는, CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상 소자를 사용해서 실공간을 촬상하고, 촬상 화상을 생성한다. 촬상부(960)에 의해 생성되는 일련의 촬상 화상은, 영상을 구성한다. 또한, 촬상부(960)는, 반드시 장치(900)의 일부가 아니어도 된다. 예를 들어, 장치(900)와 유선 혹은 무선으로 접속되는 촬상 장치가 촬상부(960)로서 취급되어도 된다. 또한, 촬상부(960)는 촬상부(960)와 피사체 사이의 거리를 화소마다 측정하는 심도(depth) 센서를 포함하고 있어도 된다. 심도 센서로부터 출력되는 심도 데이터는, 후술하는 바와 같이 실공간을 촬상한 화상에서의 환경의 인식을 위해 이용될 수 있다.
센서(970)는, 측위 센서, 가속도 센서 및 자이로 센서 등의 다양한 센서를 포함할 수 있다. 센서(970)에 있어서 얻어지는 측정 결과는, 실공간을 촬상한 화상에 있어서의 환경의 인식의 지원, 지리적인 위치에 특화된 데이터의 취득, 또는 유저 입력의 검출 등의 다양한 용도로 이용되어도 된다. 또한, 센서(970)는, 촬상부(960)를 갖는 장치(상기한 예에서는 웨어러블 단말기(200)나 태블릿 단말기(300), 휴대전화(400) 또는 고정 카메라(600) 등)에 설치될 수 있다.
<정보 처리 장치의 구성에 대하여>
다음으로, 상기한 바와 같은 서버(100)나 클라이언트 기기(200 내지 700)가 단독으로 또는 서로 협동함으로써 시스템(10) 전체로서 실현되는, 본 실시 형태에 따른 정보 처리 장치의 구성에 대하여, 도 3 내지 도 10을 참조하면서, 주로 그 기능의 면을 상세히 설명한다.
여기서, 본 실시 형태에 따른 정보 처리 장치(10)에 의해 취급되는 촬상 화상의 종별은 특별히 한정되는 것이 아니라, 정지 화상이어도 되고, 동화상이어도 된다.
또한, 본 실시 형태에 따른 정보 처리 장치(1000)에 의해 취급되는 촬상 화상은, 실공간의 가능한 한 광범위를 촬상한 것인 것이 바람직하다. 따라서, 실공간의 촬상에 사용되는 촬상 장치는, 가능한 한 광각의 렌즈가 장착된 카메라인 것이 바람직하고, 더 바람직하게는, 예를 들어 도 3에 모식적으로 나타낸 바와 같은, 전방위 카메라인 것이 바람직하다.
도 3은, 실공간을 촬상하기 위한 전방위 카메라가, 웨어러블 단말기(200)로서 실현되는 경우의 구성을, 모식적으로 나타낸 것이다. 도 3에 도시한 웨어러블 단말기(200)에서는, 가능한 한 광각의 렌즈가 장착된 카메라가, 이동체의 일례인 인간의 헤드부 주위를 덮도록, 환 형상으로 설치되어 있다. 또한, 카메라를 인간의 헤드부 주위에 설치하는 것만으로는, 천정 방향의 화상을 얻는 것이 곤란해지기 때문에, 도 3에서는, 헤드 꼭대기부에도 카메라가 설치되어 있다. 또한, 웨어러블 단말기(200)에는, 측위 센서, 가속도 센서 및 자이로 센서 등과 같은 각종 센서가 설치된다. 이러한 센서로부터 출력되는, 촬상 장치의 시선(환언하면, 촬상 장치의 자세)에 관한 정보는, 후술하는 정보 처리 장치에 대하여 출력되고, 이러한 정보 처리 장치에 있어서, 촬상 장치의 자세에 관한 정보인 촬상 장치 자세 정보로서 사용된다.
또한, 도 3에 도시한 예에서는, 전방위 화상을 얻기 위해서 카메라를 환 형상으로 배치하는 경우를 나타내고 있지만, 정보 처리 장치(1000)에 의해 취급하는 화상이 전방위 화상이 아니어도 되는 경우에는, 카메라를 환 형상으로 배치하지 않아도 되며, 인간의 헤드부의 적어도 일부에 카메라가 설치되어 있으면 된다. 도 3에 도시한 바와 같은 웨어러블 단말기(200)를 실현하는 데 있어서 사용되는 카메라의 대수에 대해서는 한정되는 것은 아니며, 어느 정도 광범위한 화상을 취득하고 싶은지에 따라서, 대수를 적절히 설정하면 된다.
또한, 도 3에서는, 이동체가 인간인 경우에 대하여 도시하고 있지만, 이동체는 인간으로 한정되는 것은 아니며, 웨어러블 단말기(200)가 장착된 인간 이외의 동물이어도 되고, 카메라가 장착된 로봇 등의 자주체나 비행체여도 된다.
도 3에 예시한 바와 같은 촬상 기기에 의해 촬상된 촬상 화상에 대하여 각종 정보 처리를 행하는 정보 처리 장치(1000)는, 공간 내를 이동하는 이동체에 장착된 촬상 장치의 촬상에 의해 생성되는 화상 정보와, 당해 촬상 장치의 자세에 관한 정보인 촬상 장치 자세 정보와, 유저가 조작하는 유저 조작 기기로부터 얻어지는, 유저가 시인(視認)하고 싶은 영역을 특정하는 유저 시인 정보에 기초하여 생성되는 표시 화상을, 상기 유저가 시인하는 표시 영역에 표시시키는 제어를 행하는 장치이다. 또한, 촬상 장치 자세 정보란, 예를 들어 촬상 장치의 회전에 관한 정보이며, 유저 시인 정보란, 예를 들어 촬상 장치가 촬상한 전방위 화상에 있어서, 유저가 시인하고 싶은 표시 화각을 특정하는 정보여도 된다.
이 정보 처리 장치(1000)는, 예를 들어 도 4a에 도시한 바와 같이, 제어부의 일례인 표시 제어부(1050)를 적어도 구비한다. 또한, 본 실시 형태에 따른 정보 처리 장치(1000)는, 도 4b에 도시한 바와 같이, 표시 제어부(1050)에 추가하여, 화상 생성부(1010)와, 화상 선택부(1020)와, 화상 보정부(1030)와, 이동체 시선 정보 생성부(1040)와, 데이터 취득부(1060)와, 데이터 제공부(1070)와, 기억부(1080) 중 적어도 어느 하나를 더 구비하여도 된다. 여기서, 도 4a 및 도 4b에 도시한 각 처리부는, 서버(100) 또는 클라이언트 기기(200 내지 700) 중 어느 하나의 기기에 실현되어 있어도 되고, 복수의 기기로 분산되어 실현되어 있어도 된다.
또한, 이하의 설명에서는, 정보 처리 장치(1000)가, 상기 촬상 장치에 의해 촬상된 촬상 화상과, 상기 촬상 장치 자세 정보와, 상기 유저 시인 정보에 기초하여 생성되는 표시 화상의 표시 제어를 행하는 경우에 대하여 설명한다. 그러나, 정보 처리 장치(1000)는, 예를 들어 촬상 장치나 촬상 장치 및 정보 처리 장치와는 상이한 다른 기기에 의해, 상기 촬상 화상과 상기 촬상 장치 자세 정보에 기초하여 생성된 생성 화상(예를 들어, 촬상 화상에 대하여 촬상 장치의 자세에 관한 보정이 미리 실시된 보정 화상)과, 상기 유저 시인 정보에 기초하여, 이하와 마찬가지로 하여 표시 제어를 행해도 되는 것은, 물론이다.
화상 생성부(1010)는, 공간 내를 이동하는 이동체에 장착된 촬상 장치에 의해 촬상되는 촬상 화상을 이용하여, 이동체가 존재하는 위치의 주위가 촬상된 주위 촬상 화상을 생성한다. 화상 생성부(1010)에 의한 주위 촬상 화상의 생성 처리는, 예를 들어 도 3에 도시한 바와 같은 촬상 기기로부터 촬상 화상이 출력되면, 리얼 타임으로 수시 실시된다.
여기서, 주위 촬상 화상의 생성에 사용되는 촬상 화상이 도 3에 예시한 바와 같은 전방위 카메라에 의해 촬상된 것인 경우, 화상 생성부(1010)가 촬상 화상을 통합함으로써 생성하는 주위 촬상 화상은, 도 5에 도시한 바와 같은 전방위 촬상 화상(전체 구형 화상)으로 된다. 또한, 복수의 카메라에 의해 촬상된 복수의 촬상 화상으로부터 주위 촬상 화상을 생성하는 방법에 대해서는 특별히 한정되는 것은 아니며, 공지된 방법을 적용하면 된다.
화상 생성부(1010)는, 주위 촬상 화상으로서, 도 5에 도시한 바와 같은 전방위 촬상 화상(전체 구형 화상)이 아니라, 도 6에 도시한 바와 같은, 전체 구형 화상과 등가의 직사각형 화상을 생성하여도 된다. 전체 구형 화상과 등가의 직사각형 화상은, 예를 들어 일정 거리 원통 도법 등의 공지된 방법에 의해, 전체 구형 화상을 변환함으로써 생성할 수 있다. 주위 촬상 화상으로서, 도 5에 도시한 바와 같은 전체 구형 화상이 아니라, 도 6에 도시한 바와 같은 직사각형 화상을 사용함으로써, 보다 간편하게 각종 화상 처리를 실시하는 것이 가능해진다.
화상 선택부(1020)는, 화상 생성부(1010)에 의해 생성된 주위 촬상 화상과, 유저가 조작하는 유저 조작 기기로부터 얻어진, 유저가 시인하고 싶은 공간을 나타내는 유저 시인 정보에 기초하여, 주위 촬상 화상 중 유저 시인 정보에 대응하는 촬상 화상을, 유저 시인용 화상으로서 선택한다. 화상 선택부(1020)에 의해 선택된 유저 시인용 화상은, 유저가 조작하는 유저 조작 기기(예를 들어, 도 5 및 도 6에 도시한 예에서는, 이동체와는 상이한 유저가 장착한, 헤드 마운트 디스플레이 등의 웨어러블 단말기(200))로 제공되고, 유저의 열람에 제공된다. 이에 의해, 유저 조작 기기를 조작하고 있는 유저는, 어떤 공간 내를 이동하는 이동체와 공간을 공유할 수 있음과 함께, 공간 내에서 유저가 시인을 희망하는 위치를, 이동체와는 독립해서 선택하는 것이 가능해진다. 그 결과, 이동체가 존재하고 있는 공간에 있어서, 유저는, 이동체가 시인하고 있는 위치와는 상이한 위치의 화상을, 자유롭게 선택하는 것이 가능해진다.
이와 같은 주위 촬상 화상의 생성 처리 및 주위 촬상 화상으로부터의 화상 선택 처리는, 화상 간의 특징점을 대조시키는 등과 같은 연산 비용이 높은 처리를 다용하는 공간 재합성 기술에 비하여, 보다 적은 연산 비용으로 처리를 실행할 수 있다. 따라서, 이러한 처리를 실시 가능한 정보 처리 장치(1000)는, 장치의 소형 경량화를 실현하는 것이 가능해진다.
여기서, 유저 조작 기기에 의해 설정되는 유저 시인 정보는, 유저가 유저 조작 기기에 설치되어 있는 터치 패드, 키보드, 마우스 등의 각종 입력 기구를 조작함으로써 생성되고, 화상 선택부(1020)로 전송된다. 유저 조작 기기가 도 5 및 도 6에 도시한 바와 같은 웨어러블 단말기(200)인 경우, 웨어러블 단말기(200)에 설치된 측위 센서, 가속도 센서 및 자이로 센서 등의 다양한 센서에 의해, 유저의 거동(예를 들어, 유저의 시선 방향)을 자동적으로 검출함으로써, 생성되어도 된다. 또한, 이러한 유저 시인 정보는, 유저 조작 기기로의 유저에 의한 음성 입력이나 제스처 입력 등에 의해 생성되어도 된다.
이와 같이, 본 실시 형태에 따른 정보 처리 장치(1000)는, 상기 화상 생성부(1010) 및 화상 선택부(1020)를 구비함으로써, 이동체(보다 상세하게는, 촬상 장치)가 시인하고 있는 공간의 화상(소위 일인칭 시점 화상)이 리얼타임으로 유저에 대하여 제공된다. 여기서, 일인칭 시점 화상에서는, 이동체(보다 상세하게는, 촬상 장치)가 자신이 존재하는 위치의 주변을 둘러보는 것에 기인하는, 심한 화면의 흔들림이 발생하는 경우가 있다. 이러한 화면의 심한 흔들림을 유저가 시인해버리면, 유저는, 흔들림이 심한 화상을 보는 것에 따른 「시크니스」(모션 시크니스)를 느껴버리는 경우가 있다. 따라서, 본 실시 형태에 따른 정보 처리 장치(1000)에서는, 촬상 장치에서의 상기한 바와 같은 회전 운동을 보정하는 보정 기능을 더 갖고 있는 것이 바람직하다.
화상 보정부(1030)는, 촬상 장치 자세 정보에 기초하여, 상기한 바와 같은 촬상 장치의 회전 운동에 수반되는 화상의 변화를 보정하는 처리부이다. 이 화상 보정부(1030)는, 촬상 장치의 위치가 변화하지 않고 당해 촬상 장치의 시선 방향이 변화한(즉, 촬상 장치에 회전 운동이 발생한) 경우에, 주위 촬상 화상에 대하여 촬상 장치의 시선 방향의 변화에 수반되는 주위 촬상 화상의 변화를 억제하는 보정을 실시한다.
보다 구체적으로는, 화상 보정부(1030)는, 이동체 시선 정보를 이용하고, 촬상 장치의 시선 방향의 변화에 수반되는 회전각의 크기에 따라서, 촬상 장치의 시선 방향의 변화 후의 주위 촬상 화상을 역회전시키는 보정을 실시한다. 이하, 이 보정 처리에 대하여, 도 7을 참조하면서 설명한다.
도 7에 도시한 바와 같이, 어떤 시점에 있어서, 센서 및 전방위 카메라를 갖는 웨어러블 단말기(200)를 장착한 이동체(인간)로부터의 촬상 데이터에 의해, 전체 구형 화상 A가 생성되도록 한다. 그 후, 촬상 장치에 회전 운동이 발생하여 시선 방향의 변화가 생기고, 그것에 수반되어, 전체 구형 화상 B가 생성되도록 한다. 이러한 경우, 화상 보정부(1030)는, 웨어러블 단말기(200)로부터 출력된 센서 정보를 참조하여 회전 성분을 추출하고, 촬상 장치의 시선 방향의 변화에 수반되는 회전각의 크기를 특정한다. 계속해서, 화상 보정부(1030)는, 전체 구형 화상 B에 대하여, 얻어진 회전각의 크기에 따라서 화상을 역회전시키는 보정을 실시하여, 전체 구형 화상 B로부터 회전 성분의 상쇄된 전체 구형 화상 C를 생성한다. 이에 의해, 전체 구형 화상 C는, 회전 성분이 상쇄된 결과, 전체 구형 화상 A와 거의 동일한 방향을 본 화상으로 된다.
이상과 같은 화상 보정 처리를 실시함으로써, 촬상 장치의 회전 운동에 기인하는 심한 화면의 흔들림을 억제할 수 있어, 유저에 있어서의 「시크니스」(모션 시크니스)의 발생을 방지할 수 있다.
또한, 화상 보정부(1030)는, 촬상 장치의 회전 운동에 수반되는 시선 방향의 변화의 전후에 있어서, 국소 특징량이 일치하도록 회전 운동의 보정 처리를 실시하여도 된다. 도 7에서는, 이동체에 설치된 센서로부터의 출력을 이용하여, 회전 보정을 행하는 경우에 대하여 도시하고 있지만, 전체 구형 화상 A에 있어서의 국소 특징량과, 전체 구형 화상 B에 있어서의 국소 특징량에 주목하여, 회전 운동의 보정 처리를 실시하여도 된다.
예를 들어, 화상 보정부(1030)는, 전체 구형 화상 A에 있어서의 국소 특징량(예를 들어, 특징점의 위치)과, 전체 구형 화상 B에 있어서의 국소 특징량을 각각 추출하여, 이러한 국소 특징량의 대조 처리를 실시한다. 또한, 화상 보정부(1030)는, 촬상 장치의 시선 방향의 변화의 전후에 있어서 국소 특징량이 일치하도록, 보정을 실시하여도 된다. 이 경우, 화상 보정부(1030)는, 2개의 국소 특징량을 일치시키기 위해 실시해야 할 회전 성분을 추출하여, 전체 구형 화상 B에 대하여 얻어진 회전각의 크기에 따라서 화상을 역회전시키는 보정을 실시하면 된다.
여기서, 화상 보정부(1030)가 주목하는 국소 특징량은 특별히 한정되는 것이 아니라, 공지된 국소 특징량을 이용하는 것이 가능하지만, 이와 같은 국소 특징량으로서, 예를 들어 Scale Invariant Feature Transform(SIFT)을 들 수 있다.
또한, 도 8에 도시한 바와 같이, 화상 보정부(1030)는, 이동체에 장착된 센서로부터의 출력에 기초하는 화상 보정 처리와, 국소 특징량에 기초하는 화상 보정 처리를 병용하여도 된다. 이에 의해, 화상 보정부(1030)는, 보다 정밀하게 회전 성분을 상쇄하는 것이 가능해진다.
또한, 화상 보정부(1030)는, 유저 조작 기기로부터 얻어진 상기 보정의 적용 정도를 나타낸 보정 적용 정보에 따라서, 보정의 실시 정도를 제어하여도 된다. 이에 의해, 화상 보정부(1030)는, 상기한 바와 같은 회전 성분의 보정에 의해 회전 성분을 완전히 상쇄하거나, 회전 성분의 보정을 실시하지 않거나, 회전 성분을 완전히 상쇄하지 않을 정도의 보정을 실시하거나 할 수 있다. 또한, 화상 보정부(1030)는, 회전 성분을 완전히 상쇄하지 않을 정도의 보정을 실시함으로써, 촬상 장치의 회전 운동에 서서히 추종시키는 화상 제어를 실시할 수도 있다.
또한, 촬상 장치에서 발생할 수 있는 회전 운동은, 예를 들어 요(yaw)축, 피치(pitch)축, 롤(roll)축과 같은, 서로 독립적으로 규정되는 회전 좌표축을 사용해서 표현하는 것이 가능하다. 그로 인해, 화상 보정부(1030)는, 예를 들어 도 9에 도시한 바와 같이, 상기한 바와 같은 회전 보정의 실시 정도를, 이러한 회전 좌표축의 각각에 대하여, 서로 독립적으로 제어하여도 된다.
이동체 시선 정보 생성부(1040)는, 촬상 장치 자세 정보에 기초하여, 촬상 장치의 시선 방향(위치) 또는 시야를 나타내는 시선 정보를 생성한다. 이 시선 정보는, 예를 들어 이동체에 장착되어 있는 각종 센서로부터의 출력 정보(즉, 촬상 장치 자세 정보)를 이용하여, 공지된 방향에 의해 생성할 수 있다. 이러한 시선 정보를, 화상 생성부(1010)에 의해 생성된 주위 촬상 화상과 맞춰서 유저에게 제공함으로써, 유저 조작 기기에 제공되는 유저 시인용 화상에는, 촬상 장치의 시선 방향(위치)이나 시야를 나타내는 오브젝트를 표시시키는 것이 가능해진다. 그 결과, 유저는, 촬상 장치의 시선 방향(위치) 또는 시야와는 상이한 임의의 방향의 주위 촬상 화상을 시인하면서, 촬상 장치의 시선 방향을 수시 파악하는 것이 가능해진다.
표시 제어부(1050)는, 정보 처리 장치(1000)나 정보 처리 장치(1000)의 외부에 설치된 디스플레이 등의 표시 장치의 표시 내용을 제어한다. 구체적으로는, 표시 제어부(1050)는, 공간 내를 이동하는 이동체에 장착된 촬상 장치의 촬상에 의해 생성되는 화상 정보와, 당해 촬상 장치의 자세에 관한 정보인 촬상 장치 자세 정보와, 유저가 조작하는 유저 조작 기기로부터 얻어지는, 유저가 시인하고 싶은 영역을 특정하는 유저 시인 정보에 기초하여 생성되는 표시 화상을, 상기 유저가 시인하는 표시 영역에 표시시키는 제어를 행한다. 또한, 표시 제어부(1050)는, 유저 조작 기기의 표시 화면의 표시 제어를 행함으로써, 예를 들어 도 10에 도시한 바와 같이, 유저 시인용 화상 중에, 촬상 장치의 시선 방향이나 시계를 나타낸 오브젝트를 표시시킬 수 있다. 이에 의해, 유저는, 이동체와는 독립적으로 시선 방향을 선택하면서도, 이동체의 시선 방향을 수시 파악하는 것이 가능해진다.
데이터 취득부(1060)는, 이동체에 장착된 촬상 기기로부터 출력되는 촬상 화상 데이터나, 촬상 장치의 시선 방향에 관한 센서 출력(즉, 촬상 장치 자세 정보) 등을 포함하는 시선 관련 데이터를 취득하거나, 유저 조작 기기로부터 출력되는 유저 조작에 관한 데이터를 취득하거나 한다. 데이터 취득부(1060)에 의해 각종 기기로부터 취득된 각종 데이터는, 정보 처리 장치(1000)가 갖는 각 처리부가 적절히 이용하는 것이 가능하다.
데이터 제공부(1070)는, 정보 처리 장치(1000)에 의해 생성된 각종 데이터(예를 들어, 주변 촬상 화상이나 유저 시인용 화상 등의 촬상 화상 데이터나, 촬상 장치의 시선 방향 등의 시선 관련 데이터)를, 정보 처리 장치(1000)의 외부에 설치된 장치에 제공한다. 이에 의해, 정보 처리 장치(1000)의 외부에 설치된 장치에 있어서도, 정보 처리 장치(1000)에 의해 생성된 각종 정보를 이용하는 것이 가능해진다.
기억부(1080)에는, 화상 생성부(1010), 화상 선택부(1020), 화상 보정부(1030), 이동체 시선 정보 생성부(1050), 표시 제어부(1050), 데이터 취득부(1060), 데이터 제공부(1070)에 있어서의 처리에 이용되는 각종 데이터베이스나, 이들 처리부가 실행하는 각종 연산 처리에 사용되는 애플리케이션을 포함하는 각종 프로그램이나, 어떠한 처리를 행할 때 보존할 필요가 생긴 다양한 파라미터나 처리의 도중 경과 등이, 적절히 기록되어도 된다.
이 기억부(1080)는, 화상 생성부(1010), 화상 선택부(1020), 화상 보정부(1030), 이동체 시선 정보 생성부(1050), 표시 제어부(1050), 데이터 취득부(1060), 데이터 제공부(1070) 등의 각 처리부가, 자유롭게 액세스하고, 데이터를 기입하거나 판독하거나 할 수 있다.
이상, 본 실시 형태에 따른 정보 처리 장치(1000)의 기능의 일례를 나타내었다. 상기한 각 구성 요소는, 범용적인 부재나 회로를 사용해서 구성되어 있어도 되며, 각 구성 요소의 기능에 특화된 하드웨어에 의해 구성되어 있어도 된다. 또한, 각 구성 요소의 기능을, CPU 등이 모두 행하여도 된다. 따라서, 본 실시 형태를 실시할 때마다의 기술 레벨에 따라서, 적절히, 이용하는 구성을 변경하는 것이 가능하다.
또한, 전술한 바와 같이 본 실시 형태에 따른 정보 처리 장치의 각 기능을 실현하기 위한 컴퓨터 프로그램을 제작하고, 퍼스널 컴퓨터 등에 실장하는 것이 가능하다. 또한, 이와 같은 컴퓨터 프로그램이 저장된, 컴퓨터로 판독 가능한 기록 매체도 제공할 수 있다. 기록 매체는, 예를 들어 자기디스크, 광디스크, 광자기디스크, 플래시 메모리 등이다. 또한, 상기한 컴퓨터 프로그램은, 기록 매체를 사용하지 않고, 예를 들어 네트워크를 통해 배신하여도 된다.
또한, 도 4b에 도시한 화상 생성부(1010), 화상 선택부(1020), 화상 보정부(1030), 이동체 시선 정보 생성부(1050), 데이터 취득부(1060), 데이터 제공부(1070), 기억부(1080)는, 정보 처리 장치(1000)와 서로 통신이 가능한 컴퓨터 등의 다른 장치에 실장되어 있으며, 정보 처리 장치(1000)와 다른 장치가 협동함으로써, 상기한 바와 같은 기능이 실현되어도 된다.
<정보 처리 방법의 흐름에 대하여>
다음으로, 도 11을 참조하면서, 본 실시 형태에 따른 정보 처리 장치(1000)에 의해 실시되는 정보 처리 방법의 흐름에 대하여, 간단히 설명한다.
본 실시 형태에 따른 정보 처리 방법에서는, 우선, 이동체에 장착된 카메라로부터 촬상 화상 데이터를 취득한다(스텝 S101).
그 후, 정보 처리 장치(1000)의 화상 생성부(1010)는, 취득된 촬상 화상 데이터에 기초하여, 예를 들어 전체 구형 화상이나 전체 구형 화상을 직사각형 변환한 직사각형 화상 등과 같은, 주위 촬상 화상을 생성한다(스텝 S103).
이때, 정보 처리 장치(1000)의 화상 보정부(1030)는, 필요에 따라서, 생성된 주위 촬상 화상에 대하여 상기한 바와 같은 보정 처리를 실시한다(스텝 S105).
그 후, 정보 처리 장치(1000)의 화상 선택부(1020)는, 유저 조작 기기로부터 취득한 유저 시인 정보에 따라서, 주위 촬상 화상 중에서 유저 시인 정보에 대응하는 화상(즉, 유저 시인용 화상)을 선택한다(스텝 S107).
계속해서, 정보 처리 장치(1000)의 표시 제어부(1050)는, 선택한 화상의 유저 조작 기기의 표시 화면으로의 표시를 제어한다(스텝 S109). 이에 의해, 유저 조작 기기를 사용하고 있는 유저는, 이동체가 존재하는 공간 내의 화상을 이동체와 공유하는 것이 가능해진다.
또한, 촬상 장치로부터 취득한 촬상 화상 대신에, 촬상 화상과 촬상 장치 자세 정보에 기초하여 생성된 생성 화상을 사용해서 처리를 행하는 경우에 대해서도, 상기와 마찬가지로 처리를 실시할 수 있다.
이상, 도 11을 참조하면서, 본 실시 형태에 따른 정보 처리 방법의 흐름에 대하여, 간단히 설명하였다.
<표시 제어 처리의 예>
계속해서, 도 12 내지 도 17을 참조하면서, 본 실시 형태에 따른 정보 처리 장치(1000)의 표시 제어부(1050)에 의해 생성되는 표시 화상의 예를 들면서, 표시 제어부(1050)에 있어서의 표시 제어 처리에 대하여, 구체적으로 설명한다.
도 12 내지 도 16은, 본 실시 형태에 따른 표시 제어 처리에 대하여 설명하기 위한 설명도이며, 도 17은, 본 실시 형태에 따른 표시 제어 처리의 흐름의 일례를 나타낸 흐름도이다.
도 7 및 도 8을 참조하면서 설명한 바와 같이, 본 실시 형태에 따른 정보 처리 장치(1000)에서는, 촬상 장치로부터 수시 출력되는 화상 정보로부터 생성된 전체 구형 화상, 또는 전체 구형 화상과 등가의 일정 거리 원통 도법 등에 기초하는 직사각형 화상(즉, 주위 촬상 화상)의 프레임 간의 변화에 주목함으로써 회전 성분을 추출할 수 있다.
여기서, 프레임 1에 대응하는 주위 촬상 화상 F1과, 프레임 2에 대응하는 주위 촬상 화상 F2 사이에서 발생한 회전 운동 Q1, 2는, 주위 촬상 화상 F1에 있어서의 특징점이 주위 촬상 화상 F2에 있어서 어느 위치에 존재하는지에 주목하여 행해지는 공지된 추정 처리 등에 의해, 특정할 수 있다. 이러한 회전 운동의 특정 처리를, 프레임(N-1)에 대응하는 주위 촬상 화상 FN -1과, 프레임 N에 대응하는 주위 촬상 화상 FN의 사이에서 발생한 회전 운동 QN -1, N까지 수시 실시하고, 얻어진 각각의 회전 운동의 곱을 취함으로써 하기 식 101에 나타낸 바와 같은, 프레임 1부터 프레임 N까지 사이의 회전 운동 Q1, N을 특정할 수 있다.
(식 101)
Figure pct00001
상기와 같이 하여 얻어지는 Q1, N은, 촬상 장치의 시선 방향의 변화에 수반되는 회전에 관한 정보(즉, 회전 정보)라고 할 수 있다. 이러한 회전 정보는, 프레임 1 내지 프레임 N의 사이에 발생한 회전 운동의 궤적을 나타낸 정보로서 취급하는 것이 가능하며, 표시 제어부(1050)는, 이러한 Q1, N을 가시화함으로써, 프레임 1 내지 프레임 N의 사이에 발생한 회전 운동의 궤적(환언하면, 촬상 장치의 자세 변화를 가시화한 자세 정보)을 유저에게 제공하는 것이 가능해진다.
여기서, 표시 제어부(1050)가, 화상 생성부(1010)에 의해 생성된 표시 화상(즉, 주위 촬상 화상)에 대하여 자세 정보를 중첩시킬 때 이용 가능한 좌표계로서는, 이하의 2개가 있다.
(a) 촬상 장치가 존재하는 공간에 고정된 좌표계(절대 좌표계, 이하, 좌표계 A라고도 함)
(b) 촬상 장치에 고정된 좌표계(상대 좌표계, 이하, 좌표계 B라고도 함)
본 실시 형태에 따른 표시 제어부(1050)는, 상기 2개의 좌표계 중 좌표계 A를 이용하여, 주위 촬상 화상을 공간 내에 적절하게 표시시킴과 함께, 상기 자세 정보에 대응하는 화상이나 각종 오브젝트를, 주위 촬상 화상에 대하여 중첩시킨다.
또한, 본 실시 형태에 따른 표시 제어부(1050)는, 촬상 장치의 시선 방향의 변화에 수반되는 주위 촬상 화상의 변화를 억제하는 보정이 실시된 주위 촬상 화상에 대하여, 자세 정보에 대응하는 화상이나 각종 오브젝트를 더 중첩시켜도 된다.
또한, 화상 선택부(1020)에 의해 주위 촬상 화상으로부터 선택되는 유저 시인용 화상은, 도 12에 모식적으로 나타낸 바와 같은 좌표계 A에 있어서의 전체 구형의 표면에 부착된 주위 촬상 화상의 일부를, 구형의 내부에 위치하는 임의의 점으로부터 시인하는 경우의 화상에 대응한다. 따라서, 구형의 내부에 위치하는 임의의 점에, 좌표계 A와는 별개로 상기 좌표계 B가 규정된다. 또한, 도 12에 도시한 바와 같은, 본 실시 형태에서 이용 가능한 좌표계는, 구형의 표면의 임의의 위치를 2개의 회전각을 사용해서 표현하는 회전 좌표계로 하는 것이 바람직하다.
또한, 유저 조작 기기로부터, 주위 촬상 화상의 특정한 위치에 대하여 텍스트 데이터, 화상 데이터, 음성 데이터 등과 같은 각종 어노테이션의 부가를 요구한 경우, 표시 제어부(1050)는, 유저 조작 기기로부터 지정된 위치의 좌표계 A에 있어서의 대응 개소에 대하여 각종 어노테이션을 관련짓는 것이 바람직하다. 또한, 표시 제어부(1050)는, 어노테이션을 나타내는 화상이나 아이콘 등과 같은 각종 오브젝트를, 유저 조작 기기로부터의 지정 위치에 대응한 주위 촬상 화상의 대응 개소(즉, 좌표계 A에 있어서의 대응 개소)에 표시시키는 것도 가능하다.
여기서, 자세 정보에 포함되는 정보를 가시화할 때, 표시 제어부(1050)를 채용할 수 있는 방법으로서, 적어도 이하의 2가지 방법이 있다. 표시 제어부(1050)는, 촬상 장치의 조작자, 또는 유저 조작 기기의 조작자 중 적어도 한쪽의 유저 조작에 기초하여, 채용하는 가시화 방법을 설정하거나, 변경하거나 한다.
(A) 좌표계 A의 움직임을 고정하고, 또한 좌표계 B의 움직임을 자세 정보에 따라서 변화시킨다.
이 경우, 촬상 장치의 자세 변화에 수반되어, 유저 조작 기기 등의 표시 장치의 표시 영역에 표시되는 주위 촬상 화상이 변화되도록 표시된다. 또한, 자세 정보에 대응하는 화상이나 각종 오브젝트는, 촬상 장치의 자세에 변화가 있었다고 해도, 표시 영역에 고정된 바와 같이 표시된다.
(B) 좌표계 A의 움직임을 자세 정보에 따라서 변화시키고, 또한 좌표계 B의 움직임을 고정한다.
이 경우, 촬상 장치의 자세 변화가 있었다고 해도, 유저 조작 기기 등의 표시 장치의 표시 영역에 표시되는 주위 촬상 화상의 상(像)이 변화되지 않거나, 또는 촬상 장치의 자세 변화에 수반되는 상의 변화가 적어지도록 표시된다. 또한, 자세 정보에 대응하는 화상이나 각종 오브젝트는, 촬상 장치의 자세 변화에 수반되어, 변화하도록(가상적으로 회전 등을 하도록) 표시 영역에 표시된다.
여기서, 앞서 설명한 화상 보정부(1030)에 의한 화상 보정 처리가, 상기 (B)의 가시화 방법에 있어서, 좌표계 B의 움직임을 고정하는 처리에 대응하고 있다.
상기 (A)의 가시화 방법에 의해 자세 정보를 가시화함으로써, 좌표계 A에 고정된 주위 촬상 화상은 고정된 채로, 자세 정보에 따라서 좌표계 B의 방향이 변화하게 된다. 이와 같은 좌표계 B의 움직임의 변화를 보다 명확하게 유저 조작 기기의 유저에게 전달하기 위해서, 표시 제어부(1050)는, 예를 들어 도 12에 도시한 바와 같이, 자세 정보를 나타내는 오브젝트로서, 좌표계 B의 좌표축(예를 들어, 위도 방향·경도 방향의 각도로 규정되는 좌표축)을 나타내는 오브젝트를 주위 촬상 화상에 중첩시키고, 이러한 좌표축을 자세 정보에 따라서 회전시키면 된다. 또한, 표시 제어부(1050)는, 좌표계 B의 움직임의 변화를 더 효과적으로 유저 조작 기기의 유저에게 전달하기 위해서, 예를 들어 도 13에 도시한 바와 같이, 자세 정보의 변화에 대응하는 움직임을 궤적으로서, 주위 촬상 화상에 중첩시켜도 된다.
또한, 상기 (B)의 가시화 방법에 의해 자세 정보를 가시화함으로써, 좌표계 B의 방향은 고정된 채, 좌표계 A에 고정된 주위 촬상 화상이 자세 정보에 따라서 변화하게 된다. 이 경우, 주위 촬상 화상 바로 그 자체가 자세 정보에 따라서 회전하기 때문에, 유저 조작 기기의 유저는, 촬상 장치의 자세 변화를 용이하게 파악할 수 있다. 여기서, 표시 제어부(1050)는, 주위 촬상 화상에 대하여 예를 들어 도 12에 도시한 바와 같은 좌표계 A의 좌표축(예를 들어, 위도 방향·경도 방향의 각도로 규정되는 좌표축)을 나타내는 오브젝트를 중첩시켜서, 주위 촬상 화상의 회전에 따라서 좌표축도 회전시켜도 된다. 또한, 표시 제어부(1050)는, 좌표계 A의 움직임의 변화를 보다 효과적으로 유저 조작 기기의 유저에게 전달하기 위해서, 예를 들어 도 13에 도시한 바와 같이, 자세 정보의 변화에 대응하는 움직임을 궤적으로 하여, 주위 촬상 화상에 중첩시켜도 된다.
또한, 표시 제어부(1050)는, 이상과 같은 2종류의 좌표계의 회전을 가시화할 때 생성되는 표시 화상(즉, 유저 시인용 화상)에 대하여, 촬상 장치의 시선 방향의 변화에 수반되는 회전 운동에 수반되어 회전하는 오브젝트와, 회전하지 않는 오브젝트 중 적어도 어느 한쪽을 중첩시키는 것이 가능하다. 즉, 표시 제어부(1050)는, 좌표계의 좌표축을 나타내는 오브젝트 바로 그 자체는, 회전 운동에 수반되어 회전시키지만, 예를 들어 도 12에 도시한 좌표축에 부여되어 있는 수치나 문자 등과 같이, 회전 운동에 수반되어 회전해버리면 파악하는 것이 어려워지는 오브젝트에 대해서는, 회전시키지 않고 두어도 된다. 이에 의해, 회전 운동에 수반되어 회전해버리면 파악이 어려워지는 오브젝트의 위치는 회전 운동에 수반되어 이동하지만, 오브젝트의 자세는 뷰 포인트에 대하여 일정하게 하는 것이 가능해진다. 그 결과, 유저에 의한 오브젝트의 파악을 보다 용이하게 하는 것이 가능해진다.
여기서, 표시 제어부(1050)에 의해 유저 시인용 화상에 중첩되는 각종 오브젝트의 구체예에 대해서는 특별히 한정되는 것은 아니며, 임의의 것을 사용하는 것이 가능하다. 또한, 유저 시인용 화상에 대하여, 도 10에 도시한 바와 같은 시선 정보를 중첩해도 되는 것은, 물론이다.
표시 제어부(1050)는, 좌표계 A의 좌표축 및 좌표계 B의 좌표축 중 어느 쪽의 좌표축을 표시시켜서, 어느 쪽의 좌표축을 회전시키거나 하는 등과 같은 설정을, 촬상 장치의 조작자, 또는 유저 조작 기기의 조작자 중 적어도 한쪽의 유저 조작에 기초하여, 결정하거나, 변경하거나 하는 것이 바람직하다.
또한, 좌표계의 회전축과 자세 정보에 기재되어 있는 회전 운동(즉, 촬상 장치의 회전 운동)의 회전축이 일치해버리면, 유저 조작 기기의 유저는, 촬상 장치의 자세 변화를 파악하는 것이 어려워지는 경우가 있다. 따라서, 표시 제어부(1050)는, 회전 정보를 이용하여 촬상 장치의 자세 변화를 가시화할 때, 공간에 고정된 좌표계(좌표계 A)의 중심과는 상이한 위치(예를 들어, 도 12에 있어서의 좌표계 A의 중심 C로부터 촬상 장치의 시선 방향을 따라서 후방으로 평행 이동한 위치 O)로부터 공간을 가상적으로 시인한 것으로서, 표시 화상을 생성하는 것이 바람직하다. 이에 의해, 유저 조작 기기의 유저는, 마치, 촬상 장치의 위치와는 상이한 위치에 가상적으로 설치된 고정 카메라로부터 표시 화상이 생성되어 있는 것과 같이 시인하는 것이 가능해진다. 그 결과, 유저 조작 기기의 유저는, 촬상 장치의 자세 변화를 보다 용이하게 파악하는 것이 가능해진다. 또한, 표시 제어부(1050)는, 상기한 가시화에 있어서의 기준 위치(도 12에 있어서의 위치 O)를 촬상 장치의 조작자, 또는 유저 조작 기기의 조작자 중 적어도 한쪽의 유저 조작에 기초하여, 설정하거나, 변경하거나 하는 것이 가능하다.
표시 제어부(1050)는, 자세 정보의 변화를 보다 효과적으로 유저 조작 기기의 유저에게 전달하기 위해서, 자세 정보에 따라서, 표시 화상을 유저가 시인하는 표시 영역에 표시시킬 때의 재생 속도, 또는 표시 화각 중 적어도 어느 하나를 제어하여도 된다. 표시 제어부(1050)는, 예를 들어 자세 정보에 기초하는 회전량이 큰 시점에서는 재생 속도를 늦게 하는 등과 같은 표시 제어를 행함으로써, 유저 조작 기기의 유저에 대하여 자세 정보의 변화를 보다 효과적으로 전달할 수 있다.
또한, 표시 제어부(1050)는, 유저 조작 기기로부터 지정된 임의의 위치를 중심으로 하고, 지정된 임의의 위치로부터 공간을 가상적으로 시인한 경우의 표시 화상을 생성하여, 유저 조작 기기에 제공하여도 된다.
[표시 화상의 구체예]
이하에서는, 도 14 내지 도 16을 도시하면서, 본 실시 형태에 따른 표시 제어부(1050)에서 실시되는 표시 제어 처리에 의해, 유저 조작 기기에 전송되는 표시 화상의 일례에 대하여, 간단히 설명한다.
이하에 나타내는 도 14 및 도 15는, 도 3에 도시한 바와 같은 촬상 장치가 실장된 웨어러블 단말기(200)를 몸에 착용한 유저가, 체육관 안에서 체조 경기의 하나인 철봉을 한 경우에, 웨어러블 단말기(200)에 의해 촬상된 화상을, 유저 조작 기기를 조작하는 다른 유저에게 제공하는 경우의 예를 나타내고 있다.
도 14는, 상기 (A)의 가시화 방법을 채용한 경우에 있어서의 표시 화상의 일례이다. 도 14로부터 명백해진 바와 같이, 웨어러블 단말기(200)를 몸에 착용한 유저가 철봉 경기를 계속함으로써, 주위의 화상이 변화하고, 이러한 변화에 맞춰서 좌표계 A의 좌표축을 나타내는 오브젝트의 방향이 시시각각으로 변화하고 있음을 알 수 있다. 또한, 도 14에서는, 웨어러블 단말기(200)의 자세 정보를 나타내는 궤적을, 유저 시인용 화상에 대하여 중첩시키고 있다.
한편, 도 15는, 상기 (B)의 가시화 방법을 채용한 경우에 있어서의 표시 화상의 일례이다. 도 15로부터 명백해진 바와 같이, 웨어러블 단말기(200)를 몸에 착용한 유저가 철봉 경기를 계속해도 주위의 화상은 변화하지 않고, 중첩 표시하고 있는 좌표계 B의 좌표축이 시시각각 변화하고 있음을 알 수 있다.
이와 같이, 본 실시 형태에 따른 표시 제어 처리를 실시함으로써, 얻어진 자세 정보(회전 정보)를 이용하여, 촬상 장치의 자세 변화를 가시화하는 것이 가능해진다.
또한, 본 실시 형태에 따른 표시 제어 처리는, 도 14 및 도 15에 예시한 바와 같은 전체 구형 화상뿐만 아니라, 도 16에 도시한 바와 같은, 전체 구형 화상과 등가의 일정 거리 원통 도법에 의한 직사각형 화상에 대해서도 적용하는 것이 가능하다.
[표시 제어 처리의 흐름]
다음으로, 도 17을 참조하면서, 본 실시 형태에 따른 표시 제어 처리의 흐름의 일례에 대하여, 간단히 설명한다.
본 실시 형태에 따른 표시 제어 처리에서는, 우선, 이동체에 장착된 카메라로부터 촬상 화상 데이터를 취득한다(스텝 S151).
그 후, 정보 처리 장치(1000)의 화상 생성부(1010)는, 취득한 촬상 화상 데이터에 기초하여, 예를 들어 전체 구형 화상이나 전체 구형 화상을 직사각형 변환한 직사각형 화상 등과 같은, 주위 촬상 화상을 생성한다(스텝 S153).
계속해서, 정보 처리 장치(1000)의 화상 보정부(1030)는, 생성된 각 주위 촬상 화상을 이용하여, 앞서 설명한 바와 같은 회전 해석 처리를 실시한다(스텝 S155).
그 후, 정보 처리 장치(1000)의 표시 제어부(1050)는, 좌표계 A에 기초하는 천구 위로, 생성된 주위 촬상 화상이나 각종 그래픽 오브젝트를 배치한다(스텝 S157).
계속해서, 정보 처리 장치(1000)의 화상 선택부(1020)는, 유저 조작 기기로부터 취득한 유저 시인 정보에 따라서, 각종 그래픽 오브젝트가 중첩된 주위 촬상 화상 중으로부터, 유저 시인 정보에 대응하는 화상(즉, 유저 시인용 화상)을 생성한다(스텝 S159).
정보 처리 장치(1000)의 표시 제어부(1050)는, 화상 선택부(1020)에 의해 선택된 화상의 유저 조작 기기의 표시 화면으로의 표시를 제어함으로써, 유저 조작 기기를 사용하고 있는 유저는, 이동체가 존재하는 공간 내의 화상을 이동체와 공유하는 것이 가능해진다.
이상, 도 17을 참조하면서, 본 실시 형태에 따른 표시 제어 처리의 흐름에 대하여, 간단히 설명하였다.
<결론>
이와 같이, 본 실시 형태에 따른 정보 처리 장치 및 정보 처리 방법에서는, 이동체를 둘러싸는 영상을 주위 촬상 화상으로서 리얼타임으로 관측할 수 있어, 유저는, 마치 이동체가 존재하는 장소 바로 그 자리에 있었던 것과 같은 임장감을 얻을 수 있다. 또한, 상기한 바와 같은 보정 처리를 실시함으로써, 이동체의 회전 운동에 의한 화상의 흔들림이 억제되기 때문에, 유저는, 급격한 화상의 변화에 의한 모션 시크니스(영상 시크니스)를 피할 수 있다.
이와 같은 구성은, 단방향(이동체로부터 유저에게 일방적으로 정보가 흐를 뿐)인 경우와, 쌍방향(유저로부터 음성 그 밖의 수단에 의해 정보를 이동체에 전달함)인 경우가 있다. 전자는, 예를 들어 스포츠 플레이어를 이동체로 하면, 플레이를 감상하는 인간이 유저로 되고, 임장감이 있는 스포츠 중계 등을 실현할 수 있다. 이 경우, 유저의 수는 1로 한정되지 않고, 방송 청취자와 마찬가지의 수만 명이라고 하는 경우도 고려된다. 한편, 후자는, 이동체의 시계를 공유하면서, 유저가 이동체에 대하여 어떠한 가이던스나 지시를 행하는 용도를 상정하고 있다. 예를 들어 이동체(인간)가 요리를 하고 있을 때, 그 지시를 유저가 부여하는 용도이다. 이 경우에도, 유저의 수는 1로는 한정되지 않지만, 비교적 소수인 것이 현실적이다.
이상, 본 개시의 제1 실시 형태에 따른 정보 처리 장치 및 정보 처리 방법에 대하여, 상세히 설명하였다.
(제2 실시 형태)
<정보 처리 장치의 구성에 대하여>
계속해서, 본 개시의 제2 실시 형태에 대하여 설명한다. 본 실시 형태에 따른 정보 처리 장치(1100)는, 이동하는 이동체에 장착된 촬상 장치에 의해 촬상된 촬상 화상에 대하여, 각종 정보 처리를 행하고, 이동체의 주위의 전방위 촬상 화상을 보다 자연스럽게 유저가 시청하는 것을 가능하게 하는 장치이다.
구체적으로는, 본 실시 형태에 따른 정보 처리 장치(1100)는, 제1 실시 형태와 마찬가지로, 이동체(보다 상세하게는, 촬상 장치)가 시인하고 있는 공간의 화상(소위 일인칭 시점 화상)을 리얼타임으로 유저에 대하여 제공하는 것이다. 여기서, 일인칭 시점 화상에는, 촬상하고 있는 이동체의 움직임에 기인하는 흔들림이 포함된다. 그로 인해, 이와 같은 일인칭 시점 화상을 유저가 시인한 경우, 유저는, 일인칭 시점 화상에 포함되는 흔들림의 원인인 움직임과, 자신의 신체 움직임과의 부정합으로부터 「시크니스」(모션 시크니스)를 느끼는 경우가이 있었다.
따라서, 유저에 대한 「시크니스」를 경감하기 위해서, 이동체(보다 상세하게는, 촬상 장치)의 움직임에 기인하는 일인칭 시점 화상의 흔들림을 화상의 회전 성분으로서 추출하고, 상기 회전 성분의 역회전에 의해 화상을 보정하는 처리가 실시된다. 그러나, 상기한 처리에서는, 예를 들어 이동체가 이동 방향을 바꾼 경우에 있어서의 촬상 장치의 회전도 보정되어 버린다. 그로 인해, 이동 방향을 바꾸면서 이동하는 이동체의 일인칭 시점 화상을 유저가 시청한 경우, 일인칭 시점 화상은 항상 일정 방향을 향하게 되어, 유저에게 부자연스러운 인상을 주는 경우가 있었다.
본 실시 형태에 따른 정보 처리 장치(1100)는, 이동체의 이동 방향에 기초하여, 일인칭 시점 화상의 표시를 제어함으로써, 보다 자연스러운 일인칭 시점 화상을 유저에 대하여 제공하는 것이다.
또한, 본 실시 형태에 따른 시스템 및 정보 처리 장치의 하드웨어 구성은, 도 1 및 도 2에서 도시한 것과 실질적으로 마찬가지이다. 또한, 본 실시 형태에 따른 정보 처리 장치(1100)에서 취급되는 촬상 화상은, 예를 들어 도 3에서 도시한 바와 같은 웨어러블 단말기(200)에 장착된 전방위 카메라에 의해 촬상되고, 실공간의 가능한 한 광범위를 촬상한 것(예를 들어, 전방위 촬상 화상)인 것이 바람직하다.
이하에서는, 도 18을 참조하여, 전술한 본 실시 형태에 따른 정보 처리 장치(1100)의 구체적인 기능 구성에 대하여 설명한다. 또한, 도 18에서 도시한 각 처리부는, 도 1에 있어서의 서버(100) 또는 클라이언트 기기(200 내지 700) 중 어느 하나의 기기에 의해 실현되어도 되고, 복수의 기기로 분산되어 실현되어도 된다.
도 18에 도시한 바와 같이, 본 실시 형태에 따른 정보 처리 장치(1100)는, 화상 생성부(1110)와, 화상 선택부(1120)와, 화상 보정부(1130)와, 표시 제어부(1150)와, 데이터 취득부(1160)와, 데이터 제공부(1170)와, 기억부(1180)와, 방향 제어부(1190)를 구비한다.
여기서, 화상 생성부(1110)는, 화상 생성부(1010)와 실질적으로 마찬가지이며, 화상 선택부(1120)는, 화상 선택부(1020)와 실질적으로 마찬가지이며, 표시 제어부(1150)는, 표시 제어부(1050)와 실질적으로 마찬가지이며, 데이터 취득부(1160)는, 데이터 취득부(1060)와 실질적으로 마찬가지이며, 데이터 제공부(1170)는, 데이터 취득부(1070)와 실질적으로 마찬가지이며, 기억부(1180)는, 기억부(1080)와 실질적으로 마찬가지이므로, 여기서의 상세한 설명은 생략한다. 이하에서는, 본 실시 형태에 있어서 특징적인 화상 보정부(1130), 방향 제어부(1190)에 대하여 설명한다.
화상 보정부(1130)는, 이동체(보다 상세하게는, 촬상 장치)의 회전의 역회전을 주위 촬상 화상에 실시함으로써, 촬상 장치의 회전에 수반되는 화상의 변화를 보정하는 처리부이다. 화상 보정부(1130)는, 가속도 센서, 경사 센서 등의 각종 센서에 의해 촬상 장치의 회전을 검출하고, 검출된 회전을 사용해서 화상의 변화를 보정하여도 된다. 또한, 화상 보정부(1130)는, 촬상 장치가 촬상한 주위 촬상 화상으로부터 촬상 장치의 회전을 추측하고, 추측한 촬상 장치의 회전을 사용해서 화상의 변화를 보정하여도 된다.
단, 화상 보정부(1130)는, 촬상 장치가 촬상한 주위 촬상 화상으로부터 촬상 장치의 회전을 추측하고, 추측한 촬상 장치의 회전에 수반되는 화상의 변화를 보정하는 것이 바람직하다. 이와 같은 경우, 촬상 장치의 회전과, 주위 촬상 화상의 회전 보정을 동기시키는 것이 용이해지고, 또한 각종 센서를 사용한 경우보다도 고속의 회전에 대응하는 것이 가능하게 되기 때문에, 보다 바람직하다.
이하에서는, 도 19를 참조하여, 화상 보정부(1130)가 주위 촬상 화상으로부터 촬상 장치의 회전을 추측하고, 추측한 촬상 장치의 회전에 기초하여 화상의 변화를 보정하는 방법에 대하여, 보다 구체적으로 설명한다.
도 19에 도시한 바와 같이, 있는 시점(시각 t)에 있어서, 전방위 카메라를 갖는 웨어러블 단말기(200)를 장착한 이동체(인간)로부터의 촬상 데이터에 의해, 전체 구형 화상 A가 생성되도록 한다. 그 후(시각 t+1), 이동체(보다 상세하게는, 촬상 장치)에 회전 운동이 발생하여, 전체 구형 화상 B가 생성되도록 한다.
이와 같은 경우, 화상 보정부(1130)는, 전체 구형 화상 A 및 전체 구형 화상 B의 각각으로부터 국소 특징량 U를 추출하고, 국소 특징량의 변화량 F를 산출한다. 구체적으로는, 화상 보정부(1130)는, 전체 구형 화상 A 및 전체 구형 화상 B의 각각으로부터 국소 특징량 U로서, 복수(예를 들어, n=1000)의 화상 특징점의 위치를 추출한다.
여기서, 복수의 화상 특징점은, 전체 구형 화상 전체에 있어서, 가능한 한 서로 간격을 두고 균일하게 추출되는 것이 바람직하다. 또한, 전체 구형 화상의 고위도 부분은, 화상의 왜곡이 커지게 되는 경향이 있기 때문에, 고위도 부분으로부터는, 화상 특징점은 추출되지 않는 것이 바람직하다.
다음으로, 전체 구형 화상 A 및 전체 구형 화상 B에서 추출된 국소 특징량 U를 비교하고, 전체 구형 화상 A로부터 전체 구형 화상 B로 변화했을 때의 국소 특징량의 변화량 F를 산출한다. 또한, 국소 특징량의 변화량 F 중, 소정의 임계값 이상의 것에 대해서는, 벗어난 값으로서 제외하여도 된다.
즉, 시각 t+1의 전체 구형 화상 B에 있어서의 국소 특징량 U(t+1)는, 직전의 시각 t의 전체 구형 화상 A에 있어서의 국소 특징량 U(t) 및 전체 구형 화상 A와 전체 구형 화상 B와의 국소 특징량의 변화량 F(t+1)을 사용하여, 이하의 식 201로 표현할 수 있다.
(식 201)
Figure pct00002
다음으로, 화상 보정부(1130)는, 전체 구형 화상 A 및 전체 구형 화상 B를 일정 거리 원통 도법상의 천구에 부착하고, 산출된 국소 특징량 (U(t), U(t+1))을 3차원 상의 특징량 P(t), P(t+1)로 변환한다. 계속해서, 화상 보정부(1130)는, 3차원 상의 특징량 P(t)로부터 P(t+1)로의 변환 Mat(t+1)을 3차원 아핀 추정에 의해 추정한다(식 202).
(식 202)
Figure pct00003
이에 의해, 화상 보정부(1130)는, P(t)로부터 P(t+1)로의 변환 Mat(t+1)을 추정할 수 있다. 또한, 화상 보정부(1130)는, 추측한 변환 Mat(t+1)에 기초하여, 전체 구형 화상 A로부터 전체 구형 화상 B로의 회전 Q(t+1)을 산출할 수 있다. 또한, 화상 보정부(1130)는, 산출한 회전 Q(t+1)의 추정 오차를 산출함으로써, 회전의 추정이 성공되어 있는 것인지 여부를 판정하여도 된다. 또한, 화상 보정부(1130)는, 추정이 실패하였다고 판정한 경우, 다시, 회전의 추정을 재시도하여도 된다.
따라서, 화상 보정부(1130)는, 추정한 회전 Q(t+1)의 역변환에 맞는 회전을 전체 구형 화상 B에 실시함으로써, 회전이 보정된 전체 구형 화상 C를 생성할 수 있다. 또한, 화상 보정부(1130)는, 소정의 시각의 전체 구형 화상으로부터의 회전을 적산하고, 적산된 회전에 기초하여 주위 촬상 화상을 보정하여도 된다.
또한, 화상 보정부(1130)가 주목하는 국소 특징량은, 특별히 한정되는 것은 아니며, 공지된 국소 특징량을 이용하는 것이 가능하다. 이와 같은 공지된 국소 특징량으로서는, 예를 들어 SIFT(Scale Invariant Feature Transform) 등을 들 수 있다.
방향 제어부(1190)는, 이동체의 이동 방향에 기초하여, 주위 촬상 화상의 표시를 제어하는 처리부이다. 구체적으로는, 방향 제어부(1190)는, 유저가 시인하고 있는 표시 화상의 기준 방향과, 이동체의 이동 방향이 일치하도록, 유저가 시인하고 있는 표시 영역에 표시되는 표시 화상을 제어한다. 보다 상세하게는, 방향 제어부(1190)는, 이동체의 이동 방향과 이동체의 기준 방향과의 각도 차가 임계값 이내(예를 들어, 편측 15°, 합계 30°)인 경우, 유저가 시인하고 있는 표시 화상의 기준 방향과, 이동체의 기준 방향 또는 이동 방향이 일치하도록, 유저가 시인하고 있는 표시 영역에 표시되는 화상의 표시 화각을 제어한다.
여기서, 이동체의 기준 방향이란, 예를 들어 이동체(인간, 자주체, 비행체 등)의 정면 방향이다. 또한, 유저가 시인하고 있는 표시 화상의 기준 방향이란, 예를 들어 유저가 정면 방향을 향하고 있을 때 유저의 정면의 표시 영역에 표시되는 표시 화상의 화각 방향이다.
즉, 방향 제어부(1190)는, 이동체의 정면 방향과, 유저가 정면 방향을 향하고 있을 때 유저의 정면 표시 영역에 표시되는 표시 화상의 화각 방향이 일치하도록, 표시 화상의 표시 화각을 제어할 수 있다. 그로 인해, 방향 제어부(1190)는, 이동체가 이동 방향을 바꾸었을 때 발생하는 표시 화상의 부자연스러움을 해소할 수 있다.
방향 제어부(1190)는, 예를 들어 GPS(Global Positioning System), 또는 Wi-Fi(등록상표)를 사용한 위치 측위에 의해 취득한 이동체의 위치 정보로부터 이동체의 이동 방향을 산출하여도 된다. 또한, 방향 제어부(1190)는, 예를 들어 지자기 센서, 가속도 센서 등의 각종 센서가 검출한 정보로부터 이동체의 이동 방향을 산출하여도 된다. 또한, 방향 제어부(1190)는, 촬상 장치에 의해 촬상된 주위 촬상 화상으로부터 이동체의 이동 방향을 산출하여도 된다.
단, 본 실시 형태에서는, 방향 제어부(1190)는, 촬상된 주위 촬상 화상으로부터 이동체의 이동 방향을 산출하는 것이 보다 바람직하다. 이 구성에 의하면, 방향 제어부(1190)는, 화상 보정부(1130)에 의한 화상 처리에서 회전이 산출된 경우에, 보다 효율적으로 이동체의 이동 방향을 산출할 수 있다.
구체적으로는, 이동체(보다 상세하게는, 촬상 장치)가 평행 이동하면서 회전하고 있는 경우, 화상 보정부(1130)에서 설명한 전체 구형 화상 A의 국소 특징량 U(t)와, 전체 구형 화상 B의 국소 특징량 U(t+1)의 변화량 F(t+1)에는, 회전 성분에 추가하여 평행 이동 성분이 중첩되어 있다고 생각된다. 따라서, 전술한 바와 같이 화상 보정부(1130)에 의해 회전 Q(t+1)이 추정된 후, 방향 제어부(1190)는, 전체 구형 화상 B의 3차원 상의 특징량 P(t+1)과, 전체 구형 화상 A를 추정 회전 Q(t+1)로 회전시킨 3차원 상의 특징량 P(t)*Q(t+1)의 차분을 산출한다. 이에 의해, 전체 구형 화상 B와 전체 구형 화상 A 사이의 평행 이동 성분 T(t+1)을 P(t+1)과 P(t)*Q(t+1)의 차분으로서 추정할 수 있다(식 203).
(식 203)
Figure pct00004
또한, 주위 촬상 화상의 평행 이동은, 촬상하고 있는 이동체의 이동에 의해 발생했다고 간주할 수 있다. 따라서, 이동체의 이동 방향은, 주위 촬상 화상의 평행 이동 방향의 반대 방향이라 추정할 수 있고, 방향 제어부(1190)는, 추정한 평행 이동 성분 T(t+1)의 이동 방향의 반대 방향을 이동체의 이동 방향이라고 추정할 수 있다.
또한, 방향 제어부(1190)는, 산출한 T(t+1)을 시간 평균 처리하고, 시간 평균화한 평행 이동 성분 T로부터 이동체의 이동 방향을 추정하는 것이 보다 바람직하다. 이것은, 이동체가 이동 방향을 빈번히 변경하고 있는 경우, 방향 제어부(1190)가 유저에 의해 시인되고 있는 표시 화상의 표시 화각을 빈번히 회전시키면, 유저에게 「시크니스」가 발생할 가능성이 있기 때문이다. 또한, 방향 제어부(1190)는, 다른 방법으로 이동체의 이동 방향을 산출한 경우에도, 이동체의 이동 방향으로 하여, 소정의 시간으로 평균화한 이동체의 이동 방향을 사용하는 것이 바람직한 것은 물론이다.
이상의 방법에 의해, 이동체의 이동 방향을 산출한 방향 제어부(1190)는, 이동체의 이동 방향과, 유저가 시인하고 있는 표시 화상의 기준 방향이 일치하도록, 유저가 시인하고 있는 표시 영역에 표시되는 표시 화상의 표시 화각을 변경한다. 특히, 방향 제어부(1190)는, 이동체의 이동 방향과 이동체의 정면 방향의 각도 차가 임계값 이내(예를 들어, 편측 15°, 합계 30°)인 경우에, 유저가 정면 방향을 향하고 있을 때 유저의 정면에, 이동체의 정면 방향의 촬상 화상이 표시되도록, 표시 화상을 제어하는 것이 바람직하다. 이에 의해, 방향 제어부(1190)는, 이동체의 정면 방향과, 유저가 정면 방향을 향하고 있을 때 정면에 표시되는 표시 화상의 화각 방향을 일치시킬 수 있기 때문에, 이동체가 이동 방향을 바꾸었을 때 발생하는 표시 화상의 부자연스러움을 해소할 수 있다.
이하에서는, 도 20을 참조하여, 방향 제어부(1190)가 이동체의 이동 방향과, 유저에 의해 시인되고 있는 표시 화상의 기준 방향을 일치시키기 위해서, 유저가 시인하고 있는 표시 영역에 표시되는 화상의 화각을 회전시키는 방법에 대하여, 보다 구체적으로 설명한다.
예를 들어, 도 20에 도시한 바와 같이, 이동체(210)의 이동 방향(211)이 화살표로 나타내고 있으며, 유저가 시인하고 있는 표시 화상(231)의 화각 방향이 각도 표시로 나타내고 있도록 한다. 또한, 유저가 시인하고 있는 표시 화상(231)에 있어서의 「0°」가, 유저가 정면 방향을 향하고 있을 때 유저의 정면에 표시되는 표시 화상의 화각 방향(즉, 표시 화상의 기준 방향)인 것으로 한다.
여기서, 도 20에 도시한 바와 같이, 이동체(210)가 오른쪽으로 이동 방향(211)을 바꾼 경우, 방향 제어부(1190)는, 이동체의 이동 방향(211)과, 유저가 시인하고 있는 표시 화상(231)의 「0°」가 일치하도록, 주위 촬상 화상의 표시 화각을 회전시키고, 유저가 정면에서 시인하고 있는 표시 화상(231)을 변경한다. 이에 의해, 유저가 정면 방향을 향하고 있을 때 유저의 정면에 표시되는 표시 화상의 화각 방향과, 이동체의 이동 방향을 일치시킬 수 있다. 그로 인해, 방향 제어부(1190)는, 이동체가 이동 방향을 바꾸었는데도 불구하고, 유저가 시인하는 일인칭 시점 화상이 항상 일 방향을 향해버리는 부자연스러운 화상 생성을 억제할 수 있다.
또한, 유저가 시인하고 있는 표시 화상의 기준 방향과, 이동체의 이동 방향을 일치시키기 위해서, 방향 제어부(1190)가 주위 촬상 화상의 표시 화각을 회전시키는 속도는, 소정의 속도로 행해지는 것이 바람직하다. 이와 같은 방향 제어부(1190)가 주위 촬상 화상의 표시 화각을 회전시키는 속도에 대하여, 도 21을 참조하여 설명한다.
도 21은, 이동체(210)의 이동 방향과, 유저가 시인하고 있는 표시 화상(231)의 기준 방향의 시간 변화를 나타낸 그래프도이다. 또한, 양 방향의 변화는, 각도 변화로서 나타내었다. 도 21에 도시한 바와 같이, 예를 들어 오른쪽으로 선회하는 등의 동작에 의해 이동체(210)의 이동 방향이, 시각 P에서 변화한 경우, 방향 제어부(1190)는, 유저가 시인하고 있는 표시 화상(231)의 기준 방향이 이동체(210)의 이동 방향과 일치하도록, 소정의 속도로 표시 화상(231)의 화각을 회전시킨다. 여기서, 급격한 표시 화상(231)의 화각 회전에 의해 유저가 「시크니스」 또는 부자연스러움을 느끼지 않도록 하기 위해서는, 방향 제어부(1190)는, 소정의 속도로 완만하게 표시 화상(231)의 화각을 회전시키는 것이 바람직하다.
표시 화상(231)의 화각을 회전시킬 때의 소정의 속도는, 유저의 선택에 의해 제어되어도 되고, 이동체(210)의 이동 속도 또는 회전 속도에 의해 제어되어도 된다. 예를 들어, 이동체(210)의 이동 속도 또는 회전 속도가 빠른 경우, 방향 제어부(1190)는 보다 빠르게 표시 화상(231)의 화각을 회전시켜도 된다. 또한, 이들 이동체(210)의 이동 속도 또는 회전 속도와, 표시 화상(231)의 화각 방향의 회전 속도의 대응 관계는, 대응 테이블 또는 함수 등의 형식으로 미리 기억부(1180)에 기억되어 있는 것이 바람직하다.
또한, 전술한 유저가 시인하는 표시 영역에 표시시키는 화상의 화각을 제어하는 기능은, 유저로부터의 입력, 또는 유저의 상태에 따라 실행되지 않도록 제어되어도 된다.
예를 들어, 유저가 의도적으로 이동체의 이동 방향과는 다른 방향을 시인하고 싶은 경우, 방향 제어부(1190)의 기능은, 유저로부터의 입력에 의해 실행되지 않도록 제어되어도 된다. 이와 같은 유저로부터의 입력은, 예를 들어 유저가 웨어러블 단말기인 유저 조작 기기를 양손으로 고정하도록 유지하는 입력 동작 등을 들 수 있다.
또한, 유저가 다양한 방향을 시인하고 있으며, 시선 방향이 일정하게 정해지 않은 경우, 방향 제어부(1190)의 기능은, 실행되지 않도록 제어되어도 된다. 구체적으로는, 검지된 유저의 시선 방향의 변동량이 임계값을 초과한 경우, 방향 제어부(1190)의 기능은 실행되지 않도록 제어되어도 된다. 또한, 유저의 시선 방향의 변동량이 일정 시간, 임계값 이하인 경우, 방향 제어부(1190)의 기능은 실행되도록 제어되어도 된다.
또한, 본 실시 형태에 있어서, 유저에게 제공되는 표시 화상에는, 이동체(예를 들어, 인간)의 시선 방향이 표시되어도 되고, 이동체(예를 들어, 인간)의 시선 방향의 궤적이 표시되어도 된다. 또한, 이동체(예를 들어, 인간)에 정보 처리 장치(1100)로부터 표시 화상(예를 들어, 유저가 시인하는 화상)이 제공되는 경우, 표시 화상에는, 유저의 시선 방향이 표시되어도 되고, 유저의 시선 방향의 궤적이 표시되어도 된다.
이상, 본 실시 형태에 따른 정보 처리 장치(1100)의 기능의 일례를 나타내었다. 상기한 각 구성 요소는, 범용적인 부재나 회로를 사용해서 구성되어 있어도 되고, 각 구성 요소의 기능에 특화된 하드웨어에 의해 구성되어 있어도 된다. 또한, 각 구성 요소의 기능을, CPU 등을 모두 행하여도 된다. 본 실시 형태의 하드웨어 구성은, 본 실시 형태를 실시할 때마다의 기술 레벨에 따라서, 적절히 변경하는 것이 가능하다.
또한, 전술한 바와 같이 본 실시 형태에 따른 정보 처리 장치의 각 기능을 실현하기 위한 컴퓨터 프로그램을 제작하고, 퍼스널 컴퓨터 등에 실장하는 것이 가능하다. 또한, 이와 같은 컴퓨터 프로그램이 저장된, 컴퓨터로 판독 가능한 기록 매체도 제공할 수 있다. 기록 매체는, 예를 들어 자기디스크, 광디스크, 광자기디스크, 플래시 메모리 등이다. 또한, 상기한 컴퓨터 프로그램은, 기록 매체를 사용하지 않고, 예를 들어 네트워크를 통해서 배신되어도 된다.
또한, 도 18에 도시한 화상 생성부(1110), 화상 선택부(1120), 화상 보정부(1130), 방향 제어부(1190), 데이터 취득부(1160), 데이터 제공부(1170), 기억부(1180)는, 정보 처리 장치(10100)와 서로 통신이 가능한 컴퓨터 등의 다른 장치에 실장되고, 정보 처리 장치(1100)와 다른 장치가 협동함으로써 상기한 바와 같은 기능이 실현되어도 된다.
<정보 처리 방법의 흐름에 대하여>
다음으로, 도 22를 참조하여, 본 실시 형태에 따른 정보 처리 장치(1100)에 의해 실시되는 정보 처리 방법의 흐름에 대하여, 간단히 설명한다.
본 실시 형태에 따른 정보 처리 방법에서는, 우선, 이동체에 장착된 촬상 장치(카메라)로부터 촬상 화상 데이터를 취득한다(스텝 S171).
다음으로, 정보 처리 장치(1100)의 화상 생성부(1110)는, 취득한 촬상 화상 데이터에 기초하여, 예를 들어 전체 구형 화상이나 전체 구형 화상을 직사각형 변환한 직사각형 화상 등과 같은, 주위 촬상 화상을 생성한다(스텝 S173).
또한, 정보 처리 장치(1100)의 화상 보정부(1130)는, 생성된 주위 촬상 화상으로부터 회전 성분을 추출하고, 이동체(보다 상세하게는, 촬상 장치)의 회전을 보정하는 화상 처리를 주위 촬상 화상에 대하여 실시한다(스텝 S175).
계속해서, 정보 처리 장치(1100)의 방향 제어부(1190)는, 이동체의 이동 방향 데이터를 취득한다(스텝 S177).
여기서, 정보 처리 장치(1100)의 방향 제어부(1190)는, 이동체의 이동 방향과, 이동체의 기준 방향(예를 들어, 이동체의 정면 방향)의 각도 차가 임계값 이내인지 여부를 판단한다(스텝 S179). 여기서, 임계값은, 예를 들어 30°(즉, 편측 15°)이어도 된다.
이동체의 이동 방향과, 이동체의 기준 방향의 각도 차가 임계값을 초과한 경우(스텝 S179/아니오), 정보 처리 장치(1100)의 화상 선택부(1120)는, 주위 촬상 화상 중에서 유저가 시인하는 화상을 선택한다. 정보 처리 장치(1100)의 표시 제어부(1150)는, 선택된 화상의 유저 조작 기기의 표시 화면으로의 표시를 제어한다(스텝 S181).
한편, 이동체의 이동 방향과, 이동체의 기준 방향의 각도 차가 임계값 이내인 경우(스텝 S179/예), 스텝 S181과 마찬가지로, 정보 처리 장치(1100)의 화상 선택부(1120) 및 표시 제어부(1150)는, 표시 화면으로의 표시를 제어한다(스텝 S183). 또한, 정보 처리 장치(1100)의 방향 제어부(1190)는, 이동체의 이동 방향 또는 기준 방향과, 유저의 기준 방향이 일치하도록 표시 화면에 표시된 주위 촬상 화상을 소정의 속도로 회전시키는 표시 제어를 행한다(스텝 S185).
이에 의해, 정보 처리 장치(1100)는, 촬상 장치의 회전에 의한 주위 촬상 화상의 흔들림을 보정하고, 또한 이동체가 이동 방향을 변경한 경우라도 부자연스럽지 않은 주위 촬상 화상을 유저에 대하여 제공할 수 있다.
이상, 도 22를 참조하여, 본 실시 형태에 따른 정보 처리 방법의 흐름에 대하여, 간단히 설명하였다.
<정보 처리 방법의 변형예에 대하여>
계속해서, 도 23을 참조하여, 본 실시 형태의 변형예에 대하여, 설명한다. 본 실시 형태의 변형예는, 이동체의 움직임(운동)과, 유저의 움직임(운동)이 동기하고 있는 경우에, 주위 촬상 화상으로의 회전 보정을 실행하지 않도록 화상 보정부를 제어하는 정보 처리 장치 및 정보 처리 방법이다.
즉, 본 실시 형태의 변형예에 있어서, 화상 보정부(1130)는, 이동체의 움직임과, 유저의 움직임이 동기하고 있는지 여부를 판단한다. 또한, 이동체의 움직임과, 유저의 움직임이 동기하고 있다고 판단된 경우, 화상 보정부(1130) 및 방향 제어부(1190) 기능은, 실행되지 않도록 제어된다.
구체적으로는, 본 발명자들은, 이동체(예를 들어, 인간)가 체험하고 있는 운동과 동기한 운동 또는 의식을 갖고 유저가 주위 촬상 화상을 관측하는 경우, 「시크니스」가 경감되고, 또한 임장감을 높일 수 있음을 알게 되었다. 따라서, 본 실시 형태의 변형예에서는, 이동체(예를 들어, 인간)의 운동과, 유저의 운동이 동기하고 있는 경우에, 주위 촬상 화상으로의 회전 보정을 실행하지 않음으로써, 유저에게 더욱 임장감이 있는 화상을 제공할 수 있다. 또한, 본 실시 형태의 변형예는, 이동체 및 유저 간에서 동기하지 않은 운동이 검출된 경우에는, 주위 촬상 화상으로의 회전 보정을 실행함으로써, 유저에 있어서 「시크니스」가 발생하는 것을 방지한다.
또한, 이와 같은 이동체(예를 들어, 인간)의 움직임과, 유저의 움직임이 동기하는 바와 같은 운동이란, 예를 들어 테니스의 볼을 쫓는 경우의 운동 등을 들 수 있다.
여기서, 도 23을 참조하여, 이동체의 움직임과, 유저의 움직임이 「동기하고 있다」는 것에 대하여 설명한다. 도 23은, 이동체의 헤드부의 회전 각도 변화 및 유저의 헤드부의 회전 각도 변화를 시간 경과로 나타낸 그래프도이다.
도 23에 도시한 바와 같이, 이동체의 움직임과, 유저의 움직임이 「동기하고 있다」라 함은, 예를 들어 이동체 및 유저의 헤드부의 회전의 방향이 동일한 것을 나타낸다. 구체적으로는, 도 23에서는, 이동체(210)의 헤드부의 회전의 파형과, 유저(230)의 헤드부의 회전의 파형은, 진폭 및 주기에 변동은 있지만, 위로 볼록한 타이밍, 및 아래로 볼록한 타이밍이 거의 동일하다. 이와 같은 경우, 이동체의 운동과, 유저의 운동은, 「동기하고 있다」라고 할 수 있다.
또한, 보다 바람직하게는, 이동체의 움직임과, 유저의 움직임이 「동기하고 있다」라 함은, 이동체 및 유저의 헤드부의 회전의 방향이 동일하며, 또한 이동체 및 유저의 헤드부의 회전의 회전량이 소정의 크기 이상인 경우를 나타낸다. 이동체 및 유저의 헤드부의 회전의 회전량이 작은 경우, 이동체 및 유저의 헤드부의 회전의 방향은, 불수의 운동 등에 의해 우연히 일치할 가능성이 있다. 따라서, 이동체 및 유저의 헤드부의 회전의 회전량이 소정의 크기 이상이며, 또한 이동체 및 유저의 헤드부의 회전의 방향이 동일한 경우에, 보다 확실하게 유저는 이동체의 운동과 자신의 운동을 의식적으로 「동기」시키고 있다고 할 수 있다. 또한, 상기한 소정의 크기란, 예를 들어 40°(편측 20°)이다.
또한, 이동체의 헤드부의 회전, 및 유저의 헤드부의 회전을 검출하는 이외에도 이동체의 움직임과, 유저의 움직임이 「동기하고 있다」는 것을 검출하는 것은 가능하다.
예를 들어, 이동체(예를 들어, 인간)의 무게 중심 위치의 이동 방향과, 유저의 무게 중심 위치의 이동 방향이 일치한 경우, 이동체의 움직임과, 유저의 움직임이 「동기하고 있다」고 간주하여도 된다. 또한, 이동체(예를 들어, 인간)의 몸의 기울기 방향과, 유저의 몸의 기울기 방향이 일치한 경우, 이동체의 움직임과, 유저의 움직임이 「동기하고 있다」고 간주하여도 된다. 이 이동체 또는 유저의 무게 중심 위치, 몸의 기울기의 검출은, 예를 들어 가속도 센서, 모션 센서 등의 공지된 센서를 사용함으로써 실현하는 것이 가능하다.
또한, 예를 들어 이동체(예를 들어, 인간)의 시선 방향과, 유저의 시선 방향이 일치한 경우, 이동체의 움직임과, 유저의 움직임이 「동기하고 있다」고 간주하여도 된다. 또한, 이동체의 주시점과, 유저의 주시점이 일치한 경우, 이동체의 움직임과, 유저의 움직임이 「동기하고 있다」고 간주하여도 된다. 이것은, 이동체(예를 들어, 인간)와 유저의 사이에 있어서, 의식 또는 인식이 거의 일치하였다(동기하고 있다)고 간주할 수 있기 때문이다. 이들 시선 방향 또는 주시점의 검출은, 예를 들어 이동체(예를 들어, 인간) 및 유저가 장착하고 있는 웨어러블 단말기의 시선 검출 기능 등에 의해 실행할 수 있다. 시선 검출 기능은, 제1 실시 형태에서 설명한 방법, 또는 공지된 방법에 의해 실현하는 것이 가능하다.
또한, 전술한 이동체의 움직임과, 유저의 움직임이 「동기하고 있다」는 것을 검출하는 방법을 조합함으로써, 보다 확실하게 이동체의 움직임과, 유저의 움직임이 「동기하고 있다」는 것을 검출하여도 된다.
본 실시 형태의 변형예에 있어서, 이동체(예를 들어, 인간)의 운동과, 유저의 운동이 동기하고 있는 경우, 화상 보정부(1130)는, 주위 촬상 화상으로의 회전 보정을 실행하지 않는다. 또한, 이동체 및 유저 간에서 동기하지 않은 운동이 검출된 경우, 화상 보정부(1130)는, 주위 촬상 화상으로의 회전 보정을 실행한다. 이와 같은 본 실시 형태의 변형예가 실행하는 정보 처리 방법의 흐름에 대하여, 도 24를 참조하여 설명한다.
여기서, 이하의 설명에서는, 이동체 및 유저가 체험하고 있는 운동은, 이동체 및 유저의 사이에서 운동 또는 의식의 동기가 가능한 운동인 것으로 한다.
본 실시 형태의 변형예에 따른 정보 처리 방법에서는, 우선, 이동체에 장착된 촬상 장치(카메라)로부터 촬상 화상 데이터를 취득한다(스텝 S191).
다음으로, 정보 처리 장치(1100)의 화상 생성부(1110)는, 취득한 촬상 화상 데이터에 기초하여, 예를 들어 전체 구형 화상이나 전체 구형 화상을 직사각형 변환한 직사각형 화상 등과 같은, 주위 촬상 화상을 생성한다(스텝 S193).
여기서, 정보 처리 장치(1100)의 화상 보정부(1130)는, 이동체(보다 상세하게는 촬상 장치)의 회전, 및 유저가 장착하고 있는 단말기의 회전이 동기하고 있는지 여부를 판단한다. 보다 구체적으로는, 정보 처리 장치(1100)의 화상 보정부(1130)는, 촬상 장치의 회전 방향과, 유저가 장착하고 있는 단말기의 회전 방향이 동일한지 여부를 판단한다(스텝 S195).
여기서, 촬상 장치의 회전과, 유저가 장착하고 있는 단말기의 회전이 동기하지 않은 경우(스텝 S195/아니오), 정보 처리 장치(1100)의 화상 보정부(1130)는, 주위 촬상 화상으로부터 회전 성분을 추출하고, 촬상 장치의 회전을 보정하는 화상 처리를 주위 촬상 화상에 대하여 실행한다(스텝 S197). 여기서, 방향 제어부(1190)는, 이동체의 이동 방향에 기초한 표시 화상의 제어를 더 실행하여도 된다.
한편, 이동체의 회전과, 유저가 장착하고 있는 단말기의 회전이 동기하고 있는 경우(스텝 S195/예), 정보 처리 장치(1100)의 화상 보정부(1130)는, 촬상 장치의 회전을 보정하는 화상 처리를 주위 촬상 화상에 대하여 실행하지 않는다.
그 후, 정보 처리 장치(1100)의 화상 선택부(1120)는, 주위 촬상 화상 중에서 유저가 시인하는 화상을 선택하고, 정보 처리 장치(1100)의 표시 제어부(1150)는, 선택된 화상의 유저 조작 기기의 표시 화면으로의 표시를 제어한다(스텝 S199).
이에 의해, 정보 처리 장치(1100)는, 이동체와 동기한 움직임을 체험하면서 유저가 주위 촬상 화상을 관측하는 경우에, 유저에 대하여 더 임장감이 높은 주위 촬상 화상을 제공할 수 있다.
이상, 도 24를 참조하여, 본 실시 형태의 변형예에 따른 정보 처리 방법의 흐름에 대하여, 간단히 설명하였다.
<결론>
이와 같이, 본 실시 형태에 따른 정보 처리 장치 및 정보 처리 방법에서는, 이동체를 둘러싸는 영상을 주위 촬상 화상으로서 리얼타임으로 관측할 수 있어, 유저는, 마치 이동체가 존재하는 장소 바로 그 자리에 있었던 것과 같은 임장감을 얻을 수 있다. 또한, 상기한 바와 같은 보정 처리를 실시함으로써, 촬상 장치의 회전 운동에 의한 화상의 흔들림이 억제되고, 또한 이동체의 이동 방향의 변화를 표시 화상에 반영시킬 수 있다. 그로 인해, 유저는, 모션 시크니스(시크니스)의 발생이 억제되어, 보다 자연스러운 일인칭 촬상 화상을 시인할 수 있다.
또한, 본 실시 형태의 변형예에 따른 정보 처리 장치 및 정보 처리 방법에서는, 이동체와 동기한 움직임을 체험하면서 유저가 주위 촬상 화상을 관측하는 경우에, 유저에 대하여 보다 임장감이 높은 주위 촬상 화상을 제공하는 것도 가능하다.
이상, 본 개시의 제2 실시 형태에 따른 정보 처리 장치 및 정보 처리 방법에 대하여, 상세히 설명하였다.
(제3 실시 형태)
종래, 현실의 경관을 복수 대의 카메라로 취득하고, 가상 공간 내에 그 경관을 재합성하여, 이용자에게 공간의 열람을 허용하는 기술이 다수 개발되고 있다. 그와 같은 기술의 일례로서, 주행하는 자동차에 탑재된 카메라에 의한 화상을 위치 정보와 관련짓고, 화상 내에서의 이동을 가능하게 한 기술이나, 전방위 화상이 촬상 가능한 카메라를 탑재하여, 어떤 지점으로부터의 자유로운 시선 방향의 변화를 가능하게 한 기술 등이 있다. 이들 기술에 의해, 가상 공간 내를 이동하면서, 주위의 화상을 열람할 수 있다. 한편, 이들 기술에서는, 촬영 개소가 이산적이기 때문에, 근방의 관측점으로 이동하여, 이동처에서의 전방위 화상을 관측할 수는 있지만, 시점을 원만하게 이동할 수 없다. 따라서, 이들 기술에서 실현되는 화상은, 이용자가 마치 그 장소에 있는 듯한 화상의 재현과는 상이하다.
또한, 격자 형상으로 배치된 카메라에 의해 공간을 촬상함으로써 시점 위치 이동을 가능하게 한, 광선 공간법(Light Field)이라는 방법이 있다. 이 광선 공간법에서는, 격자 위에 배치된 카메라 어레이에 의해 공간을 촬영한 후, 촬상된 화상을 구성하는 각 화소를, 도 25에 도시한 바와 같은 2개의 투영면을 갖는 공간에 투영한다.
이에 의해, 투영면 A 및 투영면 B로 구성되는 직사각형의 공간을 통과하는 광(예를 들어, 도 25에 있어서의 광선 1)은, 투영면 A에 있어서의 위치를 나타내는 좌표 (u, v)와, 투영면 B에 있어서의 위치를 나타내는 좌표 (s, v)를 이용하여, L(u, v, s, t)로 표현되는 4차원 공간의 1점으로서 표현할 수 있다. 또한, 2개의 투영면을 투과하는 광을 상기한 바와 같은 4차원 공간에서 표현함으로써, 어떤 시점으로부터의 화상은, 도 25에 도시한 4차원 공간으로부터 재합성 가능하게 된다.
예를 들어, 도 25에 있어서의 점 a는 시점을 나타내고, 점 b는 시점 a에서 본 관측점을 나타내고 있다. 시점 a에서 관측점 b에 주입하는 광(광선 2)은 상기한 바와 같은 L에 의해 표현할 수 있다. 따라서, 투영면 A와 투영면 B의 사이에 위치하는 임의의 투영면에 있어서, 이러한 투영면을 구성하는 점의 각각에서 마찬가지의 처리를 반복함으로써, 시점 a로부터의 시야를 재현할 수 있다.
그러나, 도 25에 도시한 광선 공간의 구성에서는, 시점의 위치 자유도에 여전히 제한이 있다. 예를 들어, 도 25에 있어서 시점 c로부터의 시선(광선 3)은, 투영면 A 및 투영면 B를 관통하지 않기 때문에, 광선 공간 L 중의 점으로서 표현할 수 없다. 따라서, 도 25에 도시한 바와 같은 광선 공간에 기초하는 시계의 재합성은, 위치의 제한을 받고 있게 된다.
따라서, 본 발명자들은, 예의 검토를 행한 결과, 제약을 받지 않고 시계를 재합성하는 것이 가능한 기술에 상도하여, 이하에서 설명하는 정보 처리 장치를 완성하기에 이른 것이다.
<시스템 구성예에 대하여>
도 26은, 본 개시의 제3 실시 형태에 따른 시스템의 개략적인 구성을 나타내는 도면이다. 도 26에 도시한 바와 같이, 본 실시 형태에 있어서의 시스템(20)은, 촬상 기기(800)와, 정보 처리 장치(2000)를 갖는다.
도 25에 도시한 바와 같은 광선 공간법에 있어서의 제약은, 촬상 기기인 어레이 카메라를 이차원의 격자 위에 배치한 것에 기인한다. 따라서, 본 발명자는, 카메라를 3차원의 격자 형상으로 배치함으로써, 시점의 제약을 없애는 것이 가능하다고 생각하였다. 그러나 이 경우, (1) 어떤 카메라가 다른 카메라의 시야를 가리는 일이 발생한다, (2) 필요해지는 카메라의 개수가 방대한 것으로 되어버린다고 하는 문제가 발생해버린다.
따라서, 본 발명자는, 촬상에 사용하는 촬상 기기에 대하여 예의 검토한 결과, 공간 내를 자유롭게 이동 가능한 자주식 촬상 기기(800)를 사용함으로써 상기한 바와 같은 문제를 회피하면서, 공간을, 3차원의 격자 형상으로 촬상 가능한 것에 상도하였다. 이러한 촬상 기기(800)에 대해서는, 이하에서 변경하여 상세히 설명한다.
본 실시 형태에 따른 시스템(20)에서는, 이러한 자주식 촬상 기기(800)에 의해 촬상된 복수의 촬상 데이터를 정보 처리 장치(2000)에 제공하고, 정보 처리 장치(2000)에 있어서, 복수의 촬상 데이터에 기초하는 화상의 재구성 처리가 실시된다.
정보 처리 장치(2000)에서는, 촬상 기기(800)에 의해 촬상된 복수의 촬상 데이터에 기초하여, 화상의 재구성 처리를 실시한다. 정보 처리 장치(2000)는, 화상의 재구성 처리를 실시할 때 촬상 기기(800)에 의해 촬상된 복수의 촬상 데이터를 이용하여, 3차원의 촬상 공간을 생성한다. 정보 처리 장치(2000)는, 생성된 촬상 공간 또는 생성한 촬상 공간에 기초하여 또한 생성된 광선 공간을 이용하여, 화상의 재구성 처리를 실시한다. 이러한 정보 처리 장치(2000)는, 예를 들어 도 1을 참조하면서 설명한 제1 실시 형태에 따른 시스템(10)을 구성하는 서버(100)나 클라이언트 기기(200 내지 700) 중 적어도 어느 하나에 의해 구성되어 있어도 된다. 이 경우, 서버(100)나 클라이언트 기기(200 내지 700)가, 단독으로 또는 서로 협동함으로써 시스템(20) 전체로서, 이하에서 상세히 설명한 바와 같은 정보 처리 장치(2000)가 실현된다. 또한, 이러한 정보 처리 장치(2000)가, 단독의 각종 컴퓨터에 의해 구성되어 있어도 되는 것은 물론이다. 정보 처리 장치(2000)의 하드웨어적인 장치 구성에 대해서는, 도 2와 마찬가지이기 때문에, 이하에서는 상세한 설명은 생략한다. 또한, 이러한 정보 처리 장치(2000)의 구성에 대해서는, 이하에서 다시 상세히 설명한다.
<촬상 기기의 구성에 대하여>
본 실시 형태에 따른 촬상 기기(800)는 공간 내를 자유롭게 이동 가능한 로봇과 같은 단체의 촬상 기기로서 구성되어 있어도 되지만, 도 27a 또는 도 27b에 도시한 바와 같은, 어레이 카메라를 갖는 자주식 촬상 기기(800)를 사용하는 것이 바람직하다.
도 27a에 도시한 촬상 기기(800)는, 카메라(801)의 1차원 방향으로 나란히 배치되어 있다. 또한, 카메라(801)의 상부에는, 촬상 위치를 특정하기 위해서 중 적어도 1개의 위치 인식 마커(803)가 설치되어 있다. 이들 카메라(801) 및 위치 인식 마커(803)는 차륜을 구비하는 이동식 가대(805)에 의해 지지되어 있다. 카메라(801)나 가대(805)의 제어는, 가대(805) 위에 설치된, 배터리를 포함하는 제어용 컴퓨터(807)에 의해 실시된다. 도 27b에 도시한 촬상 기기(800)는, 도 27a에 도시한 카메라(801)가 2차원 방향으로 어레이 위에 배치된 것이다.
본 실시 형태에 따른 시스템(20)에서는, 도 27a 또는 도 27b에 도시한 바와 같은 촬상 기기(800)가 공간을 이동하면서 촬상 처리를 반복한다.
또한, 도 27a 및 도 27b에 도시한 촬상 기기(800)에 설치되는 카메라(801)는 도 28a에 도시한 바와 같이, 소정의 방향 화각만을 촬상 시야로 하는 광각 카메라여도 되고, 도 28b에 도시한 바와 같이, 전방위를 촬상 시야로 하는 전방위 카메라여도 된다. 그러나, 이하에서 설명한 바와 같이, 공간 내의 될수록 많은 방향을 가능한 한 조밀하게 촬상하는 것이 바람직하기 때문에, 촬상 기기(800)에 설치하는 카메라(801)로서는, 도 28b에 도시한 바와 같은 전방위 카메라인 것이 바람직하다.
본 실시 형태에 따른 촬상 기기(800)는, 도 29에 모식적으로 나타낸 바와 같이, 공간 내를 소정 간격(바람직하게는 정간격)으로 이동하면서, 촬상을 반복한다. 이때, 촬상 기기(800)에 설치된 위치 인식용 마커(803)에 의해, 공간 내에 있어서의 촬상 위치가 촬상과 동시에 기록된다.
이와 같은 촬상 기기(800)에 의해 촬상된 복수의 촬상 데이터는, 정보 처리 장치(2000)로 출력된다.
<정보 처리 장치의 구성에 대하여>
본 실시 형태에 따른 정보 처리 장치(2000)는, 도 30에 도시한 바와 같이, 촬상 공간 생성부(201)과, 광선 공간 생성부(2020)와, 화상 재구성부(2030)를 구비한다. 정보 처리 장치(2000)는, 또한 표시 제어부(2040)와, 데이터 취득부(2050)와, 데이터 제공부(2060)와, 기억부(2070) 중 적어도 어느 하나를 더 구비하여도 된다. 여기서, 도 30에 도시한 각 처리부는, 서버(100) 또는 클라이언트 기기(200 내지 700) 중 어느 하나의 기기에 실현되어 있어도 되고, 복수의 기기로 분산되어 실현되어 있어도 된다.
촬상 공간 생성부(2010)는, 공간 내를 이동하는 촬상 장치(800) 또는 공간 내를 이동하는 이동체에 장착된 촬상 장치에 의해 촬상된 복수의 촬상 화상을 이용하여, 각각의 촬상 화상이 생성된 공간 내의 위치를 나타내는 정보와, 대응하는 촬상 화상이 서로 관련지어진 촬상 공간을 생성한다. 본 실시 형태에 따른 촬상 기기(800)에서는, 카메라(801)와 맞춰서 위치 인식용 마커(803)가 설치되어 있기 때문에, 촬상 화상과 촬상 위치의 관련지음을 용이하게 실시하는 것이 가능하다. 생성되는 촬상 공간은, 예를 들어 도 31에 모식적으로 나타낸 바와 같이, 각 격자점이 촬상 장치(800) 등에 의한 촬상 위치에 대응하고, 각 격자점에 촬상 화상이 관련지어진 3차원의 공간으로 된다.
이와 같은 촬상 공간이 생성됨으로써, 예를 들어 유저로부터 시점 (x, y, z)로부터 본 화상을 시인하고 싶다는 지정이 있던 경우에, 시점 (x, y, z)에 가장 가까운 촬상 위치 (x', y', z')에 관련지어진 촬상 화상을 제공할 수 있다. 특히, 각 격자점에 관련지어진 촬상 화상이 전방위 화상인 경우에는, 유저로부터 시선 방향의 지정을 더 받음으로써, 대응하는 전방위 화상 중에서, 지정을 받은 시선 방향의 화상을 잘라내어, 유저의 열람에 제공할 수 있다.
이와 같은 방법에 의해 화상을 유저에게 제공하기 위해서는, 도 31에 도시한 바와 같은 촬상 공간에 있어서의 격자점의 개수는 될수록 많고，인접하는 격자점의 간격도 될수록 짧은 것이 바람직하다.
또한, 본 실시 형태에 따른 정보 처리 장치(2000)에서는, 도 31에 도시한 바와 같은 촬상 공간에 기초하는 자유 시점 화상의 제공뿐만 아니라, 광선 공간에 기초하는 자유 시점 화상의 제공을 행하는 것도 가능하다. 이러한 광선 공간은, 촬상 공간 생성부(2010)에 의해 생성된 촬상 공간에 기초하여, 광선 공간 생성부(2020)에 의해 생성된다. 광선 공간 생성부(2020)는, 촬상 공간 생성부(2010)에 의해 생성된 촬상 공간에 기초하여, 이러한 촬상 공간에 외접하는 광선 공간을 생성한다. 이러한 광선 공간은, 예를 들어 도 32a에 도시한 바와 같이, 촬상 공간에 외접하는 직육면체의 공간이어도 되고, 도 32b에 도시한 바와 같이, 촬상 공간에 외접하는 구형의 공간이어도 된다.
도 32a 또는 도 32b에 도시한 바와 같은, 촬상 공간에 외접하는 광선 공간을 생성함으로써, 이 광선 공간의 내부를 관통하는 광은, 광선 공간이 임의의 2군데를 관통하는 것이 된다. 이러한 광선 공간을 생성함으로써, 광선 공간의 내부로부터 관측하는 모든 광선을 관측 위치나 관측 방향의 제한 없이 기술하는 것이 가능해진다.
예를 들어 도 32a에 도시한 바와 같이, 광선 공간이 직육면체의 공간인 경우, 광선 공간을 관통하는 광은, 직육면체의 6개의 면 중 2군데를 관통한다. 그로 인해, 직육면체에 있어서의 광의 관통점의 좌표를 사용함으로써, 광선 L을 정의할 수 있다. 이와 같이 하여 정의되는 광선 L은, (u, v, s, t)라는 4차원 공간 중의 1점에 대응하게 된다. 여기서, 직육면체의 면마다 좌표계는 상이하게 되지만, 도 32a의 하단에 도시한 바와 같이, 광선 공간의 전개도를 고려함으로써, 관통하는 면에 의하지 않고, 모두 동일한 좌표계로 점을 표현하는 것이 가능해진다.
또한, 예를 들어 도 32b에 도시한 바와 같이 광선 공간을 구형의 공간으로 한 경우, 구형 표면상의 1점은, 예를 들어 일정 거리 원통 도법 등의 공지된 방법에 의해, 직사각형 평면상의 1점으로 변환하는 것이 가능하다. 따라서, 도 32b에 도시한 바와 같이 광선 공간을 구형의 공간으로 한 경우에도, 도 25a의 경우와 마찬가지로, 광선 L을 4차원 공간 중의 1점에 대응지을 수 있다.
이와 같이 하여 생성된 광선 공간에 의해, 공간을 열람할 때의 화상을 재구성하는 것이 가능해진다. 이러한 재구성 처리는, 화상 재구성부(2030)에 의해 실시된다.
화상 재구성부(2030)는, 광선 공간 생성부(2020)가 생성된 광선 공간과, 유저로부터 지정된 시점 및 시선 방향에 관한 재구성 정보에 기초하여, 재구성 정보에 대응하는 화상을 재구성한다. 이하에서는, 화상의 재구성 방법에 대하여, 도 33을 참조하면서 설명한다.
유저가 시인하는 화상의 1점은, 도 33에 도시한 바와 같이, 시점 위치와, 이러한 시점 위치로부터의 시점 방향으로 표현되는 벡터에 의해 표현할 수 있다. 화상 재구성부(2030)는, 재구성 정보에 기초하여 도 33에 도시한 바와 같은 벡터를 특정하면, 이 벡터를 연장하여, 광선 공간과의 교점의 위치를 산출한다. 여기서, 교점의 좌표가 도 33에 도시한 바와 같이 (u, v) 및 (s, t)인 경우, 재구성 정보에 대응하는 화소(재구성되는 화상에서의 화소)에 대응하는 광선 L은, L(u, v, s, t)로부터 재현할 수 있다.
화상 재구성부(2030)는, 이상 설명한 바와 같은 처리를, 재구성되는 화상에 포함되는 모든 화소에 대하여 반복 실시함으로써, 유저가 지정한 임의 시점에서의 화상을 재현하는 것이 가능하다.
이러한 재구성 방법은, 촬상 기기(800)에 의해 다시점의 화상을 조밀하게 촬상해서 광선 공간을 생성함으로써, 보다 고정밀도로 실현할 수 있다. 생성되는 광선 공간과 촬상과의 관계는 단순하며, 이상 설명한 바와 같은 공간의 재현 방법도 단순하기 때문에, 저계산 비용으로 상기한 바와 같은 처리를 실시하는 것이 가능하다. 또한, 본 실시 형태에 따른 재구성 방법은, 종래 실시되어 있는 바와 같은 다시점 스테레오 화상과 같이 2개의 화상간의 대응점을 인식하는 것이 불필요하기 때문에, 임의 시점, 임의 방향의 화상을 극히 간편하게 재구성하는 것이 가능한, 범용적인 방법이라고 할 수 있다.
표시 제어부(2040)는, 정보 처리 장치(2000)나 정보 처리 장치(2000)의 외부에 설치된 디스플레이 등의 표시 장치의 표시 내용을 제어한다. 구체적으로는, 표시 제어부(2040)는, 촬상 공간 생성부(2010)에 의해 생성된 촬상 공간이나, 광선 공간 생성부(2020)에 의해 생성된 광선 공간이나, 화상 재구성부(2030)에 의해 재구성된 화상 등을, 유저에게 시인시키는 것이 가능해진다. 이에 의해, 유저는, 임의 시점, 임의 방향의 화상을 수시 파악하는 것이 가능해진다.
데이터 취득부(2050)는, 촬상 기기(800)로부터 출력되는 촬상 화상 데이터나 촬상 위치에 관한 데이터를 취득하거나, 유저 조작 기기나 각종 입력 기구 등으로부터 출력되는 유저 조작에 관한 데이터를 취득하거나 한다. 데이터 취득부(2050)에 의해 취득된 각종 데이터는, 정보 처리 장치(2000)가 갖는 각 처리부가 적절히 이용하는 것이 가능하다.
데이터 제공부(2060)는, 정보 처리 장치(2000)에 의해 생성된 각종 데이터(예를 들어, 재구성 화상 데이터)를 정보 처리 장치(2000)의 외부에 설치된 장치에 제공한다. 이에 의해, 정보 처리 장치(2000)의 외부에 설치된 장치에 있어서도, 정보 처리 장치(2000)에 의해 생성된 각종 정보를 이용하는 것이 가능해진다.
기억부(2070)에는, 촬상 공간 생성부(2010), 광선 공간 생성부(2020), 화상 재구성부(2030), 표시 제어부(2040), 데이터 취득부(2050), 데이터 제공부(2060)에 있어서의 처리에 이용되는 각종 데이터베이스나, 이들 처리부가 실행하는 각종 연산 처리에 사용되는 애플리케이션을 포함하는 각종 프로그램이나, 어떠한 처리를 행할 때 보존할 필요가 생긴 다양한 파라미터나 처리의 도중 경과 등이, 적절히 기록되어도 된다.
이 기억부(2070)는, 촬상 공간 생성부(2010), 광선 공간 생성부(2020), 화상 재구성부(2030), 표시 제어부(2040), 데이터 취득부(2050), 데이터 제공부(2060) 등의 각 처리부가, 자유롭게 액세스하여, 데이터를 기입하거나 판독하거나 할 수 있다.
이상, 본 실시 형태에 따른 정보 처리 장치(2000)의 기능의 일례를 나타냈다. 상기한 각 구성 요소는, 범용적인 부재나 회로를 사용해서 구성되어 있어도 되며, 각 구성 요소의 기능에 특화된 하드웨어에 의해 구성되어 있어도 된다. 또한, 각 구성 요소의 기능을, CPU 등이 모두 행하여도 된다. 따라서, 본 실시 형태를 실시할 때마다의 기술 레벨에 따라서, 적절히 이용하는 구성을 변경하는 것이 가능하다.
또한, 전술한 바와 같이 본 실시 형태에 따른 정보 처리 장치의 각 기능을 실현하기 위한 컴퓨터 프로그램을 제작하고, 퍼스널 컴퓨터 등에 실장하는 것이 가능하다. 또한, 이와 같은 컴퓨터 프로그램이 저장된, 컴퓨터로 판독 가능한 기록 매체도 제공할 수 있다. 기록 매체는, 예를 들어 자기디스크, 광디스크, 광자기디스크, 플래시 메모리 등이다. 또한, 상기한 컴퓨터 프로그램은, 기록 매체를 사용하지 않고, 예를 들어 네트워크를 통해서 배신하여도 된다.
<정보 처리 방법의 흐름에 대하여>
다음으로, 도 34 및 도 35를 참조하면서, 본 실시 형태에 따른 정보 처리 장치(2000)에 의해 실시되는 정보 처리 방법의 흐름에 대하여, 간단히 설명한다.
[광선 공간의 생성 처리]
우선, 도 34를 참조하면서, 광선 공간의 생성 처리까지의 흐름에 대하여 설명한다.
본 실시 형태에 따른 정보 처리 장치(2000)의 촬상 공간 생성부(2010)는, 촬상 기기(800)에 의해 촬상된 촬상 데이터를 취득하여, 촬상 데이터와, 당해 촬상 데이터에 관련지어져 있는 촬상 위치에 관한 정보에 기초하여, 도 33에 도시한 바와 같은 촬상 공간을 생성한다(스텝 S201).
다음으로 정보 처리 장치(2000)의 광선 공간 생성부(2020)는, 촬상 공간 생성부(2010)에 의해 생성된 촬상 공간을 이용하여, 우선, 스텝 S203 이후에서 표현되는 광선 L의 정의 루프를 실시한다. 이 광선 L의 정의 루프는, 모든 촬상 위치 (Cx, Cy, Cz)의 모든 화소(Px, Py)에 대하여 처리가 종료될 때까지, 실시된다.
이 광선 L의 정의 루프에서는, 광선 공간 생성부(2020)는, 우선, 강도 I(Cx, Cy, Cz, Px, Py)를 촬상 위치 (Cx, Cy, Cz)의 각 화소(Px, Py)의 휘도로 설정한다(스텝 S205). 계속해서, 광선 공간 생성부(2020)는, 파라미터 Cx, Cy, Cz, Px, Py에 기초하여, 광선 공간의 좌표 (u, v, s, t)를 산출한다(스텝 S207). 그 후, 광선 공간 생성부(2020)는, L(u, v, s, t)=I(Cx, Cy, Cz, Px, Py)로 한다(스텝 S209).
이상 설명한 바와 같은 광선 L의 정의 루프가 종료되면, 광선 공간 생성부(2020)는, 스텝 S211 이후에서 표현되는 광선 L의 보완 루프를 실시한다. 이 광선 L의 보완 루프는, 모든 광선 공간 좌표 (u, v, s, t)에 대하여 처리가 종료될 때까지, 실시된다.
이 광선 L의 보완 루프에서는, 광선 공간 생성부(2020)는, 우선, 주목하고 있는 광선 공간 좌표 (u, v, s, t)에 대하여, L(u, v, s, t)가 정의되어 있는지 여부를 판단한다(스텝 S213). L(u, v, s, t)가 이미 정의되어 있는 경우에는, 광선 생성부(2020)는, 별도의 광선 공간 좌표 (u, v, s, t)에 대하여, 스텝 S213의 처리를 계속한다. 한편, L(u, v, s, t)가 정의되지 않는 경우에는, 광선 공간 생성부(2020)는, (u, v, s, t)의 근방에서 L이 정의가 완료된 것에 기초하여 공지된 보완 처리를 실시하여, L(u, v, s, t)를 산출한다(스텝 S215). 이에 의해, 정의 완료의 L(u, v, s, t)에 기초하여, L이 정의되지 않은 광선 공간 위치에 있어서의 L(u, v, s, t)가 보완되게 된다.
이상 설명한 바와 같은 광선 L의 보완 루프가 종료됨으로써, 도 32a나 도 32b에 도시한 바와 같은 광선 공간이 생성되게 된다.
[화상의 재구성 처리]
다음으로, 도 35를 참조하면서, 화상의 재구성 처리의 흐름에 대하여 설명한다.
본 실시 형태에 따른 정보 처리 장치(2000)의 화상 재구성부(2030)는, 우선, 유저 조작에 관한 정보 등을 참조하여, 시점 위치 (Cx, Cy, Cz)와, 재구성하는 화상에 포함되는 각 화소의 위치 (Px, Py)를 특정한다(스텝 S301).
다음으로, 화상 재구성부(2030)는, 스텝 S303 이후에서 표현되는 휘도 산출 루프를 실시한다. 이 휘도 산출 루프는, 재구성하는 화상에 포함되는 모든 화소(Px, Py)에 대하여 처리가 종료될 때까지, 실시된다.
이 휘도 산출 루프에서는, 화상 재구성부(2030)는, 우선, 파라미터 (Cx, Cy, Cz, Px, Py)에 기초하여, 광선 공간의 좌표 (u, v, s, t)를 산출한다(스텝 S305). 그 후, 화상 재구성부(2030)는, L(u, v, s, t)를 이용하여, 주목하고 있는 화소의 화소값 I(Px, Py)=L(Cx, Cy, Cz, Px, Py)을 산출한다(스텝 S307).
이상 설명한 바와 같은 광선 L의 보완 루프가 종료됨으로써, 유저 조작에 의해 지정된 임의 위치, 임의 시점의 화상이 재구성된다.
화상 재구성부(2030)는, 이상과 같이 해서 재구성한 화상의 데이터를, 표시 제어부(2040)나 데이터 제공부(2060)를 통해 출력한다(스텝 S309). 이에 의해, 재구성한 화상이 유저에게 시인되게 된다.
이상, 도 34 및 도 35를 참조하면서, 본 실시 형태에 따른 정보 처리 방법의 흐름에 대하여, 간단히 설명하였다.
<결론>
이와 같이, 본 실시 형태에 따른 정보 처리 장치 및 정보 처리 방법에서는, 공간 내를 이동하는 촬상 기기에 의해 촬상된 복수의 촬상 화상 데이터에 기초하여, 소정의 광선 공간이 생성되고, 생성된 광선 공간에 기초하여, 유저에 의해 지정된 임의 시점·임의 방향의 화상이 재구성된다. 본 실시 형태에 따른 정보 처리 장치 및 정보 처리 방법에서 생성되는 광선 공간은, 광선 공간의 내부로부터 관측하는 모든 광선을 관측 위치나 관측 방향의 제한 없이 기술하는 것이 가능하기 때문에, 제약을 받지 않고 시계를 재합성하는 것이 가능해진다.
이상, 첨부 도면을 참조하면서 본 개시의 바람직한 실시 형태에 대하여 상세히 설명하였지만, 본 개시의 기술적 범위는 이러한 예로 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 지닌 사람이면, 청구의 범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명백하며, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것으로서 한정적이지 않다. 즉, 본 개시에 관한 기술은, 상기한 효과와 함께 또는 상기한 효과 대신에, 본 명세서의 기재로부터 당업자에게는 명확한 다른 효과를 발휘할 수 있다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1)
공간 내를 이동하는 이동체에 장착된 촬상 장치의 촬상에 의해 생성되는 화상 정보와, 당해 촬상 장치의 자세에 관한 정보인 촬상 장치 자세 정보와, 유저가 조작하는 유저 조작 기기로부터 얻어지는, 유저가 시인하고 싶은 영역을 특정하는 유저 시인 정보에 기초하여 생성되는 표시 화상을, 상기 유저가 시인하는 표시 영역에 표시시키는 제어를 행하는 제어부를 구비하는, 정보 처리 장치.
(2)
상기 화상 정보에 포함되는 촬상 화상을 이용하여, 상기 이동체가 존재하는 위치의 주위가 촬상된 주위 촬상 화상을 생성하는 화상 생성부와,
상기 화상 생성부에 의해 생성된 상기 주위 촬상 화상과, 상기 유저 시인 정보에 기초하여, 상기 주위 촬상 화상 중 상기 유저 시인 정보에 대응하는 촬상 화상을 유저 시인용 화상으로서 선택하는 화상 선택부
를 더 구비하는, 상기 (1)에 기재된 정보 처리 장치.
(3)
상기 촬상 장치의 시선 방향이 변화했을 때, 상기 촬상 장치 자세 정보에 기초하여, 상기 주위 촬상 화상에 대하여 상기 촬상 장치의 시선 방향의 변화에 수반되는 상기 주위 촬상 화상의 변화를 억제하는 보정을 실시하는 화상 보정부를 더 구비하는, 상기 (2)에 기재된 정보 처리 장치.
(4)
상기 화상 보정부는, 상기 유저 조작 기기로부터 얻어진 상기 보정의 적용 정도를 나타낸 보정 적용 정보에 따라서, 상기 보정의 실시 정도를 제어하는, 상기 (3)에 기재된 정보 처리 장치.
(5)
상기 화상 보정부는, 상기 보정 적용 정보에 따라서, 상기 촬상 장치에 관하여 서로 독립적으로 규정되는 회전 좌표축의 각각에 대하여 상기 보정의 실시 정도를 제어하는, 상기 (4)에 기재된 정보 처리 장치.
(6)
상기 화상 보정부는, 상기 촬상 장치의 시선 방향의 변화에 수반되는 회전각의 크기에 따라서, 상기 이동체의 시선 방향의 변화 후의 상기 주위 촬상 화상을 역회전시키는 보정을 실시하는, 상기 (3) 내지 (5) 중 어느 하나에 기재된 정보 처리 장치.
(7)
상기 화상 보정부는, 상기 촬상 장치의 시선 방향의 변화의 전후에 있어서 국소 특징량이 일치하도록, 상기 보정을 실시하는, 상기 (3) 내지 (6) 중 어느 하나에 기재된 정보 처리 장치.
(8)
상기 화상 생성부는, 상기 주위 촬상 화상으로서, 상기 이동체가 존재하는 위치에 있어서의 전방위 화상, 또는 당해 전방위 화상을 직사각형 화상으로 변환한 변환 화상을 생성하는, 상기 (2) 내지 (7) 중 어느 하나에 기재된 정보 처리 장치.
(9)
상기 촬상 장치 자세 정보는, 상기 촬상 장치의 회전에 관한 정보인, 상기 (1) 내지 (8) 중 어느 하나에 기재된 정보 처리 장치.
(10)
상기 유저 시인 정보는, 상기 주위 촬상 화상에 있어서, 상기 유저가 시인하고 싶은 표시 화각을 특정하는 정보인, 상기 (2) 내지 (9) 중 어느 하나에 기재된 정보 처리 장치.
(11)
상기 촬상 장치 자세 정보에 기초하여, 상기 촬상 장치의 시선 방향을 나타내는 시선 정보를 생성하는 시선 정보 생성부를 더 구비하고,
상기 제어부는, 상기 시선 정보 생성부에 의해 생성된 상기 시선 정보를 이용하여, 당해 시선 정보로 표현되는 상기 촬상 장치의 시선 방향을 나타내는 오브젝트를 상기 유저 시인용 화상과 맞춰서 표시시키는, 상기 (2)에 기재된 정보 처리 장치.
(12)
상기 제어부는,
상기 촬상 장치 자세 정보에 기초하여 산출된, 상기 촬상 장치의 시선 방향의 변화에 수반되는 회전에 관한 회전 정보를 이용하여, 상기 촬상 장치의 자세 변화를 가시화한 자세 정보를 생성하고,
생성된 당해 자세 정보를 상기 표시 화상에 중첩한 다음에, 당해 표시 화상을 상기 유저가 시인하는 표시 영역에 표시시키는 제어를 행하는, 상기 (10) 또는 (11)에 기재된 정보 처리 장치.
(13)
상기 촬상 장치의 위치가 변화되지 않고 당해 촬상 장치의 시선 방향이 변화된 경우에, 상기 주위 촬상 화상에 대하여, 상기 촬상 장치의 시선 방향의 변화에 수반되는 상기 주위 촬상 화상의 변화를 억제하는 보정을 실시하는 화상 보정부를 더 구비하고,
상기 제어부는, 상기 화상 보정부에 의한 보정 후의 상기 주위 촬상 화상에 대하여 상기 자세 정보를 나타내는 오브젝트를 중첩시키는, 상기 (12)에 기재된 정보 처리 장치.
(14)
상기 제어부는, 상기 표시 화상에 대하여, 상기 촬상 장치의 시선 방향의 변화에 수반되는 회전 운동에 수반되어 회전하는 오브젝트와, 회전되지 않은 오브젝트 중 적어도 어느 한쪽을 중첩시키는, 상기 (13)에 기재된 정보 처리 장치.
(15)
상기 제어부는, 상기 회전 정보를 이용하고,
상기 촬상 장치가 존재하는 공간에 고정된 좌표계의 움직임을 고정하고, 또한 상기 촬상 장치에 고정된 좌표계를 변화시키거나, 또는 상기 촬상 장치가 존재하는 공간에 고정된 좌표계의 움직임을 변화시키고, 또한 상기 촬상 장치에 고정된 좌표계의 움직임을 고정함으로써, 상기 촬상 장치의 자세 변화를 가시화하는, 상기 (12) 내지 (14) 중 어느 하나에 기재된 정보 처리 장치.
(16)
상기 제어부는, 상기 회전 정보를 이용하여 상기 촬상 장치의 자세 변화를 가시화할 때 상기 공간에 고정된 좌표계의 중심과는 상이한 위치로부터 상기 공간을 가상적으로 시인한 경우에 대응하는 상기 표시 화상을 생성하는, 상기 (15)에 기재된 정보 처리 장치.
(17)
상기 제어부는, 상기 유저 조작 기기로부터, 상기 표시 화상의 특정한 위치에 대하여 어노테이션의 부가가 요구된 경우에, 상기 촬상 장치가 존재하는 공간에 고정된 좌표계에 있어서의 상기 특정한 위치의 대응 개소에 대하여 상기 어노테이션을 관련짓는, 상기 (12) 내지 (16) 중 어느 하나에 기재된 정보 처리 장치.
(18)
상기 제어부는, 상기 회전 정보에 따라서, 상기 표시 화상을 상기 유저가 시인하는 표시 영역에 표시시킬 때의 재생 속도 또는 표시 화각 중 적어도 어느 하나를 제어하는, 상기 (12) 내지 (17) 중 어느 하나에 기재된 정보 처리 장치.
(19)
상기 제어부는, 상기 유저 조작 기기로부터 지정된 임의의 위치를 중심으로 하고, 당해 지정된 임의의 위치로부터 상기 공간을 가상적으로 시인한 경우의 표시 화상을 생성하는, 상기 (12) 내지 (18) 중 어느 하나에 기재된 정보 처리 장치.
(20)
상기 제어부는, 상기 화상 보정부에 있어서의 보정 처리에 관한 설정 및 상기 제어부에 있어서의 자세 정보의 중첩 처리에 관한 설정을, 상기 촬상 장치 또는 상기 유저 조작 기기 중 적어도 한쪽에 대하여 행해진 조작에 기초하여 변경하는, 상기 (13) 내지 (19) 중 어느 하나에 기재된 정보 처리 장치.
(21)
상기 주위 촬상 화상에 대하여, 상기 촬상 장치의 회전에 수반되는 상기 주위 촬상 화상의 변화를 억제하는 보정을 실시하는 화상 보정부를 더 구비하는, 상기 (2)에 기재된 정보 처리 장치.
(22)
상기 제어부는, 상기 촬상 장치를 장착한 상기 이동체의 이동 방향에 기초하여, 상기 표시 화상의 표시를 제어하는, 상기 (21)에 기재된 정보 처리 장치.
(23)
상기 제어부는, 상기 이동체의 이동 방향과 상기 이동체의 기준 방향과의 각도 차가 임계값 이내인 경우에, 상기 표시 화상에 있어서의 기준 방향과 상기 이동체의 기준 방향 또는 이동 방향이 일치하도록, 상기 유저가 시인하는 표시 영역에 표시시키는 상기 표시 화상의 표시 화각을 소정의 속도로 회전시키는, 상기 (22)에 기재된 정보 처리 장치.
(24)
상기 소정의 속도는, 상기 이동체의 이동 속도, 또는 회전 속도 중 적어도 어느 하나에 기초하여 제어되는, 상기 (23)에 기재된 정보 처리 장치.
(25)
상기 유저 조작 기기는, 상기 유저가 장착하고, 상기 표시 화상이 표시되는 웨어러블 기기이며,
상기 화상 보정부는, 상기 이동체의 회전 방향과, 상기 유저 조작 기기의 회전 방향이 일치한 경우, 상기 주위 촬상 화상의 변화를 억제하는 보정을 실행하지 않는, 상기 (21) 내지 (24) 중 어느 하나에 기재된 정보 처리 장치.
(26)
상기 화상 보정부는, 상기 촬상 장치 및 상기 유저 조작 기기의 회전량이 임계값 이하인 경우, 상기 주위 촬상 화상의 변화를 억제하는 보정을 실행하는, 상기 (25)에 기재된 정보 처리 장치.
(27)
상기 유저 조작 기기는, 상기 유저가 장착하는 웨어러블 기기이며,
상기 유저 시인 정보는, 상기 웨어러블 기기가 검지한 상기 유저의 시선 방향에 따라서 생성되는, 상기 (1) 내지 (26) 중 어느 하나에 기재된 정보 처리 장치.
(28)
상기 이동체는, 상기 유저 조작 기기를 조작하는 유저와는 상이한 인간, 상기 공간 내를 자주하는 자주체, 또는 상기 공간 내를 비행하는 비행체 중 어느 하나인, 상기 (1) 내지 (27) 중 어느 하나에 기재된 정보 처리 장치.
(29)
상기 화상 정보와, 상기 촬상 장치 자세 정보에 기초하여 생성되는 중간 화상 정보를 취득하는 취득부를 더 구비하고,
상기 제어부는, 상기 중간 화상 정보와, 상기 유저 시인 정보에 기초하여 생성되는 표시 화상을 상기 유저가 시인하는 표시 영역에 표시시키는 제어를 행하는, 상기 (1)에 기재된 정보 처리 장치.
(30)
공간 내를 이동하는 이동체에 장착된 촬상 장치의 촬상에 의해 생성되는 화상 정보와, 당해 촬상 장치의 자세에 관한 정보인 촬상 장치 자세 정보와, 유저가 조작하는 유저 조작 기기로부터 얻어지는, 유저가 시인하고 싶은 영역을 특정하는 유저 시인 정보에 기초하여 생성되는 표시 화상을, 상기 유저가 시인하는 표시 영역에 표시시키는 제어를 행하는 것을 포함하는, 정보 처리 방법.
(31)
컴퓨터에,
공간 내를 이동하는 이동체에 장착된 촬상 장치의 촬상에 의해 생성되는 화상 정보와, 당해 촬상 장치의 자세에 관한 정보인 촬상 장치 자세 정보와, 유저가 조작하는 유저 조작 기기로부터 얻어지는, 유저가 시인하고 싶은 영역을 특정하는 유저 시인 정보에 기초하여 생성되는 표시 화상을, 상기 유저가 시인하는 표시 영역에 표시시키는 제어를 행하는 제어 기능을 실현시키기 위한 프로그램.
1000, 1100, 2000: 정보 처리 장치
1010, 1110: 화상 생성부
1020, 1120: 화상 선택부
1030, 1130: 화상 보정부
1040: 이동체 시선 정보 생성부
1050, 1150: 표시 제어부
1060, 1160, 2010: 데이터 취득부
1070, 1170, 2060: 데이터 제공부
1080, 1180, 2070: 기억부
1190: 방향 제어부
2020: 촬상 공간 생성부
2030: 광선 공간 생성부
2040: 화상 재구성부

Claims (22)

  1. 공간 내를 이동하는 이동체에 장착된 촬상 장치의 촬상에 의해 생성되는 화상 정보와, 당해 촬상 장치의 자세에 관한 정보인 촬상 장치 자세 정보와, 유저가 조작하는 유저 조작 기기로부터 얻어지는, 유저가 시인(視認)하고 싶은 영역을 특정하는 유저 시인 정보에 기초하여 생성되는 표시 화상을, 상기 유저가 시인하는 표시 영역에 표시시키는 제어를 행하는 제어부를 구비하는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 화상 정보에 포함되는 촬상 화상을 이용하여, 상기 이동체가 존재하는 위치의 주위가 촬상된 주위 촬상 화상을 생성하는 화상 생성부와,
    상기 화상 생성부에 의해 생성된 상기 주위 촬상 화상과, 상기 유저 시인 정보에 기초하여, 상기 주위 촬상 화상 중 상기 유저 시인 정보에 대응하는 촬상 화상을 유저 시인용 화상으로서 선택하는 화상 선택부
    를 더 구비하는, 정보 처리 장치.
  3. 제2항에 있어서,
    상기 촬상 장치의 시선 방향이 변화했을 때, 상기 촬상 장치 자세 정보에 기초하여, 상기 주위 촬상 화상에 대하여 상기 촬상 장치의 시선 방향의 변화에 수반되는 상기 주위 촬상 화상의 변화를 억제하는 보정을 실시하는 화상 보정부를 더 구비하는, 정보 처리 장치.
  4. 제3항에 있어서,
    상기 화상 보정부는, 상기 유저 조작 기기로부터 얻어진 상기 보정의 적용 정도를 나타낸 보정 적용 정보에 따라서, 상기 보정의 실시 정도를 제어하는, 정보 처리 장치.
  5. 제4항에 있어서,
    상기 화상 보정부는, 상기 보정 적용 정보에 따라서, 상기 촬상 장치에 관하여 서로 독립적으로 규정되는 회전 좌표축의 각각에 대하여 상기 보정의 실시 정도를 제어하는, 정보 처리 장치.
  6. 제3항에 있어서,
    상기 화상 보정부는, 상기 촬상 장치의 시선 방향의 변화에 수반되는 회전각의 크기에 따라서, 상기 이동체의 시선 방향의 변화 후의 상기 주위 촬상 화상을 역회전시키는 보정을 실시하는, 정보 처리 장치.
  7. 제3항에 있어서,
    상기 화상 보정부는, 상기 촬상 장치의 시선 방향의 변화의 전후에 있어서 국소 특징량이 일치하도록, 상기 보정을 실시하는, 정보 처리 장치.
  8. 제2항에 있어서,
    상기 화상 생성부는, 상기 주위 촬상 화상으로서, 상기 이동체가 존재하는 위치에 있어서의 전방위 화상, 또는 당해 전방위 화상을 직사각형 화상으로 변환한 변환 화상을 생성하는, 정보 처리 장치.
  9. 제2항에 있어서,
    상기 촬상 장치 자세 정보에 기초하여, 상기 촬상 장치의 시선 방향을 나타내는 시선 정보를 생성하는 시선 정보 생성부를 더 구비하고,
    상기 제어부는, 상기 시선 정보 생성부에 의해 생성된 상기 시선 정보를 이용하여, 당해 시선 정보로 표현되는 상기 촬상 장치의 시선 방향을 나타내는 오브젝트를 상기 유저 시인용 화상과 맞춰서 표시시키는, 정보 처리 장치.
  10. 제8항에 있어서,
    상기 제어부는,
    상기 촬상 장치 자세 정보에 기초하여 산출된, 상기 촬상 장치의 시선 방향의 변화에 수반되는 회전에 관한 회전 정보를 이용하여, 상기 촬상 장치의 자세 변화를 가시화한 자세 정보를 생성하고,
    생성된 당해 자세 정보를 상기 표시 화상에 중첩한 다음에, 당해 표시 화상을 상기 유저가 시인하는 표시 영역에 표시시키는 제어를 행하는, 정보 처리 장치.
  11. 제10항에 있어서,
    상기 촬상 장치의 위치가 변화되지 않고 당해 촬상 장치의 시선 방향이 변화된 경우에, 상기 주위 촬상 화상에 대하여 상기 촬상 장치의 시선 방향의 변화에 수반되는 상기 주위 촬상 화상의 변화를 억제하는 보정을 실시하는 화상 보정부를 더 구비하고,
    상기 제어부는, 상기 화상 보정부에 의한 보정 후의 상기 주위 촬상 화상에 대하여 상기 자세 정보를 나타내는 오브젝트를 중첩시키는, 정보 처리 장치.
  12. 제11항에 있어서,
    상기 제어부는, 상기 표시 화상에 대하여, 상기 촬상 장치의 시선 방향의 변화에 수반되는 회전 운동에 수반되어 회전하는 오브젝트와, 회전하지 않는 오브젝트 중 적어도 어느 한쪽을 중첩시키는, 정보 처리 장치.
  13. 제10항에 있어서,
    상기 제어부는, 상기 회전 정보를 이용하고,
    상기 촬상 장치가 존재하는 공간에 고정된 좌표계의 움직임을 고정하고, 또한 상기 촬상 장치에 고정된 좌표계를 변화시키거나, 또는 상기 촬상 장치가 존재하는 공간에 고정된 좌표계의 움직임을 변화시키고, 또한 상기 촬상 장치에 고정된 좌표계의 움직임을 고정함으로써, 상기 촬상 장치의 자세 변화를 가시화하는, 정보 처리 장치.
  14. 제13항에 있어서,
    상기 제어부는, 상기 회전 정보를 이용하여 상기 촬상 장치의 자세 변화를 가시화할 때 상기 공간에 고정된 좌표계의 중심과는 상이한 위치로부터 상기 공간을 가상적으로 시인한 경우에 대응하는 상기 표시 화상을 생성하는, 정보 처리 장치.
  15. 제10항에 있어서,
    상기 제어부는, 상기 유저 조작 기기로부터, 상기 표시 화상의 특정한 위치에 대하여 어노테이션의 부가가 요구된 경우에, 상기 촬상 장치가 존재하는 공간에 고정된 좌표계에 있어서의 상기 특정한 위치의 대응 개소에 대하여 상기 어노테이션을 관련짓는, 정보 처리 장치.
  16. 제10항에 있어서,
    상기 제어부는, 상기 회전 정보에 따라서, 상기 표시 화상을 상기 유저가 시인하는 표시 영역에 표시시킬 때의 재생 속도, 또는 표시 화각 중 적어도 어느 하나를 제어하는, 정보 처리 장치.
  17. 제10항에 있어서,
    상기 제어부는, 상기 유저 조작 기기로부터 지정된 임의의 위치를 중심으로 하고, 당해 지정된 임의의 위치로부터 상기 공간을 가상적으로 시인한 경우의 표시 화상을 생성하는, 정보 처리 장치.
  18. 제11항에 있어서,
    상기 제어부는, 상기 화상 보정부에 있어서의 보정 처리에 관한 설정 및 상기 제어부에 있어서의 자세 정보의 중첩 처리에 관한 설정을, 상기 촬상 장치, 또는 상기 유저 조작 기기 중 적어도 한쪽에 대하여 행해진 조작에 기초하여 변경하는, 정보 처리 장치.
  19. 제1항에 있어서,
    상기 유저 조작 기기는, 상기 유저가 장착하는 웨어러블 기기이며,
    상기 유저 시인 정보는, 상기 웨어러블 기기가 검지한 상기 유저의 시선 방향에 따라서 생성되는, 정보 처리 장치.
  20. 제1항에 있어서,
    상기 이동체는, 상기 유저 조작 기기를 조작하는 유저와는 상이한 인간, 상기 공간 내를 자주하는 자주체, 또는 상기 공간 내를 비행하는 비행체 중 어느 하나인, 정보 처리 장치.
  21. 공간 내를 이동하는 이동체에 장착된 촬상 장치의 촬상에 의해 생성되는 화상 정보와, 당해 촬상 장치의 자세에 관한 정보인 촬상 장치 자세 정보와, 유저가 조작하는 유저 조작 기기로부터 얻어지는, 유저가 시인하고 싶은 영역을 특정하는 유저 시인 정보에 기초하여 생성되는 표시 화상을, 상기 유저가 시인하는 표시 영역에 표시시키는 제어를 행하는 것을 포함하는, 정보 처리 방법.
  22. 컴퓨터에,
    공간 내를 이동하는 이동체에 장착된 촬상 장치의 촬상에 의해 생성되는 화상 정보와, 당해 촬상 장치의 자세에 관한 정보인 촬상 장치 자세 정보와, 유저가 조작하는 유저 조작 기기로부터 얻어지는, 유저가 시인하고 싶은 영역을 특정하는 유저 시인 정보에 기초하여 생성되는 표시 화상을, 상기 유저가 시인하는 표시 영역에 표시시키는 제어를 행하는 제어 기능을 실현시키기 위한, 프로그램.
KR1020167018597A 2014-02-17 2014-12-25 정보 처리 장치, 정보 처리 방법 및 프로그램 KR20160122702A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2014028015 2014-02-17
JPJP-P-2014-028015 2014-02-17
JPJP-P-2014-125799 2014-06-18
JP2014125799 2014-06-18
JP2014191990 2014-09-19
JPJP-P-2014-191990 2014-09-19
PCT/JP2014/084350 WO2015122108A1 (ja) 2014-02-17 2014-12-25 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
KR20160122702A true KR20160122702A (ko) 2016-10-24

Family

ID=53799862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167018597A KR20160122702A (ko) 2014-02-17 2014-12-25 정보 처리 장치, 정보 처리 방법 및 프로그램

Country Status (7)

Country Link
US (3) US9787895B2 (ko)
EP (1) EP3109744B1 (ko)
JP (1) JP6515813B2 (ko)
KR (1) KR20160122702A (ko)
CN (1) CN105980962B (ko)
RU (1) RU2683262C2 (ko)
WO (1) WO2015122108A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018164316A1 (ko) * 2017-03-07 2018-09-13 링크플로우 주식회사 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치
KR20180102481A (ko) * 2017-12-01 2018-09-17 링크플로우 주식회사 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치
WO2020032371A1 (ko) * 2018-08-09 2020-02-13 링크플로우 주식회사 영상 공유 방법 및 장치
KR20200098509A (ko) * 2017-12-20 2020-08-20 소니 주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2524249B (en) * 2014-03-17 2021-01-20 Sony Interactive Entertainment Inc Image Processing
US10788948B2 (en) * 2018-03-07 2020-09-29 Quantum Interface, Llc Systems, apparatuses, interfaces and implementing methods for displaying and manipulating temporal or sequential objects
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6679856B2 (ja) 2015-08-31 2020-04-15 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム
JPWO2017051592A1 (ja) 2015-09-25 2018-08-16 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2017068926A1 (ja) 2015-10-21 2017-04-27 ソニー株式会社 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
WO2017068928A1 (ja) * 2015-10-21 2017-04-27 ソニー株式会社 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
JP2017182130A (ja) 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9823477B1 (en) * 2016-05-02 2017-11-21 Futurewei Technologies, Inc. Head mounted display content capture and sharing
KR20180015921A (ko) 2016-08-04 2018-02-14 엘지전자 주식회사 디스플레이 장치
KR20180017591A (ko) * 2016-08-10 2018-02-21 삼성전자주식회사 카메라 장치, 디스플레이 장치 및 그 장치에서 움직임을 보정하는 방법
JP2018046430A (ja) * 2016-09-15 2018-03-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
US10002406B2 (en) * 2016-10-03 2018-06-19 Samsung Electronics Co., Ltd. Consistent spherical photo and video orientation correction
WO2018101227A1 (ja) * 2016-11-29 2018-06-07 シャープ株式会社 表示制御装置、ヘッドマウントディスプレイ、表示制御装置の制御方法、および制御プログラム
JP6812803B2 (ja) 2017-01-12 2021-01-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP7180074B2 (ja) * 2017-01-31 2022-11-30 株式会社リコー 撮像装置
CN110268699A (zh) 2017-02-14 2019-09-20 索尼公司 信息处理装置、信息处理方法及程序
EP3416381A1 (en) * 2017-06-12 2018-12-19 Thomson Licensing Method and apparatus for providing information to a user observing a multi view content
KR101843336B1 (ko) * 2017-06-29 2018-05-14 링크플로우 주식회사 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치
KR101856548B1 (ko) 2017-08-23 2018-05-11 링크플로우 주식회사 스트리트 뷰 서비스 방법 및 이러한 방법을 수행하는 장치
JP6495398B2 (ja) * 2017-09-04 2019-04-03 株式会社コロプラ 仮想空間を提供するための方法、プログラム、および当該プログラムを実行するための情報処理装置
JP7013808B2 (ja) * 2017-11-15 2022-02-01 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
US10863154B2 (en) * 2018-02-20 2020-12-08 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP2021105749A (ja) * 2018-03-20 2021-07-26 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2019188229A1 (ja) 2018-03-26 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020043387A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び、記憶媒体
US11749141B2 (en) * 2018-10-04 2023-09-05 Sony Corporation Information processing apparatus, information processing method, and recording medium
CN110413108B (zh) * 2019-06-28 2023-09-01 广东虚拟现实科技有限公司 虚拟画面的处理方法、装置、系统、电子设备及存储介质
JP6655751B1 (ja) * 2019-07-25 2020-02-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
JP7485527B2 (ja) 2020-03-19 2024-05-16 Ｌｉｎｅヤフー株式会社 提供装置、提供方法及び提供プログラム
DE112021002093T5 (de) * 2020-03-30 2023-02-09 Sony Group Corporation Verfahren zum ändern des blickpunkts im virtuellen raum
KR102398839B1 (ko) * 2020-12-01 2022-05-17 서울과학기술대학교 산학협력단 객체의 표면에 영상을 투영시키는 장치
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
JPWO2023100220A1 (ko) * 2021-11-30 2023-06-08
WO2024201814A1 (ja) * 2023-03-29 2024-10-03 マクセル株式会社 映像共有システム及び映像共有方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013110764A (ja) 2013-02-19 2013-06-06 Sony Corp 撮像表示装置、撮像表示方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690338B1 (en) * 1993-08-23 2004-02-10 Francis J. Maguire, Jr. Apparatus and method for providing images of real and virtual objects in a head mounted display
JPH11153987A (ja) * 1997-11-19 1999-06-08 Olympus Optical Co Ltd グラフィック表示装置
CN1093711C (zh) * 1998-02-06 2002-10-30 财团法人工业技术研究院 全景图象式虚拟现实播放系统和方法
US7023913B1 (en) * 2000-06-14 2006-04-04 Monroe David A Digital security multimedia sensor
KR20020025301A (ko) * 2000-09-28 2002-04-04 오길록 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법
JP2002135641A (ja) * 2000-10-27 2002-05-10 Nippon Telegr & Teleph Corp <Ntt> 視点・視線自由移動カメラシステム
JP3965560B2 (ja) * 2002-03-26 2007-08-29 ソニー株式会社 画像処理装置および方法、撮像装置および方法、並びにプログラム
EP1599036A1 (en) * 2003-02-25 2005-11-23 Matsushita Electric Industrial Co., Ltd. Image pickup processing method and image pickup apparatus
JP2006047748A (ja) * 2004-08-05 2006-02-16 Canon Inc 手ぶれ補正機能を有する光学機器
US8001623B2 (en) * 2005-05-26 2011-08-23 Gertsch Jeffrey H Electronic helmet
JP2007043225A (ja) * 2005-07-29 2007-02-15 Univ Of Electro-Communications 撮像画像処理装置及び撮像画像処理方法
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
US9891435B2 (en) * 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
EP1926345A3 (en) * 2006-11-22 2011-09-14 Panasonic Corporation Stereophonic sound control apparatus and stereophonic sound control method
CN101578571A (zh) * 2007-07-09 2009-11-11 索尼株式会社 电子设备及其控制方法
US8436788B2 (en) * 2008-01-08 2013-05-07 Lockheed Martin Corporation Method and apparatus for displaying
US20100259619A1 (en) * 2009-04-10 2010-10-14 Nicholson Timothy J Hmd with elevated camera
US9144714B2 (en) * 2009-05-02 2015-09-29 Steven J. Hollinger Ball with camera for reconnaissance or recreation and network for operating the same
WO2010130084A1 (zh) * 2009-05-12 2010-11-18 华为终端有限公司 远程呈现系统、方法及视频采集设备
JP2011205358A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
CN101916452B (zh) * 2010-07-26 2012-04-25 中国科学院遥感应用研究所 一种基于飞行控制信息的无人机遥感影像自动拼接方法
JP5406813B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置およびパノラマ画像表示方法
EP2485119A3 (en) * 2011-02-02 2012-12-12 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
WO2013086246A1 (en) * 2011-12-06 2013-06-13 Equisight Inc. Virtual presence model
US20130322683A1 (en) * 2012-05-30 2013-12-05 Joel Jacobs Customized head-mounted display device
JP6124517B2 (ja) * 2012-06-01 2017-05-10 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013110764A (ja) 2013-02-19 2013-06-06 Sony Corp 撮像表示装置、撮像表示方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018164316A1 (ko) * 2017-03-07 2018-09-13 링크플로우 주식회사 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치
US10419670B2 (en) 2017-03-07 2019-09-17 Linkflow Co. Ltd Omnidirectional image capturing method and apparatus performing the method
KR20180102481A (ko) * 2017-12-01 2018-09-17 링크플로우 주식회사 전방향 영상 촬상 방법 및 이러한 방법을 수행하는 장치
KR20200098509A (ko) * 2017-12-20 2020-08-20 소니 주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
US11468868B2 (en) 2017-12-20 2022-10-11 Sony Corporation Information processing apparatus and information processing method to perform transition display control
WO2020032371A1 (ko) * 2018-08-09 2020-02-13 링크플로우 주식회사 영상 공유 방법 및 장치

Also Published As

Publication number Publication date
EP3109744A1 (en) 2016-12-28
CN105980962B (zh) 2019-07-23
US20160284048A1 (en) 2016-09-29
RU2016133123A (ru) 2018-02-16
JP6515813B2 (ja) 2019-05-22
US10389937B2 (en) 2019-08-20
US20160301865A1 (en) 2016-10-13
RU2683262C2 (ru) 2019-03-27
US9787895B2 (en) 2017-10-10
EP3109744B1 (en) 2020-09-09
US10574889B2 (en) 2020-02-25
WO2015122108A1 (ja) 2015-08-20
US20190349525A1 (en) 2019-11-14
CN105980962A (zh) 2016-09-28
RU2016133123A3 (ko) 2018-09-04
EP3109744A4 (en) 2017-08-02
JPWO2015122108A1 (ja) 2017-03-30

Similar Documents

Publication Publication Date Title
US10574889B2 (en) Information processing device, information processing method, and program
US11189055B2 (en) Information processing apparatus and method and program
CN103180893B (zh) 用于提供三维用户界面的方法和系统
US11184597B2 (en) Information processing device, image generation method, and head-mounted display
JP2013258614A (ja) 画像生成装置および画像生成方法
CN106062821A (zh) 用于不受限制的slam的基于传感器的相机运动检测
CN108629830A (zh) 一种三维环境信息显示方法及设备
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
KR102461232B1 (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
JP5869712B1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
CN107710108A (zh) 内容浏览
JP2020008972A (ja) 情報処理装置、情報処理方法及びプログラム
JP2023126474A (ja) 拡張現実のためのシステムおよび方法
JP2019114147A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN107924586A (zh) 搜索图像内容
JP6518645B2 (ja) 情報処理装置および画像生成方法
JP2020510336A (ja) 全方位画像の方向情報を生成する方法およびこのような方法を遂行する装置
JP6890524B2 (ja) 姿勢制御システム
WO2014008438A1 (en) Systems and methods for tracking user postures and motions to control display of and navigate panoramas
US20230367403A1 (en) Terminal device, virtual object manipulation method, and virtual object manipulation program
JP7321459B2 (ja) 携帯端末、操作方法、及びプログラム
KR101741149B1 (ko) 가상 카메라의 시점 제어 방법 및 장치
JP2019121074A (ja) Ｖｒ空間における自撮り装置、方法、およびプログラム
JP6744543B2 (ja) 情報処理システム、その制御方法、及びプログラム
CN118172384A (zh) 目标对象的位姿确定方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
WITB Written withdrawal of application