WO2012099194A1 - 撮影装置、撮影装置を制御するための方法およびネットワークシステム - Google Patents

撮影装置、撮影装置を制御するための方法およびネットワークシステム Download PDF

Info

Publication number
WO2012099194A1
WO2012099194A1 PCT/JP2012/051059 JP2012051059W WO2012099194A1 WO 2012099194 A1 WO2012099194 A1 WO 2012099194A1 JP 2012051059 W JP2012051059 W JP 2012051059W WO 2012099194 A1 WO2012099194 A1 WO 2012099194A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
photographing
controller
stereo camera
imaging device
Prior art date
Application number
PCT/JP2012/051059
Other languages
English (en)
French (fr)
Inventor
浩 福富
宏二 赤坂
稔 和田山
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2012099194A1 publication Critical patent/WO2012099194A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces

Definitions

  • the present invention relates to a technique of a photographing apparatus for photographing a 3D image.
  • Patent Document 1 discloses an image processing method. According to Japanese Patent Laid-Open No. 11-261797 (Patent Document 1), image data of a plurality of images obtained by photographing the scene at different focal lengths and information on a subject to be noted in the scene are obtained. For at least a subject to be noticed, image data of a plurality of images taken at different focal lengths is synthesized using image data of an image in which the subject is focused, and image data of one image is generated. .
  • a stereo camera including a right camera for acquiring a right-eye image and a left camera for acquiring a left-eye image
  • an image of a near subject and an image of a distant subject can be displayed well. Have difficulty.
  • the present invention has been made to solve such a problem, and an object of the present invention is to provide a photographing apparatus that can reproduce a subject close to the photographing apparatus and a subject far from the photographing apparatus in 3D. There is.
  • a first stereo camera for photographing the first 3D image by photographing the front of the photographing device and a second 3D image by photographing the front of the photographing device. Therefore, the second stereo camera having a larger angle of convergence than the first stereo camera and the part of the first 3D image that indicates the object close to the photographing device are shown as the object in the second 3D image.
  • An imaging device is provided comprising a processor for creating a third 3D image by replacing the part.
  • the photographing apparatus further includes a communication interface for communicating with the controller and a moving unit for moving the photographing apparatus based on a command from the controller.
  • the processor sends the third 3D image to the controller via the communication interface.
  • the photographing apparatus further includes a display.
  • the processor causes the third 3D image to be displayed on the display.
  • the first stereo camera includes two first cameras having a first focal length.
  • the second stereo camera includes two second cameras having a second focal length that is shorter than the first focal length.
  • the first stereo camera includes two first cameras having a first angle of view.
  • the second stereo camera includes two second cameras having a second field angle wider than the first field angle.
  • a communication interface for communicating with the controller, a moving unit for moving the photographing apparatus based on a command from the controller, and a first 3D image by photographing the front of the photographing apparatus
  • a first stereo camera for photographing a second stereo camera having a convergence angle larger than that of the first stereo camera for photographing a second 3D image by photographing the front of the photographing device An imaging device is provided comprising a processor for transmitting first and second 3D images to a controller via a communication interface.
  • the first stereo camera includes two first cameras having a first focal length.
  • the second stereo camera includes two second cameras having a second focal length that is shorter than the first focal length.
  • the first stereo camera includes two first cameras having a first angle of view.
  • the second stereo camera includes two second cameras having a second field angle wider than the first field angle.
  • a network system including an imaging device and a controller.
  • the imaging device has a first stereo camera for capturing a first 3D image by capturing the front of the imaging device, and a second 3D image for capturing the front of the imaging device.
  • the second stereo camera having a larger angle of convergence than the first stereo camera and the portion of the first 3D image that indicates an object close to the imaging device are replaced with the portion of the second 3D image that indicates the object.
  • a processor for creating a third 3D image and a first communication interface for transmitting the third 3D image to the controller.
  • the controller includes a second communication interface for receiving a third 3D image from the imaging device and a display for displaying the third 3D image received from the imaging device.
  • the photographing apparatus further includes a moving unit for moving the photographing apparatus based on a command from the controller.
  • the controller further includes an operation unit for receiving a command.
  • the second communication interface transmits a command to the photographing apparatus.
  • a network system including an imaging device and a controller.
  • the imaging device has a first stereo camera for capturing a first 3D image by capturing the front of the imaging device, and a second 3D image for capturing the front of the imaging device.
  • a second stereo camera having a larger angle of convergence than the first stereo camera; and a first communication interface for transmitting the first and second 3D images to the controller.
  • the controller includes a display, a second communication interface for receiving the first and second 3D images from the imaging device, and a portion of the first 3D image that indicates an object close to the imaging device.
  • a processor for creating a third 3D image by replacing the portion of the 3D image with an object indicating the object, and causing the display to display the third 3D image.
  • the photographing apparatus further includes a moving unit for moving the photographing apparatus based on a command from the controller.
  • the controller further includes an operation unit for receiving a command.
  • the second communication interface transmits a command to the photographing apparatus.
  • a method for controlling an imaging device includes: taking a first 3D image by photographing the front of the imaging device; and photographing a second 3D image by photographing the front of the imaging device. Prepare. The convergence angle in capturing the second 3D image is larger than the convergence angle in capturing the first 3D image, and a portion of the first 3D image that indicates an object close to the capturing device is represented by the second 3D image. A third 3D image is created by replacing the object with a portion representing the object.
  • the method for controlling the imaging device further includes a step of communicating with the controller, a step of moving the imaging device based on a command from the controller, and a step of transmitting the third 3D image to the controller. .
  • the photographing apparatus further includes a display.
  • the method for controlling the imaging device further includes displaying the third 3D image on a display.
  • the step of capturing the first 3D image includes capturing by two first cameras having a first focal length.
  • the step of capturing the second 3D image includes capturing by two second cameras having a second focal length shorter than the first focal length.
  • the step of photographing the first 3D image includes photographing by two first cameras having a first angle of view.
  • the step of photographing the second 3D image includes photographing with two second cameras having a second field angle wider than the first field angle.
  • a method for controlling an imaging device includes the steps of communicating with a controller, imaging a first 3D image by imaging the front of the imaging device, and second 3D by imaging the front of the imaging device. Capturing an image. The convergence angle in capturing the second 3D image is larger than the convergence angle in capturing the first 3D image. The step of moving the imaging device based on a command from the controller, and the first and second 3D images Transmitting to the controller.
  • the step of capturing the first 3D image includes capturing by two first cameras having a first focal length.
  • the step of capturing the second 3D image includes capturing by two second cameras having a second focal length shorter than the first focal length.
  • the step of photographing the first 3D image includes photographing by two first cameras having a first angle of view.
  • the step of photographing the second 3D image includes photographing with two second cameras having a second field angle wider than the first field angle.
  • an imaging device that can reproduce a subject close to the imaging device and a subject far from the imaging device in 3D.
  • FIG. It is an image figure which shows the whole structure of the network system 1 which concerns on this Embodiment. It is a block diagram showing the hardware constitutions of the controller 100 which concerns on this Embodiment. It is an image figure which shows the state which the user which concerns on this Embodiment inputs the command for creating the course for the radio controlled car 200.
  • FIG. It is an image figure which shows the controller 100 in the normal mode and race mode which concern on this Embodiment. It is an image figure which shows the controller 100 just before the start of the race which concerns on this Embodiment. It is an image figure which shows the controller 100 when the radio controlled car 200 concerning this Embodiment is located just before the goal point of a race.
  • the “photographing device” only needs to have a short-distance 3D camera and a long-distance 3D camera, as will be described later.
  • the imaging device may be a digital camera, a helicopter or airplane that can fly, or a robot that can walk. In the case of a helicopter or an airplane, it is preferable to include an altimeter that acquires the altitude of the photographing apparatus.
  • the “controller” may be dedicated to the control of the radio controlled car, or has a communication interface with a display such as a portable telephone, personal computer, electronic notebook, PDA (Personal Digital Assistant) having other functions. It may be a device.
  • the imaging device synthesizes a short distance image and a long distance image.
  • the imaging apparatus transmits the composite image to the controller 100.
  • the controller 100 displays the composite image.
  • the image capturing apparatus itself that is, the display of the photographing apparatus, may display the composite image.
  • FIG. 1 is an image diagram showing an overall configuration of a network system 1 according to the present embodiment.
  • network system 1 includes controllers 100X and 100Y and radio controlled cars 200X and 200Y.
  • controllers 100X and 100Y are collectively referred to as the controller 100 for the sake of explanation.
  • the radio controlled cars 200X and 200Y are collectively referred to as a radio controlled car 200.
  • Each user places the radio controlled car 200 on the ground of a park or garden.
  • the user controls the operation of the radio controlled car 200 via the controller 100.
  • the radio controlled car 200 is equipped with a 3D stereo camera for photographing the front of the radio controlled car 200. More specifically, the radio controlled car 200 includes a 3D stereo camera for medium and long distances and a 3D stereo camera for short distances. More specifically, the focal length of the short distance 3D stereo camera is shorter than the focal length of the medium and long distance 3D stereo camera. The convergence angle of the short distance 3D stereo camera is larger than the convergence angle of the medium and long distance 3D stereo camera. The angle of view of the 3D stereo camera for short distance is larger than the angle of view of the 3D stereo camera for medium and long distances.
  • the radio controlled car 200 synthesizes a 3D image captured by a 3D stereo camera for medium and long distances and a 3D image captured by a 3D stereo camera for short distances.
  • the radio controlled car 200 sequentially transmits the composite image to the controller 100.
  • the radio controlled car 200 is equipped with a GPS (Global Positioning System) for measuring the current position of the radio controlled car 200.
  • the radio controlled car 200 sequentially transmits the current position to the controller 100.
  • the radio controlled car 200 is equipped with an electronic compass for measuring the current orientation (attitude) of the radio controlled car 200.
  • the radio controlled car 200 transmits the current direction to the controller 100 sequentially.
  • the radio controlled car 200 may transmit the composite image, the current position, and the current orientation to the controller 100 at the same time or separately.
  • Controller 100 displays a composite image from radio controlled car 200. While viewing the composite image, the user inputs commands for moving the radio controlled car 200 to the controller 100 (forward command, reverse command, direction change command, acceleration / deceleration command, hereinafter these commands are also referred to as movement commands). .
  • the controller 100 transmits a movement command from the user to the radio controlled car 200.
  • the controller 100 accumulates time series data (course creation time series data) of the current position from the radio controlled car 200.
  • the controller 100 acquires the trajectory of the radio controlled car 200 based on the time series data.
  • the controller 100 creates data indicating a course (circuit) for the radio controlled car 200 based on the trajectory of the radio controlled car 200.
  • the data indicating the course (also referred to as course data) includes 3D objects such as a white line indicating the track of the course and a course pylon.
  • the course position, shape, and orientation are associated with actual map data. Alternatively, the course position, shape, and orientation are associated with latitude and longitude.
  • the controller 100 may accept a course creation command via the touch panel 130 or the like.
  • the controller 100 receives a slide operation on the map from the user while the map is displayed.
  • the controller 100 determines the position, shape, and orientation of the course based on the slide operation.
  • the controller 100 may store a plurality of course data in advance. That is, even if the radio controlled car 200 does not run, the user may select a desired course from a plurality of courses prepared in advance.
  • the position, shape, and orientation of the course are associated with map data or latitude / longitude in advance.
  • the shape of the course is prepared, and when the user selects a course, the position and orientation of the course may be designated by the user.
  • the controller 100 After the course is decided, the controller 100 starts the race based on the user's command.
  • the controller 100 acquires the position and orientation of the radio controlled car 200 in the course based on the course data and the current position and orientation of the radio controlled car 200.
  • the controller 100 Based on the position and orientation of the radio controlled car 200 in the course, the controller 100 creates a virtual image indicating the 3D object viewed from the radio controlled car 200 from the course data.
  • the controller 100 determines the viewpoint of the 3D model data based on the position and orientation of the radio controlled car 200 on the circuit.
  • the controller 100 creates a display image (virtual image) of 3D model data from the viewpoint.
  • the controller 100 superimposes and displays the virtual image on the composite image from the radio controlled car 200.
  • the first controller 100X for controlling the first radio controlled car 200X can communicate with the second controller 100Y for controlling the second radio controlled car 200Y.
  • the first controller 100X transmits course data to the second controller 100Y and receives course data from the second radio controlled car 200Y.
  • the first controller 100X and the second controller 100Y can control the traveling of the radio controlled cars 200X and 200Y based on the common course data.
  • the user of the first controller 100X can perform a race along the course while looking at the composite image from the first radio controlled car 200X, that is, while viewing the actual video of the second radio controlled car 200Y. it can.
  • the user can control the movement of the radio controlled car 200 with the line of sight of the radio controlled car 200 while viewing the image (virtual image) indicating the virtual course. it can.
  • the user can make the control of the movement of the radio controlled car 200 full of realism.
  • the radio controlled car 200 synthesizes the 3D image captured by the medium-long distance 3D stereo camera and the 3D image captured by the short-distance 3D stereo camera. Therefore, both a subject far from the imaging device (such as a building that appears far away) and a subject close to the imaging device (such as another radio controlled car) can be reproduced well.
  • FIG. 2 is a block diagram showing a hardware configuration of controller 100 according to the present embodiment.
  • controller 100 includes a CPU 110, a memory 120, a touch panel 130, a speaker 140, a button 150, a memory interface 160, a communication interface 170, and a clock 180 as main components. .
  • the memory 120 is realized by various types of RAM (Random Access Memory), ROM (Read-Only Memory), a hard disk, and the like.
  • the memory 120 stores a program executed by the CPU 110, map data, various model data for indicating a virtual course, and the like. In other words, the CPU 110 controls each unit of the controller 100 by executing a program stored in the memory 120.
  • the touch panel 130 includes a tablet 132 and a display 131 arranged on the surface of the tablet 132.
  • the display 131 is preferably a 3D display.
  • the touch panel 130 may be any type such as a resistive film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method.
  • the touch panel 130 may include an optical sensor liquid crystal.
  • the touch panel 130 (tablet 132) detects a touch operation on the touch panel 130 by an external object every predetermined time, and inputs the touch coordinates (touch position) to the CPU 110. In other words, the CPU 110 sequentially acquires touch coordinates from the touch panel 130.
  • Speaker 140 outputs sound based on a command from CPU 110.
  • CPU 110 causes speaker 140 to output sound based on the sound data.
  • the button 150 is disposed on the surface of the controller 100.
  • a plurality of buttons such as a direction key, a determination key, and a numeric keypad may be arranged on the controller 100.
  • the button 150 receives a command from the user.
  • the button 150 inputs a command from the user to the CPU 110.
  • the memory interface 160 reads data from the external storage medium 161.
  • the CPU 110 reads data stored in the external storage medium 161 via the memory interface 160 and stores the data in the memory 120.
  • the CPU 110 reads data from the memory 120 and stores the data in the external storage medium 161 via the memory interface 160.
  • CD Compact Disc
  • DVD Digital Versatile Disk
  • BD Blu-ray Disc
  • USB Universal Serial Bus
  • memory card memory card
  • FD Flexible Disk
  • hard disk magnetic tape
  • Cassette tape Magnetic Optical Disc
  • MO Magnetic Optical Disc
  • MD Mini Disc
  • IC Integrated Circuit card (excluding memory card)
  • EPROM Electrically Erasable Programmable Read-Only Memory
  • non-volatile And a medium for storing the program non-volatile And a medium for storing the program.
  • the communication interface 170 is realized by an antenna or a connector.
  • the communication interface 170 exchanges data with the radio controlled car 200 and other controllers 100 by wireless communication.
  • CPU 110 receives a program, map data, and the like from another computer via communication interface 170.
  • the CPU 110 transmits course data to the other controller 100 and receives course data from the other controller 100 via the communication interface 170.
  • the CPU 110 transmits a movement command to the radio controlled car 200 via the communication interface 170, and receives a composite image, the current position, and the current orientation from the radio controlled car 200.
  • the clock 180 measures time or a period based on a command from the CPU 110.
  • the CPU 110 controls each unit of the controller 100 by executing a program stored in the memory 120 or the storage medium 161. For example, the CPU 110 executes a control process of the radio controlled car 200 by executing a program stored in the memory 120 or the storage medium 161.
  • the CPU 110 receives a composite image from the radio controlled car 200 via the communication interface 170.
  • CPU 110 causes touch panel 130 to display the composite image.
  • CPU 110 accepts a command (movement command) for moving radio controlled car 200 from the user via touch panel 130 or button 150.
  • CPU 110 transmits a movement command to radio controlled car 200 via communication interface 170.
  • the CPU 110 receives the current position and orientation from the radio controlled car 200 via the communication interface 170.
  • CPU 110 stores time series data of the current position of radio controlled car 200 in memory 120.
  • CPU110 acquires the locus
  • the CPU 110 creates data indicating the course for the radio controlled car 200 based on the trajectory of the radio controlled car 200.
  • the data indicating the course (also referred to as course data) includes 3D objects (model data) such as a white line 301X indicating the center line of the course, a white line 302X indicating the end line of the course, and a course pylon 303X.
  • the CPU 110 associates the course position, shape, and orientation with actual map data. Alternatively, the CPU 110 associates the position, shape, and direction of the course with latitude / longitude.
  • the CPU 110 may create course data without causing the radio controlled car 200 to travel. More specifically, CPU 110 according to the present embodiment accepts a map acquisition command from the user via touch panel 130 or button 150. The CPU 110 downloads map data from an external server or the like via the communication interface 170. The CPU 110 may read map data from the memory 120 or the storage medium 161.
  • FIG. 3 is an image diagram showing a state in which a user according to the present embodiment inputs a command for creating a course for radio controlled car 200.
  • CPU 110 accepts a slide operation by the user while displaying a map image on touch panel 130.
  • the CPU 110 acquires the locus of the finger on the map image by sequentially acquiring the touch position of the finger on the map image via the touch panel 130.
  • the CPU 110 displays a map image and a pointer on the touch panel 130.
  • the CPU 110 receives a pointer movement command from the user via the button 150.
  • CPU110 acquires the locus
  • the CPU 110 creates data indicating a course for the radio controlled car 200 based on the trajectory of the finger.
  • the CPU 110 creates a course pylon, a track line, etc. for indicating the end of the course on both sides of the trajectory.
  • the controller 100 may store a plurality of course data in advance. That is, the user may select a desired course from a plurality of courses prepared in advance.
  • the position, shape, and orientation of the course are associated with map data or latitude / longitude in advance.
  • the position and orientation of the course may be designated when the user selects the course.
  • the CPU 110 transmits course data to other controllers 100 and receives course data from other controllers 100.
  • the CPU 110 stores the course data received from the other controller 100 in the memory 120.
  • CPU 110 accepts selection of the course data from the user via touch panel 130 or button 150.
  • the users of the first and second controllers 100X and 100Y can race by running the first and second radio controlled cars 200X and 200Y simultaneously on the same course.
  • the CPU 110 After the course is determined, the CPU 110 starts the race based on the user's command.
  • the CPU 110 acquires the position and orientation of the radio controlled car 200 in the course based on the course data and the current position and orientation of the radio controlled car 200.
  • the CPU 110 creates a virtual image indicating a 3D object viewed from the radio controlled car 200 from the course data based on the position and orientation of the radio controlled car 200 in the course.
  • CPU110 superimposes and displays a virtual image on the synthesized image from radio controlled car 200.
  • FIG. For example, the radio controlled car 200 of another controller 100 may be reflected in the composite image.
  • FIG. 4 is an image diagram showing the controller 100 in the normal mode and the race mode according to the present embodiment. More specifically, the state (A) in FIG. 4 is an image diagram showing the touch panel 130 of the controller 100 before the race starts or when the radio controlled car 200 is running to create a course. The state (B) in FIG. 4 is an image diagram showing the touch panel 130 of the controller 100 during the race.
  • CPU 110 displays the composite image from radio controlled car 200 on touch panel 130 before the race starts or when radio controlled car 200 is running to create a course. Display.
  • the CPU 110 displays a white line 301X indicating the center of the course and a white line indicating the end of the course in the composite image from the radio controlled car 200.
  • Virtual images such as 302X and course pylon 303X are superimposed.
  • FIG. 5 is an image diagram showing the controller 100 immediately before the start of the race according to the present embodiment.
  • CPU 110 receives a start point and a goal point in the course via touch panel 130 or button 150.
  • CPU110 reads a virtual image from the memory 120, when a race is started based on the present position and direction of the radio controlled car 200 in a course.
  • CPU 110 causes touch panel 130 to display a composite image, white lines 301X and 302X, coarse pylon 303X, characters indicating the start timing, an image of a traffic light, and the like.
  • FIG. 6 is an image diagram showing the controller 100 when the radio controlled car 200 according to the present embodiment is located immediately before the goal point of the race.
  • the CPU 110 receives a start point and a goal point in the course via the touch panel 130 or the button 150.
  • CPU 110 accepts designation of how many weeks the course is to be performed via touch panel 130 or button 150.
  • CPU 110 reads a virtual image from memory 120 when radio controlled car 200 approaches the goal point based on the current position and orientation of radio controlled car 200 on the course.
  • CPU 110 causes touch panel 130 to display a composite image, white lines 301X and 302X, course pylon 303X, an image showing a goal point, and the like.
  • FIG. 7 is a block diagram showing a hardware configuration of radio controlled car 200 according to the present embodiment.
  • the radio controlled car 200 includes, as main components, a CPU 210, a memory 220, a moving mechanism 230, a GPS 240, an electronic compass 250, a memory interface 260, a communication interface 270, a watch 280, and the like. , And camera 290.
  • the memory 220 is realized by various RAMs, ROMs, hard disks, and the like.
  • the memory 220 stores a program executed by the CPU 210 and the like. In other words, the CPU 210 controls each part of the radio controlled car 200 by executing a program stored in the memory 220.
  • the moving mechanism 230 moves the radio controlled car 200 based on a command from the CPU 210.
  • the moving mechanism 230 includes a motor, a shaft, a tire, and the like.
  • the moving mechanism 230 may be a propeller, a wing, a leg, or the like.
  • the moving mechanism 230 moves the radio controlled car 200 in accordance with a moving command from the controller 100.
  • GPS240 acquires the current position of the radio controlled car 200.
  • the current position is transmitted to the controller 100 via the communication interface 270.
  • the electronic compass 250 acquires the direction of the radio controlled car 200.
  • the direction is transmitted to the controller 100 via the communication interface 270.
  • the memory interface 260 reads data from the external storage medium 261.
  • the CPU 210 reads data stored in the external storage medium 261 via the memory interface 260 and stores the data in the memory 220.
  • the CPU 210 reads data from the memory 220 and stores the data in the external storage medium 261 via the memory interface 260.
  • the communication interface 270 is realized by an antenna or a connector.
  • the communication interface 270 exchanges data with the controller 100 by wireless communication.
  • the CPU 210 receives a movement command from the controller 100 via the communication interface 270, and transmits a composite image, the current position, and the current orientation.
  • the clock 280 measures time or a period based on a command from the CPU 210.
  • the camera 290 is disposed at the front part of the radio controlled car 200.
  • FIG. 8 is a front view of camera 290 according to the present embodiment.
  • FIG. 9 is an image diagram showing the shooting range of the 3D camera 291 for medium and long distances (or the 3D stereo camera 292 for short distances) and the synthesized 3D image according to the present embodiment.
  • the camera 290 captures a scene in front of the radio controlled car 200.
  • the camera 290 includes a 3D camera 291 for medium and long distances and a 3D camera 292 for short distances.
  • the medium and long distance 3D camera 291 and the short distance 3D camera 292 are both facing the front of the radio controlled car 200.
  • a 3D camera 291 for medium and long distances is disposed above the 3D camera 292 for short distances.
  • the medium and long distance 3D camera 291 includes a right camera 291R having a first focal length and a left camera 291L having a first focal length.
  • the short distance 3D camera 292 includes a right camera 292R having a second focal length shorter than the first focal length and a left camera 292L having a second focal length shorter than the first focal length.
  • the right camera 291R (292R) and the left camera 291L (292L) have photographed subjects A, B, C, and D located in front of the radio controlled car 200 with reference to FIG.
  • the subject C is assumed to be located at a convergence point between the right camera 291R (292R) and the left camera 291L (292L).
  • the subject A is displayed on the display 131 at a position different from the image AR for the right eye and the image AR for the left eye.
  • the subject B is displayed on the display 131 as the image BR for the right eye and the image BL for the left eye displayed at a position different from the image BR.
  • the subject C is displayed on the display 131 as an image C for the left eye displayed at the same position as the image C for the right eye and the image C for the right eye.
  • the subject D is displayed on the display 131 as the image DR for the right eye and the image DL for the left eye displayed at a position different from the image DR.
  • FIG. 10 is an image diagram showing convergence angles of the 3D camera 291 for medium and long distances and the 3D camera 292 for short distances according to the present embodiment.
  • the convergence angle ⁇ 1 of the right camera 291R and the left camera 291L constituting the 3D camera 291 for medium and long distance is the right camera constituting the 3D camera 292 for short distance. It is smaller than the convergence angle ⁇ 2 of 292R and the left camera 292L.
  • FIG. 11 is an image diagram showing the angle of view of the 3D camera 291 for medium and long distances and the 3D camera 292 for short distances according to the present embodiment.
  • the right camera 291R and the left camera 291L constituting the 3D camera 291 for medium and long distances have the same angle of view as the right camera 292R constituting the 3D camera 292 for short distance.
  • the angle of view of the left camera 292L is an image diagram showing the angle of view of the 3D camera 291 for medium and long distances and the 3D camera 292 for short distances according to the present embodiment.
  • the object located on the front side of the photographing apparatus is photographed by the 3D camera 292 for short distance. That is, in the composite image, the object located on the front side of the photographing apparatus can be reproduced better. In other words, not only a subject that is a medium to long distance forward from the photographing apparatus, but also a subject that is a short distance away from the front and front sides of the photographing apparatus can be reproduced more clearly.
  • the photographing device is a radio controlled car
  • the user can see a more realistic image when overtaking another radio controlled car 200.
  • FIG. 12 shows a synthesis process of the image of the 3D camera 291 (for example, the left camera 291L) for medium and long distance and the image of the 3D camera 292 for short distance (for example, the left camera 292L) according to the present embodiment. It is an image figure. More specifically, the state (A) in FIG. 12 shows an image taken by the 3D camera 291 for medium and long distances. A state (B) in FIG. 12 shows an image taken by the short-distance 3D camera 292. A state (C) in FIG. 12 shows an image of an area in focus among images taken by the short-distance 3D camera 292. The state (D) of FIG.
  • the state (E) of FIG. 12 shows a composite image of the image of the 3D camera 291 for medium and long distances and the enlarged image of the 3D camera 292 for short distances.
  • the angle of view of 3D camera 291 for medium and long distances is smaller than the angle of view of 3D camera 292 for short distances.
  • the subject of the image captured by the medium and long distance 3D camera 291 is represented larger than the subject of the image captured by the short distance 3D camera 292.
  • the CPU 210 (CPU 110) captures an image of a subject at a short distance from the 3D camera 292 photographed by the short distance 3D camera 292 for the medium and long distance.
  • the image is enlarged in accordance with the image photographed by the 3D camera 291. That is, referring to the state (E) in FIG. 12, the CPU 210 (CPU 110) detects an image captured by the medium-long distance 3D camera 291 and an object captured by the short-distance 3D camera 292 and enlarged. Composite (superimpose) the image.
  • FIG. 13 is an image diagram showing a modification of the camera 290B.
  • a 3D camera 291 for medium and long distances and a 3D camera 292 for short distances are arranged vertically.
  • a half mirror 293 is disposed between the 3D camera 291 for medium and long distances and the 3D camera 292 for short distances.
  • the parallax between the 3D camera 291 for medium and long distances and the 3D camera 292 for short distances is reduced.
  • the configurations of the 3D camera 291 for medium and long distances and the 3D camera 292 for short distances are the same as those of the camera 290, and thus description thereof will not be repeated here.
  • the CPU 210 controls each unit of the radio controlled car 200 by executing a program stored in the memory 220 or the storage medium 261. For example, the CPU 210 executes a program stored in the memory 220 or the storage medium 261.
  • the CPU 210 synthesizes a 3D image captured by the 3D stereo camera 291 for medium and long distances and a 3D image captured by the 3D stereo camera 292 for short distances.
  • the CPU 210 recognizes a plurality of subjects (objects).
  • the CPU 210 has a display position in the right-eye image obtained from the right camera 291R of the medium-long distance 3D stereo camera 291 greater than or equal to a predetermined distance from the display position in the left-eye image obtained from the left camera 291L. It is determined whether or not it is located on the left side.
  • the CPU 210 determines that the display position in the left-eye image obtained from the left camera 291L of the medium-long distance 3D stereo camera 291 is a predetermined distance from the display position in the right-eye image obtained from the right camera 291R. As described above, it is determined whether or not it is located to the right.
  • the CPU 210 has a display position in the right-eye image obtained from the right camera 291R of the medium-long distance 3D stereo camera 291 that is greater than or equal to a predetermined distance from the display position in the left-eye image obtained from the left camera 291L.
  • the portion corresponding to the subject in the image obtained from the medium and long distance 3D stereo camera 291 is assigned to the subject in the image obtained from the short distance 3D stereo camera 292.
  • a composite image is created by replacing the corresponding part.
  • the display position in the right-eye image obtained from the right camera 291R of the medium-long distance 3D stereo camera 291 is greater than or equal to a predetermined distance from the display position in the left-eye image obtained from the left camera 291L.
  • a portion corresponding to the subject in the image obtained from the 3D stereo camera 291 for medium and long distance is used as a composite image.
  • the CPU 210 sequentially transmits the composite image to the controller 100 via the communication interface 270.
  • the CPU 210 transmits the current position and orientation of the radio controlled car 200 to the controller 100 via the communication interface 270 in response to a request from the controller 100 or periodically.
  • the CPU 210 receives a movement command from the controller 100 via the communication interface 270.
  • the CPU 210 drives the movement mechanism 230 based on the movement command.
  • the CPU 210 receives a forward command, a reverse command, a direction change command, an acceleration / deceleration command, etc. as a movement command via the communication interface 270.
  • the CPU 210 drives the moving mechanism 230 based on the command to move the radio controlled car 200 forward, backward, change direction, or increase the speed.
  • the radio controlled car 200 has been described on behalf of the photographing device, but the photographing device may have two types of 3D cameras having different convergence angles.
  • the photographing apparatus may have a display and a touch panel like a digital camera.
  • the CPU 210 displays a composite image created from the 3D image captured by the 3D stereo camera 291 for medium and long distances and the 3D image captured by the 3D stereo camera 292 for short distances on the display of the image capturing apparatus itself. Or on a touch panel.
  • FIG. 14 is a flowchart showing a control method in controller 100 according to the first embodiment.
  • CPU 110 of controller 100 receives a race start command from the user via touch panel 130 or button 150, it executes the processing from step S ⁇ b> 106. In the following, it is assumed that the CPU 110 has received the current position and orientation from the radio controlled car 200 once via the communication interface 170.
  • the CPU 110 creates course 3D virtual data by reading the course data from the memory 120 (step S106).
  • CPU 110 determines whether a composite image or the current position and orientation are received from radio controlled car 200 via communication interface 170 (step S108).
  • CPU110 repeats the process of step S108, when a composite image or the present position and direction are not received from the radio controlled car 200 (when it is NO in step S108).
  • the CPU 110 receives the composite image and the current position and orientation from the radio controlled car 200 (YES in step S108), the viewpoint for the 3D virtual model indicating the course based on the current position and orientation of the latest radio controlled car 200 is displayed. Is determined (step S112). More specifically, the CPU 110 determines the viewpoint for the 3D virtual model based on the position and orientation in the course.
  • CPU 110 creates a 3D virtual image from the determined viewpoint (step S114).
  • CPU110 superimposes the newest 3D virtual image produced on the newest synthesized image (step S116).
  • CPU 110 causes touch panel 130 to display a composite image of the latest composite image and the latest 3D virtual image (step S118).
  • CPU 110 determines whether an instruction for ending the race is received from the user via touch panel 130 or button 150 (step S120).
  • CPU110 repeats the process from step S108, when the command for ending a race is not received (when it is NO in step S120).
  • the radio controlled car 200 generates a composite image.
  • the radio controlled car 200 is captured by the 3D stereo camera 291 for medium and long distances and the 3D image captured by the 3D stereo camera 292 for short distances.
  • the controller 100 generates a composite image.
  • network system 1 includes controllers 100X and 100Y and radio controlled cars 200X and 200Y.
  • controllers 100X and 100Y are collectively referred to as the controller 100.
  • the radio controlled cars 200X and 200Y are collectively referred to as a radio controlled car 200.
  • the user places the radio controlled car 200 on the ground of a park or garden.
  • the user controls the operation of the radio controlled car 200 via the controller 100.
  • the radio controlled car 200 is equipped with a 3D stereo camera for photographing the front of the radio controlled car 200. More specifically, the radio controlled car 200 includes a 3D stereo camera for medium and long distances and a 3D stereo camera for short distances. More specifically, the focal length of the short distance 3D stereo camera is shorter than the focal length of the medium and long distance 3D stereo camera. The convergence angle of the short distance 3D stereo camera is larger than the convergence angle of the medium and long distance 3D stereo camera. The angle of view of the 3D stereo camera for short distance is larger than the angle of view of the 3D stereo camera for medium and long distances.
  • the radio controlled car 200 sequentially transmits a 3D image captured by a 3D stereo camera for medium and long distances and a 3D image captured by a 3D stereo camera for short distances to the controller 100. .
  • the radio controlled car 200 is equipped with a GPS for measuring the current position of the radio controlled car 200.
  • the radio controlled car 200 sequentially transmits the current position to the controller 100.
  • the radio controlled car 200 is equipped with an electronic compass for measuring the current orientation (attitude) of the radio controlled car 200.
  • the radio controlled car 200 transmits the current direction to the controller 100 sequentially.
  • the radio controlled car 200 may transmit the medium-long distance and short-distance 3D images, the current position, and the current orientation to the controller 100 at the same time or separately.
  • the controller 100 receives, from the radio controlled car 200, a 3D image captured by a 3D stereo camera for medium and long distances and a 3D image captured by a 3D stereo camera for short distances.
  • the controller 100 synthesizes the 3D image captured by the 3D stereo camera 291 for medium and long distances and the 3D image captured by the 3D stereo camera 292 for short distances.
  • the controller 100 displays the composite image.
  • the user While viewing the composite image, the user inputs commands for moving the radio controlled car 200 to the controller 100 (forward command, reverse command, direction change command, acceleration / deceleration command, hereinafter these commands are also referred to as movement commands). .
  • the controller 100 transmits a movement command from the user to the radio controlled car 200.
  • the controller 100 accumulates time series data (course creation time series data) of the current position from the radio controlled car 200.
  • the controller 100 acquires the trajectory of the radio controlled car 200 based on the time series data.
  • the controller 100 creates data indicating a course (circuit) for the radio controlled car 200 based on the trajectory of the radio controlled car 200.
  • the data indicating the course (also referred to as course data) includes 3D objects such as a white line indicating the track of the course and a course pylon.
  • the course position, shape, and orientation are associated with actual map data. Alternatively, the course position, shape, and orientation are associated with latitude and longitude.
  • the controller 100 may accept a course creation command via the touch panel 130 or the like.
  • the controller 100 receives a slide operation on the map from the user while the map is displayed.
  • the controller 100 determines the position, shape, and orientation of the course based on the slide operation.
  • the controller 100 may store a plurality of course data in advance. That is, even if the radio controlled car 200 does not run, the user may select a desired course from a plurality of courses prepared in advance.
  • the position, shape, and orientation of the course are associated with map data or latitude / longitude in advance.
  • the shape of the course is prepared, and when the user selects a course, the position and orientation of the course may be designated by the user.
  • the controller 100 After the course is decided, the controller 100 starts the race based on the user's command.
  • the controller 100 acquires the position and orientation of the radio controlled car 200 in the course based on the course data and the current position and orientation of the radio controlled car 200.
  • the controller 100 Based on the position and orientation of the radio controlled car 200 in the course, the controller 100 creates a virtual image indicating the 3D object viewed from the radio controlled car 200 from the course data.
  • the controller 100 determines the viewpoint of the 3D model data based on the position and orientation of the radio controlled car 200 on the circuit.
  • the controller 100 creates a display image (virtual image) of 3D model data from the viewpoint.
  • the controller 100 superimposes and displays the virtual image on the composite image generated by itself.
  • the first controller 100X for controlling the first radio controlled car 200X can communicate with the second controller 100Y for controlling the second radio controlled car 200Y.
  • the first controller 100X transmits course data to the second controller 100Y and receives course data from the second radio controlled car 200Y.
  • the first controller 100X and the second controller 100Y can control the traveling of the radio controlled cars 200X and 200Y based on the common course data.
  • the user of the first controller 100X can perform a race along the course while watching the synthesized image generated by the user, that is, while watching the actual video of the second radio controlled car 200Y.
  • the user can control the movement of the radio controlled car 200 with the line of sight of the radio controlled car 200 while viewing the image (virtual image) indicating the virtual course. it can.
  • the user can make the control of the movement of the radio controlled car 200 full of realism.
  • the controller 100 synthesizes the 3D image captured by the medium-long distance 3D stereo camera and the 3D image captured by the short-distance 3D stereo camera. Therefore, a subject far from the imaging device (such as a building that appears far away) and a subject that is near from the imaging device (such as another radio-controlled car) can be reproduced well together.
  • Controller 100 Since the hardware configuration of controller 100 is the same as that of the first embodiment, description thereof will not be repeated here. Below, operation
  • the CPU 110 controls each unit of the controller 100 by executing a program stored in the memory 120 or the storage medium 161. For example, the CPU 110 executes a control process of the radio controlled car 200 by executing a program stored in the memory 120 or the storage medium 161.
  • the CPU 110 receives, via the communication interface 170, a 3D image captured by the 3D stereo camera for medium and long distances and a 3D image captured by the 3D stereo camera for short distances from the radio controlled car 200. To do.
  • the CPU 110 synthesizes the 3D image captured by the 3D stereo camera for medium and long distances and the 3D image captured by the 3D stereo camera for short distances.
  • the CPU 110 recognizes a plurality of subjects. For each subject, the CPU 110 has a display position in the right-eye image obtained from the right camera 291R of the medium-long distance 3D stereo camera 291 greater than or equal to a predetermined distance from a display position in the left-eye image obtained from the left camera 291L. It is determined whether or not it is located on the left side. Alternatively, the CPU 110 determines, for each subject, the display position in the left-eye image obtained from the left camera 291L of the medium-long distance 3D stereo camera 291 is a predetermined distance from the display position in the right-eye image obtained from the right camera 291R. As described above, it is determined whether or not it is located on the right side.
  • the CPU 110 determines that the display position in the right-eye image obtained from the right camera 291R of the medium-long distance 3D stereo camera 291 is more than a predetermined distance from the display position in the left-eye image obtained from the left camera 291L.
  • the portion corresponding to the subject in the image obtained from the medium and long distance 3D stereo camera 291 is assigned to the subject in the image obtained from the short distance 3D stereo camera 292.
  • a composite image is created by replacing the corresponding part.
  • the display position in the right-eye image obtained from the right camera 291R of the medium-long distance 3D stereo camera 291 is greater than a predetermined distance from the display position in the left-eye image obtained from the left camera 291L.
  • a portion corresponding to the subject in the image obtained from the 3D stereo camera 291 for medium and long distance is used as a composite image.
  • CPU 110 causes touch panel 130 to display the composite image.
  • the CPU 110 receives a command (movement command) for moving the radio controlled car 200 from the user via the touch panel 130 or the button 150.
  • CPU 110 transmits a movement command to radio controlled car 200 via communication interface 170.
  • the CPU 110 receives the current position and orientation from the radio controlled car 200 via the communication interface 170.
  • CPU 110 stores time series data (course creation time series data) of the current position and direction of radio controlled car 200 in memory 120.
  • CPU110 acquires the locus
  • the CPU 110 creates data indicating the course for the radio controlled car 200 based on the trajectory of the radio controlled car 200.
  • the data indicating the course (also referred to as course data) includes a 3D object (model data) such as a white line indicating the course track and a course pylon.
  • the CPU 110 associates the course position, shape, and orientation with actual map data. Alternatively, the CPU 110 associates the position, shape, and direction of the course with latitude / longitude.
  • the CPU 110 may create course data without causing the radio controlled car 200 to travel. More specifically, CPU 110 according to the present embodiment accepts a map acquisition command from the user via touch panel 130 or button 150. The CPU 110 downloads map data from an external server or the like via the communication interface 170. The CPU 110 may read map data from the memory 120 or the storage medium 161.
  • CPU 110 accepts a command for creating a course for radio controlled car 200 from the user via touch panel 130 or button 150. Referring to FIG. 3, CPU 110 accepts a slide operation by the user while displaying a map image on touch panel 130. For example, the CPU 110 acquires the locus of the finger on the map image by sequentially acquiring the touch position of the finger on the map image via the touch panel 130.
  • the CPU 110 displays a map image and a pointer on the touch panel 130.
  • the CPU 110 receives a pointer movement command from the user via the button 150.
  • CPU110 acquires the locus
  • the CPU 110 creates data indicating a course for the radio controlled car 200 based on the trajectory of the finger.
  • the CPU 110 creates a course pylon, a track line, etc. for indicating the end of the course on both sides of the trajectory.
  • the controller 100 may store a plurality of course data in advance. That is, the user may select a desired course from a plurality of courses prepared in advance.
  • the position, shape, and orientation of the course are associated with map data or latitude / longitude in advance.
  • the position and orientation of the course may be designated when the user selects the course.
  • the CPU 110 transmits course data to other controllers 100 and receives course data from other controllers 100.
  • the CPU 110 stores the course data received from the other controller 100 in the memory 120.
  • CPU 110 accepts selection of the course data from the user via touch panel 130 or button 150.
  • the users of the first and second controllers 100X and 100Y can race by running the first and second radio controlled cars 200X and 200Y simultaneously on the same course.
  • the CPU 110 After the course is determined, the CPU 110 starts the race based on the user's command.
  • the CPU 110 acquires the position and orientation of the radio controlled car 200 in the course based on the course data and the current position and orientation of the radio controlled car 200.
  • the CPU 110 creates a virtual image indicating a 3D object viewed from the radio controlled car 200 from the course data based on the position and orientation of the radio controlled car 200 in the course.
  • the CPU 110 superimposes and displays the virtual image on the composite image generated by itself. For example, the radio controlled car 200 of another controller 100 may be reflected in the composite image.
  • CPU 110 generates itself before starting the race or when radio controlled car 200 is running to create a course.
  • the composite image is displayed on the touch panel 130.
  • the CPU 110 adds a white line 301X indicating the center of the course and a white line 302X indicating the end of the course to the composite image generated by itself.
  • a virtual image such as the course pylon 303X is superimposed.
  • the CPU 110 may superimpose a 2D or 3D virtual image suitable for starting a race on the composite image on the touch panel 130. That is, the memory 120 stores a start virtual image.
  • CPU 110 receives a start point and a goal point in the course via touch panel 130 or button 150.
  • CPU110 reads a virtual image from the memory 120, when a race is started based on the present position and direction of the radio controlled car 200 in a course.
  • CPU 110 causes touch panel 130 to display a composite image, white lines 301X and 302X, coarse pylon 303X, characters indicating the start timing, an image of a traffic light, and the like.
  • the CPU 110 may cause the touch panel 130 to display a 2D or 3D virtual image suitable for the goal of the race on the composite image. That is, the memory 120 stores a goal virtual image.
  • the CPU 110 receives a start point and a goal point in the course via the touch panel 130 or the button 150.
  • CPU 110 accepts designation of how many weeks the course is to be performed via touch panel 130 or button 150.
  • CPU 110 reads a virtual image from memory 120 when radio controlled car 200 approaches the goal point based on the current position and orientation of radio controlled car 200 on the course.
  • CPU 110 causes touch panel 130 to display a composite image, white lines 301X and 302X, course pylon 303X, an image showing a goal point, and the like.
  • the hardware configuration of the radio controlled car 200 is the same as that of the first embodiment, and therefore description thereof will not be repeated here. More specifically, in the present embodiment, the CPU 210 of the radio controlled car 200 uses the 3D stereo camera 291 for medium and long distances and the 3D stereo camera for short distances via the communication interface 270. The 3D image captured at 292 is transmitted to the controller 100. That is, the CPU 210 does not need to synthesize both 3D images.
  • FIG. 15 is a flowchart illustrating a control method in the controller 100 according to the second embodiment.
  • CPU 110 of controller 100 receives a race start command from the user via touch panel 130 or button 150, it executes the processing from step S206. In the following, it is assumed that the CPU 110 has received the current position and orientation from the radio controlled car 200 once via the communication interface 170.
  • the CPU 110 creates course 3D virtual data by reading the course data from the memory 120 (step S206).
  • the CPU 110 via the communication interface 170, the 3D image captured by the 3D stereo camera 291 for medium and long distances from the radio controlled car 200 and the 3D image captured by the 3D stereo camera 292 for short distance or the current radio controlled car 200. It is determined whether the position and orientation have been received (step S208).
  • CPU110 repeats the process of step S208, when 3D image or the present position and direction are not received from the radio controlled car 200 (when it is NO in step S208).
  • the CPU 110 receives the 3D image and the current position and orientation from the radio controlled car 200 (YES in step S208), the viewpoint for the 3D virtual model indicating the course based on the current position and orientation of the latest radio controlled car 200 is displayed. Is determined (step S212). More specifically, the CPU 110 determines the viewpoint for the 3D virtual model based on the position and orientation in the course.
  • CPU 110 creates a 3D virtual image from the determined viewpoint (step S214).
  • the CPU 110 synthesizes the latest 3D image captured by the medium and long distance 3D stereo camera 291 and the 3D image captured by the short distance 3D stereo camera 292 (step S215).
  • CPU110 superimposes the newest 3D virtual image produced on the newest synthesized image (step S216).
  • CPU 110 causes touch panel 130 to display a composite image of the latest composite image and the latest 3D virtual image (step S218).
  • CPU 110 determines whether an instruction for ending the race is received from the user via touch panel 130 or button 150 (step S220).
  • CPU110 repeats the process from step S208, when the command for ending a race is not received (when it is NO in step S220).
  • the program code itself read from the external storage media 161 and 261 and the memories 120 and 220 realizes the functions of the above-described embodiment, and the external storage media 161 and 261 storing the program code are provided.
  • the memories 120 and 220 constitute the present invention.
  • the program code read from the external storage medium 161, 261 or the memory 120, 220 is written to another storage medium provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instruction of the program code, and the functions of the above-described embodiment may be realized by the processing. Needless to say, it is included.
  • 1 network system 100 controller, 110 CPU, 120 memory, 130 touch panel, 131 display, 132 tablet, 140 speaker, 150 button, 160 memory interface, 161 storage medium, 170 communication interface, 180 clock, 200 radio controlled car, 210 CPU, 220 memory, 230 moving mechanism, 240 GPS, 250 electronic compass, 260 memory interface, 261 storage medium, 270 communication interface, 280 clock, 290 camera, 291 medium and long distance stereo camera, 291L left camera, 291R right camera, 292 short distance Stereo camera, 292L left camera, 292R right camera, 293 half mirror, 301X White line indicating the center of the course, the white line indicating the end of 302X course, 303X course pylon.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　撮影装置から近い被写体と当該撮影装置から遠い被写体とを共に３Ｄで良好に再現することができる撮影装置を提供する。ある実施の形態に従うと、撮影装置（２００）は、撮影装置の前方を撮影することによって第１の３Ｄ画像を撮影するための第１のステレオカメラ（２９１）と、撮影装置の前方を撮影することによって第２の３Ｄ画像を撮影するための、第１のステレオカメラよりも輻輳角が大きい第２のステレオカメラ（２９２）と、第１の３Ｄ画像のうちの撮影装置に近い物体を示す部分を、第２の３Ｄ画像のうちの物体を示す部分に置き換えることによって、第３の３Ｄ画像を作成するためのプロセッサ（２１０）とを備える。

Description

撮影装置、撮影装置を制御するための方法およびネットワークシステム
　本発明は、３Ｄ画像を撮影するための撮影装置の技術に関する。
　焦点距離が異なる複数のカメラを有する撮影装置が知られている。たとえば、特開平１１－２６１７９７号公報（特許文献１）には、画像処理方法が開示されている。特開平１１－２６１７９７号公報（特許文献１）によると、同シーンを異なる焦点距離で撮影した複数の画像の画像データと、シーン内の着目すべき被写体の情報とを得る。少なくとも着目すべき被写体については、その被写体が合焦している画像の画像データを用いて、異なる焦点距離で撮影した複数の画像の画像データを合成して、１つの画像の画像データを生成する。
特開平１１－２６１７９７号公報
　しかしながら、右目用画像を取得するための右カメラと左目用画像を取得するための左カメラとを含むステレオカメラに関しては、近くの被写体の画像と遠くの被写体の画像とを良好に表示することが困難である。
　本発明は、かかる問題を解決するためになされたものであり、その目的は、撮影装置から近い被写体と当該撮影装置から遠い被写体とを共に３Ｄで良好に再現することができる撮影装置を提供することにある。
　ある実施の形態に従うと、撮影装置の前方を撮影することによって第１の３Ｄ画像を撮影するための第１のステレオカメラと、撮影装置の前方を撮影することによって第２の３Ｄ画像を撮影するための、第１のステレオカメラよりも輻輳角が大きい第２のステレオカメラと、第１の３Ｄ画像のうちの撮影装置に近い物体を示す部分を、第２の３Ｄ画像のうちの物体を示す部分に置き換えることによって、第３の３Ｄ画像を作成するためのプロセッサとを備える、撮影装置が提供される。
　好ましくは、撮影装置は、コントローラと通信するための通信インターフェイスと、コントローラからの指令に基づいて撮影装置を移動させるための移動部をさらに備える。プロセッサは、通信インターフェイスを介して、第３の３Ｄ画像をコントローラに送信する。
　好ましくは、撮影装置は、ディスプレイをさらに備える。プロセッサは、第３の３Ｄ画像をディスプレイに表示させる。
　好ましくは、第１のステレオカメラは、第１の焦点距離を有する２つの第１のカメラを含む。第２のステレオカメラは、第１の焦点距離よりも短い第２の焦点距離を有する２つの第２のカメラを含む。
　好ましくは、第１のステレオカメラは、第１の画角を有する２つの第１のカメラを含む。第２のステレオカメラは、第１の画角よりも広い第２の画角を有する２つの第２のカメラを含む。
　他の実施の形態に従うと、コントローラと通信するための通信インターフェイスと、コントローラからの指令に基づいて撮影装置を移動させるための移動部と、撮影装置の前方を撮影することによって第１の３Ｄ画像を撮影するための第１のステレオカメラと、撮影装置の前方を撮影することによって第２の３Ｄ画像を撮影するための、第１のステレオカメラよりも輻輳角が大きい第２のステレオカメラと、通信インターフェイスを介して、第１および第２の３Ｄ画像をコントローラに送信するためのプロセッサとを備える撮影装置が提供される。
　好ましくは、第１のステレオカメラは、第１の焦点距離を有する２つの第１のカメラを含む。第２のステレオカメラは、第１の焦点距離よりも短い第２の焦点距離を有する２つの第２のカメラを含む。
　好ましくは、第１のステレオカメラは、第１の画角を有する２つの第１のカメラを含む。第２のステレオカメラは、第１の画角よりも広い第２の画角を有する２つの第２のカメラを含む。
　さらに他の実施の形態に従うと、撮影装置とコントローラとを備えるネットワークシステムが提供される。撮影装置は、撮影装置の前方を撮影することによって第１の３Ｄ画像を撮影するための第１のステレオカメラと、撮影装置の前方を撮影することによって第２の３Ｄ画像を撮影するための、第１のステレオカメラよりも輻輳角が大きい第２のステレオカメラと、第１の３Ｄ画像のうちの撮影装置に近い物体を示す部分を、第２の３Ｄ画像のうちの物体を示す部分に置き換えることによって、第３の３Ｄ画像を作成するためのプロセッサと、第３の３Ｄ画像をコントローラに送信するための第１の通信インターフェイスとを含む。コントローラは、撮影装置から第３の３Ｄ画像を受信するための第２の通信インターフェイスと、撮影装置から受信した第３の３Ｄ画像を表示するためのディスプレイとを含む。
　好ましくは、撮影装置は、コントローラからの指令に基づいて撮影装置を移動させるための移動部をさらに備える。コントローラは、指令を受け付けるための操作部をさらに備える。第２の通信インターフェイスは、指令を撮影装置へ送信する。
　さらに他の実施の形態に従うと、撮影装置とコントローラとを備えるネットワークシステムが提供される。撮影装置は、撮影装置の前方を撮影することによって第１の３Ｄ画像を撮影するための第１のステレオカメラと、撮影装置の前方を撮影することによって第２の３Ｄ画像を撮影するための、第１のステレオカメラよりも輻輳角が大きい第２のステレオカメラと、第１および第２の３Ｄ画像をコントローラに送信するための第１の通信インターフェイスとを含む。コントローラは、ディスプレイと、撮影装置から第１および第２の３Ｄ画像を受信するための第２の通信インターフェイスと、第１の３Ｄ画像のうちの撮影装置に近い物体を示す部分を、第２の３Ｄ画像のうちの物体を示す部分に置き換えることによって、第３の３Ｄ画像を作成し、第３の３Ｄ画像をディスプレイに表示させるためのプロセッサとを含む。
　好ましくは、撮影装置は、コントローラからの指令に基づいて撮影装置を移動させるための移動部をさらに備える。コントローラは、指令を受け付けるための操作部をさらに備える。第２の通信インターフェイスは、指令を撮影装置へ送信する。
　さらに他の実施の形態に従うと、撮影装置を制御するための方法が提供される。撮影装置を制御するための方法は、撮影装置の前方を撮影することによって第１の３Ｄ画像を撮影するステップと、撮影装置の前方を撮影することによって第２の３Ｄ画像を撮影するステップとを備える。第２の３Ｄ画像の撮影における輻輳角は、第１の３Ｄ画像の撮影における輻輳角よりも大きく、第１の３Ｄ画像のうちの撮影装置に近い物体を示す部分を、第２の３Ｄ画像のうちの物体を示す部分に置き換えることによって、第３の３Ｄ画像を作成するステップとを備える。
　好ましくは、撮影装置を制御するための方法は、コントローラと通信するステップと、コントローラからの指令に基づいて撮影装置を移動させるステップと、第３の３Ｄ画像をコントローラに送信するステップとをさらに備える。
　好ましくは、撮影装置は、ディスプレイをさらに含む。撮影装置を制御するための方法は、第３の３Ｄ画像をディスプレイに表示させるステップをさらに備える。
　好ましくは、第１の３Ｄ画像を撮影するステップは、第１の焦点距離を有する２つの第１のカメラにより撮影することを含む。第２の３Ｄ画像を撮影するステップは、第１の焦点距離よりも短い第２の焦点距離を有する２つの第２のカメラにより撮影することを含む。
　好ましくは、第１の３Ｄ画像を撮影するステップは、第１の画角を有する２つの第１のカメラにより撮影することを含む。第２の３Ｄ画像を撮影するステップは、第１の画角よりも広い第２の画角を有する２つの第２のカメラにより撮影することを含む。
　さらに他の実施の形態に従うと、撮影装置を制御するための方法が提供される。撮影装置を制御するための方法は、コントローラと通信するステップと、撮影装置の前方を撮影することによって第１の３Ｄ画像を撮影するステップと、撮影装置の前方を撮影することによって第２の３Ｄ画像を撮影するステップとを備える。第２の３Ｄ画像の撮影における輻輳角は、第１の３Ｄ画像の撮影における輻輳角よりも大きく、コントローラからの指令に基づいて撮影装置を移動させるステップと、第１および第２の３Ｄ画像をコントローラに送信するステップとを備える。
　好ましくは、第１の３Ｄ画像を撮影するステップは、第１の焦点距離を有する２つの第１のカメラにより撮影することを含む。第２の３Ｄ画像を撮影するステップは、第１の焦点距離よりも短い第２の焦点距離を有する２つの第２のカメラにより撮影することを含む。
　好ましくは、第１の３Ｄ画像を撮影するステップは、第１の画角を有する２つの第１のカメラにより撮影することを含む。第２の３Ｄ画像を撮影するステップは、第１の画角よりも広い第２の画角を有する２つの第２のカメラにより撮影することを含む。
　以上のように、この発明のある局面によれば、撮影装置から近い被写体と当該撮影装置から遠い被写体とを共に３Ｄで良好に再現することができる撮影装置が提供される。
　この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
本実施の形態に係るネットワークシステム１の全体構成を示すイメージ図である。 本実施の形態に係るコントローラ１００のハードウェア構成を表わすブロック図である。 本実施の形態に係るユーザがラジコンカー２００のためのコースを作成するための命令を入力する状態を示すイメージ図である。 本実施の形態に係る通常モードとレースモードとにおけるコントローラ１００を示すイメージ図である。 本実施の形態に係るレースのスタート直前におけるコントローラ１００を示すイメージ図である。 本実施の形態に係るラジコンカー２００がレースのゴール地点の直前に位置するときにおけるコントローラ１００を示すイメージ図である。 本実施の形態に係るラジコンカー２００のハードウェア構成を表わすブロック図である。 本実施の形態に係るカメラ２９０の正面図である。 本実施の形態に係る中長距離用の３Ｄカメラ２９１（または近距離用の３Ｄステレオカメラ２９２）の撮影範囲と合成された３Ｄ画像とを示すイメージ図である。 本実施の形態に係る中長距離用の３Ｄカメラ２９１と近距離用の３Ｄカメラ２９２の輻輳角を示すイメージ図である。 本実施の形態に係る中長距離用の３Ｄカメラ２９１と近距離用の３Ｄカメラ２９２の画角を示すイメージ図である。 本実施の形態に係る中長距離用の３Ｄカメラ２９１の画像と近距離用の３Ｄカメラ２９１の画像との合成処理を示すイメージ図である。 カメラ２９０Ｂの変形例を示すイメージ図である。 実施の形態１に係るコントローラ１００における制御方法を示すフローチャートである。 実施の形態２に係るコントローラ１００における制御方法を示すフローチャートである。
　以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
　［実施の形態１］
　以下では、ラジコンカーを「撮影装置」の代表例として説明を行う。ただし、「撮影装置」は、後述するように近距離用の３Ｄカメラと長距離用の３Ｄカメラとを有していればよい。たとえば、撮像装置は、デジタルカメラであってもよいし、飛行できるヘリコプターや飛行機でもよいし、歩行できるロボットであってもよい。なお、ヘリコプターや飛行機の場合は、撮影装置の高度を取得する高度計を含むことが好ましい。また、「コントローラ」は、ラジコンカーの制御専用のものであってもよいし、他の機能を有する携帯型電話機、パーソナルコンピュータ、電子ノート、ＰＤＡ（Personal　Digital　Assistant）などのディスプレイと通信インターフェイスを有する機器であってもよい。
　より詳細には、本実施の形態においては、撮像装置が近距離画像と長距離画像とを合成するものである。撮像装置は、合成画像をコントローラ１００に送信する。コントローラ１００が合成画像を表示する。しかしながら、後述するように、撮像装置自身が、すなわち撮影装置のディスプレイが、合成画像を表示してもよい。
　＜ネットワークシステムの動作概要＞
　まず、本実施の形態に係るネットワークシステム１の動作概要について説明する。図１は、本実施の形態に係るネットワークシステム１の全体構成を示すイメージ図である。
　図１を参照して、ネットワークシステム１は、コントローラ１００Ｘ，１００Ｙとラジコンカー２００Ｘ，２００Ｙとを含む。以下では、説明のために、コントローラ１００Ｘ，１００Ｙを総称して、コントローラ１００という。ラジコンカー２００Ｘ，２００Ｙを総称して、ラジコンカー２００という。
　各々のユーザは、ラジコンカー２００を公園や庭の地面に置く。ユーザは、コントローラ１００を介してラジコンカー２００の動作を制御する。
　ラジコンカー２００は、ラジコンカー２００の前方を撮影するための３Ｄステレオカメラを搭載する。より詳細には、ラジコンカー２００は、中長距離用の３Ｄステレオカメラと近距離用の３Ｄステレオカメラとを有する。より詳細には、近距離用の３Ｄステレオカメラの焦点距離は、中長距離用の３Ｄステレオカメラの焦点距離よりも短い。近距離用の３Ｄステレオカメラの輻輳角は、中長距離用の３Ｄステレオカメラの輻輳角よりも大きい。近距離用の３Ｄステレオカメラの画角は、中長距離用の３Ｄステレオカメラの画角よりも大きい。
　本実施の形態においては、ラジコンカー２００は、中長距離用の３Ｄステレオカメラで撮影された３Ｄ画像と近距離用の３Ｄステレオカメラで撮影された３Ｄ画像とを合成する。ラジコンカー２００は、合成画像を逐次コントローラ１００に送信する。
　ラジコンカー２００は、ラジコンカー２００の現在位置を測定するためのＧＰＳ（Global　Positioning　System）を搭載する。ラジコンカー２００は、現在の位置を逐次コントローラ１００に送信する。
　ラジコンカー２００は、ラジコンカー２００の現在の向き（姿勢）を測定するための電子コンパスを搭載する。ラジコンカー２００は、現在の向きを逐次コントローラ１００に送信する。ラジコンカー２００は、合成画像と現在の位置と現在の向きとを、同時にコントローラ１００に送信してもよいし、別々に送信してもよい。
　コントローラ１００は、ラジコンカー２００からの合成画像を表示する。ユーザは、合成画像を見ながら、コントローラ１００にラジコンカー２００を移動させるための命令（前進命令、後進命令、方向転換命令、加減速命令、以下これらの命令を移動命令ともいう。）を入力する。コントローラ１００は、ラジコンカー２００にユーザからの移動命令を送信する。
　本実施の形態においては、コントローラ１００は、ラジコンカー２００からの現在位置の時系列データ（コース作成用時系列データ）を蓄積する。コントローラ１００は、時系列データに基づいて、ラジコンカー２００の軌跡を取得する。コントローラ１００は、ラジコンカー２００の軌跡に基づいて、ラジコンカー２００のためのコース（サーキット）を示すデータを作成する。
　コースを示すデータ（コースデータとも言う。）は、コースのトラックを示す白線やコースパイロンなどの３Ｄオブジェクトを含む。コースの位置、形状、向きは、現実の地図データに対応付けられる。あるいは、コースの位置、形状、向きは、緯度・経度に対応付けられる。
　ただし、コントローラ１００は、タッチパネル１３０などを介して、コースの作成命令を受け付けてもよい。たとえば、コントローラ１００は地図を表示している状態で、ユーザから地図上におけるスライド操作を受け付ける。コントローラ１００は、スライド操作に基づいて、コースの位置と形状と向きとを決定する。
　あるいは、コントローラ１００は、予め複数のコースデータを記憶していてもよい。すなわち、ラジコンカー２００が走らなくとも、予め準備された複数のコースからユーザが所望のコースを選択してもよい。この場合には、たとえば、コースの位置、形状、向きが予め地図データあるいは緯度・経度に対応付けられている。あるいは、コースの形状のみが準備されており、ユーザがコースを選択する際に、ユーザによってコースの位置と向きとが指定されてもよい。
　コースが決定された後、ユーザの命令に基づいて、コントローラ１００はレースを開始する。コントローラ１００は、コースのデータとラジコンカー２００の現在の位置と向きとに基づいて、コースにおけるラジコンカー２００の位置と向きとを取得する。コントローラ１００は、コースにおけるラジコンカー２００の位置と向きとに基づいて、コースのデータからラジコンカー２００から見た３Ｄオブジェクトを示すバーチャル画像を作成する。
　たとえば、コントローラ１００は、サーキットの３Ｄモデルデータを作成してから、サーキットにおけるラジコンカー２００の位置と向きとに基づいて、３Ｄモデルデータの視点を決定する。コントローラ１００は、当該視点からの３Ｄモデルデータの表示画像（バーチャル画像）を作成する。
　コントローラ１００は、ラジコンカー２００からの合成画像にバーチャル画像を重畳させて表示する。
　本実施の形態においては、第１のラジコンカー２００Ｘを制御するための第１のコントローラ１００Ｘは、第２のラジコンカー２００Ｙを制御するための第２のコントローラ１００Ｙと通信することが可能である。第１のコントローラ１００Ｘは、コースデータを第２のコントローラ１００Ｙへと送信したり、第２のラジコンカー２００Ｙからコースデータを受信したりする。
　すなわち、第１のコントローラ１００Ｘと第２のコントローラ１００Ｙとは、共通のコースデータに基づいて、ラジコンカー２００Ｘ，２００Ｙの走行を制御することができる。たとえば、第１のコントローラ１００Ｘのユーザは、第１のラジコンカー２００Ｘからの合成画像を見ながら、すなわち、第２のラジコンカー２００Ｙの現実の映像を見ながら、コースに沿ったレースを行うことができる。第２のコントローラ１００Ｙも同様である。
　このように、本実施の形態に係るネットワークシステム１においては、ユーザは、仮想的なコースを示す画像（バーチャル画像）を見ながら、ラジコンカー２００の目線でラジコンカー２００の移動を制御することができる。その結果、ユーザは、ラジコンカー２００の移動の制御を臨場感あふれるものにすることができる。
　また、本実施の形態に係るネットワークシステム１においては、ラジコンカー２００が、中長距離用の３Ｄステレオカメラで撮影された３Ｄ画像と近距離用の３Ｄステレオカメラで撮影された３Ｄ画像とを合成するため、撮像装置から遠い被写体（遠くに見える建物など）と当該撮像装置からから近い被写体（他のラジコンカーなど）とを共に良好に再現することができる。
　以下、このような機能を実現するためのネットワークシステム１の具体的な構成について詳述する。
　＜コントローラ１００の構成＞
　コントローラ１００の具体的構成の一態様について説明する。図２は、本実施の形態に係るコントローラ１００のハードウェア構成を表わすブロック図である。図２を参照して、コントローラ１００は、主たる構成要素として、ＣＰＵ１１０と、メモリ１２０と、タッチパネル１３０と、スピーカ１４０と、ボタン１５０と、メモリインターフェイス１６０と、通信インターフェイス１７０と、時計１８０とを含む。
　メモリ１２０は、各種のＲＡＭ（Random　Access　Memory）や、ＲＯＭ（Read-Only　Memory）や、ハードディスクなどによって実現される。メモリ１２０は、ＣＰＵ１１０によって実行されるプログラム、地図データ、バーチャルコースを示すための各種のモデルデータなどを記憶する。換言すれば、ＣＰＵ１１０は、メモリ１２０に記憶されているプログラムを実行することによって、コントローラ１００の各部を制御する。
　タッチパネル１３０は、タブレット１３２とタブレット１３２の表面に配置されるディスプレイ１３１とを含む。後述するようにラジコンカー２００が３Ｄカメラを有する場合には、ディスプレイ１３１は、３Ｄディスプレイであることが好ましい。
　タッチパネル１３０は、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などのいずれのタイプであってもよい。タッチパネル１３０は、光センサ液晶を含んでもよい。タッチパネル１３０（タブレット１３２）は、所定時間毎に外部の物体によるタッチパネル１３０へのタッチ操作を検知して、タッチ座標（タッチ位置）をＣＰＵ１１０に入力する。換言すれば、ＣＰＵ１１０は、タッチパネル１３０から順次タッチ座標を取得する。
　スピーカ１４０は、ＣＰＵ１１０からの命令に基づいて、音声を出力する。たとえば、ＣＰＵ１１０は、音声データに基づいて、スピーカ１４０に音声を出力させる。
　ボタン１５０は、コントローラ１００の表面に配置される。方向キー、決定キー、テンキーなどの複数のボタンがコントローラ１００に配置されてもよい。ボタン１５０は、ユーザからの命令を受け付ける。ボタン１５０は、ユーザからの命令をＣＰＵ１１０に入力する。
　メモリインターフェイス１６０は、外部の記憶媒体１６１からデータを読み出す。換言すれば、ＣＰＵ１１０は、メモリインターフェイス１６０を介して外部の記憶媒体１６１に格納されているデータを読み出して、当該データをメモリ１２０に格納する。逆に、ＣＰＵ１１０は、メモリ１２０からデータを読み出して、メモリインターフェイス１６０を介して当該データを外部の記憶媒体１６１に格納する。
　なお、記憶媒体１６１としては、ＣＤ（Compact　Disc）、ＤＶＤ（Digital　Versatile　Disk）、ＢＤ（Blu-ray　Disc）、ＵＳＢ（Universal　Serial　Bus）メモリ、メモリカード、ＦＤ（Flexible　Disk）、ハードディスク、磁気テープ、カセットテープ、ＭＯ（Magnetic　Optical　Disc）、ＭＤ（Mini　Disc）、ＩＣ（Integrated　Circuit）カード（メモリカードを除く）、光カード、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically　Erasable　Programmable　Read-Only　Memory）などの、不揮発的にプログラムを格納する媒体が挙げられる。
　通信インターフェイス１７０は、アンテナやコネクタによって実現される。通信インターフェイス１７０は、無線通信によってラジコンカー２００や他のコントローラ１００との間でデータをやり取りする。ＣＰＵ１１０は、通信インターフェイス１７０を介して、他のコンピュータからプログラムや地図データなどを受信する。ＣＰＵ１１０は、通信インターフェイス１７０を介して、他のコントローラ１００にコースデータを送信したり、他のコントローラ１００からコースデータを受信したりする。ＣＰＵ１１０は、通信インターフェイス１７０を介して、ラジコンカー２００に移動命令を送信したり、ラジコンカー２００から合成画像や現在の位置や現在の向きを受信したりする。
　時計１８０は、ＣＰＵ１１０からの指令に基づいて、時刻あるいは期間を計測する。
　ＣＰＵ１１０は、メモリ１２０あるいは記憶媒体１６１に記憶されているプログラムを実行することによって、コントローラ１００の各部を制御する。たとえば、ＣＰＵ１１０は、メモリ１２０あるいは記憶媒体１６１に記憶されているプログラムを実行することによって、ラジコンカー２００のコントロール処理を実行する。
　具体的には、ＣＰＵ１１０は、通信インターフェイス１７０を介して、ラジコンカー２００から合成画像を受信する。ＣＰＵ１１０は、合成画像をタッチパネル１３０に表示させる。ＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、ユーザからラジコンカー２００を移動させるための命令（移動命令）を受け付ける。ＣＰＵ１１０は、通信インターフェイス１７０を介して、ラジコンカー２００に移動命令を送信する。
　ＣＰＵ１１０は、通信インターフェイス１７０を介して、ラジコンカー２００から現在の位置と向きとを受信する。ＣＰＵ１１０は、ラジコンカー２００の現在位置の時系列データをメモリ１２０に格納する。
　ＣＰＵ１１０は、時系列データに基づいて、ラジコンカー２００の軌跡を取得する。ＣＰＵ１１０は、ラジコンカー２００の軌跡に基づいて、ラジコンカー２００のためのコースを示すデータを作成する。
　コースを示すデータ（コースデータとも言う。）は、コースの中心線を示す白線３０１Ｘやコースの端線を示す白線３０２Ｘやコースパイロン３０３Ｘなどの３Ｄオブジェクト（モデルデータ）を含む。ＣＰＵ１１０は、コースの位置、形状、向きを、現実の地図データに対応付ける。あるいは、ＣＰＵ１１０は、コースの位置、形状、向きを、緯度・経度に対応付ける。
　あるいは、ＣＰＵ１１０は、ラジコンカー２００を走行させることなく、コースデータを作成してもよい。より詳細には、本実施の形態に係るＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、ユーザから地図の取得命令を受け付ける。ＣＰＵ１１０は、通信インターフェイス１７０を介して、外部のサーバなどから地図データをダウンロードする。ＣＰＵ１１０は、メモリ１２０や記憶媒体１６１から地図データを読み出してもよい。
　ＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、ユーザから、ラジコンカー２００のためのコースを作成するための命令を受け付ける。図３は、本実施の形態に係るユーザがラジコンカー２００のためのコースを作成するための命令を入力する状態を示すイメージ図である。
　図３を参照して、ＣＰＵ１１０は、タッチパネル１３０に地図画像を表示しながら、ユーザによるスライド操作を受け付ける。たとえば、ＣＰＵ１１０は、タッチパネル１３０を介して、指の地図画像に対するタッチ位置を順次取得することによって、地図画像上の指の軌跡を取得する。
　あるいは、ＣＰＵ１１０は、タッチパネル１３０に地図画像とポインタとを表示する。ＣＰＵ１１０は、ボタン１５０を介して、ユーザからポインタの移動命令を受け付ける。ＣＰＵ１１０は、ポインタの地図画像に対する位置を順次取得することによって、地図画像上のポインタの軌跡を取得する。たとえば、ユーザは、所定のキーを押しながら、方向キーを操作することによってポインタを移動させる。
　ＣＰＵ１１０は、当該指の軌跡に基づいて、ラジコンカー２００のためのコースを示すデータを作成する。ＣＰＵ１１０は、軌跡の両側にコースの端部を示すためのコースパイロンやトラックラインなどを作成する。
　あるいは、コントローラ１００は、予め複数のコースデータを記憶していてもよい。すなわち、予め準備された複数のコースから、ユーザが所望のコースを選択してもよい。この場合には、たとえば、コースの位置、形状、向きが予め地図データあるいは緯度・経度に対応付けられている。あるいは、コースの形状のみが準備されており、ユーザがコースを選択する際に、コースの位置と向きとが指定されてもよい。
　本実施の形態においては、ＣＰＵ１１０は、コースデータを他のコントローラ１００へと送信したり、他のコントローラ１００からコースデータを受信したりする。ＣＰＵ１１０は、他のコントローラ１００から受信したコースデータをメモリ１２０に格納する。ＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、ユーザから当該コースデータの選択を受け付ける。
　たとえば、第１および第２のコントローラ１００Ｘ，１００Ｙのユーザが、第１および第２のラジコンカー２００Ｘ，２００Ｙを、同一のコース上で同時に走らせることによって、レースを行うことができる。
　コースが決定された後、ユーザの命令に基づいて、ＣＰＵ１１０は、レースを開始する。ＣＰＵ１１０は、コースのデータとラジコンカー２００の現在位置と向きとに基づいて、コースにおけるラジコンカー２００の位置と向きとを取得する。
　ＣＰＵ１１０は、コースにおけるラジコンカー２００の位置と向きとに基づいて、コースのデータからラジコンカー２００から見た３Ｄオブジェクトを示すバーチャル画像を作成する。ＣＰＵ１１０は、ラジコンカー２００からの合成画像にバーチャル画像を重畳させて表示する。たとえば、合成画像には、他のコントローラ１００のラジコンカー２００が写っていることもある。
　図４は、本実施の形態に係る通常モードとレースモードとにおけるコントローラ１００を示すイメージ図である。より詳細には、図４の状態（Ａ）は、レースがスタートする前、あるいは、コースを作成するためにラジコンカー２００が走行しているとき、におけるコントローラ１００のタッチパネル１３０を示すイメージ図である。図４の状態（Ｂ）は、レース中におけるコントローラ１００のタッチパネル１３０を示すイメージ図である。
　図４の状態（Ａ）を参照して、ＣＰＵ１１０は、レースがスタートする前、あるいは、コースを作成するためにラジコンカー２００が走行しているとき、ラジコンカー２００からの合成画像をタッチパネル１３０に表示させる。図４の状態（Ｂ）を参照して、ＣＰＵ１１０は、レースがスタートすると、あるいは、レース中においては、ラジコンカー２００からの合成画像に、コースの中心を示す白線３０１Ｘ、コースの端を示す白線３０２Ｘ、コースパイロン３０３Ｘなどのバーチャル画像を重畳させる。
　より詳細には、ＣＰＵ１１０は、タッチパネル１３０に、合成画像にレースのスタートに適した２Ｄまたは３Ｄのバーチャル画像を重畳させてもよい。すなわち、メモリ１２０は、スタート用のバーチャル画像を記憶する。図５は、本実施の形態に係るレースのスタート直前におけるコントローラ１００を示すイメージ図である。
　図５を参照して、ＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、コースにおけるスタート地点やゴール地点を受け付ける。ＣＰＵ１１０は、コースにおけるラジコンカー２００の現在の位置と向きとに基づいて、レースが開始される際に、メモリ１２０からバーチャル画像を読み出す。ＣＰＵ１１０は、タッチパネル１３０に、合成画像と白線３０１Ｘ，３０２Ｘとコースパイロン３０３Ｘとスタートのタイミングを示す文字と信号機の画像などを表示させる。
　また、ＣＰＵ１１０は、タッチパネル１３０は、合成画像にレースのゴールに適した２Ｄまたは３Ｄのバーチャル画像を表示させてもよい。すなわち、メモリ１２０は、ゴール用のバーチャル画像を記憶する。図６は、本実施の形態に係るラジコンカー２００がレースのゴール地点の直前に位置するときにおけるコントローラ１００を示すイメージ図である。
　ＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、コースにおけるスタート地点やゴール地点を受け付ける。ＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、コースを何週するかの指定を受け付ける。
　図６を参照して、ＣＰＵ１１０は、コースにおけるラジコンカー２００の現在位置と向きに基づいて、ラジコンカー２００がゴール地点に近づくと、メモリ１２０からバーチャル画像を読み出す。ＣＰＵ１１０は、タッチパネル１３０に、合成画像と白線３０１Ｘ，３０２Ｘとコースパイロン３０３Ｘとゴール地点を示す画像などを表示させる。
　＜ラジコンカー２００の構成＞
　次に、ラジコンカー２００の具体的構成の一態様について説明する。図７は、本実施の形態に係るラジコンカー２００のハードウェア構成を表わすブロック図である。図７を参照して、ラジコンカー２００は、主たる構成要素として、ＣＰＵ２１０と、メモリ２２０と、移動機構２３０と、ＧＰＳ２４０と、電子コンパス２５０と、メモリインターフェイス２６０と、通信インターフェイス２７０と、時計２８０と、カメラ２９０とを含む。
　メモリ２２０は、各種のＲＡＭや、ＲＯＭや、ハードディスクなどによって実現される。メモリ２２０は、ＣＰＵ２１０によって実行されるプログラムなどを記憶する。換言すれば、ＣＰＵ２１０は、メモリ２２０に記憶されているプログラムを実行することによって、ラジコンカー２００の各部を制御する。
　移動機構２３０は、ＣＰＵ２１０からの指令に基づいて、ラジコンカー２００を移動させる。たとえば、移動機構２３０は、モータやシャフトやタイヤなどを含む。ただし、移動機構２３０は、プロペラ、翼、脚部などであってもよい。移動機構２３０は、コントローラ１００からの移動命令に応じて、ラジコンカー２００を移動させる。
　ＧＰＳ２４０は、ラジコンカー２００の現在位置を取得する。現在位置は、通信インターフェイス２７０を介して、コントローラ１００へと送信される。
　電子コンパス２５０は、ラジコンカー２００の向きを取得する。向きは、通信インターフェイス２７０を介して、コントローラ１００へと送信される。
　メモリインターフェイス２６０は、外部の記憶媒体２６１からデータを読み出す。換言すれば、ＣＰＵ２１０は、メモリインターフェイス２６０を介して外部の記憶媒体２６１に格納されているデータを読み出して、当該データをメモリ２２０に格納する。逆に、ＣＰＵ２１０は、メモリ２２０からデータを読み出して、メモリインターフェイス２６０を介して当該データを外部の記憶媒体２６１に格納する。
　なお、記憶媒体２６１の実現方法としては、コントローラ１００の記憶媒体１６１と同様であるため、ここでは説明を繰り返さない。
　通信インターフェイス２７０は、アンテナやコネクタによって実現される。通信インターフェイス２７０は、無線通信によってコントローラ１００との間でデータをやり取りする。換言すれば、ＣＰＵ２１０は、通信インターフェイス２７０を介して、コントローラ１００から移動命令を受信したり、合成画像や現在の位置や現在の向きを送信したりする。
　時計２８０は、ＣＰＵ２１０からの指令に基づいて、時刻あるいは期間を計測する。
　カメラ２９０は、ラジコンカー２００の前部に配置されている。図８は、本実施の形態に係るカメラ２９０の正面図である。図９は、本実施の形態に係る中長距離用の３Ｄカメラ２９１（または近距離用の３Ｄステレオカメラ２９２）の撮影範囲と合成された３Ｄ画像とを示すイメージ図である。
　図７および図８を参照して、カメラ２９０は、ラジコンカー２００の前方の景色を撮影する。カメラ２９０は、中長距離用の３Ｄカメラ２９１と、近距離用の３Ｄカメラ２９２とを含む。本実施の形態においては、中長距離用の３Ｄカメラ２９１と、近距離用の３Ｄカメラ２９２とが、共にラジコンカー２００の前方を向いている。中長距離用の３Ｄカメラ２９１が、近距離用の３Ｄカメラ２９２の上方に重ねて配置されている。
　中長距離用の３Ｄカメラ２９１は、第１の焦点距離を有する右カメラ２９１Ｒと第１の焦点距離を有する左カメラ２９１Ｌとを有する。近距離用の３Ｄカメラ２９２は、第１の焦点距離よりも短い第２の焦点距離を有する右カメラ２９２Ｒと第１の焦点距離よりも短い第２の焦点距離を有する左カメラ２９２Ｌとを有する。
　図９を参照して、右カメラ２９１Ｒ（２９２Ｒ）と左カメラ２９１Ｌ（２９２Ｌ）とが、ラジコンカー２００の前方に位置する被写体Ａ，Ｂ，Ｃ，Ｄを撮影したとする。そして、被写体Ｃは、右カメラ２９１Ｒ（２９２Ｒ）と左カメラ２９１Ｌ（２９２Ｌ）との輻輳点に位置する物とする。
　右カメラ２９１Ｒ（２９２Ｒ）と左カメラ２９１Ｌ（２９２Ｌ）との視差により、ディスプレイ１３１においては、被写体Ａは、ディスプレイ１３１において、右目用の画像ＡＲと、画像ＡＲと異なる位置に表示される左目用の画像ＡＬとして表示される。被写体Ｂは、ディスプレイ１３１において、右目用の画像ＢＲと、画像ＢＲとは異なる位置に表示される左目用の画像ＢＬとして表示される。被写体Ｃは、ディスプレイ１３１において、右目用の画像Ｃと右目用画像Ｃと同じ位置に表示される左目用の画像Ｃとして表示される。同様に、被写体Ｄは、ディスプレイ１３１において、右目用の画像ＤＲと、画像ＤＲとは異なる位置に表示される左目用の画像ＤＬとして表示される。
　図１０は、本実施の形態に係る中長距離用の３Ｄカメラ２９１と近距離用の３Ｄカメラ２９２の輻輳角を示すイメージ図である。図１０を参照して、本実施の形態においては、中長距離用の３Ｄカメラ２９１を構成する右カメラ２９１Ｒと左カメラ２９１Ｌの輻輳角θ１は、近距離用の３Ｄカメラ２９２を構成する右カメラ２９２Ｒと左カメラ２９２Ｌの輻輳角θ２よりも小さい。
　図１１は、本実施の形態に係る中長距離用の３Ｄカメラ２９１と近距離用の３Ｄカメラ２９２の画角を示すイメージ図である。図１１を参照して、本実施の形態においては、中長距離用の３Ｄカメラ２９１を構成する右カメラ２９１Ｒと左カメラ２９１Ｌの画角は、近距離用の３Ｄカメラ２９２を構成する右カメラ２９２Ｒと左カメラ２９２Ｌの画角よりも小さい。
　これによって、撮影装置の前側方に位置する物体が、近距離用の３Ｄカメラ２９２によって撮影される。つまり、合成画像においては、撮影装置の前側方に位置する物体が、より良好に再現されるようになる。換言すれば、撮影装置から前方に中長距離離れた被写体だけでなく、撮影装置の前方および前側方に近距離離れた被写体がより明確に再現されるようになる。たとえば、撮影装置がラジコンカーである場合、他のラジコンカー２００を追い抜くときに、ユーザはより臨場感のある画像を見ることができる。
　図１２は、本実施の形態に係る中長距離用の３Ｄカメラ２９１（たとえば、左カメラ２９１Ｌ）の画像と近距離用の３Ｄカメラ２９２（たとえば、左カメラ２９２Ｌ）の画像との合成処理を示すイメージ図である。より詳細には、図１２の状態（Ａ）は、中長距離用の３Ｄカメラ２９１で撮影された画像を示す。図１２の状態（Ｂ）は、近距離用の３Ｄカメラ２９２で撮影された画像を示す。図１２の状態（Ｃ）は、近距離用の３Ｄカメラ２９２で撮影された画像のうちの焦点があっているエリアの画像を示す。図１２の状態（Ｄ）は、近距離用の３Ｄカメラ２９２で撮影された画像のうちの焦点があっているエリアの画像を拡大した画像を示す。図１２の状態（Ｅ）は、中長距離用の３Ｄカメラ２９１の画像と近距離用の３Ｄカメラ２９２の拡大された画像との合成画像を示す。
　図１２の状態（Ａ）および（Ｂ）を参照して、本実施の形態においては、中長距離用の３Ｄカメラ２９１の画角は近距離用の３Ｄカメラ２９２の画角よりも小さいため、中長距離用の３Ｄカメラ２９１が撮影した画像の被写体は、近距離用の３Ｄカメラ２９２が撮影した画像の被写体よりも大きく表わされる。図１２状態（Ｃ）および（Ｄ）を参照して、ＣＰＵ２１０（ＣＰＵ１１０）は、近距離用の３Ｄカメラ２９２で撮影された３Ｄカメラ２９２から近距離離れた被写体の画像を、中長距離用の３Ｄカメラ２９１で撮影された画像に合わせて拡大する。すなわち、図１２状態（Ｅ）を参照して、ＣＰＵ２１０（ＣＰＵ１１０）は、中長距離用の３Ｄカメラ２９１によって撮影された画像と、近距離用の３Ｄカメラ２９２によって撮影されて拡大された被写体の画像とを合成する（重ねる）。
　図１３は、カメラ２９０Ｂの変形例を示すイメージ図である。図１３を参照して、変形例においては、中長距離用の３Ｄカメラ２９１と近距離用の３Ｄカメラ２９２とが垂直に配置される。中長距離用の３Ｄカメラ２９１と近距離用の３Ｄカメラ２９２との間に、ハーフミラー２９３を配置する。これによって、中長距離用の３Ｄカメラ２９１と近距離用の３Ｄカメラ２９２との視差を低減する。中長距離用の３Ｄカメラ２９１と近距離用の３Ｄカメラ２９２の構成は、カメラ２９０のそれらと同様であるため、ここでは説明を繰り返さない。
　ＣＰＵ２１０は、メモリ２２０あるいは記憶媒体２６１に記憶されているプログラムを実行することによって、ラジコンカー２００の各部を制御する。たとえば、ＣＰＵ２１０は、メモリ２２０あるいは記憶媒体２６１に記憶されているプログラムを実行する。
　より詳細には、本実施の形態に係るＣＰＵ２１０は、中長距離用の３Ｄステレオカメラ２９１で撮影された３Ｄ画像と近距離用の３Ｄステレオカメラ２９２で撮影された３Ｄ画像とを合成する。たとえば、ＣＰＵ２１０は、複数の被写体（オブジェクト）を認識する。ＣＰＵ２１０は、被写体毎に、中長距離用の３Ｄステレオカメラ２９１の右カメラ２９１Ｒから得られた右目用画像における表示位置が左カメラ２９１Ｌから得られた左目用画像における表示位置よりも所定距離以上、左方に位置するか否かを判断する。あるいは、ＣＰＵ２１０は、被写体毎に、中長距離用の３Ｄステレオカメラ２９１の左カメラ２９１Ｌから得られた左目用画像における表示位置が右カメラ２９１Ｒから得られた右目用画像における表示位置よりも所定距離以上、右方に位置するか否かを判断する。
　ＣＰＵ２１０は、被写体に関して、中長距離用の３Ｄステレオカメラ２９１の右カメラ２９１Ｒから得られた右目用画像における表示位置が左カメラ２９１Ｌから得られた左目用画像における表示位置よりも所定距離以上、左方に位置する場合、中長距離用の３Ｄステレオカメラ２９１から得られた画像のうちの当該被写体に対応する部分を、近距離用の３Ｄステレオカメラ２９２から得られた画像のうちの当該被写体に対応する部分に置き換えることによって、合成画像を作成する。一方、ＣＰＵ２１０は、被写体に関して、中長距離用の３Ｄステレオカメラ２９１の右カメラ２９１Ｒから得られた右目用画像における表示位置が左カメラ２９１Ｌから得られた左目用画像における表示位置よりも所定距離以上、左方に位置しない場合、中長距離用の３Ｄステレオカメラ２９１から得られた画像のうちの当該被写体に対応する部分を合成画像として利用する。
　ＣＰＵ２１０は、通信インターフェイス２７０を介して、逐次、合成画像をコントローラ１００に送信する。ＣＰＵ２１０は、コントローラ１００からの要求に応じて、あるいは定期的に、通信インターフェイス２７０を介して、ラジコンカー２００の現在位置と向きとをコントローラ１００に送信する。ＣＰＵ２１０は、通信インターフェイス２７０を介して、コントローラ１００から移動命令を受け付ける。ＣＰＵ２１０は、移動命令に基づいて、移動機構２３０を駆動させる。
　たとえば、ＣＰＵ２１０は、通信インターフェイス２７０を介して、移動命令として、前進命令、後進命令、方向転換命令、加減速命令などを受信する。ＣＰＵ２１０は、当該命令に基づいて移動機構２３０を駆動させることによって、ラジコンカー２００を前進させたり、後進させたり、方向転換させたり、速度を増加させたりする。
　本実施の形態においては、撮影装置を代表して、ラジコンカー２００について説明したが、撮影装置は輻輳角が異なる２種類の３Ｄカメラを有していればよい。たとえば、撮影装置は、デジタルカメラのように、ディスプレイやタッチパネルを有していてもよい。その場合、ＣＰＵ２１０は、中長距離用の３Ｄステレオカメラ２９１で撮影された３Ｄ画像と近距離用の３Ｄステレオカメラ２９２で撮影された３Ｄ画像とから作成された合成画像を、撮影装置自身のディスプレイやタッチパネルに表示させてもよい。
　＜制御方法＞
　以下では、主に、本実施の形態に係るコントローラ１００で実行される処理について説明する。すなわち、本実施の形態に係るコントローラ１００におけるラジコンカー２００の制御方法について説明する。図１４は、実施の形態１に係るコントローラ１００における制御方法を示すフローチャートである。
　図１４を参照して、コントローラ１００のＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、ユーザからレースの開始命令を受け付けると、ステップＳ１０６からの処理を実行する。なお、以下では、ＣＰＵ１１０は、通信インターフェイス１７０を介して、一度は、ラジコンカー２００から現在の位置と向きとを受信しているものとする。
　ＣＰＵ１１０は、メモリ１２０からコースデータを読み出すことによって、コースの３Ｄバーチャルデータを作成する（ステップＳ１０６）。ＣＰＵ１１０は、通信インターフェイス１７０を介して、ラジコンカー２００から合成画像または現在位置および向きを受信したか否かを判断する（ステップＳ１０８）。ＣＰＵ１１０は、ラジコンカー２００から合成画像または現在位置および向きを受信しなかった場合（ステップＳ１０８においてＮＯである場合）、ステップＳ１０８の処理を繰り返す。
　ＣＰＵ１１０は、ラジコンカー２００から合成画像および現在位置および向きを受信した場合（ステップＳ１０８においてＹＥＳである場合）、最新のラジコンカー２００の現在位置および向きに基づいて、コースを示す３Ｄバーチャルモデルに対する視点を決定する（ステップＳ１１２）。より詳細には、ＣＰＵ１１０は、コースにおける位置と向きとに基づいて、３Ｄバーチャルモデルに対する視点を決定する。
　ＣＰＵ１１０は、決定された視点からの、３Ｄバーチャル画像を作成する（ステップＳ１１４）。ＣＰＵ１１０は、最新の合成画像に、作成された最新の３Ｄバーチャル画像を重畳させる（ステップＳ１１６）。ＣＰＵ１１０は、タッチパネル１３０に、最新の合成画像と最新の３Ｄバーチャル画像との合成画像を表示させる（ステップＳ１１８）。
　ＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、ユーザからレースを終了するための命令を受け付けたか否かを判断する（ステップＳ１２０）。ＣＰＵ１１０は、レースを終了するための命令を受け付けなかった場合（ステップＳ１２０においてＮＯである場合）、ステップＳ１０８からの処理を繰り返す。ＣＰＵ１１０は、レースを終了するための命令を受け付けた場合（ステップＳ１２０においてＹＥＳである場合）、ラジコンカー２００のコントロール処理を終了する。
　［実施の形態２］
　次に、本発明の実施の形態２について説明する。実施の形態１に係るネットワークシステム１においては、ラジコンカー２００が合成画像を生成するものであった。一方、本実施の形態に係るネットワークシステム１においては、ラジコンカー２００が、中長距離用の３Ｄステレオカメラ２９１で撮影された３Ｄ画像と、近距離用の３Ｄステレオカメラ２９２で撮影された３Ｄ画像とをコントローラ１００に送信する。そして、コントローラ１００が、合成画像を生成するものである。
　なお、以下では、実施の形態１に係るネットワークシステム１と同様の構成については、説明を繰り返さない。
　＜ネットワークシステムの動作概要＞
　まず、本実施の形態に係るネットワークシステム１の動作概要について説明する。
　図１を参照して、ネットワークシステム１は、コントローラ１００Ｘ，１００Ｙとラジコンカー２００Ｘ，２００Ｙとを含む。ここでも、説明のために、コントローラ１００Ｘ，１００Ｙを総称して、コントローラ１００という。ラジコンカー２００Ｘ，２００Ｙを総称して、ラジコンカー２００という。
　ユーザは、ラジコンカー２００を公園や庭の地面に置く。ユーザは、コントローラ１００を介してラジコンカー２００の動作を制御する。
　ラジコンカー２００は、ラジコンカー２００の前方を撮影するための３Ｄステレオカメラを搭載する。より詳細には、ラジコンカー２００は、中長距離用の３Ｄステレオカメラと近距離用の３Ｄステレオカメラとを有する。より詳細には、近距離用の３Ｄステレオカメラの焦点距離は、中長距離用の３Ｄステレオカメラの焦点距離よりも短い。近距離用の３Ｄステレオカメラの輻輳角は、中長距離用の３Ｄステレオカメラの輻輳角よりも大きい。近距離用の３Ｄステレオカメラの画角は、中長距離用の３Ｄステレオカメラの画角よりも大きい。
　本実施の形態においては、ラジコンカー２００は、中長距離用の３Ｄステレオカメラで撮影された３Ｄ画像と近距離用の３Ｄステレオカメラで撮影された３Ｄ画像とを、逐次、コントローラ１００に送信する。
　ラジコンカー２００は、ラジコンカー２００の現在位置を測定するためのＧＰＳを搭載する。ラジコンカー２００は、現在の位置を逐次コントローラ１００に送信する。
　ラジコンカー２００は、ラジコンカー２００の現在の向き（姿勢）を測定するための電子コンパスを搭載する。ラジコンカー２００は、現在の向きを逐次コントローラ１００に送信する。ラジコンカー２００は、中長距離と近距離の３Ｄ画像と現在の位置と現在の向きとを、同時にコントローラ１００に送信してもよいし、別々に送信してもよい。
　本実施の形態においては、コントローラ１００は、ラジコンカー２００から、中長距離用の３Ｄステレオカメラで撮影された３Ｄ画像と近距離用の３Ｄステレオカメラで撮影された３Ｄ画像とを受信する。コントローラ１００は、中長距離用の３Ｄステレオカメラ２９１で撮影された３Ｄ画像と近距離用の３Ｄステレオカメラ２９２で撮影された３Ｄ画像とを合成する。コントローラ１００は、合成画像を表示する。
　ユーザは、合成画像を見ながら、コントローラ１００にラジコンカー２００を移動させるための命令（前進命令、後進命令、方向転換命令、加減速命令、以下これらの命令を移動命令ともいう。）を入力する。コントローラ１００は、ラジコンカー２００にユーザからの移動命令を送信する。
　本実施の形態においては、コントローラ１００は、ラジコンカー２００からの現在位置の時系列データ（コース作成用時系列データ）を蓄積する。コントローラ１００は、時系列データに基づいて、ラジコンカー２００の軌跡を取得する。コントローラ１００は、ラジコンカー２００の軌跡に基づいて、ラジコンカー２００のためのコース（サーキット）を示すデータを作成する。
　コースを示すデータ（コースデータとも言う。）は、コースのトラックを示す白線やコースパイロンなどの３Ｄオブジェクトを含む。コースの位置、形状、向きは、現実の地図データに対応付けられる。あるいは、コースの位置、形状、向きは、緯度・経度に対応付けられる。
　ただし、コントローラ１００は、タッチパネル１３０などを介して、コースの作成命令を受け付けてもよい。たとえば、コントローラ１００は地図を表示している状態で、ユーザから地図上におけるスライド操作を受け付ける。コントローラ１００は、スライド操作に基づいて、コースの位置と形状と向きとを決定する。
　あるいは、コントローラ１００は、予め複数のコースデータを記憶していてもよい。すなわち、ラジコンカー２００が走らなくとも、予め準備された複数のコースからユーザが所望のコースを選択してもよい。この場合には、たとえば、コースの位置、形状、向きが予め地図データあるいは緯度・経度に対応付けられている。あるいは、コースの形状のみが準備されており、ユーザがコースを選択する際に、ユーザによってコースの位置と向きとが指定されてもよい。
　コースが決定された後、ユーザの命令に基づいて、コントローラ１００はレースを開始する。コントローラ１００は、コースのデータとラジコンカー２００の現在の位置と向きとに基づいて、コースにおけるラジコンカー２００の位置と向きとを取得する。コントローラ１００は、コースにおけるラジコンカー２００の位置と向きとに基づいて、コースのデータからラジコンカー２００から見た３Ｄオブジェクトを示すバーチャル画像を作成する。
　たとえば、コントローラ１００は、サーキットの３Ｄモデルデータを作成してから、サーキットにおけるラジコンカー２００の位置と向きとに基づいて、３Ｄモデルデータの視点を決定する。コントローラ１００は、当該視点からの３Ｄモデルデータの表示画像（バーチャル画像）を作成する。
　コントローラ１００は、自身が生成した合成画像にバーチャル画像を重畳させて表示する。
　本実施の形態においても、第１のラジコンカー２００Ｘを制御するための第１のコントローラ１００Ｘは、第２のラジコンカー２００Ｙを制御するための第２のコントローラ１００Ｙと通信することが可能である。第１のコントローラ１００Ｘは、コースデータを第２のコントローラ１００Ｙへと送信したり、第２のラジコンカー２００Ｙからコースデータを受信したりする。
　すなわち、第１のコントローラ１００Ｘと第２のコントローラ１００Ｙとは、共通のコースデータに基づいて、ラジコンカー２００Ｘ，２００Ｙの走行を制御することができる。たとえば、第１のコントローラ１００Ｘのユーザは、自身が生成した合成画像を見ながら、すなわち、第２のラジコンカー２００Ｙの現実の映像を見ながら、コースに沿ったレースを行うことができる。第２のコントローラ１００Ｙも同様である。
　このように、本実施の形態に係るネットワークシステム１においては、ユーザは、仮想的なコースを示す画像（バーチャル画像）を見ながら、ラジコンカー２００の目線でラジコンカー２００の移動を制御することができる。その結果、ユーザは、ラジコンカー２００の移動の制御を臨場感あふれるものにすることができる。
　また、本実施の形態に係るネットワークシステム１においては、コントローラ１００が、中長距離用の３Ｄステレオカメラで撮影された３Ｄ画像と近距離用の３Ｄステレオカメラで撮影された３Ｄ画像とを合成するため、撮像装置から遠い被写体（遠くに見える建物など）と当該撮像装置からから近い被写体（他のラジコンカーなど）とを共に良好に再現することができる。
　以下、このような機能を実現するためのネットワークシステム１の具体的な構成について詳述する。
　＜コントローラ１００の構成＞
　なお、コントローラ１００のハードウェア構成については、実施の形態１のそれと同様であるため、ここでは説明を繰り返さない。以下では、コントローラ１００のＣＰＵ１１０の動作について説明する。
　ＣＰＵ１１０は、メモリ１２０あるいは記憶媒体１６１に記憶されているプログラムを実行することによって、コントローラ１００の各部を制御する。たとえば、ＣＰＵ１１０は、メモリ１２０あるいは記憶媒体１６１に記憶されているプログラムを実行することによって、ラジコンカー２００のコントロール処理を実行する。
　具体的には、ＣＰＵ１１０は、通信インターフェイス１７０を介して、ラジコンカー２００から中長距離用の３Ｄステレオカメラで撮影された３Ｄ画像と近距離用の３Ｄステレオカメラで撮影された３Ｄ画像とを受信する。ＣＰＵ１１０は、中長距離用の３Ｄステレオカメラで撮影された３Ｄ画像と近距離用の３Ｄステレオカメラで撮影された３Ｄ画像とを合成する。
　たとえば、ＣＰＵ１１０は、複数の被写体を認識する。ＣＰＵ１１０は、被写体毎に、中長距離用の３Ｄステレオカメラ２９１の右カメラ２９１Ｒから得られた右目用画像における表示位置が左カメラ２９１Ｌから得られた左目用画像における表示位置よりも所定距離以上、左方に位置するか否かを判断する。あるいは、ＣＰＵ１１０は、被写体毎に、中長距離用の３Ｄステレオカメラ２９１の左カメラ２９１Ｌから得られた左目用画像における表示位置が右カメラ２９１Ｒから得られた右目用画像における表示位置よりも所定距離以上、右方に位置するか否かを判断する。
　ＣＰＵ１１０は、被写体に関して、中長距離用の３Ｄステレオカメラ２９１の右カメラ２９１Ｒから得られた右目用画像における表示位置が左カメラ２９１Ｌから得られた左目用画像における表示位置よりも所定距離以上、左方に位置する場合、中長距離用の３Ｄステレオカメラ２９１から得られた画像のうちの当該被写体に対応する部分を、近距離用の３Ｄステレオカメラ２９２から得られた画像のうちの当該被写体に対応する部分に置き換えることによって、合成画像を作成する。一方、ＣＰＵ１１０は、被写体に関して、中長距離用の３Ｄステレオカメラ２９１の右カメラ２９１Ｒから得られた右目用画像における表示位置が左カメラ２９１Ｌから得られた左目用画像における表示位置よりも所定距離以上、左方に位置しない場合、中長距離用の３Ｄステレオカメラ２９１から得られた画像のうちの当該被写体に対応する部分を合成画像として利用する。ＣＰＵ１１０は、合成画像をタッチパネル１３０に表示させる。
　ＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、ユーザからラジコンカー２００を移動させるための命令（移動命令）を受け付ける。ＣＰＵ１１０は、通信インターフェイス１７０を介して、ラジコンカー２００に移動命令を送信する。
　ＣＰＵ１１０は、通信インターフェイス１７０を介して、ラジコンカー２００から現在の位置と向きとを受信する。ＣＰＵ１１０は、ラジコンカー２００の現在位置と向きの時系列データ（コース作成用時系列データ）をメモリ１２０に格納する。
　ＣＰＵ１１０は、コース作成用時系列データに基づいて、ラジコンカー２００の軌跡を取得する。ＣＰＵ１１０は、ラジコンカー２００の軌跡に基づいて、ラジコンカー２００のためのコースを示すデータを作成する。
　コースを示すデータ（コースデータとも言う。）は、コースのトラックを示す白線やコースパイロンなどの３Ｄオブジェクト（モデルデータ）を含む。ＣＰＵ１１０は、コースの位置、形状、向きを、現実の地図データに対応付ける。あるいは、ＣＰＵ１１０は、コースの位置、形状、向きを、緯度・経度に対応付ける。
　あるいは、ＣＰＵ１１０は、ラジコンカー２００を走行させることなく、コースデータを作成してもよい。より詳細には、本実施の形態に係るＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、ユーザから地図の取得命令を受け付ける。ＣＰＵ１１０は、通信インターフェイス１７０を介して、外部のサーバなどから地図データをダウンロードする。ＣＰＵ１１０は、メモリ１２０や記憶媒体１６１から地図データを読み出してもよい。
　ＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、ユーザから、ラジコンカー２００のためのコースを作成するための命令を受け付ける。図３を参照して、ＣＰＵ１１０は、タッチパネル１３０に地図画像を表示しながら、ユーザによるスライド操作を受け付ける。たとえば、ＣＰＵ１１０は、タッチパネル１３０を介して、指の地図画像に対するタッチ位置を順次取得することによって、地図画像上の指の軌跡を取得する。
　あるいは、ＣＰＵ１１０は、タッチパネル１３０に地図画像とポインタとを表示する。ＣＰＵ１１０は、ボタン１５０を介して、ユーザからポインタの移動命令を受け付ける。ＣＰＵ１１０は、ポインタの地図画像に対する位置を順次取得することによって、地図画像上のポインタの軌跡を取得する。たとえば、ユーザは、所定のキーを押しながら、方向キーを操作することによってポインタを移動させる。
　ＣＰＵ１１０は、当該指の軌跡に基づいて、ラジコンカー２００のためのコースを示すデータを作成する。ＣＰＵ１１０は、軌跡の両側にコースの端部を示すためのコースパイロンやトラックラインなどを作成する。
　あるいは、コントローラ１００は、予め複数のコースデータを記憶していてもよい。すなわち、予め準備された複数のコースから、ユーザが所望のコースを選択してもよい。この場合には、たとえば、コースの位置、形状、向きが予め地図データあるいは緯度・経度に対応付けられている。あるいは、コースの形状のみが準備されており、ユーザがコースを選択する際に、コースの位置と向きとが指定されてもよい。
　本実施の形態においては、ＣＰＵ１１０は、コースデータを他のコントローラ１００へと送信したり、他のコントローラ１００からコースデータを受信したりする。ＣＰＵ１１０は、他のコントローラ１００から受信したコースデータをメモリ１２０に格納する。ＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、ユーザから当該コースデータの選択を受け付ける。
　たとえば、第１および第２のコントローラ１００Ｘ，１００Ｙのユーザが、第１および第２のラジコンカー２００Ｘ，２００Ｙを、同一のコース上で同時に走らせることによって、レースを行うことができる。
　コースが決定された後、ユーザの命令に基づいて、ＣＰＵ１１０は、レースを開始する。ＣＰＵ１１０は、コースのデータとラジコンカー２００の現在位置と向きとに基づいて、コースにおけるラジコンカー２００の位置と向きとを取得する。
　ＣＰＵ１１０は、コースにおけるラジコンカー２００の位置と向きとに基づいて、コースのデータからラジコンカー２００から見た３Ｄオブジェクトを示すバーチャル画像を作成する。ＣＰＵ１１０は、自身が生成した合成画像にバーチャル画像を重畳させて表示する。たとえば、合成画像には、他のコントローラ１００のラジコンカー２００が写っていることもある。
　本実施の形態においても、図４の状態（Ａ）を参照して、ＣＰＵ１１０は、レースがスタートする前、あるいは、コースを作成するためにラジコンカー２００が走行しているとき、自身が生成した合成画像をタッチパネル１３０に表示させる。図４の状態（Ｂ）を参照して、ＣＰＵ１１０は、レースがスタートすると、あるいは、レース中においては、自身が生成した合成画像に、コースの中心を示す白線３０１Ｘ、コースの端を示す白線３０２Ｘ、コースパイロン３０３Ｘなどのバーチャル画像を重畳させる。
　また、ＣＰＵ１１０は、タッチパネル１３０に、合成画像にレースのスタートに適した２Ｄまたは３Ｄのバーチャル画像を重畳させてもよい。すなわち、メモリ１２０は、スタート用のバーチャル画像を記憶する。
　図５を参照して、ＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、コースにおけるスタート地点やゴール地点を受け付ける。ＣＰＵ１１０は、コースにおけるラジコンカー２００の現在位置と向きに基づいて、レースが開始される際に、メモリ１２０からバーチャル画像を読み出す。ＣＰＵ１１０は、タッチパネル１３０に、合成画像と白線３０１Ｘ，３０２Ｘとコースパイロン３０３Ｘとスタートのタイミングを示す文字と信号機の画像などを表示させる。
　また、ＣＰＵ１１０は、タッチパネル１３０は、合成画像にレースのゴールに適した２Ｄまたは３Ｄのバーチャル画像を表示させてもよい。すなわち、メモリ１２０は、ゴール用のバーチャル画像を記憶する。
　ＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、コースにおけるスタート地点やゴール地点を受け付ける。ＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、コースを何週するかの指定を受け付ける。
　図６を参照して、ＣＰＵ１１０は、コースにおけるラジコンカー２００の現在位置と向きに基づいて、ラジコンカー２００がゴール地点に近づくと、メモリ１２０からバーチャル画像を読み出す。ＣＰＵ１１０は、タッチパネル１３０に、合成画像と白線３０１Ｘ，３０２Ｘとコースパイロン３０３Ｘとゴール地点を示す画像などを表示させる。
　＜ラジコンカー２００の構成＞
　なお、ラジコンカー２００のハードウェア構成については、実施の形態１のそれと同様であるため、ここでは説明を繰り返さない。より詳細には、本実施の形態においては、ラジコンカー２００のＣＰＵ２１０が、通信インターフェイス２７０を介して、中長距離用の３Ｄステレオカメラ２９１で撮影された３Ｄ画像と、近距離用の３Ｄステレオカメラ２９２で撮影された３Ｄ画像とをコントローラ１００に送信する。すなわち、ＣＰＵ２１０は、両者の３Ｄ画像を合成する必要がない。
　＜制御方法＞
　以下では、主に、本実施の形態に係るコントローラ１００で実行される処理について説明する。すなわち、本実施の形態に係るコントローラ１００におけるラジコンカー２００の制御方法について説明する。図１５は、実施の形態２に係るコントローラ１００における制御方法を示すフローチャートである。
　図１５を参照して、コントローラ１００のＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、ユーザからレースの開始命令を受け付けると、ステップＳ２０６からの処理を実行する。なお、以下では、ＣＰＵ１１０は、通信インターフェイス１７０を介して、一度は、ラジコンカー２００から現在の位置と向きとを受信しているものとする。
　ＣＰＵ１１０は、メモリ１２０からコースデータを読み出すことによって、コースの３Ｄバーチャルデータを作成する（ステップＳ２０６）。ＣＰＵ１１０は、通信インターフェイス１７０を介して、ラジコンカー２００から中長距離用の３Ｄステレオカメラ２９１で撮影された３Ｄ画像および近距離用の３Ｄステレオカメラ２９２で撮影された３Ｄ画像またはラジコンカー２００の現在位置および向きを受信したか否かを判断する（ステップＳ２０８）。ＣＰＵ１１０は、ラジコンカー２００から３Ｄ画像または現在位置および向きを受信しなかった場合（ステップＳ２０８においてＮＯである場合）、ステップＳ２０８の処理を繰り返す。
　ＣＰＵ１１０は、ラジコンカー２００から３Ｄ画像および現在位置および向きを受信した場合（ステップＳ２０８においてＹＥＳである場合）、最新のラジコンカー２００の現在位置および向きに基づいて、コースを示す３Ｄバーチャルモデルに対する視点を決定する（ステップＳ２１２）。より詳細には、ＣＰＵ１１０は、コースにおける位置と向きとに基づいて、３Ｄバーチャルモデルに対する視点を決定する。
　ＣＰＵ１１０は、決定された視点からの、３Ｄバーチャル画像を作成する（ステップＳ２１４）。ＣＰＵ１１０は、最新の、中長距離用の３Ｄステレオカメラ２９１で撮影された３Ｄ画像と近距離用の３Ｄステレオカメラ２９２で撮影された３Ｄ画像とを合成する（ステップＳ２１５）。ＣＰＵ１１０は、最新の合成画像に、作成された最新の３Ｄバーチャル画像を重畳させる（ステップＳ２１６）。ＣＰＵ１１０は、タッチパネル１３０に、最新の合成画像と最新の３Ｄバーチャル画像との合成画像を表示させる（ステップＳ２１８）。
　ＣＰＵ１１０は、タッチパネル１３０またはボタン１５０を介して、ユーザからレースを終了するための命令を受け付けたか否かを判断する（ステップＳ２２０）。ＣＰＵ１１０は、レースを終了するための命令を受け付けなかった場合（ステップＳ２２０においてＮＯである場合）、ステップＳ２０８からの処理を繰り返す。ＣＰＵ１１０は、レースを終了するための命令を受け付けた場合（ステップＳ２２０においてＹＥＳである場合）、ラジコンカー２００のコントロール処理を終了する。
　＜その他の応用例＞
　本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した外部の記憶媒体１６１，２６１やメモリ１２０，２２０を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が外部の記憶媒体１６１，２６１やメモリ１２０，２２０に格納されたプログラムコードを読出し実行することによっても、本実施の形態の効果を享受することが可能となる。
　この場合、外部の記憶媒体１６１，２６１やメモリ１２０，２２０から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した外部の記憶媒体１６１，２６１やメモリ１２０，２２０は本発明を構成することになる。
　また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
　さらに、外部の記憶媒体１６１，２６１やメモリ１２０，２２０から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わる他の記憶媒体に書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
　この発明を詳細に説明し示してきたが、これは例示のためのみであって、限定ととってはならず、発明の範囲は添付の請求の範囲によって解釈されることが明らかに理解されるであろう。
　１　ネットワークシステム、１００　コントローラ、１１０　ＣＰＵ、１２０　メモリ、１３０　タッチパネル、１３１　ディスプレイ、１３２　タブレット、１４０　スピーカ、１５０　ボタン、１６０　メモリインターフェイス、１６１　記憶媒体、１７０　通信インターフェイス、１８０　時計、２００　ラジコンカー、２１０　ＣＰＵ、２２０　メモリ、２３０　移動機構、２４０　ＧＰＳ、２５０　電子コンパス、２６０　メモリインターフェイス、２６１　記憶媒体、２７０　通信インターフェイス、２８０　時計、２９０　カメラ、２９１　中長距離ステレオカメラ、２９１Ｌ　左カメラ、２９１Ｒ　右カメラ、２９２　近距離ステレオカメラ、２９２Ｌ　左カメラ、２９２Ｒ　右カメラ、２９３　ハーフミラー、３０１Ｘ　コースの中心を示す白線、３０２Ｘ　コースの端を示す白線、３０３Ｘ　コースパイロン。

Claims (20)

  1. 　撮影装置（２００）であって、
    　前記撮影装置の前方を撮影することによって第１の３Ｄ画像を撮影するための第１のステレオカメラ（２９１）と、
    　前記撮影装置の前方を撮影することによって第２の３Ｄ画像を撮影するための、前記第１のステレオカメラよりも輻輳角が大きい第２のステレオカメラ（２９２）と、
    　前記第１の３Ｄ画像のうちの前記撮影装置に近い物体を示す部分を、前記第２の３Ｄ画像のうちの前記物体を示す部分に置き換えることによって、第３の３Ｄ画像を作成するためのプロセッサ（２１０）とを備える、撮影装置。
  2. 　コントローラ（１００）と通信するための通信インターフェイス（２７０）と、
    　前記コントローラからの指令に基づいて前記撮影装置を移動させるための移動部（２３０）をさらに備え、
    　前記プロセッサは、前記通信インターフェイスを介して、前記第３の３Ｄ画像を前記コントローラに送信する、請求項１に記載の撮影装置。
  3. 　ディスプレイ（２８５）をさらに備え、
    　前記プロセッサは、前記第３の３Ｄ画像を前記ディスプレイに表示させる、請求項１または２に記載の撮影装置。
  4. 　前記第１のステレオカメラは、第１の焦点距離を有する２つの第１のカメラ（２９１Ｒ，２９１Ｌ）を含み、
    　前記第２のステレオカメラは、前記第１の焦点距離よりも短い第２の焦点距離を有する２つの第２のカメラ（２９２Ｒ，２９２Ｌ）を含む、請求項１から３のいずれか１項に記載の撮影装置。
  5. 　前記第１のステレオカメラは、第１の画角を有する２つの第１のカメラ（２９１Ｒ，２９１Ｌ）を含み、
    　前記第２のステレオカメラは、前記第１の画角よりも広い第２の画角を有する２つの第２のカメラ（２９２Ｒ，２９２Ｌ）を含む、請求項１から３のいずれか１項に記載の撮影装置。
  6. 　撮影装置（２００）であって、
    　コントローラと通信するための通信インターフェイス（２７０）と、
    　前記コントローラからの指令に基づいて前記撮影装置を移動させるための移動部（２３０）と、
    　前記撮影装置の前方を撮影することによって第１の３Ｄ画像を撮影するための第１のステレオカメラ（２９１）と、
    　前記撮影装置の前方を撮影することによって第２の３Ｄ画像を撮影するための、前記第１のステレオカメラよりも輻輳角が大きい第２のステレオカメラ（２９２）と、
    　前記通信インターフェイスを介して、前記第１および第２の３Ｄ画像を前記コントローラに送信するためのプロセッサ（２１０）とを備える、撮影装置。
  7. 　前記第１のステレオカメラは、第１の焦点距離を有する２つの第１のカメラ（２９１Ｒ，２９１Ｌ）を含み、
    　前記第２のステレオカメラは、前記第１の焦点距離よりも短い第２の焦点距離を有する２つの第２のカメラ（２９２Ｒ，２９２Ｌ）を含む、請求項６に記載の撮影装置。
  8. 　前記第１のステレオカメラは、第１の画角を有する２つの第１のカメラ（２９１Ｒ，２９１Ｌ）を含み、
    　前記第２のステレオカメラは、前記第１の画角よりも広い第２の画角を有する２つの第２のカメラ（２９２Ｒ，２９２Ｌ）を含む、請求項６に記載の撮影装置。
  9. 　撮影装置（２００）とコントローラ（１００）とを備えるネットワークシステム（１）であって、
    　前記撮影装置は、
    　前記撮影装置の前方を撮影することによって第１の３Ｄ画像を撮影するための第１のステレオカメラ（２９１）と、
    　前記撮影装置の前方を撮影することによって第２の３Ｄ画像を撮影するための、前記第１のステレオカメラよりも輻輳角が大きい第２のステレオカメラ（２９２）と、
    　前記第１の３Ｄ画像のうちの前記撮影装置に近い物体を示す部分を、前記第２の３Ｄ画像のうちの前記物体を示す部分に置き換えることによって、第３の３Ｄ画像を作成するためのプロセッサ（２１０）と、
    　前記第３の３Ｄ画像を前記コントローラに送信するための第１の通信インターフェイス（２７０）とを含み、
    　前記コントローラは、
    　前記撮影装置から前記第３の３Ｄ画像を受信するための第２の通信インターフェイス（１７０）と、
    　前記撮影装置から受信した前記第３の３Ｄ画像を表示するためのディスプレイ（１３１）とを含む、ネットワークシステム。
  10. 　前記撮影装置は、前記コントローラからの指令に基づいて前記撮影装置を移動させるための移動部（２３０）をさらに備え、
    　前記コントローラは、前記指令を受け付けるための操作部（１３０，１５０）をさらに備え、
    　前記第２の通信インターフェイスは、前記指令を前記撮影装置へ送信する、請求項９に記載のネットワークシステム。
  11. 　撮影装置（２００）とコントローラ（１００）とを備えるネットワークシステム（１）であって、
    　前記撮影装置は、
    　前記撮影装置の前方を撮影することによって第１の３Ｄ画像を撮影するための第１のステレオカメラ（２９１）と、
    　前記撮影装置の前方を撮影することによって第２の３Ｄ画像を撮影するための、前記第１のステレオカメラよりも輻輳角が大きい第２のステレオカメラ（２９２）と、
    　前記第１および第２の３Ｄ画像を前記コントローラに送信するための第１の通信インターフェイス（２７０）とを含み、
    　前記コントローラは、
    　ディスプレイ（１３１）と、
    　前記撮影装置から前記第１および第２の３Ｄ画像を受信するための第２の通信インターフェイス（１７０）と、
    　前記第１の３Ｄ画像のうちの前記撮影装置に近い物体を示す部分を、前記第２の３Ｄ画像のうちの前記物体を示す部分に置き換えることによって、第３の３Ｄ画像を作成し、前記第３の３Ｄ画像を前記ディスプレイに表示させるためのプロセッサ（１１０）とを含む、ネットワークシステム。
  12. 　前記撮影装置は、前記コントローラからの指令に基づいて前記撮影装置を移動させるための移動部（２３０）をさらに備え、
    　前記コントローラは、前記指令を受け付けるための操作部（１３０，１５０）をさらに備え、
    　前記第２の通信インターフェイスは、前記指令を前記撮影装置へ送信する、請求項１１に記載のネットワークシステム。
  13. 　撮影装置（２００）を制御するための方法であって、
    　前記撮影装置の前方を撮影することによって第１の３Ｄ画像を撮影するステップと、
    　前記撮影装置の前方を撮影することによって第２の３Ｄ画像を撮影するステップとを備え、
    　前記第２の３Ｄ画像の撮影における輻輳角は、前記第１の３Ｄ画像の撮影における輻輳角よりも大きく、
    　前記第１の３Ｄ画像のうちの前記撮影装置に近い物体を示す部分を、前記第２の３Ｄ画像のうちの前記物体を示す部分に置き換えることによって、第３の３Ｄ画像を作成するステップとを備える、撮影装置を制御するための方法。
  14. 　コントローラ（１００）と通信するステップと、
    　前記コントローラからの指令に基づいて前記撮影装置を移動させるステップと、
    　前記第３の３Ｄ画像を前記コントローラに送信するステップとをさらに備える、請求項１３に記載の撮影装置を制御するための方法。
  15. 　前記撮影装置は、ディスプレイ（２８５）をさらに含み、
    　前記第３の３Ｄ画像を前記ディスプレイに表示させるステップをさらに備える、請求項１３または１４に記載の撮影装置を制御するための方法。
  16. 　前記第１の３Ｄ画像を撮影するステップは、第１の焦点距離を有する２つの第１のカメラにより撮影することを含み、
    　前記第２の３Ｄ画像を撮影するステップは、前記第１の焦点距離よりも短い第２の焦点距離を有する２つの第２のカメラにより撮影することを含む、請求項１３から１５のいずれか１項に記載の撮影装置を制御するための方法。
  17. 　前記第１の３Ｄ画像を撮影するステップは、第１の画角を有する２つの第１のカメラにより撮影することを含み、
    　前記第２の３Ｄ画像を撮影するステップは、前記第１の画角よりも広い第２の画角を有する２つの第２のカメラにより撮影することを含む、請求項１３から１５のいずれか１項に記載の撮影装置を制御するための方法。
  18. 　撮影装置（２００）を制御するための方法であって、
    　コントローラ（１００）と通信するステップと、
    　前記撮影装置の前方を撮影することによって第１の３Ｄ画像を撮影するステップと、
    　前記撮影装置の前方を撮影することによって第２の３Ｄ画像を撮影するステップとを備え、
    　前記第２の３Ｄ画像の撮影における輻輳角は、前記第１の３Ｄ画像の撮影における輻輳角よりも大きく、
    　前記コントローラからの指令に基づいて前記撮影装置を移動させるステップと、
    　前記第１および第２の３Ｄ画像を前記コントローラに送信するステップとを備える、撮影装置を制御するための方法。
  19. 　前記第１の３Ｄ画像を撮影するステップは、第１の焦点距離を有する２つの第１のカメラにより撮影することを含み、
    　前記第２の３Ｄ画像を撮影するステップは、前記第１の焦点距離よりも短い第２の焦点距離を有する２つの第２のカメラにより撮影することを含む、請求項１８に記載の撮影装置を制御するための方法。
  20. 　前記第１の３Ｄ画像を撮影するステップは、第１の画角を有する２つの第１のカメラにより撮影することを含み、
    　前記第２の３Ｄ画像を撮影するステップは、前記第１の画角よりも広い第２の画角を有する２つの第２のカメラにより撮影することを含む、請求項１８に記載の撮影装置を制御するための方法。
PCT/JP2012/051059 2011-01-21 2012-01-19 撮影装置、撮影装置を制御するための方法およびネットワークシステム WO2012099194A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-010811 2011-01-21
JP2011010811A JP2012151800A (ja) 2011-01-21 2011-01-21 撮影装置およびネットワークシステム

Publications (1)

Publication Number Publication Date
WO2012099194A1 true WO2012099194A1 (ja) 2012-07-26

Family

ID=46515816

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/051059 WO2012099194A1 (ja) 2011-01-21 2012-01-19 撮影装置、撮影装置を制御するための方法およびネットワークシステム

Country Status (2)

Country Link
JP (1) JP2012151800A (ja)
WO (1) WO2012099194A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107640317A (zh) * 2016-07-22 2018-01-30 松下知识产权经营株式会社 无人驾驶飞行器系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2646360C2 (ru) 2012-11-13 2018-03-02 Сони Корпорейшн Устройство и способ отображения изображения, мобильное устройство, система отображения изображения и компьютерная программа
WO2016017245A1 (ja) 2014-07-31 2016-02-04 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
CN106550194A (zh) * 2016-12-26 2017-03-29 珠海格力电器股份有限公司 拍照方法、装置和移动终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0282992A (ja) * 1988-09-20 1990-03-23 Sega Enterp Ltd 自動車無線操縦装置
JPH0634339A (ja) * 1992-07-16 1994-02-08 Oki Electric Ind Co Ltd ３次元画像入力装置
JP2003153247A (ja) * 2001-11-15 2003-05-23 Toshiba Corp 遠隔監視システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0282992A (ja) * 1988-09-20 1990-03-23 Sega Enterp Ltd 自動車無線操縦装置
JPH0634339A (ja) * 1992-07-16 1994-02-08 Oki Electric Ind Co Ltd ３次元画像入力装置
JP2003153247A (ja) * 2001-11-15 2003-05-23 Toshiba Corp 遠隔監視システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107640317A (zh) * 2016-07-22 2018-01-30 松下知识产权经营株式会社 无人驾驶飞行器系统

Also Published As

Publication number Publication date
JP2012151800A (ja) 2012-08-09

Similar Documents

Publication Publication Date Title
WO2012096347A1 (ja) ネットワークシステム、コントロール方法、コントローラ、およびコントロールプログラム
US10977865B2 (en) Augmented reality in vehicle platforms
WO2021118962A1 (en) Cross reality system with simplified programming of virtual content
US10410320B2 (en) Course profiling and sharing
JP5781080B2 (ja) ３次元立体表示装置および３次元立体表示処理装置
JP5709886B2 (ja) ３次元立体表示装置および３次元立体表示信号生成装置
JP4965475B2 (ja) 仮想移動表示装置
US11228737B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
JP6147966B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
WO2012053029A1 (ja) ３次元立体表示装置
JP7427747B2 (ja) 映像表示装置及び映像表示方法
WO2012099194A1 (ja) 撮影装置、撮影装置を制御するための方法およびネットワークシステム
EP4252064A1 (en) Image based finger tracking plus controller tracking
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
CN112788443B (zh) 基于光通信装置的交互方法和系统
JP7472912B2 (ja) 情報処理装置、情報処理方法および記録媒体
US20230052104A1 (en) Virtual content experience system and control method for same
US20210258484A1 (en) Image capturing device, image communication system, and method for display control
US20240323537A1 (en) Display terminal, communication system, display method, and recording medium
US20240323538A1 (en) Display terminal, communication system, display method, and recording medium
JP2021034977A (ja) サーバ、再生デバイス、コンテンツ再生システム、コンテンツ再生方法、及びプログラム
CN112053444A (zh) 基于光通信装置叠加虚拟对象的方法和相应的电子设备
JP2002269590A (ja) 画像再生装置及び方法
US20240321237A1 (en) Display terminal, communication system, and method of displaying
US20240319943A1 (en) Display terminal, communication system, and display method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12736820

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12736820

Country of ref document: EP

Kind code of ref document: A1