WO2015053040A1 - 画像表示装置、画像表示システム、画像表示方法、及び、プログラム - Google Patents

画像表示装置、画像表示システム、画像表示方法、及び、プログラム Download PDF

Info

Publication number
WO2015053040A1
WO2015053040A1 PCT/JP2014/074091 JP2014074091W WO2015053040A1 WO 2015053040 A1 WO2015053040 A1 WO 2015053040A1 JP 2014074091 W JP2014074091 W JP 2014074091W WO 2015053040 A1 WO2015053040 A1 WO 2015053040A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
virtual viewpoint
image display
user
Prior art date
Application number
PCT/JP2014/074091
Other languages
English (en)
French (fr)
Inventor
康嘉 澤田
Original Assignee
富士通テン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通テン株式会社 filed Critical 富士通テン株式会社
Priority to DE112014004701.5T priority Critical patent/DE112014004701B4/de
Priority to US14/915,922 priority patent/US10857974B2/en
Priority to CN201480055343.6A priority patent/CN105612552A/zh
Publication of WO2015053040A1 publication Critical patent/WO2015053040A1/ja
Priority to US17/089,767 priority patent/US11643047B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/102—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present invention relates to a technique for displaying an image showing the periphery of a vehicle.
  • an object of the present invention is to enable the user to change the virtual viewpoint to the viewpoint desired by the user when displaying an image showing the periphery of the vehicle from the virtual viewpoint.
  • a first aspect of the present invention is an image display device, An acquisition unit that acquires a plurality of images obtained by photographing a subject with a plurality of cameras; A generating unit that combines the plurality of images and generates a combined image in which the subject is viewed from a virtual viewpoint; A display control unit for displaying the composite image on a screen; A detection unit that detects a user operation to change the position of the virtual viewpoint of the composite image displayed on the screen; With The generation unit changes the position of the virtual viewpoint of the composite image based on the user operation.
  • the composite image may be configured such that a reference point set at a specific position in the subject is viewed from the position of the virtual viewpoint, regardless of the position of the virtual viewpoint.
  • the plurality of cameras may be installed in a vehicle.
  • the generation unit changes the position of the virtual viewpoint based on a world coordinate system having the reference point as an origin for the vehicle and a viewpoint coordinate system having the reference point as an origin for the virtual viewpoint. Can be done.
  • the subject can be displayed from various directions and positions.
  • the image display device can be configured such that the position of the reference point can be set by a user.
  • the subject can be displayed at an angle desired by the user.
  • the generation unit changes the position of the virtual viewpoint around a vertical axis in the world coordinate system when the user operation is an operation indicating a horizontal direction on the screen. Can be done.
  • the position of the virtual viewpoint can be changed with a simple operation around the vertical axis in the world coordinate system.
  • the generation unit changes a position of the virtual viewpoint around a horizontal axis in the viewpoint coordinate system. Can be done.
  • the position of the virtual viewpoint can be changed with a simple operation around the horizontal axis in the viewpoint coordinate system.
  • the generation unit when the generation unit changes the position of the virtual viewpoint around a horizontal axis in the viewpoint coordinate system, the position of the virtual viewpoint is within a range above the ground plane of the subject. It can be set as the structure which changes.
  • an appropriate viewpoint position can be set.
  • the plurality of cameras may be installed in a vehicle.
  • the generation unit is arranged along the front-rear direction of the vehicle.
  • the position of the virtual viewpoint may be changed around the axis.
  • the subject can be displayed while changing the viewing angle without a sense of incongruity.
  • a second aspect of the present invention is an image display system, An image acquisition device; An image display device capable of communicating with the image acquisition device; With The image acquisition device includes: An acquisition unit that acquires a plurality of images obtained by photographing a subject with a plurality of cameras; A request receiving unit that receives a request signal for transmitting the plurality of images from the image display device; An image transmission unit configured to transmit the plurality of images to the image display device based on the request signal; With The image display device includes: A request transmission unit that transmits the request signal to request transmission of the plurality of images to the image acquisition device; An image receiving unit for receiving the plurality of images from the image acquisition device; A generating unit that combines the plurality of images and generates a combined image in which the subject is viewed from a virtual viewpoint; A display control unit for displaying the composite image on a screen; A detection unit that detects a user operation to change the position of the virtual viewpoint of the composite image displayed on the screen; With The generation unit changes a virtual viewpoint
  • the image acquisition device can be installed in a vehicle.
  • the subject may be a state around the vehicle.
  • the image display system may include a security device that detects a prior phenomenon that leads to theft of the vehicle.
  • the security device may include a monitoring unit that detects the prior phenomenon and a notification unit that notifies the image display device that the prior phenomenon has been detected.
  • the user of the image display device can recognize that a pre-phenomenon that leads to theft of the vehicle has occurred, and can quickly check the state around the vehicle on the screen. .
  • a third aspect of the present invention is an image display method, (A) acquiring a plurality of images obtained by photographing a subject with a plurality of cameras; (B) combining the plurality of images and generating a combined image in which the subject is viewed from a virtual viewpoint; (C) displaying the composite image on a screen; (D) detecting a user operation for changing the position of the virtual viewpoint of the composite image displayed on the screen; With In the step (b), the position of the virtual viewpoint of the composite image is changed based on the user operation.
  • a fourth aspect of the present invention is a program that can be executed by a computer included in an image display device that displays an image.
  • the computer (A) acquiring a plurality of images obtained by photographing a subject with a plurality of cameras; (B) combining the plurality of images and generating a combined image in which the subject is viewed from a virtual viewpoint; (C) displaying the composite image on a screen; (D) detecting a user operation for changing the position of the virtual viewpoint of the composite image displayed on the screen; And execute In the step (b), the position of the virtual viewpoint of the composite image is changed based on the user operation.
  • FIG. 1 is a diagram illustrating an overview of an image display system according to the first embodiment.
  • FIG. 2 is a diagram illustrating a portable terminal included in the image display system of FIG.
  • FIG. 3 is a block diagram showing a configuration of the image display system of FIG.
  • FIG. 4 is a diagram illustrating the arrangement of cameras provided in the image display system of FIG.
  • FIG. 5 is a block diagram showing a configuration of the mobile terminal of FIG.
  • FIG. 6 is a diagram for explaining a method of generating a peripheral image and a composite image in the image display system of FIG.
  • FIG. 7 is a diagram showing the position of the virtual viewpoint in the image display system of FIG.
  • FIG. 8 is a diagram showing the position of the virtual viewpoint in the image display system of FIG. FIG.
  • FIG. 9 is a diagram for explaining the movement of the virtual viewpoint in the image display system of FIG.
  • FIG. 10 is a diagram for explaining the movement of the virtual viewpoint in the image display system of FIG.
  • FIG. 11 is a diagram for explaining the movement of the virtual viewpoint in the image display system of FIG.
  • FIG. 12 is a diagram for explaining the movement of the virtual viewpoint in the image display system of FIG.
  • FIG. 13 is a diagram illustrating a display image in the image display system of FIG.
  • FIG. 14 is a diagram illustrating a display image in the image display system of FIG.
  • FIG. 15 is a diagram illustrating a display image in the image display system of FIG.
  • FIG. 16 is a diagram illustrating a display image in the image display system of FIG. FIG.
  • FIG. 17 is a diagram illustrating a display image in the image display system of FIG.
  • FIG. 18 is a diagram illustrating a display image in the image display system of FIG.
  • FIG. 19 is a diagram illustrating a display image in the image display system of FIG.
  • FIG. 20 is a diagram illustrating a display image in the image display system of FIG.
  • FIG. 21 is a diagram illustrating a display image in the image display system of FIG.
  • FIG. 22 is a diagram illustrating a display image in the image display system of FIG.
  • FIG. 23 is a diagram illustrating a display image in the image display system of FIG.
  • FIG. 24 is a diagram illustrating a display image in the image display system of FIG.
  • FIG. 25 is a flowchart showing a processing procedure by the image display system of FIG. FIG.
  • FIG. 26 is a flowchart showing a processing procedure by the image display system of FIG.
  • FIG. 27 is a block diagram illustrating a configuration of a mobile terminal in the image display system according to the second embodiment.
  • FIG. 28 is a diagram for explaining the movement of the virtual viewpoint in the image display system of FIG.
  • FIG. 29 is a diagram for explaining the movement of the virtual viewpoint in the image display system of FIG.
  • FIG. 30 is a diagram illustrating a display image in the image display system of FIG.
  • FIG. 31 is a flowchart showing a processing procedure by the image display system of FIG.
  • FIG. 32 is a flowchart showing a processing procedure by the image display system of FIG.
  • FIG. 33 is a diagram illustrating a modification of the image display system.
  • FIG. 1 shows an overview of an image display system 1 according to an embodiment of the present invention.
  • the image display system 1 includes an image acquisition device 3 mounted on a vehicle 2 and a camera 4 (4F, 4B, 4L, 4R).
  • the image display system 1 is a system for causing the portable terminal 8 to display an image around the vehicle 2 acquired by the image acquisition device 3 from the camera 4 (4F, 4B, 4L, 4R).
  • the portable terminal 8 is owned by a user located remotely from the vehicle 2.
  • the vehicle 2 is provided with a security device 5 having a monitoring sensor.
  • the monitoring sensor is activated when the suspicious person SI approaches an abnormality to the vehicle 2 or when a physical hazard is applied to the vehicle 2, and the security device 5 informs the user that the monitoring sensor has been activated. Notice.
  • the user who receives the notification from the security device 5 requests the image acquisition device 3 to transmit an image and causes the portable terminal 8 to display an image around the vehicle 2. At this time, the user freely changes the display range of the image and refers to the situation around the vehicle 2 from a desired angle.
  • FIG. 2 shows an example of the portable terminal 8 having a display 83 for displaying an image around the vehicle 2.
  • the user can change the display range of the image and check in detail the area of concern.
  • the user can activate the alarm of the vehicle 2 from a remote location or report it to a security company as needed by referring to the image around the vehicle 2.
  • the vehicle 2 owned by the user can be always maintained safely.
  • the vehicle 2 includes an image acquisition device 3, a camera 4, a security device 5, and an alarm device 6.
  • the image acquisition device 3 is an electronic control device that receives image data from the camera 4 installed in the vehicle and transmits the received image data to the mobile terminal 8.
  • the image acquisition device 3 includes a control unit 31, a communication unit 32, and a storage unit 33.
  • the control unit 31 is a microcomputer including a CPU, a RAM, and a ROM.
  • the control unit 31 is communicably connected to other components included in the image acquisition device 3 and controls the operation of the entire device.
  • the control unit 31 includes a request reception unit 31a, a camera control unit 31b, an image acquisition unit 31c, an image transmission unit 31d, and an anti-theft unit 31e.
  • the request receiving unit 31a receives a request signal for requesting the operation of the camera 4 and the start of photographing from the user who possesses the mobile terminal 8.
  • the camera control unit 31b transmits an operation signal to the camera 4 to cause the camera 4 to start shooting.
  • the image acquisition unit 31 c acquires image data transmitted from the camera 4, and converts the acquired image data into a format that can be processed by the control unit 31.
  • the image transmission unit 31d transmits the image data acquired by the image acquisition unit 31c from the camera 4 to the mobile terminal 8 via the communication unit 32.
  • the theft prevention unit 31e transmits an operation signal to the alarm device 6 to cause the alarm device 6 to perform an alarm. This prevents the vehicle 2 from being stolen.
  • the anti-theft unit 31e may cause the alarm device 6 to issue an alarm and control an engine control device (not shown) so that the engine does not operate.
  • the anti-theft unit 31e may report to the security company via the communication unit 32. In short, the anti-theft unit 31e only needs to function so as to prevent the theft of the vehicle 2 by using a device provided in the vehicle 2.
  • the communication unit 32 has a communication function using wireless communication, and performs information communication with the mobile terminal 8 via the network 7.
  • information communication technologies to be used include WiMAX (Worldwide Interoperability for Microwave Access), LTE (Long Term Evolution), and the like.
  • the storage unit 33 is a memory that stores data.
  • it is a non-volatile storage medium such as an EEPROM (Electrical Erasable Programmable Read-Only memory), a flash memory, or a hard disk drive including a magnetic disk.
  • the storage unit 33 stores a program 33a.
  • the program 33 a is firmware that is read by the control unit 31 and executed for the control unit 31 to control the image acquisition device 3.
  • the camera 4 includes a front camera 4F, a rear camera 4B, a left side camera 4L, and a right side camera 4R.
  • Each camera (4F, 4B, 4L, 4R) includes a lens and an image sensor, and is disposed at a different position on the vehicle 2.
  • FIG. 4 shows a position where the camera 4 (4F, 4B, 4L, 4R) is arranged in the vehicle 2 and a direction in which the optical axis of each camera is directed.
  • the front camera 4F is installed at the front end of the vehicle 2, and its optical axis 4Fa is directed in the straight traveling direction of the vehicle 2.
  • the rear camera 4B is installed at the rear end portion of the vehicle 2, and its optical axis 4Ba is directed in the direction opposite to the straight traveling direction of the vehicle 2, that is, in the backward traveling direction.
  • the left side camera 4L is installed on the left side mirror ML, and its optical axis 4La is directed in the left direction of the vehicle 2 (a direction orthogonal to the straight traveling direction).
  • the right side camera 4R is installed on the right side mirror MR, and its optical axis 4Ra is directed in the right direction of the vehicle 2 (a direction orthogonal to the straight traveling direction).
  • Each camera 4F, 4B, 4L, 4R captures a different direction around the vehicle 2 and electronically acquires the captured image.
  • the lens provided in the camera 4 has a relatively shorter focal length than a standard lens and has an angle of view ⁇ of 180 degrees or more. For this reason, the entire periphery of the vehicle 2 can be photographed by using the four cameras 4.
  • the security device 5 detects a prior phenomenon that leads to theft of the vehicle 2 or an article in the vehicle 2, and electronically notifies the portable terminal 8 possessed by the user of the vehicle 2 that the fear of theft has occurred. It is a device that notifies by email.
  • the security device 5 includes a monitoring sensor 5a and a mail notification unit 5b.
  • the monitoring sensor 5a is a sensor that detects a prior phenomenon that leads to theft of the vehicle 2 or an article in the vehicle 2.
  • a vibration sensor that detects vibration generated in the vehicle 2
  • a glass break sensor that detects glass breakage of the vehicle 2
  • a tilt sensor that detects the tilt of the vehicle 2 by a jack or a crane, and an intruder into the vehicle 2
  • An intrusion sensor to detect.
  • the mail notification unit 5b When the monitoring sensor 5a detects a prior phenomenon that leads to theft, the mail notification unit 5b notifies the user that the theft has occurred. Specifically, the mail notification unit 5b generates an e-mail with the content of the fear of theft and transmits the e-mail to the mobile terminal 8 carried by the user. You may notify by audio
  • the mail notification unit 5b preferably includes in the e-mail which monitoring sensor has detected a prior phenomenon that leads to theft. This is to make it easier for the user to grasp the situation of the vehicle 2.
  • the alarm device 6 is a device that emits a voice to the surroundings and gives a warning.
  • the alarm device 6 is, for example, a speaker or a horn mounted on the vehicle 2.
  • the alarm device 6 may emit light such as a warning light mounted on the vehicle 2 in addition to the sound.
  • the alarm device 6 may be anything that alerts the surroundings and gives a warning.
  • the mobile terminal 8 is an information terminal that is carried by a user and has a function of displaying an image, a function of connecting to an information network, and the like.
  • the mobile terminal 8 is a mobile phone or a smartphone.
  • FIG. 5 shows the configuration of the mobile terminal 8.
  • the portable terminal 8 includes a control unit 81, a communication unit 82, a display 83, and a storage unit 84.
  • the control unit 81 is a microcomputer including a CPU, a RAM, and a ROM.
  • the control unit 81 is connected to be communicable with other components included in the mobile terminal 8 and controls the operation of the entire mobile terminal 8. Each function of the control unit 81 will be described later.
  • the communication unit 82 has a communication function using wireless communication, and performs information communication with the image acquisition device 3 and the security device 5 via the network 7.
  • wireless communication technologies to be used include WiMAX (Worldwide Interoperability for Microwave Access), LTE (Long Term Evolution), and the like.
  • the display 83 displays various information such as characters and figures, and visually presents the information to the user.
  • the display 83 is a display device such as a liquid crystal display, a plasma display, or an organic EL display.
  • the display 83 includes a touch panel 83a.
  • the touch panel 83a senses the user's contact with the button area displayed on the display 83, and transmits the sensed position information to the control unit 81.
  • the storage unit 84 is a memory that stores data.
  • the storage unit 84 is a nonvolatile storage medium such as an EEPROM (Electrical Erasable Programmable Read-Only memory), a flash memory, or a hard disk drive including a magnetic disk.
  • the storage unit 84 stores vehicle body image data 84a and a program 84b.
  • the vehicle body image data 84a is image data indicating the appearance of the vehicle 2.
  • the vehicle body image data 84a includes image data when the vehicle 2 is viewed from any external angle.
  • the vehicle body image data 84a may be acquired from an external server via the network 7 after the image acquisition device 3 is attached to the vehicle 2 without being stored in the mobile terminal 8 in advance. In this case, vehicle body image data 84a that matches the appearance of the vehicle 2 to which the image acquisition device 3 is attached can be acquired.
  • the user may transmit the vehicle type name of the vehicle 2 from the portable terminal 8 to the external server and request the vehicle body image data 84a.
  • the program 84b is firmware that is read by the control unit 81 and executed for the control unit 81 to control the portable terminal 8.
  • the control unit 81 includes an image acquisition unit 81a, an image generation unit 81b, a display control unit 81c, and an operation detection unit 81d.
  • the image acquisition unit 81 a acquires image data transmitted from the image acquisition device 3, and converts the acquired image data into a format that can be processed by the control unit 81. That is, the image acquisition unit 81a acquires a plurality of images obtained by photographing the subject with the plurality of cameras 4, respectively.
  • the image generation unit 81b combines a plurality of photographed images acquired by the camera 4 and generates a peripheral image that shows a state around the vehicle 2 viewed from the virtual viewpoint.
  • the virtual viewpoint is a viewpoint in which the vehicle 2 is viewed from a position outside the vehicle 2. Further, the image generation unit 81b superimposes a vehicle body image showing the vehicle 2 viewed from the virtual viewpoint on the peripheral image. A method for generating a peripheral image and a method for setting a virtual viewpoint by the image generation unit 81b will be described later.
  • the display control unit 81c displays data such as images and characters on the display 83. Further, the display control unit 81c changes an image or the like displayed on the display 83 based on the touch position input to the touch panel 83a.
  • the operation detection unit 81d detects a user operation on the touch panel 83a. Specifically, the operation detection unit 81d detects in which direction on the touch panel 83a the user's fingertip moves after touching the touch panel 83a based on the touch position information transmitted from the touch panel 83a.
  • a so-called flick operation in which the fingertip is slid while being in contact with the touch panel 83a
  • a so-called pinch-in operation in which the distance between the fingertip and the fingertip is reduced while the two fingertips are in contact with the touch panel 83a
  • a so-called pinch-out operation in which the distance between the fingertips is increased while the two fingertips are in contact with the touch panel 83a.
  • the notification unit 81e transmits a predetermined signal to a device outside the mobile terminal 8 via the communication unit 82.
  • Examples of the signal transmitted by the notification unit 81e include a signal that requests the image acquisition apparatus to transmit image data.
  • FIG. 6 shows a method in which the image generation unit 81b generates the peripheral image AP.
  • the image generation unit 81b converts the data (value of each pixel) included in these four images AP (F), AP (B), AP (L), and AP (R) into a three-dimensional curved surface in a virtual three-dimensional space. Is projected onto the projection surface TS.
  • the projection surface TS is, for example, a substantially hemispherical shape (a bowl shape).
  • the center part (bottom part of the bowl) of the projection surface TS is the position where the vehicle 2 is present.
  • the portion other than the central portion of the projection surface TS is associated with any one of the images AP (F), AP (B), AP (L), and AP (R).
  • the image generation unit 81b projects the peripheral images AP (F), AP (B), AP (L), and AP (R) on a portion other than the central portion of the projection surface TS.
  • the image generation unit 81b projects the image AP (F) of the front camera 4F on an area corresponding to the front of the vehicle 2 on the projection surface TS, and projects the image AP (B) of the rear camera 4B on an area corresponding to the rear of the vehicle 2. To do.
  • the image generation unit 81b projects the image AP (L) of the left side camera 4L on the area corresponding to the left side of the vehicle 2 on the projection plane TS, and the image of the right side camera 4R on the area corresponding to the right side of the vehicle 2.
  • the surrounding image AP which shows the area
  • the image generation unit 81b sets a virtual viewpoint VP that faces an arbitrary line-of-sight direction from an arbitrary viewpoint position in the three-dimensional space. And the image data projected on the area
  • the image generation unit 81b reads the vehicle body image data from the storage unit 84, and generates the vehicle body image 10 of the vehicle 2 viewed from the virtual viewpoint VP. Then, the vehicle body image 10 is synthesized with the peripheral image AP indicating the area around the vehicle 2 viewed from the virtual viewpoint VP, thereby generating a composite image CP.
  • the image generation unit 81b sets the peripheral images AP (F), AP (B), AP (L), AP (R), and Using the vehicle body image 10, a composite image CPt that overlooks the vehicle 2 and the surrounding area of the vehicle 2 is generated.
  • the composite image CPt is an image as if the vehicle 2 was looked down from directly above, and shows an area around the vehicle 2.
  • the image generation unit 81b sets the peripheral images AP (B), AP (L), AP (R ) And the vehicle body image 10 are used to generate a composite image CPb overlooking the vehicle 2 and the surrounding area of the vehicle 2.
  • the composite image CPb is an image as if the vehicle 2 is looked down from the upper front to the rear, and shows a region behind the vehicle 2.
  • the peripheral image AP (F), AP (L), AP (R) and the vehicle body image 10 a composite image CPI is generated that overlooks the vehicle 2 and the surrounding area of the vehicle 2.
  • the composite image CPI is an image as if the vehicle 2 is looked left obliquely rearward and from above, and shows a region on the left side of the vehicle 2.
  • FIG. 7 to 12 show a method in which the image generation unit 81b sets the virtual viewpoint VP.
  • a three-dimensional XYZ orthogonal coordinate system cc is used, and directions and directions are appropriately shown.
  • Each coordinate axis of the orthogonal coordinate system cc is fixed relative to the vehicle 2. That is, the left-right direction of the vehicle 2 is the X-axis direction, the front-rear direction of the vehicle 2 is the Y-axis direction, and the vertical direction is the Z-axis direction.
  • the right side of the vehicle 2 is the + X side
  • the front side of the vehicle 2 is the + Y side
  • the vertical upper side is the + Z side. Therefore, the left side of the vehicle 2 is the ⁇ X side, the rear side of the vehicle 2 is the ⁇ Y side, and the vertically lower side is the ⁇ Z side.
  • FIG. 7 is a view of the vehicle 2 as viewed from vertically above (+ Z side), and shows five reference virtual viewpoints VPa (VPat, VPaf, VPab, VPal, and VPar) serving as a reference among the virtual viewpoints VP. .
  • VPa virtual viewpoints VPat, VPaf, VPab, VPal, and VPar
  • Each of the five reference virtual viewpoints VPa has five reference positions (VLt, VLf, VLb, VL1, VLr), five movement center points RC (RCt, RCf, RCb, RCl, RCr), and five reference directions (VDt). , VDf, VDb, VDtl, VDr).
  • the reference position VLt is located immediately above the vehicle 2.
  • the reference position VLf is located slightly in front of the vehicle 2 (+ Y side).
  • the reference position VLb is located slightly above ( ⁇ Y side) immediately above the vehicle 2.
  • the reference position VLl is located diagonally to the left of the vehicle 2 ( ⁇ Y side and ⁇ X side).
  • the reference position VLr is located diagonally to the right of the vehicle 2 (+ X side and ⁇ Y side).
  • the height (+ Z side) of each reference position VL is the same height from the ground contact surface GR with which the vehicle 2 is in contact. For example, it is twice as high as the vehicle height.
  • FIG. 8 is a diagram of the vehicle 2 viewed from the right side in the horizontal direction (+ X side), and is a diagram illustrating the movement center point RC and the reference direction VD.
  • the movement center point RC is a reference point that becomes the center when the virtual viewpoint VP moves. Therefore, even if the viewpoint position of the virtual viewpoint VP moves, the line-of-sight direction always faces the movement center point RC. According to such a configuration, it is possible to provide a composite image as if the user is moving while looking at the subject. A method of moving the virtual viewpoint VP viewpoint position using the movement center point RC will be described later.
  • the moving center point RCt is a specific point set at a specific position of the vehicle 2.
  • the movement center point RCt is located at the center of the vehicle 2.
  • the movement center point RCf is located at the left-right center of the vehicle 2 and slightly forward (+ Y side) of the front end of the vehicle 2.
  • the movement center point RCb is located at the left-right center of the vehicle 2 and slightly rearward ( ⁇ Y side) of the rear end of the vehicle 2.
  • the movement center point RCl is located at the front-rear center of the vehicle 2 and slightly to the left outer side ( ⁇ X side) of the vehicle 2.
  • the movement center point RCr is located at the front-rear center of the vehicle 2 and slightly outside (+ X side) of the vehicle 2.
  • the height (+ Z side) of each movement center point RC is the height h of the line of sight of the user seated on the vehicle 2.
  • the reference direction VDt is directed from the reference position VLt to the movement center point RCt ( ⁇ Z side).
  • the reference direction VDf is directed from the reference position VLf to the movement center point RCf ( ⁇ Z side and + Y side).
  • the reference direction VDb is directed from the reference position VLb to the movement center point RCb ( ⁇ Z side and ⁇ Y side).
  • the reference direction VDl is directed from the reference position VLl to the movement center point RCl ( ⁇ Z side and + Y side).
  • the reference direction VDr is directed from the reference position VLr to the movement center point RCr ( ⁇ Z side and + Y side).
  • the virtual viewpoint VP is a viewpoint when the moving center point RC is viewed from the viewpoint position VL.
  • the reference virtual viewpoint VPat is a viewpoint (top view) in which the vehicle 2 is viewed from directly above.
  • the reference virtual viewpoint VPaf is a viewpoint in which the vehicle 2 is seen from the front and the front of the vehicle 2 from above (front view).
  • the reference virtual viewpoint VPab is a viewpoint (back view) for viewing the vehicle 2 from behind and from above.
  • the reference virtual viewpoint VPal is a viewpoint (left side view) in which the left side region of the vehicle 2 is viewed from the diagonally left rear and above the vehicle 2.
  • the reference virtual viewpoint VPar is a viewpoint (right side view) in which the vehicle 2 is viewed from the upper right and obliquely rearward to the right side area of the vehicle 2.
  • Such a reference virtual viewpoint VPa is selected by the user.
  • the selection by the user is selected by a touch operation on a touch panel button associated with each reference virtual viewpoint VPa. That is, when one of the reference virtual viewpoints VPa is selected by the user while the composite image CP is displayed on the display, the image generation unit 81b generates a composite image viewed from the reference virtual viewpoint VPa. Accordingly, even when the virtual viewpoint cannot be returned to the reference virtual viewpoint VPa after changing the position of the virtual viewpoint in various ways, the user can easily set the virtual viewpoint to the reference virtual viewpoint VPa by touching the touch panel button. it can.
  • one of the viewpoints of the reference virtual viewpoint VPa is set in advance. At this time, it is preferable to generate the composite image CP at the reference virtual viewpoint VPat overlooking the vehicle 2 from directly above. This is because a wide area around the vehicle 2 can be presented to the user and is suitable as an initial display.
  • a method for moving the viewpoint position VL using the movement center point RC will be described.
  • a method of moving the viewpoint position VL in the left-right direction (horizontal direction) when viewing the display from the user will be described with reference to FIGS. 9 and 10.
  • the movement of the viewpoint position VL described below is performed in response to a flick operation in the left-right direction (horizontal direction) on the touch panel by the user.
  • FIG. 9 is a view of the vehicle 2 as viewed from the vertically upward direction (+ Z side), and shows a path along which the reference position VLl of the reference virtual viewpoint VPal moves.
  • the reference position VLl moves along the movement path OBlh around the movement center point RCl.
  • the movement of the viewpoint position VL is based on an orthogonal coordinate system cc (world coordinate system) that is relatively fixed to the vehicle 2 with the position of the movement center point RCl as the origin.
  • the coordinate axis that serves as a reference for the movement of the reference position VLl is the Z axis of the orthogonal coordinate system cc at the position of the movement center point RCl.
  • FIG. 10 is a view of the vehicle 2 as viewed from the right side in the horizontal direction (+ X side), and shows a path along which the reference position VLl of the reference virtual viewpoint VPal moves as in FIG.
  • the reference position VLl moves along the movement path OBlh around the movement center point RCl.
  • the coordinate axis that serves as a reference for movement of the reference position VLl is the Z axis (AXl) of the orthogonal coordinate system cc at the position of the movement center point RC.
  • the reference direction VDl is directed from the reference position VLl to the movement center point RCl no matter where the reference position VLl is located on the movement path OBlh. Therefore, when the reference position VLl moves on the movement path OBlh, the user looking at the display 83 seems to move the image in the horizontal direction.
  • the reference position VLl moves counterclockwise on the movement route OBlh.
  • the reference position VLl moves clockwise on the movement route OBlh.
  • a three-dimensional XYZ orthogonal coordinate system VPcc viewpoint coordinate system
  • VPcc viewpoint coordinate system
  • directions and directions are appropriately shown.
  • Each coordinate axis of the orthogonal coordinate system VPcc is fixed relative to the virtual viewpoint VP. That is, the left-right direction of the virtual viewpoint VP is the X-axis (VPx) direction, the front-rear direction of the virtual viewpoint VP is the Y-axis (VPy) direction, and the vertical direction of the virtual viewpoint VP is the Z-axis (VPz) direction.
  • the right side of the virtual viewpoint VP is the + X side
  • the front side of the virtual viewpoint VP is the + Y side
  • the vertical upper side of the virtual viewpoint VP is the + Z side. Therefore, the left side of the virtual viewpoint VP is the ⁇ X side, the rear side of the virtual viewpoint VP is the ⁇ Y side, and the vertically lower side is the ⁇ Z side.
  • FIG. 11 is a view of the vehicle 2 viewed from the vertically upward direction (+ Z side), and shows a path along which the reference position VLl of the reference virtual viewpoint VPal moves.
  • the reference position VLl moves along the movement path OBlv around the movement center point RCl.
  • the movement of the viewpoint position VL is based on the orthogonal coordinate system VPcc that is relatively fixed to the virtual viewpoint VP with the position of the movement center point RCl as the origin.
  • the coordinate axis that serves as a reference for the movement of the reference position VLl is the X axis (AXlv) of the orthogonal coordinate system VPcc at the position of the movement center point RCl.
  • FIG. 12 is a view of the vehicle 2 as viewed from the left side ( ⁇ X side) in the horizontal direction, and shows a path along which the reference position VLl of the reference virtual viewpoint VPal moves as in FIG.
  • the reference position VLl moves along the movement path OBlv around the movement center point RCl.
  • the coordinate axis that serves as a reference for the movement of the reference position VLl is the X axis of the orthogonal coordinate system cc at the position of the movement center point RC.
  • the reference direction VDl is directed from the reference position VLl to the movement center point RCl regardless of where the reference position VLl is located on the movement path OBlv. Therefore, when the reference position VLl moves on the movement path OBlv, the user looking at the display 83 seems to move the image in the vertical direction.
  • the travel route OBlv is set above the ground contact surface GR of the vehicle 2. Accordingly, the reference position VLl moves on the movement route OBlv indicated by the broken line, and the movement route OBlx indicated by the solid line does not move. As a result, it is possible to prevent image display from a viewpoint position that cannot normally occur when the vehicle 2 is viewed from below the ground contact surface. The user can move the viewpoint position without a sense of incongruity.
  • the reference position VLl moves clockwise on the movement route OBlv.
  • the reference position VLl moves counterclockwise on the movement route OBlv.
  • FIG. 13 shows an example in which the composite image CPt1 is displayed on the display 83.
  • the composite image CPt1 is an image in which the reference virtual viewpoint VPat is set to the virtual viewpoint VP and the vehicle 2 is viewed from the reference virtual viewpoint VPat.
  • the composite image CPt1 displays the vehicle body image 10 in addition to the peripheral image showing the periphery of the vehicle 2.
  • the composite image CPt1 is displayed when the user touches the touch panel button TB13 indicating the periphery of the vehicle 2 and when the composite image CP is initially displayed. The user can check the situation around the vehicle 2 in a list by referring to the composite image CPt1.
  • FIG. 14 shows an example in which the composite image CPt2 is displayed on the display 83.
  • the composite image CPt2 is an image in which the reference virtual viewpoint VPat is set by moving clockwise on OBlh in FIG. 9 after the display of the composite image CPt1 (FIG. 13), and the vehicle 2 is viewed from the set reference virtual viewpoint VPat. is there.
  • the composite image CPt2 displays the vehicle body image 10 in addition to the peripheral image showing the periphery of the vehicle 2 displayed by rotating leftward when viewing the display 83 from the user.
  • the composite image CPt2 is displayed when a flick operation FH is performed from left to right (horizontal direction) on the touch panel 83a in a state where the composite image CPt1 (FIG. 13) is displayed.
  • the user can check the situation around the vehicle 2 from an angle different from that of the composite image CPt1 by referring to the composite image CPt2.
  • FIG. 15 shows an example in which the composite image CPt3 is displayed on the display 83.
  • the composite image CPt3 is an image obtained by setting the reference virtual viewpoint VPat by moving counterclockwise on OBlh in FIG. 12 after displaying the composite image CPt1 (FIG. 13), and viewing the vehicle 2 from the set reference virtual viewpoint VPat. It is.
  • the composite image CPt3 is displayed including immediately below the front end of the vehicle 2.
  • the composite image CPt3 is displayed when a flick operation FV is performed from the upper direction to the lower direction (vertical direction) on the touch panel 83a in a state where the composite image CPt1 (FIG. 13) is displayed.
  • the user can check the situation around the vehicle 2 including the area immediately below the front end of the vehicle 2 by referring to the composite image CPt3.
  • FIG. 16 shows an example in which the composite image CPf1 is displayed on the display 83.
  • the composite image CPf1 is an image in which the reference virtual viewpoint VPaf is set to the virtual viewpoint VP and the vehicle 2 is viewed from the reference virtual viewpoint VPaf.
  • the composite image CPf1 displays the vehicle body image 10 in addition to the peripheral image showing the front of the vehicle 2.
  • the composite image CPf1 is displayed when the user touches the touch panel button TB16 indicating the front of the vehicle 2. The user can confirm the situation ahead of the vehicle 2 by referring to the composite image CPf1.
  • FIG. 17 shows an example in which the composite image CPf2 is displayed on the display 83.
  • the composite image CPf2 is an image in which the reference virtual viewpoint VPaf is set by moving clockwise on OBlh in FIG. 9 after the display of the composite image CPf1 (FIG. 16), and the vehicle 2 is viewed from the set reference virtual viewpoint VPaf. is there.
  • the composite image CPf2 displays the vehicle body image 10 in addition to the peripheral image showing the periphery of the vehicle 2 displayed by rotating to the left when viewing the display 83 from the user.
  • the composite image CPf2 is displayed when a flick operation FH is performed from left to right (horizontal direction) on the touch panel 83a in a state where the composite image CPf1 (FIG. 16) is displayed.
  • the user can check the situation ahead of the vehicle 2 from an angle different from that of the composite image CPf1 by referring to the composite image CPf2.
  • FIG. 18 shows an example in which the composite image CPf3 is displayed on the display 83.
  • the composite image CPf3 is an image obtained by setting the reference virtual viewpoint VPaf by moving counterclockwise on OBlh in FIG. 12 after displaying the composite image CPf1 (FIG. 16), and viewing the vehicle 2 from the set reference virtual viewpoint VPaf. It is.
  • the composite image CPf3 displays the front area of the vehicle 2 in more detail than the composite image CPf1.
  • the composite image CPt3 is displayed when a flick operation FV is performed from the upper direction to the lower direction (vertical direction) on the touch panel 83a in a state where the composite image CPf1 (FIG. 16) is displayed.
  • the user can confirm in detail the situation ahead of the vehicle 2 by referring to the composite image CPt3.
  • FIG. 19 shows an example in which the composite image CPb1 is displayed on the display 83.
  • the composite image CPb1 is an image in which the reference virtual viewpoint VPab is set to the virtual viewpoint VP and the vehicle 2 is viewed from the reference virtual viewpoint VPab.
  • the composite image CPb1 displays the vehicle body image 10 in addition to the peripheral image showing the rear of the vehicle 2.
  • the composite image CPb1 is displayed when the user touches the touch panel button TB19 indicating the rear of the vehicle 2. The user can check the situation behind the vehicle 2 by referring to the composite image CPb1.
  • FIG. 20 is an example in which the composite image CPb2 is displayed on the display 83.
  • the composite image CPb2 is an image in which the reference virtual viewpoint VPab is set by moving clockwise on OBlh in FIG. 9 after the display of the composite image CPb1 (FIG. 19), and the vehicle 2 is viewed from the set reference virtual viewpoint VPab. is there.
  • the composite image CPb2 displays the vehicle body image 10 in addition to the peripheral image showing the rear of the vehicle 2 displayed by moving to the left when viewing the display 83 from the user.
  • the composite image CPb2 is displayed when a flick operation FH is performed from left to right (horizontal direction) on the touch panel 83a in a state where the composite image CPb1 (FIG. 19) is displayed.
  • the user can check the situation behind the vehicle 2 from an angle different from that of the composite image CPb1 by referring to the composite image CPb2.
  • FIG. 21 shows an example in which the composite image CPb3 is displayed on the display 83.
  • the composite image CPb3 is an image in which the reference virtual viewpoint VPab is set by moving counterclockwise on OBlh in FIG. 12 after the composite image CPb1 (FIG. 19) is displayed, and the vehicle 2 is viewed from the set reference virtual viewpoint VPab. It is.
  • the composite image CPb3 displays the rear region of the vehicle 2 in more detail than the composite image CPb1.
  • the composite image CPb3 is displayed when a flick operation FV is performed from the upper direction to the lower direction (vertical direction) on the touch panel 83a in a state where the composite image CPb1 (FIG. 16) is displayed.
  • the user can confirm the situation behind the vehicle 2 in detail by referring to the composite image CPb3.
  • FIG. 22 is an example in which the composite image CP11 is displayed on the display 83.
  • the composite image CP11 is an image in which the reference virtual viewpoint VPal is set to the virtual viewpoint VP and the vehicle 2 is viewed from the reference virtual viewpoint VPal.
  • the composite image CPL1 displays the vehicle body image 10 in addition to the peripheral image showing the left side of the vehicle 2.
  • the composite image CPL1 is displayed when the user touches the touch panel button TB22 indicating the left side of the vehicle 2. The user can check the situation on the left side of the vehicle 2 by referring to the composite image CPL1.
  • FIG. 23 is an example in which the composite image CPL2 is displayed on the display 83.
  • the composite image CPl2 is an image in which the reference virtual viewpoint VPal is set by moving clockwise on OBlh in FIG. 9 after the composite image CPl1 (FIG. 22) is displayed, and the vehicle 2 is viewed from the set reference virtual viewpoint VPal. is there.
  • the composite image CPL2 displays the vehicle body image 10 in addition to the peripheral image showing the left side of the vehicle 2 displayed by moving to the left when viewing the display 83 from the user.
  • the composite image CPl2 is displayed when a flick operation FH is performed from left to right (horizontal direction) on the touch panel 83a in a state where the composite image CPl1 (FIG. 22) is displayed.
  • the user can confirm the situation on the left side of the vehicle 2 from an angle different from that of the composite image CP11 by referring to the composite image CP12.
  • FIG. 24 shows an example in which the composite image CP13 is displayed on the display 83.
  • the composite image CPl3 is an image obtained by setting the reference virtual viewpoint VPal by moving counterclockwise on OBlh in FIG. 12 after displaying the composite image CPl1 (FIG. 22), and viewing the vehicle 2 from the set reference virtual viewpoint VPal. It is.
  • the composite image CPl3 displays the left region of the vehicle 2 in more detail than the composite image CPl1.
  • the composite image CPl3 is displayed when the flick operation FV is performed from the upper direction to the lower direction (vertical direction) on the touch panel 83a in a state where the composite image CPl1 (FIG. 22) is displayed.
  • the user can confirm the situation on the left side of the vehicle 2 in detail by referring to the composite image CPL3.
  • the composite image CP showing the right side of the vehicle 2 may be operated and controlled symmetrically with respect to the case where the left side of the vehicle 2 described with reference to FIGS.
  • the user can confirm the situation on the right side of the vehicle 2 by referring to the composite image CP showing the right side of the vehicle 2.
  • FIG. 25 shows a procedure of processes executed by the image acquisition device 3, the security device 5, and the mobile terminal 8.
  • FIG. 26 shows a procedure of processing executed by the alarm device 6 and the portable terminal 8. This process is repeatedly executed at a predetermined cycle.
  • the security device 5 determines whether or not the monitoring sensor 5a is activated (step S101 in FIG. 25).
  • the security device 5 determines that the monitoring sensor 5a has been activated (Yes in step S101)
  • the security device 5 controls the mail notification unit 5b to indicate to the user's mobile terminal 8 that the monitoring sensor 5a has been activated, that is, leading to theft.
  • An e-mail with the content that the phenomenon has occurred in the vehicle 2 is transmitted (step S102).
  • the monitoring sensor 5a As an example of the case where the monitoring sensor 5a is activated, when the monitoring sensor 5a detects the occurrence of vibration or tilt in the vehicle 2, or when glass breakage is detected, an intruder into the vehicle 2 is detected. Cases.
  • the security device 5 determines that the monitoring sensor 5a is not operating (No in step S101), and when the mail notification unit 5b transmits an e-mail, the processing by the security device 5 ends.
  • the security device 5 starts processing again after a predetermined time has elapsed.
  • the display control unit 81c displays the content of the email on the display 83 (step S201).
  • the user confirms the content of the e-mail displayed on the display and determines whether or not to display the surrounding image of the vehicle 2.
  • the user may perform a touch operation on a predetermined position on the touch panel 83a.
  • the operation detection unit 81d determines whether or not the user has performed a touch operation on a predetermined position on the touch panel 83a where a peripheral image should be displayed (step S202).
  • the notification unit 81e acquires the image. A signal requesting transmission of an image is transmitted to the apparatus 3 (step S203).
  • step S202 When the operation detecting unit 81d performs a touch operation on a predetermined position indicating that the user does not display a peripheral image on the touch panel 83a, that is, when the operation detecting unit 81d determines that no image display is desired (in step S202). No), the process ends. This is because it is not necessary to continue the process as long as the user does not desire to display an image.
  • the camera control unit 31b controls the camera 4 (4F, 4B, 4L, 4R) to start shooting. (Step S301).
  • the image transmission unit 31d transmits the image data to the portable terminal 8 via the communication unit 32. (Step S302).
  • the image generation unit 81b sets the position and direction of the virtual viewpoint for generating the peripheral image. (Step S204).
  • the image generation unit 81b sets the position of the virtual viewpoint directly above the vehicle 2 and the direction of the virtual visual field as downward (top view).
  • the virtual viewpoint is a viewpoint in which the user looks downward from a position directly above the vehicle 2.
  • Such a viewpoint is preferable as the position and direction of the virtual viewpoint to be displayed to the user first. This is because the entire periphery of the vehicle is displayed, so that a wide range of situations can be communicated to the user.
  • the image generation unit 81b When the virtual viewpoint is set, the image generation unit 81b generates a peripheral image by the above-described method. Then, the image generation unit 81b reads the vehicle body image data 84a from the storage unit 84, and generates a composite image in which the vehicle body image is combined with the generated peripheral image (step S205).
  • the display control unit 81c displays the composite image on the display 83 (step S206). Thereby, the user can confirm the state around the vehicle 2.
  • the operation detector 81d determines whether or not the user has performed a flick operation on the display 83 (step S207).
  • Step S207 When the operation detection unit 81d determines that the flick operation has been performed by the user (Yes in Step S207), the image generation unit 81b sets the virtual viewpoint again (Step S204). *
  • the image generation unit 81b rotates the virtual viewpoint with respect to the vertical axis of the world coordinate system as described above to position the virtual viewpoint.
  • the image generation unit 81b sets the position of the virtual viewpoint so that the virtual viewpoint is counterclockwise when viewed from above the vertical direction axis of the world coordinate system. Rotate. Further, when the flick operation is an operation from the left side to the right side with respect to the display 83, the position of the virtual viewpoint is rotated so that the vertical axis of the world coordinate system is clockwise when viewed from above.
  • the image generation unit 81b rotates the virtual viewpoint based on the horizontal axis of the viewpoint coordinate system as described above, and the position of the virtual viewpoint Set.
  • the image generation unit 81b causes the virtual viewpoint to rotate counterclockwise when the horizontal axis of the viewpoint coordinate system is viewed from the right of the viewpoint. Rotate the position.
  • the flick operation is an operation from the lower side to the upper side with respect to the display 83
  • the position of the virtual viewpoint is rotated so that the horizontal axis of the viewpoint coordinate system is clockwise when viewed from the right of the viewpoint.
  • the direction in which the user wants to move the viewpoint by the flick operation matches the direction in which the displayed image moves, and the user can intuitively operate by operating the touch panel 83a.
  • the image can be moved automatically.
  • step S207 the operation detection unit 81d determines whether an operation for changing the virtual viewpoint to the reference viewpoint is performed.
  • step S208 determines whether or not the user has performed a touch operation on any touch panel button indicating the reference viewpoint.
  • the image generation unit 81b sets the position and direction of the virtual viewpoint to the reference viewpoint that the user desires by a touch operation. (Step S204). For example, when the user desires a reference viewpoint for displaying the left side area of the vehicle 2, the image generation unit 81b sets the position and direction of the virtual viewpoint as shown in FIGS.
  • the reference viewpoints are five viewpoints immediately above the vehicle, the left side of the vehicle 2, the right side of the vehicle 2, the front side of the vehicle 2, and the rear side of the vehicle 2.
  • the position of the movement center point RC which is a specific point set at the specific position of the vehicle, is set at a position corresponding to the reference viewpoint desired by the user.
  • step S208 determines whether or not the operation for changing the virtual viewpoint to the reference viewpoint is not performed. Judgment is made (step S209).
  • the operation detection unit 81d determines whether or not the user has performed a touch operation on a predetermined position indicating that the alarm device on the touch panel 83a is activated.
  • the notification unit 81e transmits a signal requesting the image acquisition device 3 to activate the alarm device 6 ( Step S210).
  • the anti-theft unit 31e of the image acquisition device 3 causes the alarm device 6 to perform an alarm (step S401).
  • the alarm by the alarm device 6 ends after a predetermined time has elapsed.
  • the predetermined time may be sufficient to give a warning to the suspicious person. For example, 5 seconds.
  • the user may perform an operation to end the alarm.
  • operation detection unit 81d determines that the user is not trying to activate the alarm device 6 (No in step S209), and when the anti-theft unit 31e causes the alarm device 6 to issue an alarm (step S210), operation detection The unit 81d determines whether or not the user is going to end the image display (step S211).
  • the notification unit 81e transmits a signal requesting the image acquisition device 3 to end shooting (step S212).
  • the notification unit 81e transmits a signal for requesting the image acquisition device 3 to end photographing, the processing by the portable terminal 8 ends.
  • the display control unit 81c continues to generate and display the image, and the mobile terminal 8 performs the processing from step S205 onward. Try again.
  • the request reception unit 31a determines whether or not an end request signal for requesting to end the photographing is transmitted from the portable terminal 8 (step S303).
  • the image acquisition device 3 repeatedly transmits the image data obtained most recently in the camera 4 (4F, 4B, 4L, 4R) to the portable terminal 8 until receiving the end request signal.
  • the image generation part 81b of the portable terminal 8 can generate a peripheral image showing the state of the periphery of the vehicle 2 in substantially real time based on the most recently obtained image data.
  • the camera control unit 31b determines that the camera 4 (4F, 4B, 4L, 4R) is used. Control is performed to stop photographing (step S304).
  • the camera control unit 31b controls the camera 4 (4F, 4B, 4L, 4R) and stops photographing, the processing by the image acquisition device 3 ends.
  • the position of the virtual viewpoint is changed based on a user operation, and a composite image is displayed.
  • the subject can be easily displayed from the viewpoint desired by the user.
  • the viewpoint position VL is directly above the vehicle 2 and the line-of-sight direction VD is downward ( ⁇ Z side) (that is, in the case of the top view), the left / right direction (horizontal direction) of the user.
  • the movement of the viewpoint position VL with respect to the flick operation is based on the vertical axis (Z axis) of the orthogonal coordinate system cc.
  • the composite image CP is displayed so as to rotate to the left or right.
  • the movement of the viewpoint position VL is based on the axis (Y axis) that is the front and rear of the vehicle 2 in the orthogonal coordinate system cc.
  • the left and right areas of the vehicle 2 including the side surfaces of the vehicle 2 are displayed. Therefore, the user can confirm the left and right areas of the vehicle 2 in detail.
  • FIG. 27 shows the configuration of the mobile terminal 8 in the image display system 1 according to the second embodiment.
  • the main difference from the first embodiment is that the control unit 81 of the mobile terminal 8 includes a coordinate axis conversion unit 81f.
  • the coordinate axis conversion unit 81f converts the coordinate axis serving as a reference for moving the viewpoint position VL from the vertical axis (Z axis) of the orthogonal coordinate system cc to the vehicle longitudinal axis (Y axis). .
  • FIG. 28 and 29 a method of moving the viewpoint position VL in the left-right direction (horizontal direction) when viewing the display from the user in the top view display will be described with reference to FIGS. 28 and 29.
  • FIG. The movement of the viewpoint position VL described below is performed in response to a flick operation in the horizontal direction (horizontal direction) on the touch panel by the user in the top view display.
  • FIG. 28 is a view of the vehicle 2 viewed from the vertically upward direction (+ Z side), and shows a path along which the reference position VLt of the reference virtual viewpoint VPat moves.
  • the reference position VLt moves on the movement route OBth around the movement center point RCt.
  • the movement of the reference position VLt is based on the orthogonal coordinate system cc that is relatively fixed to the virtual viewpoint VP with the position of the movement center point RCt as the origin.
  • the coordinate axis that serves as a reference for movement of the reference position VLt is the Y axis (AXth) of the orthogonal coordinate system cc at the position of the movement center point RCt, that is, the axis along the front-rear direction of the vehicle 2.
  • FIG. 29 is a view of the vehicle 2 as viewed from the rear side ( ⁇ Y side) in the horizontal direction, and shows a path along which the reference position VLt of the reference virtual viewpoint VPat moves, as in FIG.
  • the reference position VLt moves on the movement route OBth around the movement center point RCt.
  • the movement path OBth is circular when viewed from the rear side in the horizontal direction ( ⁇ Y side).
  • the coordinate axis that serves as a reference for the movement of the reference position VLt is the Y axis of the orthogonal coordinate system cc at the position of the movement center point RCt.
  • the reference direction VDt is directed from the reference position VLt to the movement center point RCt no matter where the reference position VLt is located on the movement route OBth. Therefore, when the reference position VLt moves on the movement path OBth, the user looking at the display 83 seems to move the image in the left-right direction (horizontal direction).
  • the reference coordinate axis for the movement of the reference position VLt is the Y axis of the Cartesian coordinate system cc at the position of the movement center point RCt. it can.
  • the travel route OBth is not set below the ground contact surface GR of the vehicle 2. Therefore, the reference position VLt moves on the movement route OBth indicated by the broken line, and the movement route OBtx indicated by the solid line does not move.
  • the reference position VLt moves counterclockwise on the movement route OBth.
  • the reference position VLt moves clockwise on the movement route OBth.
  • the upper diagram in FIG. 30 is an example in which the composite image CPt1 is displayed on the display 83.
  • the composite image CPt1 is an image in which the reference virtual viewpoint VPat is set to the virtual viewpoint VP and the vehicle 2 is viewed from the reference virtual viewpoint VPat. That is, the composite image CPt1 is a composite image when the virtual viewpoint is the top view.
  • the composite image CPt4 is an image when the coordinate axis for moving the viewpoint position VL after the display of the composite image CPt1 is converted from the vertical axis (Z axis) of the orthogonal coordinate system cc to the vehicle longitudinal axis (Y axis), that is, FIG.
  • This is an image in which the reference virtual viewpoint VPat is set by moving counterclockwise on OBth and the vehicle 2 is viewed from the set reference virtual viewpoint VPat.
  • the composite image CPt4 displays the vehicle body image 10 in addition to the surrounding image of the vehicle 2 including the side surface of the vehicle 2.
  • the composite image CPt4 is displayed when a flick operation FH is performed from left to right (horizontal direction) on the touch panel 83a in a state where the composite image CPt1 is displayed.
  • the user can confirm in detail the left and right regions of the vehicle 2 including the side surface of the vehicle 2 by referring to the composite image CPt4.
  • FIG. 31 shows a procedure of processes executed by the image acquisition device 3, the security device 5, and the mobile terminal 8.
  • the difference from the processing procedure according to the first embodiment shown in FIG. 25 is that the processing of step S209 is provided.
  • the image generation unit 81b sets the position of the virtual viewpoint and the direction of the virtual visual field for generating the peripheral image. (Step S204).
  • the image generation unit 81b sets the position of the virtual viewpoint to be directly above the vehicle 2 and the direction of the virtual visual field to be downward (top view).
  • the coordinate axis conversion unit 81f sets a reference axis for moving the viewpoint position VL as the vehicle longitudinal axis (Y axis).
  • step S205 determines whether or not an operation for changing the virtual viewpoint to the reference viewpoint has been performed (step S208).
  • the operation detection unit 81d determines whether any touch panel button indicating the reference viewpoint is touched by the user.
  • step S208 When the operation detection unit 81d determines that an operation to change the virtual viewpoint to the reference viewpoint has been performed (Yes in step S208), the image generation unit 81b executes a coordinate axis setting process (step S209).
  • FIG. 32 shows details of the coordinate axis setting process (step S209).
  • the operation detection unit 81d determines whether or not the virtual viewpoint has been changed to the viewpoint of the top view (step S401).
  • the coordinate axis conversion unit 81f sets the coordinate axis serving as a reference for moving the viewpoint position VL as the vehicle longitudinal axis (Y axis). Setting is made (step S402).
  • the coordinate axis conversion unit 81f sets the coordinate axis serving as a reference for moving the viewpoint position VL to the vertical axis (Z axis). Set (step S403).
  • step S402 or step S403 When step S402 or step S403 is executed, the processing returns to FIG. 31, and the processing after step S204 is executed again.
  • the movement of the viewpoint position VL is based on the axis (Y axis) that is the front and rear of the vehicle 2 in the orthogonal coordinate system cc. .
  • the left and right areas of the vehicle 2 including the side surfaces of the vehicle 2 are displayed. Therefore, the user can confirm the left and right areas of the vehicle 2 in detail.
  • the image acquisition device 3 starts shooting when receiving a request for image transmission from the user.
  • the image acquisition device 3 may start photographing before receiving a request for image transmission from the user, that is, when the monitoring sensor 5a is activated.
  • the user can refer to the situation around the vehicle 2 from when the abnormality of the vehicle 2 occurs such that the monitoring sensor 5a operates.
  • FIG. 33 shows an outline of the image display system 1a in which the image acquisition device 3 starts photographing when the monitoring sensor 5a is activated.
  • the security device 5 transmits a signal requesting the image acquisition device 3 to start photographing.
  • the image acquisition device 3 operates the camera 4 to start photographing. That is, the image acquisition device 3 does not wait for an image transmission request from the user, and starts shooting when an abnormality occurs in the vehicle 2.
  • the image acquisition device 3 transmits the image data to the server SV installed outside. Thereby, image data is preserve
  • FIG. 33 shows an outline of the image display system 1a in which the image acquisition device 3 starts photographing when the monitoring sensor 5a is activated.
  • the user when the user receives an email notifying the occurrence of an abnormality in the vehicle 2 from the security device 5, the user makes a request for image transmission to the server SV.
  • the server SV receives the request for image transmission, the server SV transmits image data from when the abnormality of the vehicle 2 occurs to the portable terminal 8 possessed by the user.
  • the user can refer to the situation around the vehicle 2 when the monitoring sensor 5a is operated, that is, when the abnormality of the vehicle 2 occurs.
  • the server SV is a dedicated server that transmits and receives image data, there is no possibility that the image data is intercepted by others, and the confidentiality of the image data can be improved.
  • the user can request the server SV to transmit the current image data when he / she wants to confirm the current situation around the vehicle 2.
  • the server SV omits transmission of the image data from the time of occurrence of the abnormality to the present, and transmits the current image data.
  • the image acquisition device 3, the camera 4, the security device 5, and the alarm device 6 are mounted on the vehicle 2.
  • these devices may be installed on land, buildings, and articles to be monitored such as houses and buildings.
  • the user performs an input operation through the touch panel.
  • the input operation by the user can be determined, the user may perform the input operation through a push button type switch such as a cross key.
  • the image acquisition device 3 and the mobile terminal 8 are separate devices. However, the image acquisition device 3 and the mobile terminal 8 may be configured as an integrated device.
  • each function in the image display system 1 is realized as software according to a program.
  • each function in the image display system 1 may be realized as an electrical hardware circuit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

　複数のカメラで撮影された被写体の複数の画像が取得される。当該複数の画像が合成され、当該被写体を仮想視点から見た合成画像が生成される。当該合成画像は、画面（８３）に表示される。当該仮想視点の位置を変更するユーザ操作が検出されると、合成画像における仮想視点の位置が変更される。

Description

画像表示装置、画像表示システム、画像表示方法、及び、プログラム
　本発明は、車両周辺を示す画像を表示する技術に関する。
　自動車等の車両周辺を撮影した画像を合成し、仮想的な視点から車両周辺を見た様子を表示する技術が知られている。このような技術により、ユーザ（代表的には運転者）は、車両内に居ながらにして車両周辺の状況を確認できる。
　また、このような画像をユーザの携帯する携帯端末に送信する技術が提案されている（例えば、特許文献１を参照）。ユーザは、このような画像を視認することで、車両から遠隔に所在しても、車両の状態や盗難の恐れを把握できる。
日本国特許出願公開２０１２－１２１３８４号公報
　しかしながら、提案された技術においては、車両周辺を見る視点が限定されているため、必ずしもユーザの希望する角度から周辺画像を視認できない場合がある。このため、例えば車両付近に不審者が接近している画像を携帯端末上で確認しても、不審者がどのような人物であるか、どのような行動をしているかは明確に判明せず、却ってユーザの不安を助長する場合がある。
　したがって、本発明は、仮想的な視点から車両周辺を示す画像を表示する場合において、ユーザが希望する視点に仮想視点を変更できるようにすることを目的とする。
　上記の目的を達成するために、本発明がとりうる第１の態様は、画像表示装置であって、
　複数のカメラで被写体をそれぞれ撮影した複数の画像を取得する取得部と、
　前記複数の画像を合成し、前記被写体を仮想視点から見た合成画像を生成する生成部と、
　前記合成画像を画面に表示させる表示制御部と、
　前記画面に表示された合成画像の前記仮想視点の位置を変更させるユーザ操作を検出する検出部と、
を備えており、
　前記生成部は、前記ユーザ操作に基づいて、前記合成画像の仮想視点の位置を変更する。
　このような構成によれば、ユーザの操作に基づいて合成画像の仮想視点の位置を変更するので、ユーザの望む視点から容易に被写体を表示できる。
　前記画像表示装置において、前記合成画像は、前記仮想視点の位置によらず、前記被写体における特定の位置に設定された基準点を当該仮想視点の位置から見た画像である構成とされうる。
　このような構成によれば、ユーザ自身が被写体を見ながら移動しているかのような合成画像を提供できる。
　前記画像表示装置において、前記複数のカメラは、車両に設置されうる。この場合、前記生成部は、前記車両について前記基準点を原点とするワールド座標系、および前記仮想視点について前記基準点を原点とする視点座標系に基づき、前記仮想視点の位置を変更する構成とされうる。
　このような構成によれば、様々な方向および位置から被写体を表示できる。
　前記画像表示装置は、前記基準点の位置をユーザにより設定可能な構成とされうる。
　このような構成によれば、ユーザの希望する角度で被写体を表示できる。
　前記画像表示装置において、前記生成部は、前記ユーザ操作が前記画面における水平方向を示す操作である場合、前記ワールド座標系における鉛直方向の軸を中心として、前記仮想視点の位置を変更する構成とされうる。
　このような構成によれば、ワールド座標系における鉛直方向の軸を中心として、簡易な操作で、仮想視点の位置を変更できる。
　前記画像表示装置において、前記生成部は、前記ユーザ操作が前記画面における垂直方向を示す操作である場合、前記視点座標系における水平方向の軸を中心として、前記仮想視点の位置を変更する構成とされうる。
　このような構成によれば、視点座標系における水平方向の軸を中心として、簡易な操作で、仮想視点の位置を変更できる。
　前記画像表示装置において、前記生成部は、前記視点座標系における水平方向の軸を中心に前記仮想視点の位置を変更する場合は、前記被写体の接地面よりも上側の範囲で前記仮想視点の位置を変更する構成とされうる。
　このような構成によれば、適切な視点位置を設定できる。
　前記画像表示装置において、前記複数のカメラは、車両に設置されうる。この場合、前記車両の直上に位置する前記仮想視点から前記基準点を見ている場合に前記画面における水平方向を示すユーザ操作がなされると、前記生成部は、前記車両の前後方向に沿った軸を中心として、前記仮想視点の位置を変更する構成とされうる。
　このような構成によれば、車両の直上から側面へ仮想視点の位置を変更するので、違和感なく視野角度を変化させつつ被写体を表示できる。
　上記の目的を達成するために、本発明がとりうる第２の態様は、画像表示システムであって、
　画像取得装置と、
　前記画像取得装置と通信可能な画像表示装置と、
を備えており、
　前記画像取得装置は、
　　複数のカメラで被写体をそれぞれ撮影した複数の画像を取得する取得部と、
　　前記複数の画像を送信するよう要求する要求信号を、前記画像表示装置から受信する要求受信部と、
　　前記要求信号に基づき、前記複数の画像を前記画像表示装置へ送信する画像送信部と、
を備えており、
　前記画像表示装置は、
　　前記複数の画像を送信するよう要求する前記要求信号を、前記画像取得装置へ送信する要求送信部と、
　　前記複数の画像を前記画像取得装置から受信する画像受信部と、
　　前記複数の画像を合成し、仮想視点から前記被写体を見た合成画像を生成する生成部と、
　　前記合成画像を画面に表示させる表示制御部と、
　　前記画面に表示された合成画像の前記仮想視点の位置を変更させるユーザ操作を検出する検出部と、
を備えており、
　　前記生成部は、前記ユーザ操作に基づき、前記合成画像の仮想視点を変更する。
　このような構成によれば、ユーザの操作に基づいて合成画像の仮想視点の位置を変更するので、ユーザの望む視点から容易に被写体を表示できる。
　前記画像表示システムにおいて、前記画像取得装置は、車両に設置されうる。この場合、前記被写体は前記車両の周辺の様子でありうる。また、前記画像表示システムは、前記車両の盗難に繋がる事前現象を検出するセキュリティ装置を備えうる。前記セキュリティ装置は、前記事前現象を検出する監視部と、前記事前現象を検出した旨を前記画像表示装置へ通知する通知部と、を備えうる。
　このような構成によれば、画像表示装置のユーザは、車両から遠隔に所在しても、車両の盗難に繋がる事前現象が発生したことを認識でき、速やかに車両周辺の様子を画面で確認できる。
　上記の目的を達成するために、本発明がとりうる第３の態様は、画像表示方法であって、
　（ａ）複数のカメラで被写体をそれぞれ撮影した複数の画像を取得するステップと、
　（ｂ）前記複数の画像を合成し、前記被写体を仮想視点から見た合成画像を生成するステップと、
　（ｃ）前記合成画像を画面に表示させるステップと、
　（ｄ）前記画面に表示された合成画像の前記仮想視点の位置を変更させるユーザ操作を検出するステップと、
を備えており、
　前記ステップ（ｂ）においては、前記ユーザ操作に基づき、前記合成画像の仮想視点の位置を変更する。
　このような構成によれば、ユーザの操作に基づいて合成画像の仮想視点の位置を変更するので、ユーザの望む視点から容易に被写体を表示できる。
　上記の目的を達成するために、本発明がとりうる第４の態様は、画像を表示する画像表示装置に含まれるコンピュータによって実行可能なプログラムであって、
　前記コンピュータに、
　　（ａ）複数のカメラで被写体をそれぞれ撮影した複数の画像を取得するステップと、
　　（ｂ）前記複数の画像を合成し、前記被写体を仮想視点から見た合成画像を生成するステップと、
　　（ｃ）前記合成画像を画面に表示させるステップと、
　　（ｄ）前記画面に表示された合成画像の前記仮想視点の位置を変更させるユーザ操作を検出するステップと、
を実行させ、
　　前記ステップ（ｂ）においては、前記ユーザ操作に基づき、前記合成画像の仮想視点の位置を変更する。
　このような構成によれば、ユーザの操作に基づいて合成画像の仮想視点の位置を変更するので、ユーザの望む視点から容易に被写体を表示できる。
図１は、第１の実施形態に係る画像表示システムの概要を示す図である。 図２は、図１の画像表示システムが備える携帯端末を示す図である。 図３は、図１の画像表示システムの構成を示すブロック図である。 図４は、図１の画像表示システムが備えるカメラの配置を説明する図である。 図５は、図２の携帯端末の構成を示すブロック図である。 図６は、図１の画像表示システムにおいて周辺画像および合成画像を生成する手法を説明する図である。 図７は、図１の画像表示システムにおける仮想視点の位置を示す図である。 図８は、図１の画像表示システムにおける仮想視点の位置を示す図である。 図９は、図１の画像表示システムにおける仮想視点の動きを説明する図である。 図１０は、図１の画像表示システムにおける仮想視点の動きを説明する図である。 図１１は、図１の画像表示システムにおける仮想視点の動きを説明する図である。 図１２は、図１の画像表示システムにおける仮想視点の動きを説明する図である。 図１３は、図１の画像表示システムにおける表示画像を例示する図である。 図１４は、図１の画像表示システムにおける表示画像を例示する図である。 図１５は、図１の画像表示システムにおける表示画像を例示する図である。 図１６は、図１の画像表示システムにおける表示画像を例示する図である。 図１７は、図１の画像表示システムにおける表示画像を例示する図である。 図１８は、図１の画像表示システムにおける表示画像を例示する図である。 図１９は、図１の画像表示システムにおける表示画像を例示する図である。 図２０は、図１の画像表示システムにおける表示画像を例示する図である。 図２１は、図１の画像表示システムにおける表示画像を例示する図である。 図２２は、図１の画像表示システムにおける表示画像を例示する図である。 図２３は、図１の画像表示システムにおける表示画像を例示する図である。 図２４は、図１の画像表示システムにおける表示画像を例示する図である。 図２５は、図１の画像表示システムによる処理手順を示すフローチャートである。 図２６は、図１の画像表示システムによる処理手順を示すフローチャートである。 図２７は、第２の実施形態に係る画像表示システムにおける携帯端末の構成を示すブロック図である。 図２８は、図２７の画像表示システムにおける仮想視点の動きを説明する図である。 図２９は、図２７の画像表示システムにおける仮想視点の動きを説明する図である。 図３０は、図２７の画像表示システムにおける表示画像を例示する図である。 図３１は、図２７の画像表示システムによる処理手順を示すフローチャートである。 図３２は、図２７の画像表示システムによる処理手順を示すフローチャートである。 図３３は、画像表示システムの変形例を示す図である。
　以下、図面を参照しつつ本発明の実施形態について説明する。
　＜１．第１の実施形態＞
　　＜１－１．概要＞
　図１は、本発明の一実施形態に係る画像表示システム１の概要を示している。画像表示システム１は、車両２に搭載された画像取得装置３とカメラ４（４Ｆ、４Ｂ、４Ｌ、４Ｒ）を備えている。画像表示システム１は、画像取得装置３がカメラ４（４Ｆ、４Ｂ、４Ｌ、４Ｒ）から取得した車両２周辺の画像を、携帯端末８に表示させるシステムである。携帯端末８は、車両２から遠隔に所在するユーザにより所有されている。
　このようなシステムにおいて、車両２には、監視センサを備えたセキュリティ装置５が設置される。監視センサは、不審者ＳＩが車両２への異常に接近した場合や、車両２に対して物理的な危害を加えた場合に作動し、セキュリティ装置５は、監視センサが作動した旨をユーザに通知する。セキュリティ装置５から通知を受けたユーザは、画像取得装置３に画像の送信を要求し、携帯端末８に車両２周辺の画像を表示させる。この際、ユーザは、画像の表示される範囲を自在に変更し、所望する角度から車両２周辺の状況を参照する。
　図２は、車両２周辺の画像を表示させるディスプレイ８３を有する携帯端末８の例を示している。ユーザは、ディスプレイ８３のタッチパネル８３ａを操作することにより、画像の表示範囲を変え、危惧する個所を詳細に点検できる。ユーザは、車両２周辺の画像を参照し、必要に応じて遠隔から車両２のアラームを作動させたり、警備会社へ通報したりできる。このような画像表示システム１を用いることにより、ユーザは車両２から遠隔に所在した場合であっても、自らの所有する車両２を常時安全に維持できる。
　　＜１－２．構成＞
　次に、図３を参照しつつ、車両２に搭載されて画像表示システム１を構成する各装置について説明する。車両２は、画像取得装置３、カメラ４、セキュリティ装置５、および警報器６を備えている。
　画像取得装置３は、車両に設置されたカメラ４から画像データを受信し、受信した画像データを携帯端末８へ送信する電子制御装置である。画像取得装置３は、制御部３１、通信部３２、および記憶部３３を備えている。
　制御部３１は、ＣＰＵ、ＲＡＭ、およびＲＯＭを備えたマイクロコンピュータである。制御部３１は、画像取得装置３が備える他の構成と通信可能に接続され、装置全体の動作を制御する。制御部３１は、要求受信部３１ａ、カメラ制御部３１ｂ、画像取得部３１ｃ、画像送信部３１ｄ、および盗難防止部３１ｅを備えている。
　要求受信部３１ａは、携帯端末８を所持するユーザから、カメラ４の作動と撮影開始を要求する要求信号を受信する。
　カメラ制御部３１ｂは、要求受信部３１ａがユーザから撮影開始の要求信号を受信すると、カメラ４に作動信号を送信し、カメラ４に撮影を開始させる。
　画像取得部３１ｃは、カメラ４から送信される画像データを取得し、取得した画像データを、制御部３１で処理可能な形式に変換する。
　画像送信部３１ｄは、画像取得部３１ｃがカメラ４から取得した画像データを、通信部３２を介して携帯端末８へ送信する。
　盗難防止部３１ｅは、警報器６に作動信号を送信し、警報器６に警報を行なわせる。これにより、車両２が盗難されるのを防止する。なお、盗難防止部３１ｅは、警報器６に警報を行なわせると共に、エンジン制御装置（図示せず）を制御し、エンジンが作動しないようにしてもよい。また、盗難防止部３１ｅは、通信部３２を介して警備会社へ通報してもよい。要するに、盗難防止部３１ｅは、車両２に備わる機器を利用し、車両２の盗難が防止されるよう機能すればよい。
　通信部３２は、無線通信を利用した通信機能を備え、ネットワーク７を介して携帯端末８と情報通信を行なう。使用する情報通信技術の例としては、、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）やＬＴＥ（Long Term Evolution）等が挙げられる。
　記憶部３３は、データを記憶するメモリである。例えば、ＥＥＰＲＯＭ（Electrical Erasable Programmable Read-Only memory）や、フラッシュメモリ、磁気ディスクを備えたハードディスクドライブ等の不揮発性の記憶媒体である。また、記憶部３３は、プログラム３３ａを記憶している。
　プログラム３３ａは、制御部３１により読み出され、制御部３１が画像取得装置３を制御するために実行されるファームウェアである。
　次に、カメラ４を説明する。カメラ４は、フロントカメラ４Ｆ、リアカメラ４Ｂ、左サイドカメラ４Ｌ、および右サイドカメラ４Ｒを含んでいる。各カメラ（４Ｆ、４Ｂ、４Ｌ、４Ｒ）は、レンズと撮像素子とを備え、車両２の異なる位置に配置されている。
　図４は、カメラ４（４Ｆ、４Ｂ、４Ｌ、４Ｒ）が車両２に配置される位置と、各カメラの光軸が向けられる方向とを示している。フロントカメラ４Ｆは、車両２の前端部に設置され、その光軸４Ｆａが車両２の直進方向に向けられる。リアカメラ４Ｂは、車両２の後端部に設置され、その光軸４Ｂａが車両２の直進方向と反対の方向、すなわち後進方向に向けられる。左サイドカメラ４Ｌは、左側のサイドミラーＭＬに設置され、その光軸４Ｌａが車両２の左方向（直進方向に対する直交方向）に向けられる。また、右サイドカメラ４Ｒは、右側のサイドミラーＭＲに設置され、その光軸４Ｒａが車両２の右方向（直進方向に対する直交方向）に向けられる。
　各カメラ４Ｆ、４Ｂ、４Ｌ、４Ｒは、車両２周辺の異なる方向を撮影し、撮影画像を電子的に取得する。カメラ４の備えるレンズは、標準的なレンズよりも焦点距離が比較的短く、１８０度以上の画角θを有する。このため、４つのカメラ４を用いることで、車両２の全周囲を撮影できる。
　図３に示すように、セキュリティ装置５は、車両２や車両２内の物品に対する盗難に繋がる事前現象を検出し、盗難の恐れが発生した旨を車両２のユーザの所持する携帯端末８へ電子メールで通知する装置である。セキュリティ装置５は、監視センサ５ａおよびメール通知部５ｂを備えている。
　監視センサ５ａは、車両２や車両２内の物品に対する盗難に繋がる事前現象を検出するセンサである。例えば、車両２に発生した振動を検出する振動センサや、車両２のガラスの破壊を検出するガラス割れセンサ、ジャッキやクレーンによる車両２の傾きを検出する傾斜センサ、車両２内への侵入者を検出する侵入センサ等である。
　メール通知部５ｂは、監視センサ５ａが盗難に繋がる事前現象を検出すると、盗難の恐れが発生した旨をユーザへ通知する。具体的には、メール通知部５ｂは、盗難の恐れが発生した旨を内容とする電子メールを生成し、ユーザの携帯する携帯端末８へ電子メールを送信する。電子メールを利用した文字情報でなく、音声情報で通知してもよい。この場合、携帯端末８で音声情報を読み上げればよい。セキュリティ装置５が複数の監視センサを備える場合、メール通知部５ｂは、いずれの監視センサが盗難に繋がる事前現象を検出したのかを電子メールに含めることが好ましい。ユーザが車両２の状況を把握し易くするためである。
　警報器６は、周囲に音声を発し、警告を行なう装置である。警報器６は、例えば、車両２に搭載されたスピーカやホーンである。警報器６は、音声を発するもののほか、車両２に搭載された警告灯などの光を発するものでもよい。要するに、警報器６は、周囲に注意を喚起し、警告を行なうものであればよい。
　携帯端末８は、ユーザに携帯され、画像を表示する機能や情報ネットワークと接続する機能等を備える情報端末である。例えば、携帯端末８は、携帯電話やスマートフォンである。図５は、携帯端末８の構成を示している。携帯端末８は、制御部８１、通信部８２、ディスプレイ８３、および記憶部８４を備えている。
　制御部８１は、ＣＰＵ、ＲＡＭ、およびＲＯＭを備えたマイクロコンピュータである。制御部８１は、携帯端末８が備える他の構成と通信可能に接続され、携帯端末８全体の動作を制御する。制御部８１の備える各機能は後述する。
　通信部８２は、無線通信を利用した通信機能を備え、ネットワーク７を介して画像取得装置３およびセキュリティ装置５と情報通信を行なう。使用する無線通信技術の例としては、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）やＬＴＥ（Long Term Evolution）等が挙げられる。
　ディスプレイ８３は、文字や図形等の各種情報を表示し、ユーザに情報を視覚的に提示する。ディスプレイ８３は、例えば、液晶ディスプレイや、プラズマディスプレイ、有機ＥＬディスプレイ等の表示装置である。ディスプレイ８３は、タッチパネル８３ａを備えている。
　タッチパネル８３ａは、ディスプレイ８３に表示されたボタン領域へのユーザの接触を感知し、感知した位置情報を制御部８１へ送信する。
　記憶部８４は、データを記憶するメモリである。記憶部８４は、例えば、ＥＥＰＲＯＭ（Electrical Erasable Programmable Read-Only memory）や、フラッシュメモリ、磁気ディスクを備えたハードディスクドライブ等の不揮発性の記憶媒体である。記憶部８４は、車体画像データ８４ａおよびプログラム８４ｂを記憶している。
　車体画像データ８４ａは、車両２の外観を示す画像データである。車体画像データ８４ａは、車両２を外部のあらゆる角度から見た場合の画像データを含んでいる。なお、車体画像データ８４ａは、予め携帯端末８に記憶せず、画像取得装置３を車両２に取り付けた後、ネットワーク７を介して外部サーバから取得してもよい。この場合、画像取得装置３を取り付けた車両２の外観に合致する車体画像データ８４ａを取得できる。ユーザは、携帯端末８から外部サーバへ車両２の車種名等を送信し、車体画像データ８４ａを要求すればよい。
　プログラム８４ｂは、制御部８１により読み出され、制御部８１が携帯端末８を制御するために実行されるファームウェアである。
　前述の制御部８１が備える各機能を説明する。制御部８１は、画像取得部８１ａ、画像生成部８１ｂ、表示制御部８１ｃ、および操作検出部８１ｄを備えている。
　画像取得部８１ａは、画像取得装置３から送信される画像データを取得し、取得した画像データを制御部８１で処理可能な形式に変換する。すなわち、画像取得部８１ａは、複数のカメラ４で被写体をそれぞれ撮影した複数の画像を取得する。
　画像生成部８１ｂは、カメラ４で取得された複数の撮影画像を合成し、仮想視点から見た車両２周辺の様子を示す周辺画像を生成する。仮想視点は、車両２外部の位置から車両２を俯瞰する視点である。また、画像生成部８１ｂは、仮想視点から見た車両２を示す車体画像を周辺画像に重畳する。画像生成部８１ｂによる周辺画像の生成手法および仮想視点の設定手法は後述する。
　表示制御部８１ｃは、画像や文字等のデータをディスプレイ８３に表示する。また、表示制御部８１ｃは、タッチパネル８３ａに入力されるタッチ位置に基づき、ディスプレイ８３に表示する画像等を変化させる。
　操作検出部８１ｄは、ユーザのタッチパネル８３ａに対する操作を検出する。具体的には、操作検出部８１ｄは、タッチパネル８３ａから送信されるタッチ位置情報により、ユーザの指先がタッチパネル８３ａに接触後、タッチパネル８３ａ上のどの方向へ移動しているかを検出する。
　ユーザのタッチパネル８３ａに対する操作の例としては、指先をタッチパネル８３ａに接触させたままスライドさせる、いわゆるフリック操作、２本の指先をタッチパネル８３ａに接触させたまま指先と指先の間隔を縮める、いわゆるピンチイン操作、２本の指先をタッチパネル８３ａに接触させたまま指先と指先の間隔を広げる、いわゆるピンチアウト操作が挙げられる。
　通知部８１ｅは、通信部８２を介して携帯端末８の外部の装置へ所定の信号を送信する。通知部８１ｅが送信する信号の例としては、画像取得装置に対して画像データの送信を要求する信号等が挙げられる。
　　＜１－３．周辺画像および合成画像の生成＞
　次に、画像生成部８１ｂが、車両２の周辺領域を示す周辺画像ＡＰ、および周辺画像ＡＰに車体画像１０を重畳した合成画像ＣＰを生成する手法を説明する。図６は、画像生成部８１ｂが周辺画像ＡＰを生成する手法を示している。
　まず、フロントカメラ４Ｆ、リアカメラ４Ｂ、左サイドカメラ４Ｌ、および右サイドカメラ４Ｒの各々が車両２周辺を撮影すると、車両２の前方、後方、左側方、および右側方を各々示す４つの画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）が取得される。これら４つの画像は、車両２の全周囲を示す画像データを含んでいる。
　画像生成部８１ｂは、これら４つの画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）に含まれるデータ（各画素の値）を、仮想的な三次元空間における立体曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば、略半球状（お椀形状）である。この投影面ＴＳの中心部（お椀の底部分）は、車両２の存在位置である。また、投影面ＴＳの中心部以外の部分は、画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）のいずれかと対応付けられる。
　画像生成部８１ｂは、投影面ＴＳの中心部以外の部分に、周辺画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）を投影する。画像生成部８１ｂは、投影面ＴＳにおける車両２前方に相当する領域にフロントカメラ４Ｆの画像ＡＰ（Ｆ）を投影し、車両２後方に相当する領域にリアカメラ４Ｂの画像ＡＰ（Ｂ）を投影する。さらに、画像生成部８１ｂは、投影面ＴＳにおける車両２左側方に相当する領域に左サイドカメラ４Ｌの画像ＡＰ（Ｌ）を投影し、車両２右側方に相当する領域に右サイドカメラ４Ｒの画像ＡＰ（Ｒ）を投影する。これにより、車両２全周囲の領域を示す周辺画像ＡＰが生成される。
　次に、画像生成部８１ｂは、この三次元空間における任意の視点位置から任意の視線方向を向く仮想視点ＶＰを設定する。そして、投影面ＴＳのうち、設定した仮想視点ＶＰから見た視野角に含まれる領域に投影された画像データを切り出す。切り出した画像データにより、仮想視点ＶＰから見た車両２周辺の領域を示す周辺画像ＡＰが生成される。
　画像生成部８１ｂは、記憶部８４から車体画像データを読み出し、仮想視点ＶＰから見た車両２の車体画像１０を生成する。そして、仮想視点ＶＰから見た車両２周辺の領域を示す周辺画像ＡＰに車体画像１０を合成し、合成画像ＣＰを生成する。
　画像生成部８１ｂは、視点位置を車両２の直上、視線方向を直下とした仮想視点ＶＰｔを設定した場合、周辺画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）および車体画像１０を用いて、車両２および車両２の周辺領域を俯瞰する合成画像ＣＰｔを生成する。合成画像ＣＰｔは、車両２を直上から見下ろしたような画像であり、車両２周囲の領域を示している。
　また、画像生成部８１ｂは、視点位置を車両２の前方上方、視線方向を車両２の後方下向きとした仮想視点ＶＰｂを設定した場合、周辺画像ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）および車体画像１０を用いて、車両２および車両２の周辺領域を俯瞰する合成画像ＣＰｂを生成する。合成画像ＣＰｂは、車両２を前方上方から後方を見下ろしたような画像であり、車両２後方の領域を示している。
　また、画像生成部８１ｂは、視点位置を車両２の左斜め後方かつ上方、視線方向を車両２の前方下向きとした仮想視点ＶＰｌを設定した場合、周辺画像ＡＰ（Ｆ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）および車体画像１０を用いて、車両２および車両２の周辺領域を俯瞰する合成画像ＣＰｌを生成する。合成画像ＣＰｌは、車両２を左斜め後方かつ上方から前方を見下ろしたような画像であり、車両２左側の領域を示している。
　　＜１－４．仮想視点の設定＞
　次に、画像生成部８１ｂが、仮想視点ＶＰを設定する手法を詳細に説明する。図７から図１２は、画像生成部８１ｂが、仮想視点ＶＰを設定する手法を示している。なお、各図において、３次元のＸＹＺ直交座標系ｃｃを用い、方向および向きを適宜示している。直交座標系ｃｃの各座標軸は、車両２に対して相対的に固定されている。すなわち、車両２の左右方向がＸ軸方向、車両２の前後方向がＹ軸方向、鉛直方向がＺ軸方向とされる。また、車両２の右方側が＋Ｘ側、車両２の前方側が＋Ｙ側、鉛直上側が＋Ｚ側とされる。したがって、車両２の左方側が－Ｘ側、は車両２の後方側が－Ｙ側、鉛直下側が－Ｚ側とされる。
　図７は、車両２を鉛直上方向（＋Ｚ側）から見た図であり、仮想視点ＶＰのうち基準となる５つの基準仮想視点ＶＰａ（ＶＰａｔ、ＶＰａｆ、ＶＰａｂ、ＶＰａｌ、ＶＰａｒ）を示している。
　５つの基準仮想視点ＶＰａは各々、５つの基準位置（ＶＬｔ、ＶＬｆ、ＶＬｂ、ＶＬｌ、ＶＬｒ）、５つの移動中心点ＲＣ（ＲＣｔ、ＲＣｆ、ＲＣｂ、ＲＣｌ、ＲＣｒ）、および５つの基準方向（ＶＤｔ、ＶＤｆ、ＶＤｂ、ＶＤｔｌ、ＶＤｒ）を含んでいる。
　基準位置ＶＬｔは、車両２の直上に位置する。基準位置ＶＬｆは、車両２の直上のやや前方（＋Ｙ側）に位置する。基準位置ＶＬｂは、車両２の直上のやや後方（－Ｙ側）に位置する。基準位置ＶＬｌは、車両２の左斜め後方（－Ｙ側かつ－Ｘ側）に位置する。基準位置ＶＬｒは、車両２の右斜め後方（＋Ｘ側かつ－Ｙ側）に位置する。各基準位置ＶＬの高さ（＋Ｚ側）は、車両２の接する接地面ＧＲから同一の高さである。例えば、車高の２倍の高さである。
　図８は、車両２を水平方向右側（＋Ｘ側）から見た図であり、移動中心点ＲＣおよび基準方向ＶＤを説明する図である。移動中心点ＲＣは、仮想視点ＶＰが移動する際の中心となる基準点である。したがって、仮想視点ＶＰの視点位置が移動しても、視線方向は常に移動中心点ＲＣを向く。このような構成によれば、ユーザ自身が被写体を見ながら移動しているかのような合成画像を提供できる。移動中心点ＲＣを用いた仮想視点ＶＰ視点位置を移動させる手法は後述する。
　移動中心点ＲＣｔは、車両２の特定位置に設定された特定点である。移動中心点ＲＣｔは、車両２の中心に位置する。移動中心点ＲＣｆは、車両２の左右中心、かつ車両２の前端やや前方（＋Ｙ側）に位置する。移動中心点ＲＣｂは、車両２の左右中心、かつ車両２の後端やや後方（－Ｙ側）に位置する。移動中心点ＲＣｌは、車両２の前後中心、かつ車両２のやや左外側（－Ｘ側）に位置する。移動中心点ＲＣｒは、車両２の前後中心、かつ車両２のやや右外側（＋Ｘ側）に位置する。各移動中心点ＲＣの高さ（＋Ｚ側）は、車両２に着座したユーザの目線の高さｈである。
　基準方向ＶＤｔは、基準位置ＶＬｔから移動中心点ＲＣｔの方向（－Ｚ側）を向く。基準方向ＶＤｆは、基準位置ＶＬｆから移動中心点ＲＣｆの方向（－Ｚ側かつ＋Ｙ側）を向く。基準方向ＶＤｂは、基準位置ＶＬｂから移動中心点ＲＣｂの方向（－Ｚ側かつ－Ｙ側）を向く。基準方向ＶＤｌは、基準位置ＶＬｌから移動中心点ＲＣｌの方向（－Ｚ側かつ＋Ｙ側）を向く。基準方向ＶＤｒは、基準位置ＶＬｒから移動中心点ＲＣｒの方向（－Ｚ側かつ＋Ｙ側）を向く。
　このように、仮想視点ＶＰは、視点位置ＶＬから移動中心点ＲＣを見た視点である。また、基準仮想視点ＶＰａｔは、車両２を直上から俯瞰する視点（トップビュー）である。基準仮想視点ＶＰａｆは、車両２を前方かつ上方から車両２前方を見る視点である（フロントビュー）。基準仮想視点ＶＰａｂは、車両２を後方かつ上方から車両２後方を見る視点（バックビュー）である。基準仮想視点ＶＰａｌは、車両２を左斜め後方かつ上方から車両２の左側領域を見る視点（左サイドビュー）である。基準仮想視点ＶＰａｒは、車両２を右斜め後方かつ上方から車両２の右側領域を見る視点（右サイドビュー）である。
　このような基準仮想視点ＶＰａは、ユーザにより選択される。ユーザによる選択は、各基準仮想視点ＶＰａと対応付けられたタッチパネルボタンへのタッチ操作により選択される。すなわち、合成画像ＣＰがディスプレイに表示されている際、ユーザによりいずれかの基準仮想視点ＶＰａが選択されると、画像生成部８１ｂは、かかる基準仮想視点ＶＰａから見た合成画像を生成する。これにより、仮想視点の位置を様々に変化させた後で基準仮想視点ＶＰａに仮想視点を戻せなくなった場合でも、ユーザは、タッチパネルボタンへのタッチ操作により容易に仮想視点を基準仮想視点ＶＰａに設定できる。
　なお、ユーザの視点選択前の画像表示初期においては、基準仮想視点ＶＰａのうちいずれかの視点が予め設定される。この際、車両２を直上から俯瞰する基準仮想視点ＶＰａｔで合成画像ＣＰを生成することが好ましい。車両２周辺の広い領域をユーザに提示でき、初期表示として好適だからである。
　次に、移動中心点ＲＣを用いた視点位置ＶＬを移動させる手法について説明する。まず、ユーザからディスプレイを見て左右方向（水平方向）に視点位置ＶＬを移動させる手法について、図９および図１０を参照して説明する。以下で説明する視点位置ＶＬの移動は、ユーザによるタッチパネルへの左右方向（水平方向）のフリック操作に対応して行なわれる。
　図９は、車両２を鉛直上方向（＋Ｚ側）から見た図であり、基準仮想視点ＶＰａｌの基準位置ＶＬｌが移動する経路を示している。基準位置ＶＬｌは、移動中心点ＲＣｌを中心に移動経路ＯＢｌｈを移動する。視点位置ＶＬの移動は、移動中心点ＲＣｌの位置を原点とする車両２に相対的に固定される直交座標系ｃｃ（ワールド座標系）を基準とする。基準位置ＶＬｌの移動する基準となる座標軸は、移動中心点ＲＣｌの位置における直交座標系ｃｃのＺ軸である。
　図１０は、車両２を水平方向右側（＋Ｘ側）から見た図であり、図９と同様に基準仮想視点ＶＰａｌの基準位置ＶＬｌが移動する経路を示している。基準位置ＶＬｌは、移動中心点ＲＣｌを中心に移動経路ＯＢｌｈを移動する。基準位置ＶＬｌの移動する基準となる座標軸は、移動中心点ＲＣの位置における直交座標系ｃｃのＺ軸（ＡＸｌ）である。
　図９および図１０において、基準方向ＶＤｌは、基準位置ＶＬｌが移動経路ＯＢｌｈのどこに位置しても、基準位置ＶＬｌから移動中心点ＲＣｌの方向を向く。したがって、基準位置ＶＬｌが移動経路ＯＢｌｈ上を移動すると、ディスプレイ８３を見ているユーザは、画像が横方向に移動しているように見える。
　また、ユーザがタッチパネル８３ａに対し、左方向から右方向へ（水平方向）のフリック操作を行なった場合、基準位置ＶＬｌは、移動経路ＯＢｌｈ上を反時計回りに移動する。一方、ユーザがタッチパネル８３ａに対し、右方向から左方向へ（水平方向）のフリック操作を行なった場合、基準位置ＶＬｌは、移動経路ＯＢｌｈ上を時計回りに移動する。これにより、ユーザのフリック操作の方向と画像の移動する方向とが一致し、ユーザは直感的にタッチパネル操作を行なうことができる。
　次に、ユーザからディスプレイを見て上下方向（垂直方向）に視点位置ＶＬを移動させる手法について、図１１および図１２を参照して説明する。以下で説明する視点位置ＶＬの移動は、ユーザによるタッチパネルへの上下方向（垂直方向）のフリック操作に対応して行なわれる。
　なお、図１１および図１２においては、３次元のＸＹＺ直交座標系ｃｃに加えて３次元のＸＹＺ直交座標系ＶＰｃｃ（視点座標系）をさらに用い、方向および向きを適宜示している。直交座標系ＶＰｃｃの各座標軸は、仮想視点ＶＰに対して相対的に固定されている。すなわち、仮想視点ＶＰの左右方向がＸ軸（ＶＰｘ）方向、仮想視点ＶＰの前後方向がＹ軸（ＶＰｙ）方向、仮想視点ＶＰの垂直方向がＺ軸（ＶＰｚ）方向とされる。また、仮想視点ＶＰの右方側が＋Ｘ側、仮想視点ＶＰの前方側が＋Ｙ側、仮想視点ＶＰの垂直上側が＋Ｚ側とされる。したがって、仮想視点ＶＰの左方側が－Ｘ側、仮想視点ＶＰの後方側が－Ｙ側、垂直下側が－Ｚ側とされる。
　図１１は、車両２を鉛直上方向（＋Ｚ側）から見た図であり、基準仮想視点ＶＰａｌの基準位置ＶＬｌが移動する経路を示している。基準位置ＶＬｌは、移動中心点ＲＣｌを中心に移動経路ＯＢｌｖを移動する。視点位置ＶＬの移動は、移動中心点ＲＣｌの位置を原点とする仮想視点ＶＰに相対的に固定される直交座標系ＶＰｃｃを基準とする。基準位置ＶＬｌの移動する基準となる座標軸は、移動中心点ＲＣｌの位置における直交座標系ＶＰｃｃのＸ軸（ＡＸｌｖ）である。
　図１２は、車両２を水平方向左側（－Ｘ側）から見た図であり、図１１と同様に基準仮想視点ＶＰａｌの基準位置ＶＬｌが移動する経路を示している。基準位置ＶＬｌは、移動中心点ＲＣｌを中心に移動経路ＯＢｌｖを移動する。基準位置ＶＬｌの移動する基準となる座標軸は、移動中心点ＲＣの位置における直交座標系ｃｃのＸ軸である。
　図１１および図１２において、基準方向ＶＤｌは、基準位置ＶＬｌが移動経路ＯＢｌｖのどこに位置しても、基準位置ＶＬｌから移動中心点ＲＣｌの方向を向く。したがって、基準位置ＶＬｌが移動経路ＯＢｌｖ上を移動すると、ディスプレイ８３を見ているユーザは、画像が上下方向に移動しているように見える。
　なお、移動経路ＯＢｌｖは、車両２の接地面ＧＲより上側に設定される。したがって、基準位置ＶＬｌは、破線で示した移動経路ＯＢｌｖを移動し、実線で示した移動経路ＯＢｌｘは移動しない。これにより、車両２を接地面下から見るという、通常起こり得ない視点位置からの画像表示を防止できる。ユーザは違和感なく視点位置を移動できる。
　また、ユーザがタッチパネル８３ａに対し、上方向から下方向へ（垂直方向）のフリック操作を行なった場合、基準位置ＶＬｌは、移動経路ＯＢｌｖ上を時計回りに移動する。一方、ユーザがタッチパネル８３ａに対し、下方向から上方向へ（垂直方向）のフリック操作を行なった場合、基準位置ＶＬｌは、移動経路ＯＢｌｖ上を反時計回りに移動する。これにより、ユーザのフリック操作の方向と画像の移動する方向とが一致し、ユーザは直感的にタッチパネル操作を行なうことができる。
　　＜１－５．合成画像の表示例＞
　次に、ディスプレイ８３に表示される合成画像ＣＰの例について、図１３から図２４を参照して説明する。
　図１３は、合成画像ＣＰｔ１が、ディスプレイ８３に表示された例である。合成画像ＣＰｔ１は、仮想視点ＶＰに基準仮想視点ＶＰａｔが設定され、基準仮想視点ＶＰａｔから車両２を見た画像である。合成画像ＣＰｔ１は、車両２の周囲を示す周辺画像に加え車体画像１０を表示する。合成画像ＣＰｔ１は、ユーザが車両２の周囲を示すタッチパネルボタンＴＢ１３にタッチ操作した場合、および合成画像ＣＰの初期表示の場合に表示される。ユーザは、合成画像ＣＰｔ１を参照することで、車両２周囲の状況を一覧で確認できる。
　図１４は、合成画像ＣＰｔ２が、ディスプレイ８３に表示された例である。合成画像ＣＰｔ２は、合成画像ＣＰｔ１（図１３）の表示後に図９のＯＢｌｈ上を時計回りに移動させて基準仮想視点ＶＰａｔを設定し、設定された基準仮想視点ＶＰａｔから車両２を見た画像である。合成画像ＣＰｔ２は、ユーザからディスプレイ８３を見て左方向に回転して表示された車両２の周囲を示す周辺画像に加え、車体画像１０を表示する。合成画像ＣＰｔ２は、合成画像ＣＰｔ１（図１３）が表示された状態で、タッチパネル８３ａに対し、左方向から右方向へ（水平方向）フリック操作ＦＨが行われた場合に表示される。ユーザは、合成画像ＣＰｔ２を参照することで、車両２周囲の状況を合成画像ＣＰｔ１とは異なる角度から確認できる。
　図１５は、合成画像ＣＰｔ３が、ディスプレイ８３に表示された例である。合成画像ＣＰｔ３は、合成画像ＣＰｔ１（図１３）の表示後に図１２のＯＢｌｈ上を反時計回りに移動させて基準仮想視点ＶＰａｔを設定し、設定された基準仮想視点ＶＰａｔから車両２を見た画像である。合成画像ＣＰｔ３は、車両２の前端直下を含めて表示される。合成画像ＣＰｔ３は、合成画像ＣＰｔ１（図１３）が表示された状態で、タッチパネル８３ａに対し、上方向から下方向へ（垂直方向）フリック操作ＦＶが行われた場合に表示される。ユーザは、合成画像ＣＰｔ３を参照することで、車両２周囲の状況を、車両２の前端直下を含めて確認できる。
　図１６は、合成画像ＣＰｆ１が、ディスプレイ８３に表示された例である。合成画像ＣＰｆ１は、仮想視点ＶＰに基準仮想視点ＶＰａｆが設定され、基準仮想視点ＶＰａｆから車両２を見た画像である。合成画像ＣＰｆ１は、車両２の前方を示す周辺画像に加え、車体画像１０を表示する。合成画像ＣＰｆ１は、ユーザが車両２の前方を示すタッチパネルボタンＴＢ１６にタッチ操作した場合に表示される。ユーザは、合成画像ＣＰｆ１を参照することで、車両２の前方の状況を確認できる。
　図１７は、合成画像ＣＰｆ２が、ディスプレイ８３に表示された例である。合成画像ＣＰｆ２は、合成画像ＣＰｆ１（図１６）の表示後に図９のＯＢｌｈ上を時計回りに移動させて基準仮想視点ＶＰａｆを設定し、設定された基準仮想視点ＶＰａｆから車両２を見た画像である。合成画像ＣＰｆ２は、ユーザからディスプレイ８３を見て左方向に回転して表示された車両２の周囲を示す周辺画像に加え、車体画像１０を表示する。合成画像ＣＰｆ２は、合成画像ＣＰｆ１（図１６）が表示された状態で、タッチパネル８３ａに対し、左方向から右方向へ（水平方向）フリック操作ＦＨが行われた場合に表示される。ユーザは、合成画像ＣＰｆ２を参照することで、車両２前方の状況を合成画像ＣＰｆ１とは異なる角度から確認できる。
　図１８は、合成画像ＣＰｆ３が、ディスプレイ８３に表示された例である。合成画像ＣＰｆ３は、合成画像ＣＰｆ１（図１６）の表示後に図１２のＯＢｌｈ上を反時計回りに移動させて基準仮想視点ＶＰａｆを設定し、設定された基準仮想視点ＶＰａｆから車両２を見た画像である。合成画像ＣＰｆ３は、車両２の前方領域を合成画像ＣＰｆ１より詳細に表示する。合成画像ＣＰｔ３は、合成画像ＣＰｆ１（図１６）が表示された状態で、タッチパネル８３ａに対し、上方向から下方向へ（垂直方向）フリック操作ＦＶが行われた場合に表示される。ユーザは、合成画像ＣＰｔ３を参照することで、車両２前方の状況を詳細に確認できる。
　図１９は、合成画像ＣＰｂ１が、ディスプレイ８３に表示された例である。合成画像ＣＰｂ１は、仮想視点ＶＰに基準仮想視点ＶＰａｂが設定され、基準仮想視点ＶＰａｂから車両２を見た画像である。合成画像ＣＰｂ１は、車両２の後方を示す周辺画像に加え、車体画像１０を表示する。合成画像ＣＰｂ１は、ユーザが車両２の後方を示すタッチパネルボタンＴＢ１９にタッチ操作した場合に表示される。ユーザは、合成画像ＣＰｂ１を参照することで、車両２の後方の状況を確認できる。
　図２０は、合成画像ＣＰｂ２が、ディスプレイ８３に表示された例である。合成画像ＣＰｂ２は、合成画像ＣＰｂ１（図１９）の表示後に図９のＯＢｌｈ上を時計回りに移動させて基準仮想視点ＶＰａｂを設定し、設定された基準仮想視点ＶＰａｂから車両２を見た画像である。合成画像ＣＰｂ２は、ユーザからディスプレイ８３を見て左方向に移動して表示された車両２の後方を示す周辺画像に加え、車体画像１０を表示する。合成画像ＣＰｂ２は、合成画像ＣＰｂ１（図１９）が表示された状態で、タッチパネル８３ａに対し、左方向から右方向へ（水平方向）フリック操作ＦＨが行われた場合に表示される。ユーザは、合成画像ＣＰｂ２を参照することで、車両２後方の状況を合成画像ＣＰｂ１とは異なる角度から確認できる。
　図２１は、合成画像ＣＰｂ３が、ディスプレイ８３に表示された例である。合成画像ＣＰｂ３は、合成画像ＣＰｂ１（図１９）の表示後に図１２のＯＢｌｈ上を反時計回りに移動させて基準仮想視点ＶＰａｂを設定し、設定された基準仮想視点ＶＰａｂから車両２を見た画像である。合成画像ＣＰｂ３は、車両２の後方領域を合成画像ＣＰｂ１より詳細に表示する。合成画像ＣＰｂ３は、合成画像ＣＰｂ１（図１６）が表示された状態で、タッチパネル８３ａに対し、上方向から下方向へ（垂直方向）フリック操作ＦＶが行われた場合に表示される。ユーザは、合成画像ＣＰｂ３を参照することで、車両２の後方の状況を詳細に確認できる。
　図２２は、合成画像ＣＰｌ１が、ディスプレイ８３に表示された例である。合成画像ＣＰｌ１は、仮想視点ＶＰに基準仮想視点ＶＰａｌが設定され、基準仮想視点ＶＰａｌから車両２を見た画像である。合成画像ＣＰｌ１は、車両２の左方を示す周辺画像に加え、車体画像１０を表示する。合成画像ＣＰｌ１は、ユーザが車両２の左方を示すタッチパネルボタンＴＢ２２にタッチ操作した場合に表示される。ユーザは、合成画像ＣＰｌ１を参照することで、車両２左方の状況を確認できる。
　図２３は、合成画像ＣＰｌ２が、ディスプレイ８３に表示された例である。合成画像ＣＰｌ２は、合成画像ＣＰｌ１（図２２）の表示後に図９のＯＢｌｈ上を時計回りに移動させて基準仮想視点ＶＰａｌを設定し、設定された基準仮想視点ＶＰａｌから車両２を見た画像である。合成画像ＣＰｌ２は、ユーザからディスプレイ８３を見て左方向に移動して表示された車両２の左方を示す周辺画像に加え、車体画像１０を表示する。合成画像ＣＰｌ２は、合成画像ＣＰｌ１（図２２）が表示された状態で、タッチパネル８３ａに対し、左方向から右方向へ（水平方向）フリック操作ＦＨが行われた場合に表示される。ユーザは、合成画像ＣＰｌ２を参照することで、車両２左方の状況を合成画像ＣＰｌ１とは異なる角度から確認できる。
　図２４は、合成画像ＣＰｌ３が、ディスプレイ８３に表示された例である。合成画像ＣＰｌ３は、合成画像ＣＰｌ１（図２２）の表示後に図１２のＯＢｌｈ上を反時計回りに移動させて基準仮想視点ＶＰａｌを設定し、設定された基準仮想視点ＶＰａｌから車両２を見た画像である。合成画像ＣＰｌ３は、車両２の左方領域を合成画像ＣＰｌ１より詳細に表示する。合成画像ＣＰｌ３は、合成画像ＣＰｌ１（図２２）が表示された状態で、タッチパネル８３ａに対し、上方向から下方向へ（垂直方向）フリック操作ＦＶが行われた場合に表示される。ユーザは、合成画像ＣＰｌ３を参照することで、車両２の左方の状況を詳細に確認できる。
　車両２の右方を示す合成画像ＣＰについては、図２２から図２４で説明した車両２の左方を示す場合に対し、左右対称に操作および制御を行なえばよい。ユーザは、車両２の右方を示す合成画像ＣＰを参照することで、車両２の右方の状況を確認できる。
　　＜１－６．処理＞
　次に、画像表示システム１において実行される処理の手順を図２５および図２６を参照しつつ説明する。図２５は、画像取得装置３、セキュリティ装置５、および携帯端末８により実行される処理の手順を示している。図２６は、警報器６および携帯端末８により実行される処理の手順を示している。本処理は、所定周期で繰り返し実行される。
　まず、セキュリティ装置５が、監視センサ５ａが作動したか否かを判断する（図２５のステップＳ１０１）。
　セキュリティ装置５は、監視センサ５ａが作動したと判断すると（ステップＳ１０１でＹｅｓ）、メール通知部５ｂを制御し、ユーザの携帯端末８に対し、監視センサ５ａが作動した旨、すなわち盗難に繋がる事前現象が車両２に発生した旨を内容とする電子メールを送信する（ステップＳ１０２）。なお、監視センサ５ａが作動する場合の例としては、監視センサ５ａが車両２に振動や傾斜の発生を検出した場合や、ガラスの破壊を検出した場合、車両２内への侵入者を検出した場合等が挙げられる。
　セキュリティ装置５が、監視センサ５ａが作動していないと判断した場合（ステップＳ１０１でＮｏ）、およびメール通知部５ｂが電子メールを送信した場合は、セキュリティ装置５による処理は終了する。セキュリティ装置５は、所定時間経過後に再度処理を開始する。
　メール通知部５ｂから送信された電子メールを携帯端末８の通信部８２が受信すると、表示制御部８１ｃが、ディスプレイ８３に電子メールの内容を表示する（ステップＳ２０１）。ユーザは、ディスプレイに表示された電子メールの内容を確認し、車両２の周辺画像を表示させるか否かを判断する。ユーザは、車両２の周辺画像を表示させることを希望する場合は、タッチパネル８３ａの所定位置へタッチ操作を行なえばよい。
　操作検出部８１ｄは、ユーザがタッチパネル８３ａにおける周辺画像を表示させるべき所定位置へタッチ操作を行なったか否かを判断する（ステップＳ２０２）。
　操作検出部８１ｄが、ユーザがタッチパネル８３ａにおける周辺画像を表示させるべき所定位置へタッチ操作を行ない、画像の表示を希望していると判断すると（ステップＳ２０２でＹｅｓ）、通知部８１ｅが、画像取得装置３へ画像の送信を要求する信号を送信する（ステップＳ２０３）。
　操作検出部８１ｄが、ユーザがタッチパネル８３ａにおける周辺画像を表示させないことを示す所定位置へタッチ操作を行なった場合、すなわち画像の表示を希望していないと操作検出部８１ｄが判断すると（ステップＳ２０２でＮｏ）、処理は終了する。ユーザが画像の表示を希望しない以上、処理を継続する必要はないからである。
　携帯端末８から画像の送信を要求する信号を画像取得装置３の要求受信部３１ａが受信すると、カメラ制御部３１ｂが、カメラ４（４Ｆ、４Ｂ、４Ｌ、４Ｒ）を制御し、撮影を開始させる（ステップＳ３０１）。
　カメラ４（４Ｆ、４Ｂ、４Ｌ、４Ｒ）により撮影された画像に対応する画像データを画像取得部３１ｃが受信すると、画像送信部３１ｄは、通信部３２を介し、画像データを携帯端末８へ送信する（ステップＳ３０２）。
　画像取得装置３から送信された画像データを携帯端末８の画像取得部８１ａが受信すると、画像生成部８１ｂは、周辺画像を生成するための仮想視点の位置および方向を設定する。（ステップＳ２０４）。画像生成部８１ｂは、最初に周辺画像を生成する際には、仮想視点の位置を車両２の直上とし、かつ仮想視野の方向は下向き（トップビュー）として設定する。当該仮想視点は、ユーザが車両２の真上の位置から下方向を見たような視点である。このような視点は、最初にユーザへ表示すべき仮想視点の位置および方向として好ましい。車両の全周囲を表示するので、ユーザに広範囲に渡る状況を伝えることができるからである。
　画像生成部８１ｂは、仮想視点を設定すると、上述の手法により周辺画像を生成する。そして、画像生成部８１ｂは、記憶部８４から車体画像データ８４ａを読み出し、生成した周辺画像に車体画像を合成した合成画像を生成する（ステップＳ２０５）。
　画像生成部８１ｂが合成画像を生成すると、表示制御部８１ｃは、ディスプレイ８３に合成画像を表示する（ステップＳ２０６）。これにより、ユーザは車両２周辺の様子を確認できる。
　表示制御部８１ｃがディスプレイ８３に合成画像を表示すると、操作検出部８１ｄは、ユーザがディスプレイ８３に対してフリック操作を行なったか否かを判断する（ステップＳ２０７）。
　ユーザによりフリック操作が行われたと操作検出部８１ｄが判断すると（ステップＳ２０７でＹｅｓ）、画像生成部８１ｂは、仮想視点を再度設定する（ステップＳ２０４）。　
　ユーザがディスプレイ８３に対して左右方向（水平方向）のフリック操作を行なった場合、画像生成部８１ｂは、前述の通りワールド座標系の鉛直方向軸を基準に仮想視点を回転させて仮想視点の位置を設定する。
　フリック操作がディスプレイ８３に対して右側から左側への操作である場合、画像生成部８１ｂは、仮想視点をワールド座標系の鉛直方向軸を上から見て反時計回りとなるよう仮想視点の位置を回転させる。また、フリック操作がディスプレイ８３に対して左側から右側への操作である場合は、ワールド座標系の鉛直方向軸を上から見て時計回りとなるよう仮想視点の位置を回転させる。
　ユーザがディスプレイ８３に対して上下方向（垂直方向）のフリック操作を行なった場合、画像生成部８１ｂは、前述の通り視点座標系の水平方向軸を基準に仮想視点を回転させて仮想視点の位置を設定する。
　フリック操作がディスプレイ８３に対して上側から下側への操作である場合、画像生成部８１ｂは、仮想視点を視点座標系の水平方向軸を視点の右から見て反時計回りとなるよう仮想視点の位置を回転させる。また、フリック操作がディスプレイ８３に対して下側から上側への操作である場合は、視点座標系の水平方向軸を視点の右から見て時計回りとなるよう仮想視点の位置を回転させる。
　このような仮想視点の位置を回転させる手法により、ユーザがフリック操作により視点を移動させたい方向と、表示される画像が移動する方向とが一致し、ユーザは、タッチパネル８３ａへの操作により、直感的に画像を移動させることができる。
　操作検出部８１ｄは、ユーザによりフリック操作が行われていないと判断すると（ステップＳ２０７でＮｏ）、仮想視点を基準視点に変更する操作がなされたか否かを判断する（ステップＳ２０８）。操作検出部８１ｄは、基準視点を示すいずれかのタッチパネルボタンにユーザがタッチ操作を行なったか否かにより判断する。
　仮想視点を基準視点に変更する操作がなされたと操作検出部８１ｄが判断すると（ステップＳ２０８でＹｅｓ）、画像生成部８１ｂは、ユーザがタッチ操作により所望した基準視点に仮想視点の位置および方向を設定する（ステップＳ２０４）。例えば、ユーザが車両２左側領域を表示する基準視点を希望した場合には、画像生成部８１ｂは、図９および図１０に示したような仮想視点の位置および方向を設定する。なお、基準視点は、車両直上、車両２左側、車両２右側、車両２前側、および車両２後側の５視点である。車両の特定位置に設定される特定点である移動中心点ＲＣの位置は、ユーザが所望した基準視点に応じた位置に設定される。
　一方、操作検出部８１ｄは、仮想視点を基準視点に変更する操作がなされていないと判断すると（ステップＳ２０８でＮｏ）、ユーザが車両２に備えた警報器６を作動させようとしているか否かを判断する（ステップＳ２０９）。操作検出部８１ｄは、ユーザがタッチパネル８３ａにおける警報器を作動させることを示す所定位置へタッチ操作を行なったか否かにより判断する。
　操作検出部８１ｄは、ユーザが警報器６を作動させようとしていると判断すると（ステップＳ２０９でＹｅｓ）、通知部８１ｅが画像取得装置３へ警報器６を作動するよう要求する信号を送信する（ステップＳ２１０）。
　通知部８１ｅが警報器６を作動するよう要求する信号を送信すると、画像取得装置３の盗難防止部３１ｅは、警報器６に警報を行なわせる（ステップＳ４０１）。なお、警報器６による警報は、所定時間経過後に終了する。かかる所定時間は、不審者に対し警告を与えるのに十分な時間であればよい。例えば、５秒である。ユーザが警報を終了させる操作をしてもよい。
　ユーザが警報器６を作動させようとしていないと操作検出部８１ｄが判断した場合（ステップＳ２０９でＮｏ）、および盗難防止部３１ｅが警報器６に警報を行わせた場合（ステップＳ２１０）、操作検出部８１ｄは、ユーザが画像表示を終了させようとしているか否かを判断する（ステップＳ２１１）。
　ユーザが画像表示を終了させようとしていると操作検出部８１ｄが判断すると（ステップＳ２１１でＹｅｓ）、通知部８１ｅは、画像取得装置３へ撮影を終了するよう要求する信号を送信する（ステップＳ２１２）。画像取得装置３へ撮影を終了するよう要求する信号を通知部８１ｅが送信すると、携帯端末８による処理は終了する。
　ユーザが画像表示を終了させようとしていないと操作検出部８１ｄが判断すると（ステップＳ２１１でＮｏ）、表示制御部８１ｃが画像の生成および表示を継続し、携帯端末８は、ステップＳ２０５以下の処理を再度実行する。
　ステップＳ３０２において画像送信部３１ｄが画像データを送信すると、要求受信部３１ａが、携帯端末８から撮影を終了するよう要求する終了要求信号が送信されたか否かを判断する（ステップＳ３０３）。画像取得装置３は、この終了要求信号を受信するまでは、カメラ４（４Ｆ、４Ｂ、４Ｌ、４Ｒ）において直近に得られた画像データを繰り返し携帯端末８に送信する。これにより、携帯端末８の画像生成部８１ｂは、直近に得られた画像データに基づいて、車両２周辺の様子を略リアルタイムに示す周辺画像を生成できる。
　携帯端末８から撮影を終了するよう要求する終了要求信号が送信されたと要求受信部３１ａが判断すると（ステップＳ３０３でＹｅｓ）、カメラ制御部３１ｂが、カメラ４（４Ｆ、４Ｂ、４Ｌ、４Ｒ）を制御し、撮影を停止させる（ステップＳ３０４）。カメラ制御部３１ｂがカメラ４（４Ｆ、４Ｂ、４Ｌ、４Ｒ）を制御し、撮影を停止させると、画像取得装置３による処理は終了する。
　以上のように、第１の実施形態に係る画像表示システム１では、ユーザの操作に基づいて仮想視点の位置を変更し、合成画像を表示する。これにより、ユーザの望む視点から容易に被写体を表示できる。
　＜２．第２の実施形態＞
　＜２－１．概要＞
　次に、第２の実施形態について説明する。前述の第１の実施形態は、視点位置ＶＬが車両２の直上かつ視線方向ＶＤが下向き（－Ｚ側）である場合（すなわち、トップビューである場合）に、ユーザの左右方向（水平方向）のフリック操作に対する視点位置ＶＬの移動は、直交座標系ｃｃの鉛直軸（Ｚ軸）を基準としている。これにより、合成画像ＣＰは左右いずれかに回転するように表示される。
　しかしながら、合成画像ＣＰを回転表示させても、ユーザに対し新たな周辺領域を提示するものではない。
　そこで、第２の実施形態は、トップビューにおいて、視点位置ＶＬの移動は直交座標系ｃｃの車両２の前後となる軸（Ｙ軸）を基準とする。これにより、トップビューにおいて、ユーザがタッチパネル８３ａに対して左右方向（水平方向）のフリック操作を行なうと、車両２側面を含めた車両２の左右の領域が表示される。そのため、ユーザは、車両２の左右領域を詳細に確認できる。
　以下、第１の実施形態との相違点について主に説明し、第１の実施形態と同一または同様の構成および動作については、繰り返しとなる説明を省略する。
　＜２－２．構成＞
　図２７は、第２の実施形態に係る画像表示システム１における携帯端末８の構成を示している。第１の実施形態との主な相違点は、携帯端末８の制御部８１が座標軸変換部８１ｆを備えている点である。
　座標軸変換部８１ｆは、仮想視点がトップビューである場合に、視点位置ＶＬを移動させる基準となる座標軸を、直交座標系ｃｃの鉛直軸（Ｚ軸）から車両前後軸（Ｙ軸）へ変換する。
　　＜２－３．仮想視点の設定＞
　次に、トップビュー表示において、ユーザからディスプレイを見て左右方向（水平方向）に視点位置ＶＬを移動させる手法について、図２８および図２９を参照して説明する。以下で説明する視点位置ＶＬの移動は、トップビュー表示において、ユーザによるタッチパネルへの左右方向（水平方向）のフリック操作に対応して行なわれる。
　図２８は、車両２を鉛直上方向（＋Ｚ側）から見た図であり、基準仮想視点ＶＰａｔの基準位置ＶＬｔが移動する経路を示している。基準位置ＶＬｔは、移動中心点ＲＣｔを中心に移動経路ＯＢｔｈを移動する。基準位置ＶＬｔの移動は、移動中心点ＲＣｔの位置を原点とする仮想視点ＶＰに相対的に固定される直交座標系ｃｃを基準とする。基準位置ＶＬｔの移動する基準となる座標軸は、移動中心点ＲＣｔの位置における直交座標系ｃｃのＹ軸（ＡＸｔｈ）、すなわち、車両２の前後方向に沿った軸である。
　図２９は、車両２を水平方向後側（－Ｙ側）から見た図であり、図２８と同様に基準仮想視点ＶＰａｔの基準位置ＶＬｔが移動する経路を示している。基準位置ＶＬｔは、移動中心点ＲＣｔを中心に移動経路ＯＢｔｈを移動する。移動経路ＯＢｔｈは、水平方向後側（－Ｙ側）から見ると円形となる。基準位置ＶＬｔの移動する基準となる座標軸は、移動中心点ＲＣｔの位置における直交座標系ｃｃのＹ軸である。
　図２８および図２９において、基準方向ＶＤｔは、基準位置ＶＬｔが移動経路ＯＢｔｈのどこに位置しても、基準位置ＶＬｔから移動中心点ＲＣｔの方向を向く。したがって、基準位置ＶＬｔが移動経路ＯＢｔｈ上を移動すると、ディスプレイ８３を見ているユーザは、画像が左右方向（水平方向）に移動しているように見える。特に、基準位置ＶＬｔの移動する基準となる座標軸を、移動中心点ＲＣｔの位置における直交座標系ｃｃのＹ軸としたので、ユーザは車両２の側面に回り込むようにして車両２周辺の画像を参照できる。
　なお、移動経路ＯＢｔｈは、車両２の接地面ＧＲより下側には設定されない。したがって、基準位置ＶＬｔは、破線で示した移動経路ＯＢｔｈを移動し、実線で示した移動経路ＯＢｔｘは移動しない。
　また、ユーザがタッチパネル８３ａに対し、左方向から右方向へ（水平方向）のフリック操作を行なった場合、基準位置ＶＬｔは、移動経路ＯＢｔｈ上を反時計回りに移動する。一方、ユーザがタッチパネル８３ａに対し、左方向から右方向へ（水平方向）のフリック操作を行なった場合、基準位置ＶＬｔは、移動経路ＯＢｔｈ上を時計回りに移動する。これにより、ユーザのフリック操作の方向と画像の移動する方向とが一致するため、ユーザは、直感的にタッチパネル操作を行なうことができる。
　　＜２－４．合成画像の表示例＞
　図３０における上の図は、合成画像ＣＰｔ１が、ディスプレイ８３に表示された例である。合成画像ＣＰｔ１は、仮想視点ＶＰに基準仮想視点ＶＰａｔが設定され、基準仮想視点ＶＰａｔから車両２を見た画像である。すなわち、合成画像ＣＰｔ１は、仮想視点がトップビューである場合の合成画像である。
　図３０における下の図は、合成画像ＣＰｔ４が、ディスプレイ８３に表示された例である。合成画像ＣＰｔ４は、合成画像ＣＰｔ１の表示後に視点位置ＶＬを移動させる座標軸を直交座標系ｃｃの鉛直軸（Ｚ軸）から車両前後軸（Ｙ軸）へ変換した場合の画像、すなわち、図２９のＯＢｔｈ上を反時計回りに移動させて基準仮想視点ＶＰａｔを設定し、設定された基準仮想視点ＶＰａｔから車両２を見た画像である。合成画像ＣＰｔ４は、車両２側面を含めた車両２の周辺画像に加え、車体画像１０を表示する。このため、ユーザは、トップビューから車両２の左右領域を詳細に確認できる。合成画像ＣＰｔ４は、合成画像ＣＰｔ１が表示された状態で、タッチパネル８３ａに対し、左方向から右方向へ（水平方向）フリック操作ＦＨが行われた場合に表示される。ユーザは、合成画像ＣＰｔ４を参照することで、車両２側面を含めた車両２の左右の領域を詳細に確認できる。
　＜２－５．処理＞
　次に、第２の実施形態に係る画像表示システム１において実行される処理の手順を、図３１および図３２を参照して説明する。図３１は、画像取得装置３、セキュリティ装置５、および携帯端末８により実行される処理の手順を示している。図２５で示した第１の実施形態に係る処理手順との相違点は、ステップＳ２０９の処理を備えている点である。
　まず、画像生成部８１ｂは、周辺画像を生成するための仮想視点の位置および仮想視野の方向を設定する。（ステップＳ２０４）。画像生成部８１ｂは、最初に周辺画像を生成する際には、仮想視点の位置は車両２の直上とし、かつ仮想視野の方向は下向き（トップビュー）として設定する。また、座標軸変換部８１ｆは、視点位置ＶＬを移動させる基準となる軸を車両前後軸（Ｙ軸）に設定する。
　ステップＳ２０５、ステップＳ２０６、およびステップＳ２０７が実行されると、操作検出部８１ｄは、仮想視点を基準視点に変更する操作がなされたか否かを判断する（ステップＳ２０８）。操作検出部８１ｄは、基準視点を示すいずれかのタッチパネルボタンがユーザによりタッチ操作されたか否かにより判断する。
　仮想視点を基準視点に変更する操作がなされたと操作検出部８１ｄが判断すると（ステップＳ２０８でＹｅｓ）、画像生成部８１ｂは、座標軸の設定処理（ステップＳ２０９）を実行する。
　図３２は、座標軸の設定処理（ステップＳ２０９）の詳細を示している。座標軸の設定処理（ステップＳ２０９）に処理が移行すると、操作検出部８１ｄは、仮想視点がトップビューの視点に変更されたか否かを判断する（ステップＳ４０１）。
　仮想視点がトップビューの視点に変更されたと操作検出部８１ｄが判断すると（ステップＳ４０１でＹｅｓ）、座標軸変換部８１ｆは、視点位置ＶＬを移動させる基準となる座標軸を車両前後軸（Ｙ軸）に設定する（ステップＳ４０２）。
　仮想視点がトップビュー以外の視点に変更されたと操作検出部８１ｄが判断すると（ステップＳ４０１でＮｏ）、座標軸変換部８１ｆは、視点位置ＶＬを移動させる基準となる座標軸を鉛直軸（Ｚ軸）に設定する（ステップＳ４０３）。
　ステップＳ４０２またはステップＳ４０３が実行されると、処理は図３１に戻り、再度ステップＳ２０４以下の処理が実行される。
　以上説明したように、第２の実施形態に係る画像表示システム１においては、トップビューにおいて、視点位置ＶＬの移動は直交座標系ｃｃの車両２の前後となる軸（Ｙ軸）を基準とする。これにより、トップビューにおいて、ユーザがタッチパネル８３ａに対して左右方向（水平方向）のフリック操作を行なうと、車両２側面を含めた車両２の左右の領域が表示される。そのため、ユーザは、車両２の左右領域を詳細に確認できる。
　＜３．変形例＞
　本発明は、上記の実施形態例に限定されるものではなく、様々な変形が可能である。以下、そのような変形例を説明する。なお、上記の実施形態例および以下の変形例は、適宜に組み合わせ可能である。
　上記の各実施形態では、画像取得装置３は、ユーザから画像送信の要求の受信時に、撮影を開始する。しかしながら、画像取得装置３は、ユーザから画像送信の要求の受信前に、すなわち、監視センサ５ａの作動時に撮影を開始してもよい。この場合、ユーザは、監視センサ５ａが作動するような車両２の異常発生時から、車両２周辺の様子を参照できる。
　図３３は、画像取得装置３が監視センサ５ａの作動時に撮影を開始する画像表示システム１ａの概要を示している。監視センサ５ａが車両２の異常を検出すると、セキュリティ装置５は、画像取得装置３へ撮影開始を要求する信号を送信する。画像取得装置３は、かかる信号を受信すると、カメラ４を作動させ撮影を開始する。すなわち、画像取得装置３は、ユーザからの画像送信の要求を待たず、車両２の異常発生時に撮影を開始する。画像取得装置３は、撮影を開始すると、画像データを外部に設置されたサーバＳＶへ送信する。これにより、画像データは車両２の異常発生時からサーバＳＶに保存される。したがって、ユーザは、セキュリティ装置５から車両２の異常発生を通知するメールを受信すると、サーバＳＶに対して画像送信の要求を行なう。サーバＳＶは、画像送信の要求を受信すると、ユーザの所持する携帯端末８へ車両２の異常発生時からの画像データを送信する。これにより、ユーザは、監視センサ５ａの作動時、すなわち、車両２の異常発生時からの車両２周辺の様子を参照できる。また、サーバＳＶを、画像データを送受信する専用サーバとすれば、画像データを他者に傍受される恐れがなく、画像データの秘匿性を高めることができる。なお、ユーザは、現在の車両２周辺の様子を確認したい場合には、サーバＳＶへ現在の画像データの送信を要求できる。この場合、サーバＳＶは、異常発生時から現在までの画像データの送信を省略し、現在の画像データを送信する。
　他の変形例を説明する。上記の各実施形態では、画像取得装置３、カメラ４、セキュリティ装置５、および警報器６は車両２に搭載される。しかしながら、これらの装置は、住宅やビルディング等の監視すべき土地や建物、物品に設置されてもよい。
　上記の各実施形態では、タッチパネルを通じてユーザが入力操作を行なう。しかしながら、ユーザによる入力操作が判別できれば、十字キー等の押しボタン式のスイッチを通じてユーザが入力操作を行なってもよい。
　上記の各実施形態では、画像取得装置３と携帯端末８とは別体の装置である。しかしながら、画像取得装置３と携帯端末８とを一体の装置として構成してもよい。
　上記の各実施形態では、画像表示システム１における各機能は、プログラムに従ったソフトウェアとして実現される。しかしながら、画像表示システム１における各機能は、電気的なハードウェア回路として実現されてもよい。
　本出願の記載の一部を構成するものとして、２０１３年１０月１１日に提出された日本国特許出願２０１３－２１４０１４の内容を援用する。

Claims (12)

  1. 　複数のカメラで被写体をそれぞれ撮影した複数の画像を取得する取得部と、
    　前記複数の画像を合成し、前記被写体を仮想視点から見た合成画像を生成する生成部と、
    　前記合成画像を画面に表示させる表示制御部と、
    　前記画面に表示された合成画像の前記仮想視点の位置を変更させるユーザ操作を検出する検出部と、
    を備えており、
    　前記生成部は、前記ユーザ操作に基づいて、前記合成画像の仮想視点の位置を変更する、
    画像表示装置。
  2. 　前記合成画像は、前記仮想視点の位置によらず、前記被写体における特定の位置に設定された基準点を当該仮想視点の位置から見た画像である、
    請求項１に記載の画像表示装置。
  3. 　前記複数のカメラは車両に設置され、
    　前記生成部は、
    　　前記車両について前記基準点を原点とするワールド座標系、および前記仮想視点について前記基準点を原点とする視点座標系に基づき、前記仮想視点の位置を変更する、
    請求項２に記載の画像表示装置。
  4. 　前記基準点の位置は、ユーザにより設定可能である、
    請求項２または３に記載の画像表示装置。
  5. 　前記生成部は、前記ユーザ操作が前記画面における水平方向を示す操作である場合、前記ワールド座標系における鉛直方向の軸を中心として、前記仮想視点の位置を変更する、
    請求項２から４のいずれか一項に記載の画像表示装置。
  6. 　前記生成部は、前記ユーザ操作が前記画面における垂直方向を示す操作である場合、前記視点座標系における水平方向の軸を中心として、前記仮想視点の位置を変更する、
    請求項２から４のいずれか一項に記載の画像表示装置。
  7. 　前記生成部は、前記視点座標系における水平方向の軸を中心に前記仮想視点の位置を変更する場合は、前記被写体の接地面よりも上側の範囲で前記仮想視点の位置を変更する、
    請求項６に記載の画像表示装置。
  8. 　前記複数のカメラは車両に設置され、
    　前記車両の直上に位置する前記仮想視点から前記基準点を見ている場合に前記画面における水平方向を示すユーザ操作がなされると、前記生成部は、前記車両の前後方向に沿った軸を中心として、前記仮想視点の位置を変更する、
    請求項２に記載の画像表示装置。
  9. 　画像取得装置と、
    　前記画像取得装置と通信可能な画像表示装置と、
    を備えており、
    　前記画像取得装置は、
    　　複数のカメラで被写体をそれぞれ撮影した複数の画像を取得する取得部と、
    　　前記複数の画像を送信するよう要求する要求信号を、前記画像表示装置から受信する要求受信部と、
    　　前記要求信号に基づき、前記複数の画像を前記画像表示装置へ送信する画像送信部と、
    を備えており、
    　前記画像表示装置は、
    　　前記複数の画像を送信するよう要求する前記要求信号を、前記画像取得装置へ送信する要求送信部と、
    　　前記複数の画像を前記画像取得装置から受信する画像受信部と、
    　　前記複数の画像を合成し、仮想視点から前記被写体を見た合成画像を生成する生成部と、
    　　前記合成画像を画面に表示させる表示制御部と、
    　　前記画面に表示された合成画像の前記仮想視点の位置を変更させるユーザ操作を検出する検出部と、
    を備えており、
    　　前記生成部は、前記ユーザ操作に基づき、前記合成画像の仮想視点を変更する、
    画像表示システム。
  10. 　前記画像取得装置は、車両に設置され、
    　前記被写体は、前記車両の周辺の様子であり、
    　前記車両の盗難に繋がる事前現象を検出するセキュリティ装置を備えており、
    　　前記セキュリティ装置は、
    　　　前記事前現象を検出する監視部と、
    　　　前記事前現象を検出した旨を前記画像表示装置へ通知する通知部と、
    を備えている、
    請求項９に記載の画像表示システム。
  11. 　（ａ）複数のカメラで被写体をそれぞれ撮影した複数の画像を取得するステップと、
    　（ｂ）前記複数の画像を合成し、前記被写体を仮想視点から見た合成画像を生成するステップと、
    　（ｃ）前記合成画像を画面に表示させるステップと、
    　（ｄ）前記画面に表示された合成画像の前記仮想視点の位置を変更させるユーザ操作を検出するステップと、
    を備えており、
    　前記ステップ（ｂ）においては、前記ユーザ操作に基づき、前記合成画像の仮想視点の位置を変更する、
    画像表示方法。
  12. 　画像を表示する画像表示装置に含まれるコンピュータによって実行可能なプログラムであって、
    　前記コンピュータに、
    　　（ａ）複数のカメラで被写体をそれぞれ撮影した複数の画像を取得するステップと、
    　　（ｂ）前記複数の画像を合成し、前記被写体を仮想視点から見た合成画像を生成するステップと、
    　　（ｃ）前記合成画像を画面に表示させるステップと、
    　　（ｄ）前記画面に表示された合成画像の前記仮想視点の位置を変更させるユーザ操作を検出するステップと、
    を実行させ、
    　　前記ステップ（ｂ）においては、前記ユーザ操作に基づき、前記合成画像の仮想視点の位置を変更する、
    プログラム。
PCT/JP2014/074091 2013-10-11 2014-09-11 画像表示装置、画像表示システム、画像表示方法、及び、プログラム WO2015053040A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112014004701.5T DE112014004701B4 (de) 2013-10-11 2014-09-11 Bildanzeigevorrichtung, Bildanzeigesystem, Bildanzeigeverfahren und Programm
US14/915,922 US10857974B2 (en) 2013-10-11 2014-09-11 Image display device, image display system, image display method and program
CN201480055343.6A CN105612552A (zh) 2013-10-11 2014-09-11 图像显示装置、图像显示系统、图像显示方法、以及程序
US17/089,767 US11643047B2 (en) 2013-10-11 2020-11-05 Image display device, image display system, image display method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-214014 2013-10-11
JP2013214014A JP6347934B2 (ja) 2013-10-11 2013-10-11 画像表示装置、画像表示システム、画像表示方法、及び、プログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/915,922 A-371-Of-International US10857974B2 (en) 2013-10-11 2014-09-11 Image display device, image display system, image display method and program
US17/089,767 Continuation US11643047B2 (en) 2013-10-11 2020-11-05 Image display device, image display system, image display method and program

Publications (1)

Publication Number Publication Date
WO2015053040A1 true WO2015053040A1 (ja) 2015-04-16

Family

ID=52812860

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/074091 WO2015053040A1 (ja) 2013-10-11 2014-09-11 画像表示装置、画像表示システム、画像表示方法、及び、プログラム

Country Status (5)

Country Link
US (2) US10857974B2 (ja)
JP (1) JP6347934B2 (ja)
CN (2) CN105612552A (ja)
DE (1) DE112014004701B4 (ja)
WO (1) WO2015053040A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016185637A1 (ja) * 2015-05-20 2016-11-24 三菱電機株式会社 点群画像生成装置および表示システム
WO2019035229A1 (ja) * 2017-08-14 2019-02-21 アイシン精機株式会社 周辺監視装置
US11445167B2 (en) 2017-06-23 2022-09-13 Canon Kabushiki Kaisha Display control apparatus, display control method, and storage medium

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6347934B2 (ja) * 2013-10-11 2018-06-27 株式会社デンソーテン 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
JP6563694B2 (ja) * 2015-05-29 2019-08-21 株式会社デンソーテン 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
JP6610139B2 (ja) * 2015-09-30 2019-11-27 アイシン精機株式会社 周辺監視装置
JP2017143340A (ja) 2016-02-08 2017-08-17 株式会社デンソー 情報処理装置及びプログラム
JP6639379B2 (ja) * 2016-12-21 2020-02-05 トヨタ自動車株式会社 車両周辺監視装置
JP7073092B2 (ja) * 2017-01-06 2022-05-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6482580B2 (ja) * 2017-02-10 2019-03-13 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP6962035B2 (ja) * 2017-07-07 2021-11-05 株式会社アイシン 周辺監視装置
JP2019036832A (ja) * 2017-08-14 2019-03-07 アイシン精機株式会社 周辺監視装置
JP6409107B1 (ja) * 2017-09-06 2018-10-17 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP6419278B1 (ja) * 2017-09-19 2018-11-07 キヤノン株式会社 制御装置、制御方法、及びプログラム
JP7060418B2 (ja) * 2018-03-15 2022-04-26 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
WO2020068960A1 (en) * 2018-09-26 2020-04-02 Coherent Logix, Inc. Any world view generation
JP6632681B2 (ja) * 2018-10-10 2020-01-22 キヤノン株式会社 制御装置、制御方法、及びプログラム
JP6559870B1 (ja) * 2018-11-30 2019-08-14 株式会社ドワンゴ 動画合成装置、動画合成方法及び動画合成プログラム
US11626010B2 (en) * 2019-02-28 2023-04-11 Nortek Security & Control Llc Dynamic partition of a security system
WO2020262392A1 (ja) 2019-06-28 2020-12-30 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JP7274045B2 (ja) 2020-03-31 2023-05-15 本田技研工業株式会社 画像処理装置、車両、画像処理方法およびプログラム
US20210103738A1 (en) * 2020-12-17 2021-04-08 Cornelius Buerkle Autonomous system terminus assistance techniques
JP2022145977A (ja) * 2021-03-22 2022-10-05 トヨタ自動車株式会社 画像処理装置、テレプレゼンスシステム、画像処理方法及び画像処理プログラム
JP2024052375A (ja) * 2022-09-30 2024-04-11 株式会社東海理化電機製作所 表示システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200875A (ja) * 1993-12-27 1995-08-04 Mutoh Ind Ltd ３次元モデルの表示位置変更方法
WO2011064895A1 (ja) * 2009-11-30 2011-06-03 パイオニア株式会社 地図表示装置、地図表示方法、地図表示プログラムおよび記録媒体
JP2012121384A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 画像表示システム
JP2013191969A (ja) * 2012-03-13 2013-09-26 Fujitsu Ten Ltd 画像処理装置、画像表示システム、表示装置、画像処理方法及びプログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2267656A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus und image displaying method
JP3599639B2 (ja) 2000-05-26 2004-12-08 松下電器産業株式会社 画像処理装置
JP3927512B2 (ja) * 2003-03-27 2007-06-13 トヨタ自動車株式会社 駐車支援装置
US8373660B2 (en) * 2003-07-14 2013-02-12 Matt Pallakoff System and method for a portable multimedia client
US7814436B2 (en) * 2003-07-28 2010-10-12 Autodesk, Inc. 3D scene orientation indicator system with scene orientation change capability
WO2006100904A1 (ja) * 2005-03-18 2006-09-28 Sharp Kabushiki Kaisha 多重画像表示装置、多重画像表示プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP4956915B2 (ja) * 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
JP4835109B2 (ja) * 2005-10-31 2011-12-14 アイシン精機株式会社 駐車目標位置設定装置
CN101017570A (zh) * 2006-02-06 2007-08-15 奥林巴斯映像株式会社 图像合成装置及图像合成方法
CN101123865A (zh) * 2006-08-07 2008-02-13 陈清甫 汽车多媒体信息系统
US20080204556A1 (en) * 2007-02-23 2008-08-28 De Miranda Federico Thoth Jorg Vehicle camera security system
CN101123866B (zh) * 2007-07-06 2013-01-02 刘西钉 具有导航和音/视频记录及防盗功能的车载系统及控制方法
JP2010049313A (ja) * 2008-08-19 2010-03-04 Sony Corp 画像処理装置、画像処理方法、プログラム
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP2010274813A (ja) * 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP5500369B2 (ja) * 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
JP5158051B2 (ja) 2009-09-18 2013-03-06 三菱自動車工業株式会社 運転支援装置
JP5302227B2 (ja) * 2010-01-19 2013-10-02 富士通テン株式会社 画像処理装置、画像処理システム、および、画像処理方法
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
JP2012109934A (ja) * 2010-10-19 2012-06-07 Panasonic Corp 立体画像表示装置
JP5813944B2 (ja) 2010-12-06 2015-11-17 富士通テン株式会社 画像表示システム、画像処理装置及び画像表示方法
EP2554434B1 (en) 2011-08-05 2014-05-21 Harman Becker Automotive Systems GmbH Vehicle surround view system
US10318146B2 (en) * 2011-09-12 2019-06-11 Microsoft Technology Licensing, Llc Control area for a touch screen
JP2013214014A (ja) 2012-04-04 2013-10-17 Seiko Epson Corp 電気泳動表示装置の製造方法及びエレクトロクロミック表示装置の製造方法
JP6347934B2 (ja) * 2013-10-11 2018-06-27 株式会社デンソーテン 画像表示装置、画像表示システム、画像表示方法、及び、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200875A (ja) * 1993-12-27 1995-08-04 Mutoh Ind Ltd ３次元モデルの表示位置変更方法
WO2011064895A1 (ja) * 2009-11-30 2011-06-03 パイオニア株式会社 地図表示装置、地図表示方法、地図表示プログラムおよび記録媒体
JP2012121384A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 画像表示システム
JP2013191969A (ja) * 2012-03-13 2013-09-26 Fujitsu Ten Ltd 画像処理装置、画像表示システム、表示装置、画像処理方法及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016185637A1 (ja) * 2015-05-20 2016-11-24 三菱電機株式会社 点群画像生成装置および表示システム
JPWO2016185637A1 (ja) * 2015-05-20 2017-08-31 三菱電機株式会社 点群画像生成装置および表示システム
KR101928689B1 (ko) 2015-05-20 2018-12-12 미쓰비시덴키 가부시키가이샤 점군 화상 생성 장치 및 표시 시스템
AU2015395741B2 (en) * 2015-05-20 2019-06-27 Mitsubishi Electric Corporation Point-cloud-image generation device and display system
US11445167B2 (en) 2017-06-23 2022-09-13 Canon Kabushiki Kaisha Display control apparatus, display control method, and storage medium
WO2019035229A1 (ja) * 2017-08-14 2019-02-21 アイシン精機株式会社 周辺監視装置
JP2019036831A (ja) * 2017-08-14 2019-03-07 アイシン精機株式会社 周辺監視装置
JP7056034B2 (ja) 2017-08-14 2022-04-19 株式会社アイシン 周辺監視装置

Also Published As

Publication number Publication date
DE112014004701T5 (de) 2016-07-28
JP2015076062A (ja) 2015-04-20
CN105612552A (zh) 2016-05-25
DE112014004701B4 (de) 2023-02-02
US20210053529A1 (en) 2021-02-25
JP6347934B2 (ja) 2018-06-27
CN112165609A (zh) 2021-01-01
US11643047B2 (en) 2023-05-09
US10857974B2 (en) 2020-12-08
US20160193983A1 (en) 2016-07-07

Similar Documents

Publication Publication Date Title
WO2015053040A1 (ja) 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
US11868517B2 (en) Information processing apparatus and information processing method
US9451062B2 (en) Mobile device edge view display insert
JP6011104B2 (ja) 車両用視界支援装置
WO2016067544A1 (ja) 車載注意喚起システム及び報知制御装置
US10235879B2 (en) Notification system of a car and method of controlling therefor
EP3136720A1 (en) Image processing device, method for controlling image processing device, program, and display device
JP2019156298A (ja) 車両遠隔操作装置及び車両遠隔操作方法
JP2008219559A (ja) 車載カメラシステム
JP6568981B2 (ja) 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
JP7051369B2 (ja) 画像処理装置及び画像処理方法
JP7112191B2 (ja) 画像処理装置及び画像処理方法
US20190258245A1 (en) Vehicle remote operation device, vehicle remote operation system and vehicle remote operation method
JP6725734B2 (ja) 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
JP2019161549A (ja) 車両遠隔操作装置及び車両遠隔操作方法
JP2019116220A (ja) 車両用視認装置
JP2020150295A (ja) 車両防犯装置
JP6990874B2 (ja) 駐車支援装置および車両
JP2021033944A (ja) 通信装置、通信方法及びプログラム
JP7103773B2 (ja) 画像処理装置及び画像処理方法
JP2019038372A (ja) 画像表示装置
JP5825091B2 (ja) 撮影領域明示装置
KR20160032453A (ko) 차량 및 그 제어방법과 네비게이션

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14851887

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14915922

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112014004701

Country of ref document: DE

Ref document number: 1120140047015

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14851887

Country of ref document: EP

Kind code of ref document: A1