WO2020045602A1 - 映像生成装置及び映像生成方法 - Google Patents

映像生成装置及び映像生成方法 Download PDF

Info

Publication number
WO2020045602A1
WO2020045602A1 PCT/JP2019/034029 JP2019034029W WO2020045602A1 WO 2020045602 A1 WO2020045602 A1 WO 2020045602A1 JP 2019034029 W JP2019034029 W JP 2019034029W WO 2020045602 A1 WO2020045602 A1 WO 2020045602A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
target
display
detailed information
video
Prior art date
Application number
PCT/JP2019/034029
Other languages
English (en)
French (fr)
Inventor
康之 清家
隆紀 久嶋
徳之 友野
長谷川　健
浩二 西山
Original Assignee
株式会社 商船三井
古野電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 商船三井, 古野電気株式会社 filed Critical 株式会社 商船三井
Publication of WO2020045602A1 publication Critical patent/WO2020045602A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • G08G3/02—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an image generation device that generates an image including a target.
  • a video generation device that performs georeferencing on an image stream from a camera. For example, there is an image generation device that receives stream image data captured by a camera of a ship, acquires the position of a target (such as another ship) around the ship, and generates an image to be displayed on a display (Patent Document 1). reference).
  • An object of the present invention is to provide an image generating apparatus that displays information on an image captured from a ship and improves convenience.
  • An image generating apparatus includes: a photographing unit provided on a water vehicle, a target information acquiring unit that acquires target information on a target, and a photographed image photographed by the photographing unit.
  • An extended video generating unit that generates an extended video in which the target information acquired by the target information acquiring unit is displayed; and a marker for allowing a user to select the target, displaying the target in the extended video.
  • a marker display unit that displays the object corresponding to the location, and a target display corresponding to the marker selected by the user based on the target information acquired by the target information acquisition unit.
  • a first detailed information display means for displaying the first detailed information in a predetermined first space of a screen on which the extended video is displayed.
  • FIG. 1 is a block diagram illustrating a configuration of a video generation device according to an embodiment of the present invention.
  • FIG. 2 is a side view showing a side surface of the boat according to the embodiment.
  • FIG. 3 is a conceptual diagram illustrating an example of a situation around a ship according to the embodiment.
  • FIG. 4 is a conceptual diagram illustrating a three-dimensional virtual space according to the embodiment.
  • FIG. 5 is an image diagram illustrating an example of a video shot by the camera according to the embodiment.
  • FIG. 6 is an image diagram showing an AR video output from the data synthesizing unit according to the embodiment.
  • FIG. 7 is a conceptual diagram showing a case where the ship swings in the pitch direction and the roll direction from the state of FIG. FIG.
  • FIG. 8 is an image diagram showing an AR image in the state of FIG.
  • FIG. 9 is an image diagram in which scale information indicating an azimuth is displayed on the AR video according to the present embodiment.
  • FIG. 10 is an image diagram in which scale information indicating an azimuth is displayed according to the inclination of the hull in the AR video according to the present embodiment.
  • FIG. 11 is an image diagram in which detailed information is displayed on the AR video according to the present embodiment.
  • FIG. 12 is a flowchart showing an outline of a procedure for displaying detailed information on an AR video according to the present embodiment.
  • FIG. 13 is a conceptual diagram illustrating a basic method of displaying markers in an AR video according to the present embodiment.
  • FIG. 14 is a graph illustrating an example of a change in the length of the corresponding line connected to the marker of the first waterborne moving object according to the present embodiment.
  • FIG. 15 is a flowchart showing a procedure for displaying main information on an AR video according to the present embodiment.
  • FIG. 16 is an image diagram in which four display columns for displaying main information are arranged on an AR video according to the present embodiment.
  • FIG. 17 is an image diagram showing an AR image after a predetermined time has elapsed from the state shown in FIG.
  • FIG. 1 is a block diagram illustrating a configuration of a video generation device 1 according to the embodiment of the present invention.
  • FIG. 2 is a side view showing a side surface of the boat 4 according to the present embodiment.
  • the same portions are denoted by the same reference numerals, and redundant description will be omitted as appropriate.
  • the image generation device 1 is mounted on a ship 4 which is a water vehicle moving on water.
  • the ship 4 may be any water moving body as long as it can sail on the water such as the sea, a lake, or a river.
  • the video generation device 1 generates augmented reality (AR, augmented reality) video that expands and expresses the situation around the ship 4 by displaying detailed information on the video captured by the camera (photographing device) 3. .
  • AR augmented reality
  • augmented reality augmented reality
  • the description will be made as an AR video, but any video may be used as long as information is added to a captured video.
  • the display 2 displays the AR video generated by the video generation device 1.
  • the display 2 is provided as a marine vessel maneuvering support device that is referred to by an operator who operates the marine vessel 4.
  • the display 2 is a display of a portable computer carried by a boat maneuvering assistant who monitors surrounding conditions from the boat 4, a display for passengers to watch in the cabin of the boat 4, or a wearable terminal worn by the passenger.
  • a display or the like may be used.
  • FIG. 2 is a side view showing a side surface of the ship 4 according to the present embodiment on which various devices are provided.
  • the camera 3 is a wide-angle video camera for photographing the periphery of the ship 4.
  • the camera 3 has a live output function, generates moving image data (video data or stream data, etc.) as a shooting result in real time, and outputs the generated video data to the video generation device 1.
  • the camera 3 is installed on the boat 4 so that the shooting direction is horizontally forward with respect to the hull.
  • the camera 3 includes a rotating mechanism that performs a rotating operation such as panning or tilting.
  • the camera 3 changes the photographing direction within a predetermined angle range based on the hull of the marine vessel 4 based on a signal indicating a rotation operation input from the video generation device 1.
  • the height and attitude of the ship 4 change variously depending on natural environments such as waves. Along with this, the height and posture (photographing direction) of the camera 3 also change three-dimensionally.
  • the video generation device 1 includes GNSS (global navigation satellite system) compass 5, angular velocity sensor 6, GNSS receiver 7, acceleration sensor 8, AIS (automatic identification system) receiver 9, ECDIS (Electronic @ chart @ display @ and @ information @ system) 10, a plotter 11, a radar 12, and a sonar 13.
  • Ship equipment is a source of detailed information.
  • the GNSS compass 5 has a built-in angular velocity sensor 6, GNSS receiver 7, and acceleration sensor 8. All or a part of the angular velocity sensor 6, the GNSS receiver 7, and the acceleration sensor 8 may be provided independently of the GNSS compass 5.
  • the marine equipment is not limited to those described here, and may be any equipment.
  • the GNSS compass 5 has the functions of an orientation sensor and an attitude sensor.
  • the GNSS compass 5 includes a plurality of GNSS antennas (positioning antennas) fixed to the ship 4.
  • the GNSS compass 5 calculates the positional relationship between the respective GNSS antennas based on radio waves received from positioning satellites.
  • the GNSS compass 5 determines the positional relationship of the GNSS antennas based on the phase difference between the carrier phases of the radio waves received by each GNSS antenna.
  • a known processing method can be applied to a method of obtaining the positional relationship of the GNSS antenna. Thereby, the GNSS compass 5 acquires the heading of the ship 4.
  • the GNSS compass 5 acquires the attitude of the ship 4 three-dimensionally. Specifically, the GNSS compass 5 detects not only the heading (ie, the yaw angle of the vessel 4) but also the roll angle and the pitch angle of the vessel 4. The attitude information of the vessel 4 acquired by the GNSS compass 5 is output to the attitude acquisition unit 25 and other marine equipment.
  • the angular velocity sensor 6 is constituted by, for example, a vibration gyro sensor.
  • the angular velocity sensor 6 detects the yaw angular velocity, the roll angular velocity, and the pitch angular velocity of the marine vessel 4 at a period shorter than a detection interval (for example, one second) at which the GNSS compass 5 detects the posture information.
  • a detection interval for example, one second
  • the attitude of the ship 4 can be acquired at a shorter time interval than when only the GNSS compass 5 is used.
  • the angular velocity sensor 6 is used as an alternative for acquiring the attitude information. Function as an effective means.
  • the GNSS receiver 7 obtains the position of the ship 4 based on the radio wave received from the positioning satellite by the GNSS antenna.
  • the position of the ship 4 is the latitude, longitude, and height of the GNSS antenna.
  • the GNSS receiver 7 outputs the obtained position information to the position acquisition unit 24 and other marine equipment.
  • the acceleration sensor 8 is, for example, a capacitance detection type sensor.
  • the acceleration of the marine vessel 4 in the yaw axis, the roll axis, and the pitch axis is detected at a period shorter than a detection interval (for example, one second) at which the GNSS receiver 7 detects the position information.
  • a detection interval for example, one second
  • the position of the ship 4 is obtained at a shorter time interval than when only the GNSS receiver 7 is used. can do.
  • the acceleration sensor 8 functions as an alternative means for acquiring the position information.
  • the AIS receiver 9 is a device for receiving AIS information transmitted from another ship, a land station, or the like.
  • the AIS information includes various information such as information of another ship (another ship) navigating around the ship 4, landmark positions and identification information.
  • the information on the other ship is, for example, a position (latitude / longitude), a hull length, a hull width, a ship type, identification information, a ship speed, a course, a destination, and the like.
  • the ECDIS 10 acquires the position information of the ship 4 from the GNSS receiver 7 and outputs information around the ship 4 to the video generation device 1 based on electronic chart information stored in advance.
  • the plotter 11 generates the navigation trajectory information of the ship 4 by continuously acquiring the position of the ship 4 from the GNSS receiver 7. Further, the plotter 11 generates a planned route by connecting the waypoints sequentially by causing the user to set a plurality of waypoints (points at which the vessel 4 will pass).
  • the radar 12 detects a target such as another ship existing around the ship 4. Further, the radar 12 has a target tracking function (TT) that can capture and track a target. The radar 12 obtains the position and velocity vector (TT information) of the target based on the TT. The radar 12 outputs the obtained TT information to the video generation device 1.
  • TT target tracking function
  • the sonar 13 transmits an ultrasonic wave into the water, and receives a reflected wave of the ultrasonic wave reflected by a target such as a school of fish to detect the target.
  • the sonar 13 outputs the detected detection information to the video generation device 1.
  • An input device 14 for a user to input information is connected to the video generation device 1.
  • the input device 14 is a keyboard, a mouse, or the like.
  • the input device 14 may be a touch panel or a joystick for inputting information by touching the display 2, or any other device that can input information.
  • the user gives various instructions regarding the AR video using the input device 14. For example, the user instructs an operation of changing the attitude of the camera 3, setting of presence / absence of display of various information, setting of a viewpoint of an AR image, and the like.
  • the image generation device 1 includes an AR image generation unit 20, a captured image input unit 21, a shooting position setting unit 22, an antenna position setting unit 23, a position acquisition unit 24, a posture acquisition unit 25, a detailed information acquisition unit 26, a storage unit 27, A viewpoint setting unit 28 and a display setting unit 29 are provided.
  • the video generation device 1 is mainly configured by a computer.
  • a computer includes an arithmetic processing unit and a storage unit.
  • the arithmetic processing unit is a CPU (central processing unit) or a GPU (graphics processing unit) for performing three-dimensional image processing at high speed.
  • the storage unit is, for example, various memories or a hard disk drive (HDD). Note that the computer may have any configuration.
  • the video generation device 1 operates by executing software (a program or the like) for realizing various functions.
  • the video data output from the camera 3 is input to the captured video input unit 21, for example, at 30 frames per second.
  • the captured video input unit 21 outputs the input video data to the AR video generation unit 20.
  • the photographing position setting unit 22 sets the position (photographing position) of the camera 3 on the boat 4.
  • the photographing position is a position in the length direction of the hull, a position in the width direction of the hull, and a position (height) in the up-down direction.
  • the height of the camera 3 is, for example, the height from the waterline normally assumed in the ship 4, but may be the height from the bottom of the ship, or may be based on other values.
  • the shooting position may be set in the shooting position setting unit 22 by inputting a measurement value obtained by actually measuring the position of the camera 3 by the user through the input device 14.
  • the shooting position setting unit 22 outputs the set shooting position to the AR video generation unit 20.
  • the antenna position setting unit 23 sets the position (antenna position) of the GNSS antenna on the ship 4.
  • the antenna position indicates the position in the length direction, the width direction, and the vertical direction of the hull, for example, with reference to the reference point 4a of the boat 4 shown in FIG.
  • the reference point 4a is a location serving as a control reference. In the present embodiment, the reference point 4a is located at the center of the hull and at the same height as the normally assumed draft line, but may be determined in any manner.
  • the setting of the antenna position may be performed by a user inputting an actual measurement value, similarly to the above-described shooting position.
  • the antenna position setting unit 23 outputs the set antenna position to the AR video generation unit 20.
  • the position acquisition unit 24 acquires the current position of the ship 4 in real time based on the detection results of the GNSS receiver 7 and the acceleration sensor 8.
  • the position acquisition unit 24 outputs the acquired current position information of the ship 4 to the AR image generation unit 20.
  • the attitude acquisition unit 25 acquires the current attitude of the ship 4 in real time based on the detection results of the GNSS compass 5 and the angular velocity sensor 6.
  • the attitude acquisition unit 25 outputs the acquired current attitude information of the ship 4 to the AR video generation unit 20.
  • the detailed information acquisition unit 26 acquires detailed information to be added to an image captured by the camera 3 based on information acquired from the AIS receiver 9, the ECDIS 10, the plotter 11, the radar 12, the sonar 13, and the like.
  • the detailed information is input to the image generation device 1 from these marine devices in real time.
  • the detailed information acquisition unit 26 outputs the acquired detailed information to the AR video generation unit 20.
  • the detailed information acquisition unit 26 may add identification information (for example, an identification number) for uniquely specifying and managing each detailed information.
  • the storage unit 27 is configured as a memory for storing various information.
  • the storage unit 27 may store, for example, a three-dimensional shape of a virtual reality object expressing various types of detailed information as a template.
  • the three-dimensional template stored in the storage unit 27 is, for example, a small boat, a large boat, a buoy, or a lighthouse, but is not limited to this.
  • the storage unit 27 outputs the stored information to the AR video generation unit 20.
  • the viewpoint setting unit 28 sets the viewpoint of the AR video generated by the AR video generation unit 20 by the user using the input device 14.
  • the viewpoint setting unit 28 outputs setting information regarding the viewpoint of the AR video to the AR video generation unit 20.
  • the display setting unit 29 allows the user to set the display of the detailed information in the AR video generated by the AR video generation unit 20 using the input device 14.
  • the display setting unit 29 outputs setting information relating to the display of the detailed information to the AR video generation unit 20.
  • the AR video generation unit 20 generates an AR video expressing augmented reality by synthesizing 3D computer graphics with the video captured by the camera 3 input to the captured video input unit 21.
  • the AR video generation unit 20 includes a detailed information generation unit 31, a three-dimensional scene generation unit 32, a screen information generation unit 33, and a data synthesis unit 34.
  • the detailed information generation unit 31 generates detailed information to be displayed on the AR video based on the detailed information input from the detailed information acquisition unit 26.
  • the detailed information includes character information in which information is represented by characters and graphic information in which information is represented by graphics.
  • the detailed information generation unit 31 outputs the generated detailed information to the three-dimensional scene generation unit 32 or the screen information generation unit 33.
  • the detailed information may be any information as long as the information is required by the user.
  • the detailed information may be determined based on the purpose or function of the video generation device 1, or may be information necessary for the ship 4 to navigate.
  • a target such as a water mobile
  • name shipment name
  • position ship position
  • heading heading
  • course distance
  • speed turning angular velocity
  • destination nationality
  • type type
  • size size
  • size size
  • state novigation state
  • identification code DCPA (closest distance, distance of closest point of approach)
  • TCPA closest time, time of closest point) of @approach
  • BCT bow @ crossing @ time
  • BCR bow @ crossing @ range
  • DCPA is the distance when the distance to another ship is minimized
  • TCPA is the time until the distance to another ship is minimized
  • BCT is the time until another ship crosses the bow of the own ship.
  • BCR is the distance when another ship crosses the bow of the own ship.
  • information such as the position of a buoy or a virtual buoy may be used as detailed information based on the AIS information.
  • the virtual buoy is a virtual (having no entity) buoy that is not actually provided on the sea due to circumstances such as difficulty in installation, but is displayed as a sign on the screen of the navigation device.
  • the information included in the electronic chart by the ECDIS 10 may be detailed information such as a dangerous sea area, a navigation prohibited area, a lighthouse or a buoy.
  • detailed information such as the trajectory of the vessel 4 to be recorded, the planned route, the waypoint, the arrival area, or the stop-by area may be used.
  • the position or speed of the detected target may be used as detailed information.
  • the position of the detected school of fish or the like may be used as the detailed information.
  • FIG. 3 is a conceptual diagram illustrating an example of a situation around the boat 4 according to the present embodiment.
  • a plurality of waypoints 41 and a polygonal route line 42 indicating a planned route to the destination are shown on the sea surface (on the water surface).
  • a polygonal (rectangular) stop-by area 43 is shown near the route line 42.
  • the waypoint 41, the route line 42, and the stop-by area 43 are set by the user operating the plotter 11.
  • the other ship 44 is traveling to the right of the ship 4 at a slightly distant point in front of the ship 4.
  • a virtual buoy 45 is located near the diagonally left front of the ship 4.
  • the detailed information includes information indicating the position (latitude and longitude) on the sea surface (water surface) where the object of the detailed information is arranged.
  • the detailed information of the route line 42 includes the position information of the two turning points (the bending points of the polygonal line).
  • the positions of the two turning points coincide with the positions of the two waypoints 41.
  • the detailed information of the stop-by area 43 includes information on the position of each point that is the vertex of the polygon.
  • FIG. 4 is a conceptual diagram showing the three-dimensional virtual space 40 according to the present embodiment.
  • FIG. 4 shows a three-dimensional virtual space 40 corresponding to the situation around the ship 4 shown in FIG. Also, the waypoint 41, the route line 42, the stop-by area 43, the other ship 44, and the virtual buoy 45 shown in FIG. 3 correspond to the virtual reality objects 41v, 42v, 43v, 44v, 45v shown in FIG. 4, respectively.
  • the three-dimensional scene generating unit 32 generates virtual reality three-dimensional scene data (three-dimensional display data) 48 in the three-dimensional virtual space 40 as shown in FIG.
  • the three-dimensional scene generating unit 32 displays the three-dimensional scene data 48 so that the detailed information generated by the detailed information generating unit 31 is displayed on the generated three-dimensional scene based on the setting information set in the display setting unit 29. To update.
  • the three-dimensional scene generation unit 32 When the detailed information is graphic information, the three-dimensional scene generation unit 32 generates a virtual reality object corresponding to the detailed information and adds the virtual reality object to the three-dimensional scene data 48. At this time, the template of the virtual reality object stored in the storage unit 27 may be used.
  • the graphic information for generating the virtual reality object is reflected in a video image captured by the camera 3 such as a virtual buoy, a dangerous sea area, a no-go area, a trajectory of the ship 4, a planned route, a waypoint, an arrival area, or a stop-by area. Not a target.
  • the three-dimensional scene generation unit 32 may generate a virtual reality object using a visually recognizable target such as another ship as graphic information. In this case, the generated virtual reality object may be displayed so as to be superimposed on the actual target imaged in the image captured by the camera 3.
  • the screen information generation unit 33 generates necessary screen information in addition to the captured image of the camera 3 and the three-dimensional scene data 48.
  • the screen information refers to information necessary for various settings or operations of the image generation device 1, information for improving operability or visibility, or distance or azimuth on a screen of an AR image displayed on the display 2. And information for displaying the information.
  • the screen information generating unit 33 may generate a top-view screen (for example, a radar image) representing a situation around the ship 4 as screen information so that a user can grasp a situation of another ship or the like. Good. Thereby, the user can grasp the situation around the ship 4 even outside the range of the AR image (such as beside or behind the ship 4).
  • the data synthesizing unit 34 draws the three-dimensional scene data 48 generated by the three-dimensional scene generating unit 32 on the captured video of the camera 3 input from the captured video input unit 21, and displays the screen generated by the screen information generating unit 33.
  • An AR video is generated by adding information.
  • the data synthesis unit 34 outputs the generated AR video to the display 2. As a result, the display 2 displays the AR video.
  • the three-dimensional virtual space 40 in which the virtual reality objects 41v to 45v are arranged is formed in an orthogonal coordinate system having a reference position of the ship 4 (for example, the above-described reference point 4a) as an origin, and
  • the xz plane which is a simple surface, is set so as to simulate the sea surface (water surface).
  • the coordinate axes are determined so that the + z direction always coincides with the heading, the + x direction is rightward, and the + y direction is upward.
  • Each point (coordinate) in the three-dimensional virtual space 40 is set so as to correspond to a real position around the ship 4.
  • the virtual reality objects 41v to 45v are arranged so as to be in contact with the xz plane so as to reflect the relative position with respect to the ship 4 with respect to the heading. In order to determine the arrangement positions of the virtual reality objects 41v to 45v, calculations are performed using the positions of the GNSS antennas set by the antenna position setting unit 23.
  • the virtual reality objects 41v to 45v are generated as follows.
  • the virtual reality object 44v indicating the other ship 44 is expressed using a ship-shaped template that models a large ship.
  • the orientation of the virtual reality object 44v is arranged so as to indicate the orientation of the other ship 44 acquired by the AIS information.
  • the virtual reality object 45v indicating the virtual buoy 45 is represented using a template having a shape based on the buoy.
  • the virtual reality object 41v of the waypoint 41 is represented by a thin disk-shaped three-dimensional shape.
  • the virtual reality object 42v of the root line 42 is represented by a three-dimensional shape obtained by bending an elongated plate having a certain thickness and width into a polygonal line shape.
  • the virtual reality object 43v of the stop-by area 43 is represented by a three-dimensional shape such as a plate having a constant thickness and having the outline of the stop-by area 43.
  • the virtual reality objects 41 v to 45 v are arranged on the basis of the azimuth with the position of the ship 4 as the origin. For this reason, when the position of the ship 4 changes from the state of FIG. 3 in the east-west direction or the north-south direction, or when the heading of the ship 4 changes due to turning or the like, the three-dimensional scene data 48 includes the virtual reality objects 41v to 45v. Are updated to be the relocated new three-dimensional scene. When the contents of the detailed information such as the movement of the other ship 44 are changed from the state shown in FIG. 3, the three-dimensional scene data 48 is updated to reflect the latest detailed information.
  • the data synthesizing unit 34 arranges the projection screen 51 for determining the position and range where the image shot by the camera 3 is projected in the three-dimensional virtual space 40.
  • the position and orientation of the viewpoint camera 55 are set so that both the projection screen 51 and the virtual reality objects 41v to 45v are included in the field of view.
  • the data synthesizing unit 34 simulates the position and orientation of the camera 3 mounted on the ship 4 in the three-dimensional virtual space 40 and arranges the projection screen 51 so as to face the camera 3. In simulating the position of the camera 3, the position of the camera 3 with respect to the hull is determined based on the shooting position set in the shooting position setting unit 22.
  • a change in the orientation due to an operation such as panning or tilting of the camera 3 is considered.
  • This simulation is based on the position information acquired by the position acquisition unit 24 and the posture information acquired by the posture acquisition unit 25, and the change in the position and orientation of the camera 3 due to the change in the posture and height of the ship 4. It is performed so that is reflected.
  • the data synthesizing unit 34 changes the position and the direction of the projection screen 51 arranged in the three-dimensional virtual space 40 so as to correspond to the change in the position and the direction of the camera 3.
  • the data combining unit 34 performs a rendering process on the three-dimensional scene data 48 and the projection screen 51 to generate a two-dimensional image. Specifically, the data synthesizing unit 34 arranges a viewpoint camera 55 as a virtual camera in the three-dimensional virtual space 40, and sets a viewing frustum 56 that determines a range to be rendered. The viewing frustum 56 is set such that the viewpoint camera 55 is the vertex and the line of sight from the viewpoint camera 55 is the central axis.
  • the data synthesizing unit 34 calculates the vertex coordinates of the polygons located inside the viewing frustum 56 among the polygons constituting the virtual reality objects 41 v to 45 v and the projection screen 51 by perspective projection using a two-dimensional virtual screen.
  • To the coordinates of This virtual screen corresponds to a display area on the display 2 where an AR image is displayed.
  • the data synthesizing unit 34 generates a two-dimensional image by performing processing such as generation and processing of pixels at a predetermined resolution based on vertex coordinates arranged on the virtual screen.
  • the generated two-dimensional image includes a figure obtained by drawing the three-dimensional scene data 48 (that is, a figure as a rendering result of the virtual reality objects 41v to 45v).
  • the image taken by the camera 3 is arranged at a position corresponding to the projection screen 51 so as to be pasted.
  • the projection screen 51 has a curved shape along the spherical shell with the camera 3 at the center, thereby preventing distortion of a captured image due to perspective projection.
  • the viewpoint camera 55 determines the viewpoint of the AR video. Under normal conditions, the position and orientation of the viewpoint camera 55 are determined by the settings of the viewpoint setting unit 28. By making a special setting in the viewpoint setting unit 28, the data synthesizing unit 34 sets the mode and the direction of the AR video so that the position and the direction of the viewpoint camera 55 always match the position and the direction of the camera 3.
  • the mode changes automatically (viewpoint tracking mode). In this viewpoint tracking mode, the entire field of view of the viewpoint camera 55 is always covered with the projection screen 51 (that is, the image captured by the camera 3), and thus a realistic AR image is realized.
  • the data synthesizing unit 34 may provide a mode in which the position and orientation of the viewpoint camera 55 follow the viewpoint set in the viewpoint setting unit 28 by operating the input device 14 irrespective of the position and orientation of the camera 3 (independent viewpoint). mode).
  • independent viewpoint mode the user can freely move the viewpoint to check detailed information at a position outside the field of view of the camera 3.
  • FIG. 5 is an image diagram showing an example of a video shot by the camera 3.
  • FIG. 6 is an image diagram showing an AR video output from the data synthesizing unit 34.
  • FIG. 5 shows an image captured by the camera 3 of the ship 4 in the situation shown in FIG. This photographed video shows another ship 44r floating on the sea surface. In addition, a bow portion of the ship 4 is shown in the lower center of the photographed image.
  • the virtual buoy 45 is a virtual one, and therefore is not shown in the captured video.
  • the waypoint 41, the route line 42, and the stop-by area 43 are also created by the plotter 11, and therefore are not included in the captured video.
  • the AR video shown in FIG. 6 is obtained by synthesizing a two-dimensional image by rendering the three-dimensional scene data 48 shown in FIG. 4 with the captured video shown in FIG.
  • graphics 41f, 42f, 43f, 44f, and 45f representing detailed information are arranged so as to overlap the captured video shown in FIG.
  • the portion of the image captured by the camera 3 is indicated by a broken line to distinguish it from other portions (the same applies to FIGS. 8 to 10).
  • the figures 41f to 45f correspond to the virtual reality objects 41v to 45v, respectively.
  • the graphic 44f representing the other ship is arranged so as to substantially overlap the position of the other ship 44r in the captured video.
  • the figures 41f to 45f are generated as a result of drawing the three-dimensional shapes of the virtual reality objects 41v to 45v constituting the three-dimensional scene data 48 shown in FIG. Therefore, even when the graphics 41f to 45f are superimposed on a realistic image by the camera 3, the appearance is hardly uncomfortable.
  • the graphics 41f to 45f expressing the detailed information in a virtual reality are arranged on the AR video so as to be placed on the water surface of the captured video.
  • the figures 41f to 45f that represent the detailed information in a virtual reality are arranged along the water surface of the captured video.
  • This arrangement is performed as follows.
  • the virtual reality objects 41v to 45v shown in FIG. 4 are arranged so as to be in contact with the xz plane located below the camera 3 by a distance calculated based on the height set by the shooting position setting unit 22. Further, the position of the projection screen 51 is correctly arranged in consideration of the position and orientation of the camera 3. Thus, the arrangement of the figures 41f to 45f on the water surface is realized.
  • the information (name or position, etc.) of the target is displayed at the end of the line that goes upward from the target, and for other targets May display the information of the target at the end of a line that extends downward from the target. Displaying in this manner makes it easier to distinguish the own ship voyage information from other information.
  • the own ship cruise information includes a waypoint, a route line, a stop-by area, and the like.
  • FIG. 7 is a conceptual diagram showing a case where the boat 4 swings in the pitch direction and the roll direction from the state of FIG.
  • FIG. 8 is an image diagram showing an AR image in the state of FIG.
  • the data synthesis unit 34 changes the posture of the ship 4 acquired by the posture acquisition unit 25 and the position of the ship 4 acquired by the position acquisition unit 24.
  • the position and orientation of the camera 3 in the three-dimensional virtual space 40 are changed so as to simulate a change in the vertical direction. With this change, the position of the projection screen 51 is changed.
  • the ship 4 is tilted so as to fall forward and to the left, and the position and orientation of the camera 3 change to reflect this tilt.
  • the projection screen 51 moves so as to face the camera 3 whose position and orientation have changed.
  • the position and the direction of the viewpoint camera 55 also change so as to follow the camera 3 whose position and direction have changed. Even if the position and orientation of the camera 3 change due to the shaking of the ship 4, the position and orientation of the projection screen 51 change in conjunction therewith, and the position and orientation of the viewpoint camera 55 that renders the three-dimensional scene change. I do. Thereby, the AR video generation unit 20 continuously generates an AR video without a sense of discomfort, as shown in FIG.
  • the drawing of the three-dimensional scene data 48 in the data synthesizing unit 34 is updated, and the figures 41f to 45f based on the latest viewpoint are used. Is generated.
  • the display of the graphics 41f to 45f changes so as to maintain the state of being placed on the sea surface with respect to the image captured by the camera 3 in which the inclination of the sea surface changes due to the shaking of the ship 4.
  • the scale information 91 indicating the direction on the AR video generated by the AR video generation unit 20 will be described. Note that the scale information 91 may or may not be selectable to be displayed.
  • the detailed information generator 31 collects necessary information from the marine equipment or the like in order to display the scale information 91.
  • the detailed information generation unit 31 outputs the collected information to the screen information generation unit 33.
  • the screen information generation unit 33 generates an image or the like to be displayed on the AR video as the scale information 91 based on the information received from the detailed information generation unit 31.
  • the screen information generation unit 33 outputs the generated scale information 91 to the data synthesis unit 34.
  • the data synthesizing part 34 When synthesizing the three-dimensional scene data 48 generated by the three-dimensional scene generating part 32 with the video captured by the camera 3, the data synthesizing part 34 also generates an image serving as the scale information 91 generated by the screen information generating part 33. Combine.
  • the scale information 91 is displayed at a predetermined position such as the upper or lower part of the AR video as shown in FIG. 9, for example. As shown in FIG. 10, the position of the scale information 91 may be automatically moved or changed so as not to overlap with detailed information such as the graphics 41f to 45f. As shown in FIG. 10, the scale information 91 may be displayed by tilting the detailed information 91 so as to always keep parallel to the horizontal line according to the tilt of the hull of the boat 4. By displaying in this manner, the scale information 91 can always indicate an accurate orientation.
  • FIG. 11 is an image diagram showing an AR video on which detailed information D1, D2, and D20 are displayed.
  • FIG. 12 is a flowchart showing an outline of a procedure for displaying the detailed information D1, D2, and D20 on the AR video.
  • the description will be made assuming that there are three water vehicles S1, S2, and S3 in front of the ship 4 in the AR image.
  • the description will be mainly given using the waterborne moving objects S1 to S3 as the targets, detailed information is similarly similarly applied to any target (including intangible objects) other than the waterborne moving objects S1 to S3. It may be displayed.
  • the detailed information held by the video generation device 1 is classified into three types: main information (corresponding to first detailed information), sub information (corresponding to second detailed information), and non-display information.
  • the main information is displayed in the first space SP1.
  • the sub information is displayed in the second space SP2.
  • the non-display information is not displayed on the AR video.
  • Detailed information (items) corresponding to each of the main information, the sub information, and the non-display information is arbitrarily set by the user using the input device 14. For example, a list of items is displayed in the AR video, and items corresponding to each of the main information, the sub information, and the non-display information are selected in a drop-down format.
  • a marker corresponding to each of the water vehicles S1 to S3 in the AR image is selected.
  • M1, M2, and M3 are displayed (step ST102).
  • the markers M1 to M3 are connected by corresponding lines L1, L2, L3 indicating a corresponding relationship extending downward from the corresponding waterborne vehicles S1 to S3, respectively.
  • the shapes of the markers M1 to M3 may be different depending on the type of the detected marine equipment. For example, for the target detected by the AIS receiver 9, the shape of the marker is rhombus, and for the target detected by the radar 12, the shape of the marker is circular. Further, the target may be detected by a marine device such as the ECDIS 10 or the sonar 13. Further, when a single target is detected by a plurality of marine devices, markers M1 to M3 respectively corresponding to the plurality of marine devices detected from the single target may be displayed, or the selected arbitrary May be displayed, or a single marker may be displayed.
  • the user selects (for example, clicks) the markers M1 to M3 connected to the waterborne mobile units S1 to S3 of the displayed detailed information (step ST103).
  • the markers M1 to M3 are selected, the display may be changed such that the color is inverted.
  • the main information of the target corresponding to the selected markers M1 to M3 is displayed at a predetermined position in the AR video (step ST104).
  • the respective markers M1 of the two water vehicles S1 and S2 are selected, and main information D1 and D2 of each water vehicle S1 and S2 are displayed in a first space SP1 below the AR image as a predetermined location.
  • the main information D1 and D2 are the distance to the ship (vessel 4), the speed, DCPA, and TCPA.
  • the markers M1 and M2 and the main information D1 and L2 are extended by corresponding lines L11 and L12 extending from the corresponding lines L1 and L2. D2 are respectively connected.
  • the user selects a display column in which the main information D1 is displayed (step ST105).
  • the display column of the main information D1 is selected, as shown in FIG. 11, the sub information D20 corresponding to the selected main information D1 is displayed in the second space SP2 below the first space SP1 (see FIG. 11).
  • Step ST106 The sub information D20 is connected by a corresponding line L20 indicating that the sub information D20 corresponds to the main information D1 in the first space SP1.
  • the user can select whether to display the sub information D20 or to hide the sub information D20.
  • the second space SP2 disappears, and the first space SP1 displaying the main information D1 and D2 moves to the lower side of the AR video.
  • the second space SP2 is eliminated, so that the portion of the AR video captured by the camera 3 is expanded.
  • the second space SP2 may be always reserved, or may appear when one of the display fields of the main information D1 and D2 is selected.
  • a slightly larger rectangle shown by a broken line surrounding the outside of each of the markers M1 and M2 represents the touch determination areas R1 and R2.
  • the touch determination areas R1 and R2 are areas for determining whether or not the markers M1 and M2 have been touched.
  • the input device 14 when the input device 14 is a touch panel, if a finger or the like touches the touch determination areas R1 and R2, it is determined that the markers M1 and M2 have been touched (that is, selected).
  • the input device 14 is a mouse, if a predetermined operation such as a click is performed in a state where the cursor is in the touch determination regions R1 and R2, it is determined that the markers M1 and M2 have been touched.
  • the touch determination areas R1 and R2 are slightly larger than the markers M1 and M2, so that the markers M1 and M2 are determined to have been touched even when touching slightly off the markers M1 and M2. Thereby, user operability is improved.
  • the second waterborne moving object S2 after t seconds from the initial position is close to the first waterborne moving object S1.
  • the touch determination regions R1 and R2 of the two waterborne moving bodies S1 and S2 are respectively determined.
  • the corresponding line L2b of the second waterborne moving object S2 is displayed so as to gradually extend downward until the touch determination region R2 does not overlap the touch determination region R1 of the first waterborne moving object S1.
  • the marker M2 is moved so as to be visually continuous. This makes it easier for the user to visually follow the moving marker M2.
  • the two touch determination areas R1 and R2 may temporarily overlap.
  • the second waterborne moving object S2 which is further t seconds after being in proximity to the first waterborne moving object S1, is sufficiently separated from the first waterborne moving object S1 again, so that two touches are performed regardless of the length of the corresponding line L2c.
  • the determination regions R1 and R2 do not overlap. Therefore, the corresponding line L2c of the second waterborne moving object S2 contracts until it reaches the state of the initial setting which is the shortest length.
  • the horizontal axis represents the elapsed time
  • the vertical axis represents the length of the corresponding line L1 that changes in the vertical direction in the AR video.
  • the length a1 of the corresponding line L1 of the first waterborne moving object S1 is the shortest length of the initial setting.
  • the screen information generation unit 33 determines that the two touch determination areas overlap.
  • the length a2 of the corresponding line L1 that no longer exists is calculated. There may be any gap between the two touch determination areas.
  • the screen information generation unit 33 may start the calculation not only after the two touch determination areas have touched but also before the touch. Whether or not the two touch determination areas are in contact with each other is not limited to the case where the respective positions of the two touch determination areas are directly detected, but is determined based on the position of a water vehicle, a marker, or a corresponding line. You may.
  • the screen information generation unit 33 changes (draws) the corresponding line L1 such that the length a1 of the corresponding line L1 gradually becomes the calculated length a2. Thereby, the corresponding line L1 of the first waterborne moving object S1 has the target length a2.
  • the screen information generation unit 33 changes the length of the corresponding line L1 as shown by a curve Cr shown in FIG.
  • the curve Cr indicates that the speed of change gradually decreases as the length of the corresponding line L1 approaches the target length a2. This makes it easier for the user to visually follow the marker M1.
  • an existing method used in graphics or animation may be applied.
  • the touch determination region R1 of the first waterborne vehicle S1 is moved to another waterborne vehicle (third waterborne vehicle). Touches the touch determination area.
  • the screen information generation unit 33 calculates a length a3 at which the touch determination region R1 of the first waterborne moving object S1 does not overlap with the touch determination region of the third waterborne moving object newly contacted.
  • the screen information generation unit 33 changes the corresponding line L1 so as to gradually extend from the current length a2 to the calculated length a3.
  • the corresponding line L1 of the first waterborne moving object S1 has the target length a3.
  • the screen information generation unit 33 sets the length a3 of the corresponding line L1 to the initial length a4.
  • the length of the corresponding line L1 is changed so as to gradually contract (return).
  • the length of the corresponding line L1 is gradually changed by changing the length of the corresponding line L1 so as to draw a curve Cr, as in the case of extending the corresponding line L1.
  • the corresponding line L1 of the first waterborne mobile unit S1 returns to the initially set length a4.
  • the screen information generation unit is activated in the same manner as at times t1 and t2. 33 calculates the target length a5 of the corresponding line L1. Accordingly, the corresponding line L1 of the first waterborne moving object S1 has the target length a5.
  • the screen information generating unit 33 starts to return the corresponding line L1 to the initially set length, as at time t3. .
  • the touch determination area R1 of the first waterborne mobile object S1 contacts the touch determination area of another waterborne mobile object (the fifth waterborne mobile object).
  • the screen information generating unit 33 calculates the target length a6 of the corresponding line L1, and changes the corresponding line L1 from the state in which the corresponding line L1 is contracting to the initially set length so as to gradually increase to the target length a6. .
  • the corresponding line L1 of the first waterborne moving object S1 has the target length a6.
  • the screen information generation unit 33 sets the corresponding line L1 to the initially set length, as in the case of times t3 and t5. Start returning.
  • the corresponding line L1 of the first waterborne mobile S1 has the initially set length a7.
  • the user can change the length of each waterborne mobile body. Markers are easier to select.
  • the corresponding line L1 is changed by focusing on the first waterborne moving object S1, but actually, in each of the waterborne moving objects, the corresponding line L1 is changed in the same manner as the first waterborne moving body S1.
  • the length of the corresponding line connected to the marker is changed so that the touch determination areas do not overlap.
  • each waterborne moving object or each marker determines which corresponding line length is to be changed according to the priority determined by each waterborne moving object or each marker.
  • the priority may be assigned in advance to each water vehicle or each marker.
  • the priority order may be the display order of the markers (newest or oldest), or may be determined by the position of each waterborne object or each marker (up / down or left / right on the screen).
  • the length of the corresponding line may be preferentially changed as the position of the marker is below the screen. Extending the corresponding line of the marker at the lower position is shorter than extending the corresponding line of the marker at the upper position.
  • the corresponding line to be changed may be determined based on the current length of each corresponding line or the like.
  • FIG. 15 is a flowchart showing a procedure for displaying the main information D1 and D2 on the AR video.
  • a display column Dh for displaying the main information indicated by a broken line in which nothing is actually displayed is secured in addition to the portion where the main information D1 and D2 are displayed.
  • the display field Dh is determined as follows.
  • FIG. 11 shows an example of an AR image in which items of distance to own ship, speed, DCPA, and TCPA are displayed as main information D1 and D2.
  • the screen information generation unit 33 determines the size of the display field Dh based on the items selected as the main information D1 and D2 (step ST202).
  • the height of the display column is determined based on the number of selected items.
  • the width of the display column is determined based on the largest number of characters among the number of characters secured in each of the selected items. Items represented only by numbers and units, such as position, distance, speed, or time, basically have a small number of secured characters. Items that may display proper nouns (such as ship names or place names) or sentences have basically a large number of reserved characters.
  • the screen information generation unit 33 determines the number of display fields Dh based on the determined size of the display field Dh (step ST203). For example, if the width of the first space SP1 is divided by the width of the display column Dh, the number of display columns Dh arranged horizontally can be determined. The correspondence between the size and the number of the display fields Dh may be stored in advance like table data.
  • FIG. 11 shows an example in which the display column Dh is displayed in one row in a horizontal row, but it may be displayed in two rows or more vertically, with one horizontal row as one row. In this case, based on the height of the first space SP1 and the height of the display column Dh, the number of stages in which the display columns Dh are stacked up and down may be determined in the same manner as the number of display columns Dh arranged horizontally.
  • the screen information generation unit 33 determines the arrangement of the display columns Dh in the first space SP1 based on the determined number of display columns Dh (step ST204).
  • FIG. 11 shows an AR image when the number of display columns Dh is six.
  • an AR image shown in FIG. 16 is obtained.
  • the name of the ship is selected as an item of the main information D1 and D2, so that the width of one display column Dh is wide. For this reason, the number of display columns Dh arranged horizontally decreases to four.
  • Steps ST202 to ST204 are repeatedly executed each time the items of the main information D1 and D2 are changed in step ST201.
  • the screen information generation unit 33 determines a display field Dh for displaying main information D1 and D2 of the water vehicles S1 and S2 (step ST205).
  • the display column Dh closest to the position where the first space SP1 comes in contact with the line vertically lowered from the middle in the width direction of the waterborne mobiles S1 and S2 is displayed.
  • the main information to be hidden may be the main information displayed earliest (that is, the oldest), the main information of the target with the lowest risk, or the information determined by another method. Good. Further, the user may be allowed to perform an operation such as pinning for fixing the display so that the specific main information is not automatically hidden.
  • the risk is determined based on any combination of DCPA, TCPA, BCT, or BCR. If the elements of a predetermined combination among these elements are both higher than a preset threshold, it is determined that the risk is high.
  • the combination of elements is DCPA and TCPA, or BCT and BCR.
  • the screen information generation unit 33 displays the main information D1 and D2 of the water vehicles S1 and S2 in the determined display field Dh (step ST206).
  • the water vehicles S1 and S2 When there are the water vehicles S1 and S2 with a high degree of risk, the water vehicles S1 and S2, the markers M1 and M2, or the display columns Dh of the main information D1 and D2 are displayed in a conspicuous color or blink.
  • the user may be able to easily find a target with a high degree of danger by changing the display form and making it stand out visually.
  • Steps ST205 and ST206 shown in FIG. 15 are repeatedly executed (updated) at predetermined time intervals.
  • FIG. 17 shows an AR image after a predetermined time has elapsed from the state of the AR image shown in FIG.
  • the main information D1 of the first waterborne mobile unit S1 has moved to the second to leftmost display field Dh from the left of the screen because the first waterborne mobile unit S1 has moved to the lower left of the screen.
  • the main information D2 of the second waterborne moving object S2 is in the middle of moving to the fourth to fifth display columns Dh from the left of the screen because the second waterborne moving object S2 has moved to the right of the screen.
  • the display of the main information D1 and D2 gradually moves between the two display columns Dh.
  • the main information D2 is displayed not only at the position of the display field Dh arranged in advance but also between the two display fields Dh. .
  • the main information D1 and D2 are moved so as to be visually continuous. Thereby, the user can confirm the position of the display field Dh after the movement while visually following the main information D1 and D2. Therefore, by switching the display field Dh, it is possible to prevent the user from losing the display location of the main information D1 and D2 and from erroneously recognizing the main information D1 and D2 of the other waterborne mobiles S1 and S2. it can.
  • the method of drawing so that the display of the main information D1 and D2 gradually moves may be the same as the method of drawing so as to gradually change the length of the corresponding line L1.
  • the data combining unit 34 does not have to render the three-dimensional scene data 48 and the projection screen 51 at the same time. That is, the data synthesizing unit 34 outputs a two-dimensional video (video such as the graphics 41f to 45f) as a rendering result of the three-dimensional scene data 48 and a two-dimensional video (video of the projection screen 51) as a rendering result of the projection screen 51. May be separately created. Thereafter, these two-dimensional images created separately are combined to generate an AR image. In this case, the rendering processing of the three-dimensional scene data 48 is performed at any time according to the movement of the ship 4 and the rendering processing of the projection screen 51 is performed at short time intervals according to the frame rate of the video by the camera 3. Is also good.
  • the camera 3 may not have a function of rotating such as panning or tilting, and may have a fixed shooting direction.
  • the shooting direction may be fixed to any of the front, rear, and other directions.
  • the camera 3 may be configured to be capable of simultaneously photographing the periphery of the ship 4 in all directions of 360 degrees. Further, when the user performs an operation of changing the direction of the viewpoint camera 55, the rotation operation of the camera 3 may be automatically performed so as to follow the operation.
  • the generation of the three-dimensional scene data 48 by the three-dimensional scene generation unit 32 has been described with a configuration in which the virtual reality objects 41v to 45v are arranged on the basis of the bow with the origin of the position of the ship 4 as shown in FIG. Not limited to this.
  • the virtual reality objects 41v to 45v may be arranged not on the bow reference but on the true north reference where the + z direction is the true north. In this case, when the heading changes due to turning of the ship 4 or the like, the direction of the ship 4 in the three-dimensional virtual space 40 is changed in the yaw direction instead of rearranging the virtual reality objects 41v to 45v.
  • the change of the position and the direction of the camera 3 is simulated in the three-dimensional virtual space 40, and the position and the direction of the viewpoint camera 55 are changed and the rendering is performed in conjunction with the simulation. In this way, a rendering result is obtained as in the case of the bow reference.
  • the coordinate system of the three-dimensional virtual space 40 uses the arbitrarily selected fixed point on the earth as the origin, such that the + z direction is true north and the + x direction is true east,
  • the relationship between the coordinate axis and the direction may be fixed.
  • the coordinate system of the three-dimensional virtual space 40 is fixed on the earth, and the position and orientation at which the ship 4 is arranged changes based on the position information and the attitude information. With this change, a change in the position and orientation of the camera 3 is simulated in the three-dimensional virtual space 40.
  • the image generation device 1 may perform a process of reducing the sway of the AR image due to the sway of the ship 4.
  • the three-dimensional scene generation unit 32 may suppress a change in the position and the direction of the viewpoint camera 55 even when the ship 4 shakes.
  • the marker in the AR image can be easily viewed.
  • the markers are displayed in the horizontal direction (rightward or leftward) of the waterborne mobile object, in the AR video, the waterborne mobile objects are likely to be dense in the horizontal direction. Markers are likely to be difficult to see due to overlapping body indications.
  • the user can simply view the marker and obtain the information source of the main information. You can know.
  • the display mode for example, the shape
  • the marine device AIS receiver 9 or radar 12 or the like
  • the operability of the user when selecting a marker can be improved by setting the touch determination area for determining whether or not the marker is touched to have an area larger than that of the marker including the marker.
  • the main information can be arranged in the AR video so as to be easily seen.
  • a predetermined location for example, below the screen
  • the display of the main information of the target is made prominent to visually inform the user of the target of high risk or the main information thereof. Can be.
  • the marker display method and the display method of the main information and the like can be separately and independently performed, and even when either one is performed, the operation and effect of the performed display method can be obtained. Further, when both are implemented, further operational effects due to the combination can be obtained.
  • the present invention is not limited to the above-described embodiment, and components may be deleted, added, or changed. Further, a new embodiment may be achieved by combining or exchanging constituent elements of a plurality of embodiments. Even if such an embodiment is directly different from the above-described embodiment, those having the same purpose as the present invention are described as the embodiment of the present invention, and the description thereof is omitted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Ocean & Marine Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Navigation (AREA)

Abstract

映像生成装置（１）は、船舶（４）に設けられるカメラ（３）と、物標に関する物標情報を取得する船舶機器と、カメラ（３）により撮影される撮影映像に、船舶機器により取得される物標情報が表示されたＡＲ映像を生成するＡＲ映像生成部（２０）と、物標をユーザが選択するためのマーカーを、ＡＲ映像における物標の表示箇所に対応して移動するように表示するマーカー表示手段と、船舶機器により取得された物標情報に基づいて、ユーザにより選択されたマーカーに対応する物標のメイン情報を、ＡＲ映像が表示される画面の予め決められた第１スペースに表示するメイン情報表示手段とを備える。

Description

映像生成装置及び映像生成方法
　本発明は、物標を含む映像を生成する映像生成装置に関する。
　一般に、カメラからの画像ストリームについてジオリファレンシングを行う映像生成装置が開示されている。例えば、船舶のカメラが撮影したストリーム画像データを受信し、当該船舶の周囲の物標（他船等）の位置を取得して、ディスプレイに映し出す映像を生成する映像生成装置がある（特許文献１参照）。
　しかしながら、船舶が航行するには、船舶の周囲にある物標（例えば、水上移動体）について、様々な情報を取得する必要がある。このため、船舶のカメラが撮影した映像に、航行に必要な全ての情報を単純に重ね合わせてディスプレイに表示すると、表示された情報が分かり難くなる。したがって、このような映像では、利便性が低下する。
米国特許出願公開第２０１５／０３５０５５２号明細書
　本発明の目的は、船舶から撮影した映像に情報を表示させ、利便性を向上させた映像生成装置を提供することにある。
　本発明の観点に従った映像生成装置は、水上移動体に設けられる撮影手段と、物標に関する物標情報を取得する物標情報取得手段と、前記撮影手段により撮影される撮影映像に、前記物標情報取得手段により取得される前記物標情報が表示された拡張映像を生成する拡張映像生成手段と、前記物標をユーザが選択するためのマーカーを、前記拡張映像における前記物標の表示箇所に対応して移動するように表示するマーカー表示手段と、前記物標情報取得手段により取得された前記物標情報に基づいて、前記ユーザにより選択された前記マーカーに対応する前記物標の第１詳細情報を、前記拡張映像が表示される画面の予め決められた第１スペースに表示する第１詳細情報表示手段とを備える。
図１は、本発明の実施形態に係る映像生成装置の構成を示すブロック図である。 図２は、実施形態に係る船舶の側面を示す側面図である。 図３は、実施形態に係る船舶の周囲の状況の例を示す概念図である。 図４は、実施形態に係る３次元仮想空間を示す概念図である。 図５は、実施形態に係るカメラによる撮影映像の例を示すイメージ図である。 図６は、実施形態に係るデータ合成部から出力されるＡＲ映像を示すイメージ図である。 図７は、図４の状態から船舶がピッチ方向及びロール方向に揺動した場合を示す概念図である。 図８は、図７の状態のＡＲ映像を示すイメージ図である。 図９は、本実施形態に係るＡＲ映像に方位を示す目盛情報が表示されたイメージ図である。 図１０は、本実施形態に係るＡＲ映像に方位を示す目盛情報が船体の傾きに応じて表示されたイメージ図である。 図１１は、本実施形態に係るＡＲ映像に詳細情報が表示されたイメージ図である。 図１２は、本実施形態に係るＡＲ映像に詳細情報を表示する手順の概要を示すフロー図である。 図１３は、本実施形態に係るＡＲ映像におけるマーカーの基本的な表示方法を示す概念図である。 図１４は、本実施形態に係る第１水上移動体のマーカーと接続された対応線の長さの変化の一例を示すグラフ図である。 図１５は、本実施形態に係るＡＲ映像にメイン情報を表示する手順を示すフロー図である。 図１６は、本実施形態に係るＡＲ映像にメイン情報を表示する４つの表示欄が配置されたイメージ図である。 図１７は、図１１に示す状態から所定時間経過後のＡＲ映像を示すイメージ図である。
（実施形態）
　図１は、本発明の実施形態に係る映像生成装置１の構成を示すブロック図である。図２は、本実施形態に係る船舶４の側面を示す側面図である。なお、図面における同一部分には同一符号を付し、重複する説明を適宜省略する。
　映像生成装置１は、水上を移動する水上移動体である船舶４に搭載される。船舶４は、海、湖、又は河川等の水上を航行可能であれば、どのような水上移動体でもよい。映像生成装置１は、カメラ（撮影機器）３で撮影した映像に、詳細情報を表示することにより、船舶４の周囲の状況を拡張して表現する拡張現実（ＡＲ, augmented reality）映像を生成する。以降では、ＡＲ映像として説明するが、撮影された映像に情報が付加された映像であればどのような映像でもよい。
　ディスプレイ２は、映像生成装置１が生成したＡＲ映像を表示する。例えば、ディスプレイ２は、船舶４を操船するオペレータが参照する操船支援装置として設けられる。なお、ディスプレイ２は、船舶４から周囲の状況を監視する操船補助者が携帯する携帯型コンピュータのディスプレイ、船舶４の客室で乗客が鑑賞するためのディスプレイ、又は、乗船者が装着するウェアラブル端末のディスプレイなどでもよい。
　次に、映像生成装置１に接続される各種機器について説明する。図２は、本実施形態に係る船舶４の各種機器が設けられた側面を示す側面図である。
　カメラ３は、船舶４の周囲を撮影する広角型のビデオカメラである。カメラ３は、ライブ出力機能を有しており、撮影結果としての動画データ（映像データ又はストリームデータなど）をリアルタイムで生成して映像生成装置１に出力する。カメラ３は、撮影方向が船体に対して水平前方となるように船舶４に設置される。カメラ３は、パン又はチルトなどの回転動作をする回転機構を備える。カメラ３は、映像生成装置１から入力される回転動作を指示する信号に基づいて、船舶４の船体を基準として撮影方向を所定の角度範囲内で変更する。船舶４の高さ及び姿勢は波等の自然環境により様々に変化する。これに伴い、カメラ３の高さ及び姿勢（撮影方向）も３次元的に変化する。
　映像生成装置１は、カメラ３の他に、船舶機器として、ＧＮＳＳ（global navigation satellite system）コンパス５、角速度センサ６、ＧＮＳＳ受信機７、加速度センサ８、ＡＩＳ（automatic identification system）受信機９、ＥＣＤＩＳ（electronic chart display and information system）１０、プロッタ１１、レーダ１２、及び、ソナー１３と接続される。船舶機器は、詳細情報の情報源となる。ＧＮＳＳコンパス５は、角速度センサ６、ＧＮＳＳ受信機７及び加速度センサ８を内蔵している。なお、角速度センサ６、ＧＮＳＳ受信機７及び加速度センサ８のうち全部又は一部は、ＧＮＳＳコンパス５とは独立して設けられてもよい。また、船舶機器は、ここで説明するものに限らず、どのような機器でもよい。
　ＧＮＳＳコンパス５は、方位センサ及び姿勢センサの機能を有する。ＧＮＳＳコンパス５は、船舶４に固定された複数のＧＮＳＳアンテナ（測位用アンテナ）を備える。ＧＮＳＳコンパス５は、それぞれのＧＮＳＳアンテナの位置関係を、測位衛星から受信した電波に基づいて算出する。特に、ＧＮＳＳコンパス５は、各ＧＮＳＳアンテナが受信した電波の搬送波位相の位相差に基づいて、ＧＮＳＳアンテナの位置関係を求める。ＧＮＳＳアンテナの位置関係の求め方については、既知の処理方法を適用することができる。これにより、ＧＮＳＳコンパス５は、船舶４の船首方位を取得する。
　ＧＮＳＳコンパス５は、船舶４の姿勢を３次元的に取得する。具体的には、ＧＮＳＳコンパス５は、船首方位（即ち、船舶４のヨー角）だけでなく、船舶４のロール角及びピッチ角を検出する。ＧＮＳＳコンパス５で取得された船舶４の姿勢情報は、姿勢取得部２５及び他の船舶機器に出力される。
　角速度センサ６は、例えば、振動ジャイロセンサで構成される。角速度センサ６は、ＧＮＳＳコンパス５が姿勢情報を検出する検出間隔（例えば、１秒）より短い周期で、船舶４のヨー角速度、ロール角速度及びピッチ角速度を検出する。ＧＮＳＳコンパス５が検出した角度と、角速度センサ６が検出した角速度の積分値と、を併用することにより、ＧＮＳＳコンパス５だけを用いる場合よりも短い時間間隔で船舶４の姿勢を取得することができる。また、ＧＮＳＳの測位衛星からの電波が例えば橋等の障害物により遮られて、ＧＮＳＳコンパス５による姿勢の検出が不能となっている場合、角速度センサ６は、姿勢情報を取得するための代替的な手段として機能する。
　ＧＮＳＳ受信機７は、ＧＮＳＳアンテナが測位衛星から受信した電波に基づいて、船舶４の位置を求める。例えば、船舶４の位置は、ＧＮＳＳアンテナの緯度、経度及び高さである。ＧＮＳＳ受信機７は、得られた位置情報を、位置取得部２４及び他の船舶機器に出力する。
　加速度センサ８は、例えば、静電容量検出型のセンサである。ＧＮＳＳ受信機７が位置情報を検出する検出間隔（例えば、１秒）より短い周期で、船舶４のヨー軸、ロール軸及びピッチ軸における加速度を検出する。ＧＮＳＳ受信機７が検出した位置情報と、加速度センサ８が検出した加速度の二重積分値とを併用することにより、ＧＮＳＳ受信機７だけを用いる場合よりも短い時間間隔で船舶４の位置を取得することができる。また、ＧＮＳＳの測位衛星からの電波が遮られてＧＮＳＳ受信機７による位置の検出が不能となっている場合に、加速度センサ８は、位置情報を取得するための代替的な手段として機能する。
　ＡＩＳ受信機９は、他船や陸上局等から送信されるＡＩＳ情報を受信するための機器である。ＡＩＳ情報には、船舶４の周囲を航行している他の船舶（他船）の情報、ランドマークの位置及び識別情報などの様々な情報が含まれる。他船の情報は、例えば、位置（緯度・経度）、船体の長さ、船体の幅、船舶の種類、識別情報、船速、針路、及び、目的地などである。
　ＥＣＤＩＳ１０は、ＧＮＳＳ受信機７から船舶４の位置情報を取得するとともに、予め記憶されている電子海図情報に基づいて、船舶４の周囲の情報を映像生成装置１に出力する。
　プロッタ１１は、ＧＮＳＳ受信機７から船舶４の位置を継続して取得することにより、船舶４の航行軌跡の情報を生成する。また、プロッタ１１は、ユーザに複数のウェイポイント（船舶４が通過する予定の地点）を設定させることにより、これらのウェイポイントを順次に繋ぐようにして予定航路を生成する。
　レーダ１２は、船舶４の周囲に存在する他船等の物標を探知する。また、レーダ１２は、物標を捕捉及び追尾することが可能な目標追尾機能（ＴＴ）を有する。レーダ１２は、このＴＴにより、物標の位置及び速度ベクトル（ＴＴ情報）を求める。レーダ１２は、取得したＴＴ情報を映像生成装置１に出力する。
　ソナー１３は、超音波を水中に送信して、その超音波が魚群等の物標で反射した反射波を受信することにより、物標を探知する。ソナー１３は、探知した探知情報を映像生成装置１に出力する。
　映像生成装置１には、ユーザが情報を入力するための入力機器１４が接続されている。入力機器１４は、キーボード又はマウス等である。なお、入力機器１４は、ディスプレイ２に触れて情報を入力するタッチパネル、又は、ジョイスティックでもよいし、その他に、情報を入力可能な機器であれば、どのような機器でもよい。
　ユーザは、入力機器１４により、ＡＲ映像に関する各種指示を行う。例えば、ユーザは、カメラ３の姿勢を変える操作、各種情報の表示の有無の設定、又は、ＡＲ映像の視点の設定などについて指示を行う。
　次に、映像生成装置１の構成について説明する。
　映像生成装置１は、ＡＲ映像生成部２０、撮影映像入力部２１、撮影位置設定部２２、アンテナ位置設定部２３、位置取得部２４、姿勢取得部２５、詳細情報取得部２６、記憶部２７、視点設定部２８、及び、表示設定部２９を備える。
　映像生成装置１は、主にコンピュータで構成される。例えば、コンピュータは、演算処理部及び記憶部を備える。演算処理部は、ＣＰＵ（central processing unit）又は３次元画像処理を高速で行うためのＧＰＵ（graphics processing unit）などである。記憶部は、各種メモリ又はＨＤＤ（hard disk drive）などである。なお、コンピュータはどのように構成されてもよい。映像生成装置１は、各種機能を実現するためのソフトウェア（プログラム等）を実行することにより動作する。
　撮影映像入力部２１には、例えば３０フレーム毎秒で、カメラ３から出力される映像データが入力される。撮影映像入力部２１は、入力された映像データをＡＲ映像生成部２０に出力する。
　撮影位置設定部２２は、船舶４におけるカメラ３の位置（撮影位置）を設定する。例えば、撮影位置とは、船体の長さ方向の位置、船体の幅方向の位置、及び、上下方向の位置（高さ）である。カメラ３の高さは、例えば、船舶４において通常想定される喫水線からの高さであるが、船底からの高さとしてもよいし、その他を基準にしてもよい。また、カメラ３の位置をユーザが実際に計測した計測値を入力機器１４により入力することにより、撮影位置設定部２２に撮影位置が設定されてもよい。撮影位置設定部２２は、設定された撮影位置をＡＲ映像生成部２０に出力する。
　アンテナ位置設定部２３は、船舶４におけるＧＮＳＳアンテナの位置（アンテナ位置）を設定する。アンテナ位置は、例えば、図２に示す船舶４の基準点４ａを基準として、船体の長さ方向、幅方向及び上下方向で位置を表す。基準点４ａは、制御の基準となる箇所である。本実施形態では、基準点４ａは、船体の中央で、かつ、通常想定される喫水線と同じ高さとなる位置としているが、どのように決定してもよい。例えば、アンテナ位置の設定は、上述の撮影位置と同様に、実際の計測値をユーザが入力することで行われてもよい。アンテナ位置設定部２３は、設定されたアンテナ位置をＡＲ映像生成部２０に出力する。
　位置取得部２４は、ＧＮＳＳ受信機７及び加速度センサ８の検出結果に基づいて、船舶４の現在の位置をリアルタイムで取得する。位置取得部２４は、取得した船舶４の現在の位置情報をＡＲ映像生成部２０に出力する。
　姿勢取得部２５は、ＧＮＳＳコンパス５及び角速度センサ６の検出結果に基づいて、船舶４の現在の姿勢をリアルタイムで取得する。姿勢取得部２５は、取得した船舶４の現在の姿勢情報をＡＲ映像生成部２０に出力する。
　詳細情報取得部２６は、ＡＩＳ受信機９、ＥＣＤＩＳ１０、プロッタ１１、レーダ１２、及び、ソナー１３などから取得された情報に基づいて、カメラ３で撮影した映像に付加する詳細情報を取得する。詳細情報は、これらの船舶機器から映像生成装置１にリアルタイムで入力される。詳細情報取得部２６は、取得した詳細情報をＡＲ映像生成部２０に出力する。詳細情報取得部２６は、一意に特定して管理するための識別情報（例えば、識別番号）を各詳細情報に付与してもよい。
　記憶部２７は、各種情報を記憶するメモリとして構成される。記憶部２７は、例えば、各種の詳細情報を表現する仮想現実オブジェクトの３次元形状を、テンプレートとして記憶してもよい。記憶部２７に記憶される３次元形状のテンプレートは、例えば、小型の船、大型の船、ブイ、又は、灯台等であるが、これに限定されない。記憶部２７は、記憶した情報をＡＲ映像生成部２０に出力する。
　視点設定部２８は、ユーザが入力機器１４を用いて、ＡＲ映像生成部２０により生成されるＡＲ映像の視点に関する設定をする。視点設定部２８は、ＡＲ映像の視点に関する設定情報をＡＲ映像生成部２０に出力する。
　表示設定部２９は、ユーザが入力機器１４を用いて、ＡＲ映像生成部２０により生成されるＡＲ映像における詳細情報の表示に関する設定をする。表示設定部２９は、詳細情報の表示に関する設定情報をＡＲ映像生成部２０に出力する。
　ＡＲ映像生成部２０は、撮影映像入力部２１に入力されたカメラ３の撮影映像に３次元コンピュータグラフィックスを合成することにより、拡張現実を表現するＡＲ映像を生成する。
　ＡＲ映像生成部２０は、詳細情報生成部３１、３次元シーン生成部３２、画面情報生成部３３、及び、データ合成部３４を備える。
　詳細情報生成部３１は、詳細情報取得部２６から入力された詳細情報に基づいて、ＡＲ映像に表示するための詳細情報を生成する。詳細情報は、情報が文字で表される文字情報と情報が図形で表される図形情報などがある。詳細情報生成部３１は、生成した詳細情報を３次元シーン生成部３２又は画面情報生成部３３に出力する。詳細情報は、ユーザが必要とする情報であれば、どのような情報でもよい。例えば、詳細情報は、映像生成装置１の目的又は機能に基づいて決定されてもよいし、船舶４の航行に必要な情報としてもよい。
　例えば、水上移動体等の物標についての詳細情報は、名称（船名）、位置（船位）、方位（船首方位）、針路、距離、速度、回頭角速度、目的地、国籍（船籍）、種類（船種）、サイズ（長さ、幅及び高さなど）、状態（航行状態）、識別符号、ＤＣＰＡ（最接近距離、distance of closest point of approach）、ＴＣＰＡ（最接近時間、time of closest point of approach）、ＢＣＴ（bow crossing time）、又は、ＢＣＲ（bow crossing range）などである。ここで、ＤＣＰＡは、他船との距離が最小となるときのその距離である。ＴＣＰＡは、他船との距離が最小となるまでの時間である。ＢＣＴは、他船が自船の船首を横切るまでの時間である。ＢＣＲは、他船が自船の船首を横切るときの距離である。
　この他に、ＡＩＳ情報に基づいて、ブイ又は仮想ブイの位置等の情報を詳細情報としてもよい。仮想ブイは、設置が困難である等の事情により実際に海上に設けられていない仮想の（実体を持たない）ブイであるが、ナビゲーション装置の画面には標識として表示される。ＥＣＤＩＳ１０による電子海図に含まれる情報としては、危険海域、航海禁止領域、灯台又はブイなどを詳細情報としてもよい。プロッタ１１に基づく情報としては、記録される船舶４の軌跡、予定航路、ウェイポイント、到着エリア又は立寄エリアなどを詳細情報としてもよい。レーダ１２に基づく情報としては、探知された物標の位置又は速度などを詳細情報としてもよい。ソナー１３に基づく情報としては、探知された魚群の位置などを詳細情報としてもよい。
　図３は、本実施形態に係る船舶４の周囲の状況の例を示す概念図である。
　海面上（水面上）には、複数のウェイポイント４１、及び、目的地までの予定航路を示す折れ線状のルート線４２が示されている。ルート線４２の近傍には、多角形状（矩形状）の立寄エリア４３が示されている。ウェイポイント４１、ルート線４２、及び、立寄エリア４３は、ユーザがプロッタ１１を操作することにより、設定される。
　船舶４の前方のやや離れた地点で他船４４が船舶４の右方へ向けて航行中である。船舶４の左斜め前の近くには仮想ブイ４５がある。これらの情報は、ＡＩＳ情報により検出される。
　詳細情報には、その詳細情報の対象物が配置される海面（水面）における位置（緯度及び経度）を示す情報が含まる。例えば、ルート線４２の詳細情報には、２つの変針点（折れ線の屈折点）の地点の位置情報が含まれる。ここでは、２つの変針点の位置は、２つのウェイポイント４１の位置と一致する。立寄エリア４３の詳細情報には、多角形の頂点となるそれぞれの地点の位置の情報が含まれる。
　図４は、本実施形態に係る３次元仮想空間４０を示す概念図である。図４は、図３に示す船舶４の周囲の状況に対応する３次元仮想空間４０を示している。また、図３に示すウェイポイント４１、ルート線４２、立寄エリア４３、他船４４、及び、仮想ブイ４５は、それぞれ図４に示す仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖ，４４ｖ，４５ｖに対応する。
　３次元シーン生成部３２は、図４に示すように、３次元仮想空間４０に仮想現実の３次元シーンデータ（３次元表示用データ）４８を生成する。３次元シーン生成部３２は、表示設定部２９に設定された設定情報に基づいて、生成した３次元シーンに詳細情報生成部３１により生成された詳細情報を表示するように、３次元シーンデータ４８を更新する。
詳細情報が図形情報である場合、３次元シーン生成部３２は、詳細情報に対応する仮想現実オブジェクトを生成して、３次元シーンデータ４８に加える。このとき、記憶部２７に記憶された仮想現実オブジェクトのテンプレートを用いてもよい。
　仮想現実オブジェクトを生成する図形情報は、例えば、仮想ブイ、危険海域、航海禁止領域、船舶４の軌跡、予定航路、ウェイポイント、到着エリア、又は、立寄エリアなどのカメラ３の撮影映像には映らない物標である。また、３次元シーン生成部３２は、他船等の視認可能な物標を図形情報として仮想現実オブジェクトを生成してもよい。この場合、生成した仮想現実オブジェクトは、カメラ３の撮影映像に映された実際のこの物標に重ねて表示してもよい。
　画面情報生成部３３は、カメラ３の撮影映像及び３次元シーンデータ４８の他に必要な画面情報を生成する。例えば、画面情報とは、ディスプレイ２に表示されるＡＲ映像の画面において、映像生成装置１の各種設定若しくは操作に必要な情報、操作性若しくは視認性を向上させるための情報、又は、距離若しくは方位を示す表示をするための情報などである。また、画面情報生成部３３は、他船等の状況をユーザが把握するために、船舶４を中心として周辺の状況を表すトップビューの画面（例えば、レーダ映像）を画面情報として生成してもよい。これにより、ユーザは、船舶４の周囲の状況をＡＲ映像の範囲外（船舶４の横又は後方など）でも把握することができる。
　データ合成部３４は、撮影映像入力部２１から入力されたカメラ３の撮影映像に、３次元シーン生成部３２が生成した３次元シーンデータ４８を描画し、画面情報生成部３３により生成された画面情報を付加して、ＡＲ映像を生成する。データ合成部３４は、生成したＡＲ映像をディスプレイ２に出力する。これにより、ディスプレイ２は、ＡＲ映像を表示する。
　次に、３次元仮想空間４０の構築方法について説明する。
　仮想現実オブジェクト４１ｖ～４５ｖが配置される３次元仮想空間４０は、図４に示すように、船舶４の基準位置（例えば、上述の基準点４ａ）を原点とする直交座標系で構成され、水平な面であるｘｚ平面が海面（水面）を模擬するように設定される。図４の例では、座標軸は、＋ｚ方向が常に船首方位と一致し、＋ｘ方向が右方向、＋ｙ方向が上方向となるように定められる。３次元仮想空間４０内の各地点（座標）は、船舶４の周囲の現実の位置に対応するように設定される。
　仮想現実オブジェクト４１ｖ～４５ｖは、船首方位を基準として、船舶４との相対位置を反映させるように、ｘｚ平面に接するように配置される。仮想現実オブジェクト４１ｖ～４５ｖの配置位置を決定するには、アンテナ位置設定部２３で設定されたＧＮＳＳアンテナの位置を用いた計算が行われる。
　例えば、仮想現実オブジェクト４１ｖ～４５ｖは、次のように生成される。
　他船４４を示す仮想現実オブジェクト４４ｖは、大型の船をモデルとした船舶の形状のテンプレートを利用して表現される。仮想現実オブジェクト４４ｖの向きは、ＡＩＳ情報で取得した他船４４の向きを示すように配置される。仮想ブイ４５を示す仮想現実オブジェクト４５ｖは、ブイをモデルとした形状のテンプレートを利用して表現される。
　ウェイポイント４１の仮想現実オブジェクト４１ｖは、薄い円板状の３次元形状で表現される。ルート線４２の仮想現実オブジェクト４２ｖは、一定の厚み及び幅を有する細長い板を折れ線状に屈曲させた３次元形状で表現される。立寄エリア４３の仮想現実オブジェクト４３ｖは、立寄エリア４３の輪郭を有する一定の厚みの板のような３次元形状で表現される。これらの仮想現実オブジェクト４１ｖ～４５ｖは、テンプレートを使用せずに、その都度作成してもよい。
　図４では、仮想現実オブジェクト４１ｖ～４５ｖが船舶４の位置を原点とした方位基準で配置される。このため、船舶４の位置が図３の状態から東西方向又は南北方向に変化したり、船舶４の船首方位が回頭等により変化したりすると、３次元シーンデータ４８は、仮想現実オブジェクト４１ｖ～４５ｖが再配置された新しい３次元シーンになるように更新される。また、図３の状態から他船４４の移動などの詳細情報の内容が変更されると、最新の詳細情報を反映するように３次元シーンデータ４８が更新される。
　データ合成部３４は、カメラ３の撮影映像が映写される位置及び範囲を定める映写スクリーン５１を３次元仮想空間４０に配置する。映写スクリーン５１と仮想現実オブジェクト４１ｖ～４５ｖの両方が視野に含まれるように、視点カメラ５５の位置及び向きが設定される。
　データ合成部３４は、船舶４に搭載されるカメラ３の位置及び向きを３次元仮想空間４０においてシミュレートし、映写スクリーン５１をカメラ３に正対するように配置する。カメラ３の位置のシミュレートにおいて、船体を基準とするカメラ３の位置は、撮影位置設定部２２に設定された撮影位置に基づいて決定される。
　カメラ３の位置及び向きのシミュレートでは、カメラ３のパン又はチルトなどの動作による向きの変化が考慮される。また、このシミュレートは、位置取得部２４により取得された位置情報及び姿勢取得部２５により取得された姿勢情報に基づいて、船舶４の姿勢及び高さの変化によるカメラ３の位置及び向きの変化が反映されるように行われる。データ合成部３４は、カメラ３の位置及び向きの変化に対応するように、３次元仮想空間４０に配置される映写スクリーン５１の位置及び向きを変化させる。
　データ合成部３４は、３次元シーンデータ４８及び映写スクリーン５１に対してレンダリング処理をすることにより、２次元の画像を生成する。具体的には、データ合成部３４は、３次元仮想空間４０に仮想カメラとしての視点カメラ５５を配置し、レンダリング処理の対象となる範囲を定める視錐台５６を設定する。視錐台５６は、視点カメラ５５を頂点として、視点カメラ５５からの視線方向が中心軸となるように設定される。
　次に、データ合成部３４は、仮想現実オブジェクト４１ｖ～４５ｖ及び映写スクリーン５１を構成するポリゴンのうち、視錐台５６の内部に位置するポリゴンの頂点座標を、透視投影により、２次元の仮想スクリーンの座標に変換する。この仮想スクリーンは、ディスプレイ２でのＡＲ映像が表示される表示領域に相当する。データ合成部３４は、仮想スクリーンに配置された頂点座標に基づいて、所定の解像度でピクセルの生成及び加工などの処理を行うことにより、２次元の画像を生成する。
　生成された２次元の画像には、３次元シーンデータ４８の描画が行われることにより得られた図形（即ち、仮想現実オブジェクト４１ｖ～４５ｖのレンダリング結果としての図形）が含まれる。この２次元の画像の生成過程において、映写スクリーン５１に相当する位置には、カメラ３の撮影映像が貼り付けられるように配置される。これにより、データ合成部３４による映像の合成が実現される。映写スクリーン５１は、カメラ３を中心とする球殻に沿うように湾曲した形状とすることで、透視投影による撮影映像の歪みを防止する。
　視点カメラ５５は、ＡＲ映像の視点を定める。通常時は、視点カメラ５５の位置及び向きは、視点設定部２８の設定により決定される。視点設定部２８に特別な設定をすることで、データ合成部３４は、ＡＲ映像を生成するときのモードとして、視点カメラ５５の位置及び向きが、カメラ３の位置及び向きと常に一致するように自動的に変化するモードになる（視点追従モード）。この視点追従モードでは、視点カメラ５５の視野全体が常に映写スクリーン５１（即ち、カメラ３の撮影映像）で覆われることになるので、臨場感のあるＡＲ映像が実現する。
　データ合成部３４は、視点カメラ５５の位置及び向きが、カメラ３の位置及び向きと無関係に、入力機器１４の操作により視点設定部２８に設定された視点に従うモードを設けてもよい（独立視点モード）。この独立視点モードでは、ユーザは、視点を自由に動かして、カメラ３の撮影視野から外れた位置にある詳細情報を確認することができる。
　図５及び図６を参照して、カメラ３で撮影した映像とＡＲ映像との関係を説明する。図５は、カメラ３による撮影映像の例を示すイメージ図である。図６は、データ合成部３４から出力されるＡＲ映像を示すイメージ図である。
　図５には、図３に示す状況において、船舶４のカメラ３が撮影した映像が示されている。この撮影映像には、海面に浮かぶ他船４４ｒが写っている。また、撮影映像の下部中央には、船舶４の船首部分が写っている。
　仮想ブイ４５は、仮想的なものであるので、撮影映像には写らない。ウェイポイント４１、ルート線４２及び立寄エリア４３も、プロッタ１１で作成されるものであるので、撮影映像には写らない。
　図６に示すＡＲ映像は、図５に示す撮影映像に対して、図４の３次元シーンデータ４８のレンダリングによる２次元の画像を合成したものである。図６のＡＲ映像では、詳細情報を表現する図形４１ｆ，４２ｆ，４３ｆ，４４ｆ，４５ｆが、図５に示す撮影映像に重なるように配置されている。ここで、図６では、カメラ３による撮影映像の部分は、それ以外の部分と区別するために破線で示されている（図８～図１０も同様である）。図形４１ｆ～４５ｆは、それぞれ仮想現実オブジェクト４１ｖ～４５ｖに対応する。他船を表す図形４４ｆは、撮影映像における他船４４ｒの位置にほぼ重なるように配置される。
　図形４１ｆ～４５ｆは、図４に示す３次元シーンデータ４８を構成する仮想現実オブジェクト４１ｖ～４５ｖの３次元形状を、カメラ３と同じ位置及び向きの視点で描画した結果として生成される。従って、カメラ３による写実的な映像に、図形４１ｆ～４５ｆを重ねた場合でも、見た目の違和感が殆ど生じない。
　図６に示すように、詳細情報を仮想現実的に表現する図形４１ｆ～４５ｆは、撮影映像の水面に置かれるように、ＡＲ映像上に配置される。換言すれば、詳細情報を仮想現実的に表現する図形４１ｆ～４５ｆは、撮影映像の水面に沿って配置される。
　この配置は、次のように行われる。図４に示す仮想現実オブジェクト４１ｖ～４５ｖを、撮影位置設定部２２で設定された高さに基づいて計算された距離だけカメラ３に対して下方に位置するｘｚ平面に接するように配置する。さらに、映写スクリーン５１の位置を、カメラ３の位置及び向きを考慮して正しく配置する。これにより、図形４１ｆ～４５ｆの水面への配置が実現される。
　船舶４の航海に関する情報（自船航海情報）である物標については、その物標から上方に出る線の先にその物標の情報（名称又は位置など）を表示し、その他の物標については、その物標から下方に出る線の先にその物標の情報を表示してもよい。このように、表示することで、自船航海情報とその他の情報を区別し易くなる。例えば、自船航海情報は、ウェイポイント、ルート線及び立寄エリアなどである。
　次に、船舶４の揺れに伴うＡＲ映像の変化について説明する。図７は、図４の状態から船舶４がピッチ方向及びロール方向に揺動した場合を示す概念図である。図８は、図７の状態のＡＲ映像を示すイメージ図である。
　カメラ３は、船舶４に取り付けられているので、その位置及び向きは、船舶４の姿勢が波等により傾いたり、船舶４が波に乗り上げたりすることに伴い変化する。データ合成部３４は、船舶４に揺れ（ピッチング、ローリング及びヒービング）が生じた場合、姿勢取得部２５が取得した船舶４の姿勢の変化、及び、位置取得部２４が取得した船舶４の位置の上下方向の変化をシミュレートするように、３次元仮想空間４０におけるカメラ３の位置及び向きを変更する。この変更に伴い、映写スクリーン５１の位置を変更する。
　図７の例では、船舶４は前下がりかつ左下がりとなるように傾いており、この傾きを反映するように、カメラ３の位置及び向きが変化する。これに連動して、映写スクリーン５１は、位置及び向きが変化したカメラ３に正対するように移動する。
　この例では、視点追従モードにより、視点カメラ５５の位置及び向きも、位置及び向きが変化したカメラ３に追従するように変化する。船舶４の揺れに伴ってカメラ３の位置及び向きが変化しても、それに連動して映写スクリーン５１の位置及び向きが変化して、３次元シーンをレンダリングする視点カメラ５５の位置及び向きが変化する。これにより、ＡＲ映像生成部２０は、図８に示すように、違和感のないＡＲ映像を継続的に生成する。
　視点追従モードでは、船舶４の揺れによってピッチ角又はロール角が所定値以上変化する毎に、データ合成部３４での３次元シーンデータ４８の描画が更新され、最新の視点に基づく図形４１ｆ～４５ｆが生成される。この描画の更新により、海面の傾きが船舶４の揺れにより変化するカメラ３の撮影映像に対し、図形４１ｆ～４５ｆの表示は、海面に置かれた状態を維持するように変化する。
　これにより、仮想現実的に表現された図形が海面に浮かんでいるように見えるため、ＡＲ映像は、自然で現実感の高い映像になる。また、ユーザは、ディスプレイ２に映し出されたＡＲ映像の海面を眺めることで、仮想現実オブジェクト４１ｖ～４５ｖを表す図形４１ｆ～４５ｆが網羅的に視界に入るので、取りこぼしなく必要な情報を得られる。
　図９及び図１０を参照して、ＡＲ映像生成部２０により生成されるＡＲ映像に方位を示す目盛情報９１を表示する構成について説明する。なお、目盛情報９１は、表示するか否かを選択できるようにしてもよいし、表示しなくてもよい。
　詳細情報生成部３１は、目盛情報９１を表示するために、必要な情報を船舶機器等から収集する。詳細情報生成部３１は、収集した情報を画面情報生成部３３に出力する。
　画面情報生成部３３は、詳細情報生成部３１から受信した情報に基づいて、目盛情報９１としてＡＲ映像に表示するための画像等を生成する。画面情報生成部３３は、生成した目盛情報９１をデータ合成部３４に出力する。
　データ合成部３４は、カメラ３の撮影映像に、３次元シーン生成部３２により生成された３次元シーンデータ４８を合成する際に、画面情報生成部３３により生成された目盛情報９１となる画像も合成する。
　目盛情報９１は、例えば、図９に示すように、ＡＲ映像の上部又は下部などの所定の位置に表示する。目盛情報９１の位置は、図１０に示すように、図形４１ｆ～４５ｆ等の詳細情報と重ならないように、自動的に移動又は変更するようにしてもよい。また、目盛情報９１は、図１０に示すように、船舶４の船体の傾きに応じて、水平線と常に平行を保つように、詳細情報９１を傾けて表示してもよい。このように表示することで、目盛情報９１は、常に正確な方位を示すことができる。
　図１１及び図１２を参照して、ＡＲ映像内にある物標の詳細情報の表示方法について説明する。図１１は、詳細情報Ｄ１，Ｄ２，Ｄ２０が表示されたＡＲ映像を示すイメージ図である。図１２は、ＡＲ映像に詳細情報Ｄ１，Ｄ２，Ｄ２０を表示する手順の概要を示すフロー図である。
　ここでは、ＡＲ映像内の船舶４の前方に、３つの水上移動体Ｓ１，Ｓ２，Ｓ３がいるものとして説明する。また、物標として水上移動体Ｓ１～Ｓ３を用いて、主に説明するが、水上移動体Ｓ１～Ｓ３以外のどのような物標（無体物を含む。）についても、同様に、詳細情報を表示してもよい。
　映像生成装置１が保有する詳細情報は、メイン情報（第１詳細情報に相当する。）、サブ情報（第２詳細情報に相当する。）、及び非表示情報の３種類に分けられる。メイン情報は、第１スペースＳＰ１に表示される。サブ情報は、第２スペースＳＰ２に表示される。非表示情報は、ＡＲ映像に表示されない。メイン情報、サブ情報及び非表示情報のそれぞれに該当する詳細情報（項目）は、ユーザが入力機器１４により、任意に設定される。例えば、ＡＲ映像内に項目のリストを表示させ、メイン情報、サブ情報及び非表示情報のそれぞれに該当する項目をドロップダウン形式に選択する。
　ＡＩＳ受信機９又はレーダ１２などの船舶機器により、物標である水上移動体Ｓ１～Ｓ３を検出すると（ステップＳＴ１０１）、ＡＲ映像内の各水上移動体Ｓ１～Ｓ３に対応した選択するためのマーカーＭ１，Ｍ２，Ｍ３が表示される（ステップＳＴ１０２）。マーカーＭ１～Ｍ３は、それぞれ対応する水上移動体Ｓ１～Ｓ３から下方に延びる対応関係を示す対応線Ｌ１，Ｌ２，Ｌ３で接続される。
　マーカーＭ１～Ｍ３の形状は、検出した船舶機器の種類に応じて、異なるようにしてもよい。例えば、ＡＩＳ受信機９で検出された物標については、マーカーの形状を菱形とし、レーダ１２で検出された物標については、マーカーの形状を円形とする。また、物標は、ＥＣＤＩＳ１０又はソナー１３などの船舶機器で検出されたものでもよい。さらに、１つの物標に対し、複数の船舶機器で検出された場合、１つの物標から検出した複数の船舶機器にそれぞれ対応するマーカーＭ１～Ｍ３が表示されてもよいし、選択された任意のマーカーのみが表示されるようにしてもよいし、１つにまとめられたマーカーが表示されてもよい。
　ユーザは、水上移動体Ｓ１～Ｓ３のより詳しい詳細情報を表示させる場合、表示させる詳細情報の水上移動体Ｓ１～Ｓ３に接続されたマーカーＭ１～Ｍ３を選択（例えば、クリック）する（ステップＳＴ１０３）。マーカーＭ１～Ｍ３は、選択されると、色が反転するなどの表示を変えてもよい。
　マーカーＭ１～Ｍ３が選択されると、選択されたマーカーＭ１～Ｍ３に対応する物標のメイン情報がＡＲ映像の所定の箇所に表示される（ステップＳＴ１０４）。図１１では、２つの水上移動体Ｓ１，Ｓ２の各マーカーＭ１が選択され、所定の箇所としてＡＲ映像の下部の第１スペースＳＰ１に、各水上移動体Ｓ１，Ｓ２のメイン情報Ｄ１，Ｄ２が表示された状態を示している。例えば、メイン情報Ｄ１，Ｄ２は、自船（船舶４）との距離、速度、ＤＣＰＡ、及び、ＴＣＰＡである。水上移動体Ｓ１，Ｓ２とメイン情報Ｄ１，Ｄ２との対応関係を分かり易く表示するために、対応線Ｌ１，Ｌ２を延長するような対応線Ｌ１１，Ｌ１２で、マーカーＭ１，Ｍ２とメイン情報Ｄ１，Ｄ２がそれぞれ接続される。
　水上移動体Ｓ１について、メイン情報Ｄ１の他に、さらにサブ情報を表示する場合、ユーザは、メイン情報Ｄ１が表示されている表示欄を選択する（ステップＳＴ１０５）。メイン情報Ｄ１の表示欄が選択されると、図１１に示すように、第１スペースＳＰ１の下にある第２スペースＳＰ２に、選択されたメイン情報Ｄ１に対応するサブ情報Ｄ２０が表示される（ステップＳＴ１０６）。サブ情報Ｄ２０は、第１スペースＳＰ１にあるメイン情報Ｄ１と対応をしていることを示す対応線Ｌ２０で接続される。
　ユーザは、サブ情報Ｄ２０を表示させておくか、非表示にするか選択できる。サブ情報を非表示にすると、第２スペースＳＰ２が無くなり、メイン情報Ｄ１，Ｄ２を表示する第１スペースＳＰ１がＡＲ映像の下側に移動する。サブ情報Ｄ２０が必要ない場合、第２スペースＳＰ２を無くすことで、ＡＲ映像におけるカメラ３の撮影映像部分を広げる。なお、第２スペースＳＰ２は、常に確保されていてもよいし、メイン情報Ｄ１，Ｄ２の表示欄のいずれかが選択されたら、出現するようにしてもよい。
　なお、ここでは、１つのサブ情報Ｄ２０を表示した場合について説明したが、２つ以上のサブ情報を表示してもよいし、サブ情報は無くてもよい。
　図１３を参照して、ＡＲ映像におけるマーカーＭ１，Ｍ２の基本的な表示方法について説明する。
　ここでは、船舶４の前方で、横向きにほぼ停止状態の第１水上移動体Ｓ１の横を別の第２水上移動体Ｓ２が画面の右から左に通り過ぎる場合について説明する。
　各マーカーＭ１，Ｍ２の外側を囲む破線で示した一回り大きい四角形は、タッチ判定領域Ｒ１，Ｒ２を表す。タッチ判定領域Ｒ１，Ｒ２は、マーカーＭ１，Ｍ２がタッチされたか否かを判定するための領域である。
　例えば、入力機器１４がタッチパネルの場合、タッチ判定領域Ｒ１，Ｒ２内で指等が触れれば、マーカーＭ１，Ｍ２がタッチされた（即ち、選択された）と判定される。入力機器１４がマウスの場合、タッチ判定領域Ｒ１，Ｒ２内にカーソルがある状態でクリック等の所定の操作がされれば、マーカーＭ１，Ｍ２がタッチされたと判定される。タッチ判定領域Ｒ１，Ｒ２は、マーカーＭ１，Ｍ２よりも一回り大きい形状とすることで、マーカーＭ１，Ｍ２から多少外れてタッチしても、マーカーＭ１，Ｍ２がタッチされたと判定される。これにより、ユーザの操作性が向上する。
　最初の位置にある第２水上移動体Ｓ２は、第１水上移動体Ｓ１から充分に離れている。このときの２つの水上移動体Ｓ１，Ｓ２に接続された対応線Ｌ１，Ｌ２ａは、初期設定された最短の長さである。第１水上移動体Ｓ１の対応線Ｌ１の長さは、以降もこのまま変わらないものとする。なお、初期設定の長さは最短でなくてもよい。
　最初の位置からｔ秒後の第２水上移動体Ｓ２は、第１水上移動体Ｓ１と近接している。この状態の場合、２つの水上移動体Ｓ１，Ｓ２の対応線Ｌ１，Ｌ２ｂがともに初期設定の長さのままであれば、２つの水上移動体Ｓ１，Ｓ２のそれぞれのタッチ判定領域Ｒ１，Ｒ２の一部が重なる。そこで、第２水上移動体Ｓ２の対応線Ｌ２ｂは、タッチ判定領域Ｒ２が第１水上移動体Ｓ１のタッチ判定領域Ｒ１と重ならない位置になるまで、下方向に徐々に伸びるように表示する。このように、対応線Ｌ２ｂの長さを徐々に変化させることで、マーカーＭ２を視覚的に連続するように移動する。これにより、移動しているマーカーＭ２をユーザが視覚的に追い易くなる。第２水上移動体Ｓ２の対応線Ｌ２ｂの長さが変化している過程では、一時的に２つのタッチ判定領域Ｒ１，Ｒ２が重なってもよい。
　第１水上移動体Ｓ１と近接した状態からさらにｔ秒後の第２水上移動体Ｓ２は、再び第１水上移動体Ｓ１から充分に離れるため、対応線Ｌ２ｃの長さに関係なく、２つのタッチ判定領域Ｒ１，Ｒ２が重なることはない。そこで、第２水上移動体Ｓ２の対応線Ｌ２ｃは、最短の長さである初期設定の状態になるまで縮む。
　このようにして、２つのタッチ判定領域Ｒ１，Ｒ２が重ならないように、各水上移動体Ｓ１，Ｓ２のそれぞれの対応線Ｌ１，Ｌ２ａ～Ｌ２ｃの長さは、伸縮するように変化する。
　ここでは、移動している第２水上移動体Ｓ２の対応線Ｌ２ａ～Ｌ２ｃの長さが変化する場合について説明したが、停止している第１水上移動体Ｓ１の対応線Ｌ１の長さが変化してもよい。
　図１４を参照して、第１水上移動体Ｓ１とマーカーＭ１を接続する対応線Ｌ１の長さの変化の一例を説明する。図１４において、横軸は、経過時間を表し、縦軸は、ＡＲ映像における上下方向に変化する対応線Ｌ１の長さを表す。
　時刻ｔ０では、第１水上移動体Ｓ１の対応線Ｌ１の長さａ１は、初期設定の最短の長さである。
　時刻ｔ１において、第１水上移動体Ｓ１のタッチ判定領域Ｒ１が別の水上移動体（第２水上移動体）のタッチ判定領域に接触すると、画面情報生成部３３は、２つのタッチ判定領域が重ならなくなる対応線Ｌ１の長さａ２を演算する。２つのタッチ判定領域の間は、どの程度空けてもよい。
　なお、画面情報生成部３３は、２つのタッチ判定領域が接触した後に限らず、接触する前に演算を開始してもよい。また、２つのタッチ判定領域が接触するか否かは、２つのタッチ判定領域のそれぞれの位置を直接検出する場合に限らず、水上移動体、マーカー又は対応線などの位置に基づいて、判定してもよい。
　画面情報生成部３３は、対応線Ｌ１の長さａ１が演算した長さａ２に徐々になるように、対応線Ｌ１を変化させる（描画する）。これにより、第１水上移動体Ｓ１の対応線Ｌ１は、目標の長さａ２になる。
　例えば、画面情報生成部３３は、図１４に示す曲線Ｃｒのように、対応線Ｌ１の長さを変化させる。曲線Ｃｒは、対応線Ｌ１の長さが目標の長さａ２に近づくにつれて、徐々に変化の速度が遅くなることを示している。これにより、ユーザは、マーカーＭ１を視覚的に追い易くなる。なお、対応線Ｌ１の長さａ１を徐々に変化させるように描画する方法については、グラフィックス又はアニメーションなどで用いられる既存の方法を適用してもよい。
　時刻ｔ２において、第１水上移動体Ｓ１の対応線Ｌ１が伸びた長さａ２のまま、第１水上移動体Ｓ１のタッチ判定領域Ｒ１は、さらに別の水上移動体（第３水上移動体）のタッチ判定領域と接触する。画面情報生成部３３は、第１水上移動体Ｓ１のタッチ判定領域Ｒ１が新たに接触した第３水上移動体のタッチ判定領域と重ならなくなる長さａ３を演算する。時刻ｔ１のときと同様に、画面情報生成部３３は、対応線Ｌ１を現在の長さａ２から演算した長さａ３に徐々に伸びるように変化させる。これにより、第１水上移動体Ｓ１の対応線Ｌ１は、目標の長さａ３になる。
　時刻ｔ３において、第１水上移動体Ｓ１の近傍に、第２水上移動体及び第３水上移動体がいなくなると、画面情報生成部３３は、対応線Ｌ１の長さａ３が初期設定の長さａ４に徐々に縮む（戻る）ように、対応線Ｌ１の長さを変化させる。対応線Ｌ１の長さが縮むときも、伸びるときと同様に、曲線Ｃｒを描くように変化させることで、対応線Ｌ１の長さが徐々に変化する。これにより、第１水上移動体Ｓ１の対応線Ｌ１は、初期設定の長さａ４に戻る。
　時刻ｔ４において、第１水上移動体Ｓ１のタッチ判定領域Ｒ１が別の水上移動体（第４水上移動体）のタッチ判定領域に接触すると、時刻ｔ１，ｔ２のときと同様に、画面情報生成部３３は、目標とする対応線Ｌ１の長さａ５を演算する。これにより、第１水上移動体Ｓ１の対応線Ｌ１は、目標の長さａ５になる。
　時刻ｔ５において、第１水上移動体Ｓ１の近傍に、第４水上移動体がいなくなると、画面情報生成部３３は、時刻ｔ３のときと同様に、対応線Ｌ１を初期設定の長さに戻し始める。
　時刻ｔ６において、対応線Ｌ１が初期設定の長さになる前に、第１水上移動体Ｓ１のタッチ判定領域Ｒ１が別の水上移動体（第５水上移動体）のタッチ判定領域に接触する。画面情報生成部３３は、目標とする対応線Ｌ１の長さａ６を演算し、対応線Ｌ１が初期設定の長さに縮む途中の状態から、目標の長さａ６に徐々に伸びるように変化させる。これにより、第１水上移動体Ｓ１の対応線Ｌ１は、目標の長さａ６になる。
　時刻ｔ７において、第１水上移動体Ｓ１の近傍に、第５水上移動体がいなくなると、画面情報生成部３３は、時刻ｔ３，ｔ５のときと同様に、対応線Ｌ１を初期設定の長さに戻し始める。これにより、第１水上移動体Ｓ１の対応線Ｌ１は、初期設定の長さａ７になる。
　このように、第１水上移動体Ｓ１のタッチ判定領域Ｒ１が他の水上移動体のタッチ判定領域と重ならないように、対応線Ｌ１の長さを変化させることで、ユーザが各水上移動体のマーカーを選択し易くなる。
　ここでは、説明の便宜上、第１水上移動体Ｓ１に着目して、対応線Ｌ１を変化させたが、実際には、各水上移動体のそれぞれにおいて、第１水上移動体Ｓ１と同様に、各タッチ判定領域が重ならないように、マーカーに接続される対応線の長さを変化させる。
　複数の水上移動体のタッチ判定領域が重なる場合、各水上移動体又は各マーカーなどで決定される優先順位に従って、どの対応線の長さを変化させるかを決定する。優先順位は、各水上移動体又は各マーカーに予め付けられてもよい。優先順位は、マーカーの表示順（新しい順又は古い順）でもよいし、各水上移動体又は各マーカーの位置（画面の上下又は左右）で決定されてもよい。例えば、マーカーの位置が画面の下にある程、優先的に対応線の長さを変化させてもよい。位置が下にあるマーカーの対応線を伸ばす方が、位置が上にあるマーカーの対応線を伸ばすよりも、伸ばす長さは短くなる。その他に、各対応線の現在の長さ等に基づいて、変化させる対応線を決定してもよい。
　図１１及び図１５を参照して、メイン情報Ｄ１，Ｄ２の表示方法について説明する。図１５は、ＡＲ映像にメイン情報Ｄ１，Ｄ２を表示する手順を示すフロー図である。
　図１１の第１スペースＳＰ１には、メイン情報Ｄ１，Ｄ２が表示されている部分以外に、実際には何も表示されていない破線で示したメイン情報を表示するための表示欄Ｄｈが確保される。表示欄Ｄｈは、次のように決定される。
　ユーザは、入力機器１４により、メイン情報Ｄ１，Ｄ２として表示する項目を選択する（ステップＳＴ２０１）。図１１では、自船との距離、速度、ＤＣＰＡ、及び、ＴＣＰＡの項目がメイン情報Ｄ１，Ｄ２として表示されたＡＲ映像の一例が示されている。
　画面情報生成部３３は、メイン情報Ｄ１，Ｄ２として選択された項目に基づいて、表示欄Ｄｈのサイズを決定する（ステップＳＴ２０２）。表示欄の高さは選択された項目の数に基づいて決定される。表示欄の幅は、選択された項目のそれぞれで確保されている文字数のうち最も多い文字数に基づいて、決定される。位置、距離、速さ、又は、時間などの数字と単位のみで表す項目は、確保されている文字数が基本的に少ない。固有名詞（船名又は地名など）、又は、文章を表示することがある項目は、確保されている文字数が基本的に多い。
　画面情報生成部３３は、決定された表示欄Ｄｈのサイズに基づいて、表示欄Ｄｈの数を決定する（ステップＳＴ２０３）。例えば、第１スペースＳＰ１の幅を表示欄Ｄｈの幅で割れば、横に並べられる表示欄Ｄｈの数が分かる。表示欄Ｄｈのサイズと数との対応関係は、テーブルデータのように予め記憶されていてもよい。図１１では、表示欄Ｄｈを、横一列に１段で表示した例を示しているが、横一列を１段として、上下に２段以上積み重ねて表示してもよい。この場合、第１スペースＳＰ１の高さと表示欄Ｄｈの高さに基づいて、横に並べられる表示欄Ｄｈの数と同様に、表示欄Ｄｈを上下に積み重ねる段数を決定してもよい。
　画面情報生成部３３は、決定された表示欄Ｄｈの数に基づいて、第１スペースＳＰ１における各表示欄Ｄｈの配置を決定する（ステップＳＴ２０４）。図１１では、表示欄Ｄｈの数が６つの場合のＡＲ映像を示している。表示欄Ｄｈの数が４つの場合は、図１６に示すＡＲ映像のようになる。図１６に示すＡＲ映像では、メイン情報Ｄ１，Ｄ２の項目として船名が選択されているため、１つの表示欄Ｄｈの幅が広い。このため、横に並べられる表示欄Ｄｈの数が４つに減少する。
　ステップＳＴ２０２～ＳＴ２０４は、ステップＳＴ２０１において、メイン情報Ｄ１，Ｄ２の項目が変更される度に繰り返し実行される。
　ユーザが水上移動体Ｓ１，Ｓ２のマーカーＭ１，Ｍ２を選択すると、画面情報生成部３３は、水上移動体Ｓ１，Ｓ２のメイン情報Ｄ１，Ｄ２を表示させる表示欄Ｄｈを決定する（ステップＳＴ２０５）。
　具体的には、水上移動体Ｓ１，Ｓ２の幅方向の真ん中から垂直方向に真下に下ろした線と第１スペースＳＰ１が接触した箇所から最も近い表示欄Ｄｈを、その水上移動体Ｓ１，Ｓ２のメイン情報Ｄ１，Ｄ２を表示する表示欄Ｄｈとする。即ち、ＡＲ映像の画面において、横方向をｘ軸とすると、水上移動体Ｓ１，Ｓ２のｘ座標に最も近いｘ座標の表示欄Ｄｈを、その水上移動体Ｓ１，Ｓ２の表示欄Ｄｈとする。また、上述のように選択された表示欄Ｄｈに、既に、別の水上移動体のメイン情報が表示されている場合、次に適切な表示欄Ｄｈ（例えば、次にｘ座標が近い表示欄Ｄｈ）が選択される。
　また、全ての表示欄Ｄｈにメイン情報が表示されている場合、既に表示されているメイン情報の１つを非表示にして、新しいメイン情報を表示できる表示欄Ｄｈを作る。例えば、非表示にするメイン情報は、最も早く（即ち、最も古く）表示されたメイン情報でもよいし、最も危険度の低い物標のメイン情報でもよいし、その他の方法で決定されたものでもよい。また、特定のメイン情報について、自動的に非表示にならないように、ユーザが表示を固定するピン止めのような操作ができるようにしてもよい。
　例えば、危険度は、ＤＣＰＡ、ＴＣＰＡ、ＢＣＴ、又は、ＢＣＲの任意の組合せに基づいて決定する。これらの要素の中から予め決められた組合せの要素について、それぞれが共に予め設定された閾値よりも高ければ、危険度が高いと判断する。要素の組合せは、ＤＣＰＡとＴＣＰＡ、又は、ＢＣＴとＢＣＲなどである。
　画面情報生成部３３は、水上移動体Ｓ１，Ｓ２のメイン情報Ｄ１，Ｄ２を決定された表示欄Ｄｈに表示する（ステップＳＴ２０６）。
　危険度の高い水上移動体Ｓ１，Ｓ２がある場合、水上移動体Ｓ１，Ｓ２、マーカーＭ１，Ｍ２、又は、メイン情報Ｄ１，Ｄ２の表示欄Ｄｈなどを、目立つような色にしたり、点滅などの表示形態を変えたりして、視覚的に目立たせるようにすることで、ユーザが危険度の高い物標を発見し易いようにしてもよい。
　図１５に示すステップＳＴ２０５，ＳＴ２０６は、所定の時間間隔で、繰り返し実行（更新）される。
　図１７は、図１１に示すＡＲ映像の状態から所定時間経過後のＡＲ映像を示している。
　図１７に示す第１水上移動体Ｓ１は、図１１に示す第１水上移動体Ｓ１の位置からＡＲ映像の画面左下方向に移動している。図１７に示す第２水上移動体Ｓ２は、図１１に示す第２水上移動体Ｓ２の位置からＡＲ映像の画面右方向に移動している。
　第１水上移動体Ｓ１のメイン情報Ｄ１は、第１水上移動体Ｓ１が画面左下に移動したことより、画面左から２番目から１番左の表示欄Ｄｈに移動している。第２水上移動体Ｓ２のメイン情報Ｄ２は、第２水上移動体Ｓ２が画面右に移動したことより、画面左から４番目から５番目の表示欄Ｄｈに移動している途中である。
　メイン情報Ｄ１，Ｄ２の表示欄Ｄｈが切り替わる場合、メイン情報Ｄ１，Ｄ２の表示が２つの表示欄Ｄｈの間を徐々に移動する。この場合、図１７のメイン情報Ｄ２のように、表示欄Ｄｈが切り替わる途中では、予め配置された表示欄Ｄｈの位置に限らず、２つの表示欄Ｄｈの間でも、メイン情報Ｄ２は表示される。
　このように、メイン情報Ｄ１，Ｄ２の表示を徐々に移動させることで、メイン情報Ｄ１，Ｄ２を視覚的に連続するように移動する。これにより、ユーザは、メイン情報Ｄ１，Ｄ２を目で追いながら、移動後の表示欄Ｄｈの位置を確認することができる。したがって、表示欄Ｄｈが切り替わることにより、ユーザが、メイン情報Ｄ１，Ｄ２の表示箇所を見失ったり、他の水上移動体Ｓ１，Ｓ２のメイン情報Ｄ１，Ｄ２と誤認したりすることを防止することができる。メイン情報Ｄ１，Ｄ２の表示が徐々に移動するように描画する方法については、対応線Ｌ１の長さを徐々に変化させるように描画する方法と同様にしてもよい。
　なお、本実施形態は、以下のように変形してもよい。
　データ合成部３４は、３次元シーンデータ４８及び映写スクリーン５１を同時にレンダリングしなくてもよい。即ち、データ合成部３４は、３次元シーンデータ４８のレンダリング結果である２次元の映像（図形４１ｆ～４５ｆなどの映像）と、映写スクリーン５１のレンダリング結果である２次元の映像（映写スクリーン５１に貼り付けられたカメラ３の撮影映像）と、を別々に作成してもよい。その後に、別々に作成したこれらの２次元の映像を合成することで、ＡＲ映像が生成される。この場合、３次元シーンデータ４８のレンダリング処理は、船舶４の移動等に応じて随時行い、映写スクリーン５１のレンダリング処理は、カメラ３による映像のフレームレートに応じた短い時間間隔で行うようにしてもよい。
　カメラ３は、パン又はチルトなどの回転動作する機能を備えずに、撮影方向が固定されてもよい。この場合、撮影方向は、前方、後方又はその他の方向のいずれに固定されてもよい。また、カメラ３を、船舶４の周囲を３６０度の全方位にわたって同時撮影が可能な構成としてもよい。また、ユーザが視点カメラ５５の向きを変更する操作をした場合、それに追従するように、カメラ３の回転動作が自動的に行われるようにしてもよい。
　３次元シーン生成部３２による３次元シーンデータ４８の生成は、図４に示すように、仮想現実オブジェクト４１ｖ～４５ｖが船舶４の位置を原点とした船首基準で配置される構成で説明したが、これに限らない。仮想現実オブジェクト４１ｖ～４５ｖは、船首基準ではなく、＋ｚ方向が真北となる真北基準で配置されてもよい。この場合、船舶４の回頭等により船首方位が変化したときは、仮想現実オブジェクト４１ｖ～４５ｖを再配置する代わりに、３次元仮想空間４０での船舶４の向きをヨー方向に変化させる。このときのカメラ３の位置及び向きの変化を３次元仮想空間４０においてシミュレートし、これに連動して視点カメラ５５の位置及び向きを変更してレンダリングを行う。このようにして、船首基準の場合と同様に、レンダリング結果が得られる。
　３次元仮想空間４０の座標系は、船舶４の位置を原点とする代わりに、任意に選択された地球上の固定点を原点にし、＋ｚ方向が真北、＋ｘ方向が真東のように、座標軸と方位の関係を固定してもよい。この場合、３次元仮想空間４０の座標系は、地球上に固定され、船舶４が配置される位置及び向きは、位置情報及び姿勢情報に基づいて変化する。この変化に伴い、カメラ３の位置及び向きの変化は、３次元仮想空間４０でシミュレートされる。
　映像生成装置１は、船舶４の揺れに伴うＡＲ映像の揺れを軽減する処理を行ってもよい。このような処理として、例えば、３次元シーン生成部３２は、船舶４が揺れても視点カメラ５５の位置及び向きの変動を抑制するようにしてもよい。
　本実施形態によれば、以下の作用効果を得ることができる。
　２つ以上のマーカーのタッチ判定領域が重ならないように、物標とマーカーを接続する対応線の長さを変化させることで、ユーザがマーカーを選択する操作性を向上することができる。
　詳細情報を表示するためのマーカーを、水上移動体（物標）の垂直方向（上方向又は下方向）に表示することで、ＡＲ映像におけるマーカーを見易くすることができる。例えば、マーカーを水上移動体の水平方向（右方向又は左方向）に表示した場合、ＡＲ映像では、水平方向に水上移動体が密集し易いため、マーカー同士が重なったり、マーカーと別の水上移動体の表示が重なったりして、マーカーが見え難くなり易い。
　物標を認識した船舶機器（ＡＩＳ受信機９又はレーダ１２など）に応じて、マーカーの表示形態（例えば、形状）を異ならせることで、ユーザは、マーカーを見るだけで、メイン情報の情報源を知ることができる。
　マーカーがタッチされたか否かを判定するためのタッチ判定領域を、マーカーを包含するマーカーよりも大きい面積にすることで、マーカーを選択するときのユーザの操作性を向上することができる。
　各物標のメイン情報を表示する箇所をＡＲ映像の所定の箇所（例えば、画面下）に予め確保しておくことで、ＡＲ映像において、メイン情報を見易く配置することができる。また、ＡＲ映像における物標の位置の移動に応じて、対応するメイン情報の表示箇所を移動させることで、物標とメイン情報との対応関係を分かり易くすることができる。
　ある物標について危険度が高いと判断された場合は、その物標のメイン情報の表示を目立たせるようにすることで、ユーザに危険度の高い物標又はそのメイン情報を視覚的に知らせることができる。
　マーカーの表示方法とメイン情報等の表示方法は、それぞれ別々に独立して実施することができ、いずれか一方を実施した場合でも、実施したその表示方法による作用効果を受けることができる。また、両方を実施した場合には、その組合せによる更なる作用効果を得ることができる。
　なお、本発明は上述した実施形態に限定されず、構成要素を削除、付加又は変更等をしてもよい。また、複数の実施形態について構成要素を組合せ又は交換等をすることで、新たな実施形態としてもよい。このような実施形態が上述した実施形態と直接的に異なるものであっても、本発明と同様の趣旨のものは、本発明の実施形態として説明したものとして、その説明を省略している。

Claims (10)

  1. 　水上移動体に設けられる撮影手段と、
    　物標に関する物標情報を取得する物標情報取得手段と、
    　前記撮影手段により撮影される撮影映像に、前記物標情報取得手段により取得される前記物標情報が表示された拡張映像を生成する拡張映像生成手段と、
    　前記物標をユーザが選択するためのマーカーを、前記拡張映像における前記物標の表示箇所に対応して移動するように表示するマーカー表示手段と、
    　前記物標情報取得手段により取得された前記物標情報に基づいて、前記ユーザにより選択された前記マーカーに対応する前記物標の第１詳細情報を、前記拡張映像が表示される画面の予め決められた第１スペースに表示する第１詳細情報表示手段と
    を備えることを特徴とする映像生成装置。
  2. 　前記マーカーと前記第１詳細情報との対応関係を示す対応線を表示する対応線表示手段
    を備えることを特徴とする請求項１に記載の映像生成装置。
  3. 　前記物標情報取得手段により取得された前記物標情報のうち前記第１詳細情報とする項目を前記ユーザが選択するための第１詳細情報項目選択手段
    を備えることを特徴とする請求項１に記載の映像生成装置。
  4. 　前記第１詳細情報項目選択手段により選択された前記項目に基づいて、前記第１詳細情報を表示する第１表示欄の数を決定する第１表示欄数決定手段
    を備えることを特徴とする請求項３に記載の映像生成装置。
  5. 　前記第１詳細情報を表示する複数の第１表示欄の前記第１スペースにおける配置を決定する第１表示欄配置決定手段
    を備えることを特徴とする請求項１に記載の映像生成装置。
  6. 　前記第１詳細情報表示手段は、前記拡張映像における前記物標の表示箇所の移動に対応して、前記第１詳細情報の表示を異なる配置の前記第１表示欄に移動すること
    を特徴とする請求項５に記載の映像生成装置。
  7. 　前記第１詳細情報表示手段は、前記第１詳細情報の表示を視覚的に連続するように移動すること
    を特徴とする請求項６に記載の映像生成装置。
  8. 　複数の前記第１詳細情報のうち少なくとも１つを前記ユーザが選択するための第１詳細情報選択手段と、
    　前記物標情報取得手段により取得された前記物標情報に基づいて、前記第１詳細情報選択手段により選択された前記第１詳細情報と同一の前記物標の異なる情報である第２詳細情報を、前記第１スペースと異なる第２スペースに表示する第２詳細情報表示手段と
    を備えることを特徴とする請求項１に記載の映像生成装置。
  9. 　危険な物標を検出する危険物標検出手段と、
    　前記危険物標検出手段により検出された前記危険な物標又は前記危険な物標に対応する前記物標情報を目立つように表示する危険物標表示手段と
    を備えることを特徴とする請求項１に記載の映像生成装置。
  10. 　水上移動体に設けられる撮影手段により撮影し、
    　物標に関する物標情報を取得し、
    　前記撮影手段により撮影した撮影映像に、取得した前記物標情報が表示された拡張映像を生成し、
    　前記物標をユーザが選択するためのマーカーを、前記拡張映像における前記物標の表示箇所に対応して移動するように表示し、
    　取得した前記物標情報に基づいて、前記ユーザにより選択された前記マーカーに対応する前記物標の第１詳細情報を、前記拡張映像が表示される画面の予め決められた第１スペースに表示すること
    を含むことを特徴とする映像生成方法。
PCT/JP2019/034029 2018-08-30 2019-08-29 映像生成装置及び映像生成方法 WO2020045602A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-161564 2018-08-30
JP2018161564A JP7214402B2 (ja) 2018-08-30 2018-08-30 映像生成装置及び映像生成方法

Publications (1)

Publication Number Publication Date
WO2020045602A1 true WO2020045602A1 (ja) 2020-03-05

Family

ID=69643659

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034029 WO2020045602A1 (ja) 2018-08-30 2019-08-29 映像生成装置及び映像生成方法

Country Status (2)

Country Link
JP (1) JP7214402B2 (ja)
WO (1) WO2020045602A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022137931A1 (ja) * 2020-12-24 2022-06-30 古野電気株式会社 航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム
US11879733B2 (en) 2021-05-07 2024-01-23 Furuno Electric Co., Ltd. Tidal current information display device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021261307A1 (ja) * 2020-06-26 2021-12-30 ソニーグループ株式会社 制御装置、画像表示システム、画像表示方法、及び移動体
JPWO2022137953A1 (ja) * 2020-12-24 2022-06-30
JPWO2023276308A1 (ja) * 2021-06-30 2023-01-05

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301897A (ja) * 1993-04-16 1994-10-28 Kawasaki Heavy Ind Ltd 船舶の航行支援装置
JP2012127947A (ja) * 2010-12-15 2012-07-05 Boeing Co:The オーグメンテッドナビゲーションの方法およびシステム
JP2014529322A (ja) * 2011-07-21 2014-11-06 コリア インスティチュートオブ オーシャン サイエンス アンド テクノロジー 天井移動型透明ディスプレイを用いた船舶用増強現実システム及びその具現方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6301897B2 (ja) 2015-11-18 2018-03-28 ファナック株式会社 クーラントを循環させるための循環路を備える光ファイバ中継ユニット

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301897A (ja) * 1993-04-16 1994-10-28 Kawasaki Heavy Ind Ltd 船舶の航行支援装置
JP2012127947A (ja) * 2010-12-15 2012-07-05 Boeing Co:The オーグメンテッドナビゲーションの方法およびシステム
JP2014529322A (ja) * 2011-07-21 2014-11-06 コリア インスティチュートオブ オーシャン サイエンス アンド テクノロジー 天井移動型透明ディスプレイを用いた船舶用増強現実システム及びその具現方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022137931A1 (ja) * 2020-12-24 2022-06-30 古野電気株式会社 航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム
US11879733B2 (en) 2021-05-07 2024-01-23 Furuno Electric Co., Ltd. Tidal current information display device

Also Published As

Publication number Publication date
JP2020036202A (ja) 2020-03-05
JP7214402B2 (ja) 2023-01-30

Similar Documents

Publication Publication Date Title
WO2020045601A1 (ja) 映像生成装置及び映像生成方法
JP7225324B2 (ja) 映像生成装置、および、映像生成方法
CN110574366B (zh) 影像生成装置
WO2020045602A1 (ja) 映像生成装置及び映像生成方法
CN110998672B (zh) 影像生成装置以及影像生成方法
JP6720409B2 (ja) 映像生成装置
JP7021259B2 (ja) 映像生成装置及び映像生成方法
WO2023276307A1 (ja) 画像生成装置、船舶情報表示方法、及びプログラム
WO2023276308A1 (ja) 航海情報表示装置、航海情報表示方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19855706

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19855706

Country of ref document: EP

Kind code of ref document: A1