WO2020045602A1 - 映像生成装置及び映像生成方法 - Google Patents
映像生成装置及び映像生成方法 Download PDFInfo
- Publication number
- WO2020045602A1 WO2020045602A1 PCT/JP2019/034029 JP2019034029W WO2020045602A1 WO 2020045602 A1 WO2020045602 A1 WO 2020045602A1 JP 2019034029 W JP2019034029 W JP 2019034029W WO 2020045602 A1 WO2020045602 A1 WO 2020045602A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- target
- display
- detailed information
- video
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B49/00—Arrangements of nautical instruments or navigational aids
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G3/00—Traffic control systems for marine craft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G3/00—Traffic control systems for marine craft
- G08G3/02—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- the present invention relates to an image generation device that generates an image including a target.
- a video generation device that performs georeferencing on an image stream from a camera. For example, there is an image generation device that receives stream image data captured by a camera of a ship, acquires the position of a target (such as another ship) around the ship, and generates an image to be displayed on a display (Patent Document 1). reference).
- An object of the present invention is to provide an image generating apparatus that displays information on an image captured from a ship and improves convenience.
- An image generating apparatus includes: a photographing unit provided on a water vehicle, a target information acquiring unit that acquires target information on a target, and a photographed image photographed by the photographing unit.
- An extended video generating unit that generates an extended video in which the target information acquired by the target information acquiring unit is displayed; and a marker for allowing a user to select the target, displaying the target in the extended video.
- a marker display unit that displays the object corresponding to the location, and a target display corresponding to the marker selected by the user based on the target information acquired by the target information acquisition unit.
- a first detailed information display means for displaying the first detailed information in a predetermined first space of a screen on which the extended video is displayed.
- FIG. 1 is a block diagram illustrating a configuration of a video generation device according to an embodiment of the present invention.
- FIG. 2 is a side view showing a side surface of the boat according to the embodiment.
- FIG. 3 is a conceptual diagram illustrating an example of a situation around a ship according to the embodiment.
- FIG. 4 is a conceptual diagram illustrating a three-dimensional virtual space according to the embodiment.
- FIG. 5 is an image diagram illustrating an example of a video shot by the camera according to the embodiment.
- FIG. 6 is an image diagram showing an AR video output from the data synthesizing unit according to the embodiment.
- FIG. 7 is a conceptual diagram showing a case where the ship swings in the pitch direction and the roll direction from the state of FIG. FIG.
- FIG. 8 is an image diagram showing an AR image in the state of FIG.
- FIG. 9 is an image diagram in which scale information indicating an azimuth is displayed on the AR video according to the present embodiment.
- FIG. 10 is an image diagram in which scale information indicating an azimuth is displayed according to the inclination of the hull in the AR video according to the present embodiment.
- FIG. 11 is an image diagram in which detailed information is displayed on the AR video according to the present embodiment.
- FIG. 12 is a flowchart showing an outline of a procedure for displaying detailed information on an AR video according to the present embodiment.
- FIG. 13 is a conceptual diagram illustrating a basic method of displaying markers in an AR video according to the present embodiment.
- FIG. 14 is a graph illustrating an example of a change in the length of the corresponding line connected to the marker of the first waterborne moving object according to the present embodiment.
- FIG. 15 is a flowchart showing a procedure for displaying main information on an AR video according to the present embodiment.
- FIG. 16 is an image diagram in which four display columns for displaying main information are arranged on an AR video according to the present embodiment.
- FIG. 17 is an image diagram showing an AR image after a predetermined time has elapsed from the state shown in FIG.
- FIG. 1 is a block diagram illustrating a configuration of a video generation device 1 according to the embodiment of the present invention.
- FIG. 2 is a side view showing a side surface of the boat 4 according to the present embodiment.
- the same portions are denoted by the same reference numerals, and redundant description will be omitted as appropriate.
- the image generation device 1 is mounted on a ship 4 which is a water vehicle moving on water.
- the ship 4 may be any water moving body as long as it can sail on the water such as the sea, a lake, or a river.
- the video generation device 1 generates augmented reality (AR, augmented reality) video that expands and expresses the situation around the ship 4 by displaying detailed information on the video captured by the camera (photographing device) 3. .
- AR augmented reality
- augmented reality augmented reality
- the description will be made as an AR video, but any video may be used as long as information is added to a captured video.
- the display 2 displays the AR video generated by the video generation device 1.
- the display 2 is provided as a marine vessel maneuvering support device that is referred to by an operator who operates the marine vessel 4.
- the display 2 is a display of a portable computer carried by a boat maneuvering assistant who monitors surrounding conditions from the boat 4, a display for passengers to watch in the cabin of the boat 4, or a wearable terminal worn by the passenger.
- a display or the like may be used.
- FIG. 2 is a side view showing a side surface of the ship 4 according to the present embodiment on which various devices are provided.
- the camera 3 is a wide-angle video camera for photographing the periphery of the ship 4.
- the camera 3 has a live output function, generates moving image data (video data or stream data, etc.) as a shooting result in real time, and outputs the generated video data to the video generation device 1.
- the camera 3 is installed on the boat 4 so that the shooting direction is horizontally forward with respect to the hull.
- the camera 3 includes a rotating mechanism that performs a rotating operation such as panning or tilting.
- the camera 3 changes the photographing direction within a predetermined angle range based on the hull of the marine vessel 4 based on a signal indicating a rotation operation input from the video generation device 1.
- the height and attitude of the ship 4 change variously depending on natural environments such as waves. Along with this, the height and posture (photographing direction) of the camera 3 also change three-dimensionally.
- the video generation device 1 includes GNSS (global navigation satellite system) compass 5, angular velocity sensor 6, GNSS receiver 7, acceleration sensor 8, AIS (automatic identification system) receiver 9, ECDIS (Electronic @ chart @ display @ and @ information @ system) 10, a plotter 11, a radar 12, and a sonar 13.
- Ship equipment is a source of detailed information.
- the GNSS compass 5 has a built-in angular velocity sensor 6, GNSS receiver 7, and acceleration sensor 8. All or a part of the angular velocity sensor 6, the GNSS receiver 7, and the acceleration sensor 8 may be provided independently of the GNSS compass 5.
- the marine equipment is not limited to those described here, and may be any equipment.
- the GNSS compass 5 has the functions of an orientation sensor and an attitude sensor.
- the GNSS compass 5 includes a plurality of GNSS antennas (positioning antennas) fixed to the ship 4.
- the GNSS compass 5 calculates the positional relationship between the respective GNSS antennas based on radio waves received from positioning satellites.
- the GNSS compass 5 determines the positional relationship of the GNSS antennas based on the phase difference between the carrier phases of the radio waves received by each GNSS antenna.
- a known processing method can be applied to a method of obtaining the positional relationship of the GNSS antenna. Thereby, the GNSS compass 5 acquires the heading of the ship 4.
- the GNSS compass 5 acquires the attitude of the ship 4 three-dimensionally. Specifically, the GNSS compass 5 detects not only the heading (ie, the yaw angle of the vessel 4) but also the roll angle and the pitch angle of the vessel 4. The attitude information of the vessel 4 acquired by the GNSS compass 5 is output to the attitude acquisition unit 25 and other marine equipment.
- the angular velocity sensor 6 is constituted by, for example, a vibration gyro sensor.
- the angular velocity sensor 6 detects the yaw angular velocity, the roll angular velocity, and the pitch angular velocity of the marine vessel 4 at a period shorter than a detection interval (for example, one second) at which the GNSS compass 5 detects the posture information.
- a detection interval for example, one second
- the attitude of the ship 4 can be acquired at a shorter time interval than when only the GNSS compass 5 is used.
- the angular velocity sensor 6 is used as an alternative for acquiring the attitude information. Function as an effective means.
- the GNSS receiver 7 obtains the position of the ship 4 based on the radio wave received from the positioning satellite by the GNSS antenna.
- the position of the ship 4 is the latitude, longitude, and height of the GNSS antenna.
- the GNSS receiver 7 outputs the obtained position information to the position acquisition unit 24 and other marine equipment.
- the acceleration sensor 8 is, for example, a capacitance detection type sensor.
- the acceleration of the marine vessel 4 in the yaw axis, the roll axis, and the pitch axis is detected at a period shorter than a detection interval (for example, one second) at which the GNSS receiver 7 detects the position information.
- a detection interval for example, one second
- the position of the ship 4 is obtained at a shorter time interval than when only the GNSS receiver 7 is used. can do.
- the acceleration sensor 8 functions as an alternative means for acquiring the position information.
- the AIS receiver 9 is a device for receiving AIS information transmitted from another ship, a land station, or the like.
- the AIS information includes various information such as information of another ship (another ship) navigating around the ship 4, landmark positions and identification information.
- the information on the other ship is, for example, a position (latitude / longitude), a hull length, a hull width, a ship type, identification information, a ship speed, a course, a destination, and the like.
- the ECDIS 10 acquires the position information of the ship 4 from the GNSS receiver 7 and outputs information around the ship 4 to the video generation device 1 based on electronic chart information stored in advance.
- the plotter 11 generates the navigation trajectory information of the ship 4 by continuously acquiring the position of the ship 4 from the GNSS receiver 7. Further, the plotter 11 generates a planned route by connecting the waypoints sequentially by causing the user to set a plurality of waypoints (points at which the vessel 4 will pass).
- the radar 12 detects a target such as another ship existing around the ship 4. Further, the radar 12 has a target tracking function (TT) that can capture and track a target. The radar 12 obtains the position and velocity vector (TT information) of the target based on the TT. The radar 12 outputs the obtained TT information to the video generation device 1.
- TT target tracking function
- the sonar 13 transmits an ultrasonic wave into the water, and receives a reflected wave of the ultrasonic wave reflected by a target such as a school of fish to detect the target.
- the sonar 13 outputs the detected detection information to the video generation device 1.
- An input device 14 for a user to input information is connected to the video generation device 1.
- the input device 14 is a keyboard, a mouse, or the like.
- the input device 14 may be a touch panel or a joystick for inputting information by touching the display 2, or any other device that can input information.
- the user gives various instructions regarding the AR video using the input device 14. For example, the user instructs an operation of changing the attitude of the camera 3, setting of presence / absence of display of various information, setting of a viewpoint of an AR image, and the like.
- the image generation device 1 includes an AR image generation unit 20, a captured image input unit 21, a shooting position setting unit 22, an antenna position setting unit 23, a position acquisition unit 24, a posture acquisition unit 25, a detailed information acquisition unit 26, a storage unit 27, A viewpoint setting unit 28 and a display setting unit 29 are provided.
- the video generation device 1 is mainly configured by a computer.
- a computer includes an arithmetic processing unit and a storage unit.
- the arithmetic processing unit is a CPU (central processing unit) or a GPU (graphics processing unit) for performing three-dimensional image processing at high speed.
- the storage unit is, for example, various memories or a hard disk drive (HDD). Note that the computer may have any configuration.
- the video generation device 1 operates by executing software (a program or the like) for realizing various functions.
- the video data output from the camera 3 is input to the captured video input unit 21, for example, at 30 frames per second.
- the captured video input unit 21 outputs the input video data to the AR video generation unit 20.
- the photographing position setting unit 22 sets the position (photographing position) of the camera 3 on the boat 4.
- the photographing position is a position in the length direction of the hull, a position in the width direction of the hull, and a position (height) in the up-down direction.
- the height of the camera 3 is, for example, the height from the waterline normally assumed in the ship 4, but may be the height from the bottom of the ship, or may be based on other values.
- the shooting position may be set in the shooting position setting unit 22 by inputting a measurement value obtained by actually measuring the position of the camera 3 by the user through the input device 14.
- the shooting position setting unit 22 outputs the set shooting position to the AR video generation unit 20.
- the antenna position setting unit 23 sets the position (antenna position) of the GNSS antenna on the ship 4.
- the antenna position indicates the position in the length direction, the width direction, and the vertical direction of the hull, for example, with reference to the reference point 4a of the boat 4 shown in FIG.
- the reference point 4a is a location serving as a control reference. In the present embodiment, the reference point 4a is located at the center of the hull and at the same height as the normally assumed draft line, but may be determined in any manner.
- the setting of the antenna position may be performed by a user inputting an actual measurement value, similarly to the above-described shooting position.
- the antenna position setting unit 23 outputs the set antenna position to the AR video generation unit 20.
- the position acquisition unit 24 acquires the current position of the ship 4 in real time based on the detection results of the GNSS receiver 7 and the acceleration sensor 8.
- the position acquisition unit 24 outputs the acquired current position information of the ship 4 to the AR image generation unit 20.
- the attitude acquisition unit 25 acquires the current attitude of the ship 4 in real time based on the detection results of the GNSS compass 5 and the angular velocity sensor 6.
- the attitude acquisition unit 25 outputs the acquired current attitude information of the ship 4 to the AR video generation unit 20.
- the detailed information acquisition unit 26 acquires detailed information to be added to an image captured by the camera 3 based on information acquired from the AIS receiver 9, the ECDIS 10, the plotter 11, the radar 12, the sonar 13, and the like.
- the detailed information is input to the image generation device 1 from these marine devices in real time.
- the detailed information acquisition unit 26 outputs the acquired detailed information to the AR video generation unit 20.
- the detailed information acquisition unit 26 may add identification information (for example, an identification number) for uniquely specifying and managing each detailed information.
- the storage unit 27 is configured as a memory for storing various information.
- the storage unit 27 may store, for example, a three-dimensional shape of a virtual reality object expressing various types of detailed information as a template.
- the three-dimensional template stored in the storage unit 27 is, for example, a small boat, a large boat, a buoy, or a lighthouse, but is not limited to this.
- the storage unit 27 outputs the stored information to the AR video generation unit 20.
- the viewpoint setting unit 28 sets the viewpoint of the AR video generated by the AR video generation unit 20 by the user using the input device 14.
- the viewpoint setting unit 28 outputs setting information regarding the viewpoint of the AR video to the AR video generation unit 20.
- the display setting unit 29 allows the user to set the display of the detailed information in the AR video generated by the AR video generation unit 20 using the input device 14.
- the display setting unit 29 outputs setting information relating to the display of the detailed information to the AR video generation unit 20.
- the AR video generation unit 20 generates an AR video expressing augmented reality by synthesizing 3D computer graphics with the video captured by the camera 3 input to the captured video input unit 21.
- the AR video generation unit 20 includes a detailed information generation unit 31, a three-dimensional scene generation unit 32, a screen information generation unit 33, and a data synthesis unit 34.
- the detailed information generation unit 31 generates detailed information to be displayed on the AR video based on the detailed information input from the detailed information acquisition unit 26.
- the detailed information includes character information in which information is represented by characters and graphic information in which information is represented by graphics.
- the detailed information generation unit 31 outputs the generated detailed information to the three-dimensional scene generation unit 32 or the screen information generation unit 33.
- the detailed information may be any information as long as the information is required by the user.
- the detailed information may be determined based on the purpose or function of the video generation device 1, or may be information necessary for the ship 4 to navigate.
- a target such as a water mobile
- name shipment name
- position ship position
- heading heading
- course distance
- speed turning angular velocity
- destination nationality
- type type
- size size
- size size
- state novigation state
- identification code DCPA (closest distance, distance of closest point of approach)
- TCPA closest time, time of closest point) of @approach
- BCT bow @ crossing @ time
- BCR bow @ crossing @ range
- DCPA is the distance when the distance to another ship is minimized
- TCPA is the time until the distance to another ship is minimized
- BCT is the time until another ship crosses the bow of the own ship.
- BCR is the distance when another ship crosses the bow of the own ship.
- information such as the position of a buoy or a virtual buoy may be used as detailed information based on the AIS information.
- the virtual buoy is a virtual (having no entity) buoy that is not actually provided on the sea due to circumstances such as difficulty in installation, but is displayed as a sign on the screen of the navigation device.
- the information included in the electronic chart by the ECDIS 10 may be detailed information such as a dangerous sea area, a navigation prohibited area, a lighthouse or a buoy.
- detailed information such as the trajectory of the vessel 4 to be recorded, the planned route, the waypoint, the arrival area, or the stop-by area may be used.
- the position or speed of the detected target may be used as detailed information.
- the position of the detected school of fish or the like may be used as the detailed information.
- FIG. 3 is a conceptual diagram illustrating an example of a situation around the boat 4 according to the present embodiment.
- a plurality of waypoints 41 and a polygonal route line 42 indicating a planned route to the destination are shown on the sea surface (on the water surface).
- a polygonal (rectangular) stop-by area 43 is shown near the route line 42.
- the waypoint 41, the route line 42, and the stop-by area 43 are set by the user operating the plotter 11.
- the other ship 44 is traveling to the right of the ship 4 at a slightly distant point in front of the ship 4.
- a virtual buoy 45 is located near the diagonally left front of the ship 4.
- the detailed information includes information indicating the position (latitude and longitude) on the sea surface (water surface) where the object of the detailed information is arranged.
- the detailed information of the route line 42 includes the position information of the two turning points (the bending points of the polygonal line).
- the positions of the two turning points coincide with the positions of the two waypoints 41.
- the detailed information of the stop-by area 43 includes information on the position of each point that is the vertex of the polygon.
- FIG. 4 is a conceptual diagram showing the three-dimensional virtual space 40 according to the present embodiment.
- FIG. 4 shows a three-dimensional virtual space 40 corresponding to the situation around the ship 4 shown in FIG. Also, the waypoint 41, the route line 42, the stop-by area 43, the other ship 44, and the virtual buoy 45 shown in FIG. 3 correspond to the virtual reality objects 41v, 42v, 43v, 44v, 45v shown in FIG. 4, respectively.
- the three-dimensional scene generating unit 32 generates virtual reality three-dimensional scene data (three-dimensional display data) 48 in the three-dimensional virtual space 40 as shown in FIG.
- the three-dimensional scene generating unit 32 displays the three-dimensional scene data 48 so that the detailed information generated by the detailed information generating unit 31 is displayed on the generated three-dimensional scene based on the setting information set in the display setting unit 29. To update.
- the three-dimensional scene generation unit 32 When the detailed information is graphic information, the three-dimensional scene generation unit 32 generates a virtual reality object corresponding to the detailed information and adds the virtual reality object to the three-dimensional scene data 48. At this time, the template of the virtual reality object stored in the storage unit 27 may be used.
- the graphic information for generating the virtual reality object is reflected in a video image captured by the camera 3 such as a virtual buoy, a dangerous sea area, a no-go area, a trajectory of the ship 4, a planned route, a waypoint, an arrival area, or a stop-by area. Not a target.
- the three-dimensional scene generation unit 32 may generate a virtual reality object using a visually recognizable target such as another ship as graphic information. In this case, the generated virtual reality object may be displayed so as to be superimposed on the actual target imaged in the image captured by the camera 3.
- the screen information generation unit 33 generates necessary screen information in addition to the captured image of the camera 3 and the three-dimensional scene data 48.
- the screen information refers to information necessary for various settings or operations of the image generation device 1, information for improving operability or visibility, or distance or azimuth on a screen of an AR image displayed on the display 2. And information for displaying the information.
- the screen information generating unit 33 may generate a top-view screen (for example, a radar image) representing a situation around the ship 4 as screen information so that a user can grasp a situation of another ship or the like. Good. Thereby, the user can grasp the situation around the ship 4 even outside the range of the AR image (such as beside or behind the ship 4).
- the data synthesizing unit 34 draws the three-dimensional scene data 48 generated by the three-dimensional scene generating unit 32 on the captured video of the camera 3 input from the captured video input unit 21, and displays the screen generated by the screen information generating unit 33.
- An AR video is generated by adding information.
- the data synthesis unit 34 outputs the generated AR video to the display 2. As a result, the display 2 displays the AR video.
- the three-dimensional virtual space 40 in which the virtual reality objects 41v to 45v are arranged is formed in an orthogonal coordinate system having a reference position of the ship 4 (for example, the above-described reference point 4a) as an origin, and
- the xz plane which is a simple surface, is set so as to simulate the sea surface (water surface).
- the coordinate axes are determined so that the + z direction always coincides with the heading, the + x direction is rightward, and the + y direction is upward.
- Each point (coordinate) in the three-dimensional virtual space 40 is set so as to correspond to a real position around the ship 4.
- the virtual reality objects 41v to 45v are arranged so as to be in contact with the xz plane so as to reflect the relative position with respect to the ship 4 with respect to the heading. In order to determine the arrangement positions of the virtual reality objects 41v to 45v, calculations are performed using the positions of the GNSS antennas set by the antenna position setting unit 23.
- the virtual reality objects 41v to 45v are generated as follows.
- the virtual reality object 44v indicating the other ship 44 is expressed using a ship-shaped template that models a large ship.
- the orientation of the virtual reality object 44v is arranged so as to indicate the orientation of the other ship 44 acquired by the AIS information.
- the virtual reality object 45v indicating the virtual buoy 45 is represented using a template having a shape based on the buoy.
- the virtual reality object 41v of the waypoint 41 is represented by a thin disk-shaped three-dimensional shape.
- the virtual reality object 42v of the root line 42 is represented by a three-dimensional shape obtained by bending an elongated plate having a certain thickness and width into a polygonal line shape.
- the virtual reality object 43v of the stop-by area 43 is represented by a three-dimensional shape such as a plate having a constant thickness and having the outline of the stop-by area 43.
- the virtual reality objects 41 v to 45 v are arranged on the basis of the azimuth with the position of the ship 4 as the origin. For this reason, when the position of the ship 4 changes from the state of FIG. 3 in the east-west direction or the north-south direction, or when the heading of the ship 4 changes due to turning or the like, the three-dimensional scene data 48 includes the virtual reality objects 41v to 45v. Are updated to be the relocated new three-dimensional scene. When the contents of the detailed information such as the movement of the other ship 44 are changed from the state shown in FIG. 3, the three-dimensional scene data 48 is updated to reflect the latest detailed information.
- the data synthesizing unit 34 arranges the projection screen 51 for determining the position and range where the image shot by the camera 3 is projected in the three-dimensional virtual space 40.
- the position and orientation of the viewpoint camera 55 are set so that both the projection screen 51 and the virtual reality objects 41v to 45v are included in the field of view.
- the data synthesizing unit 34 simulates the position and orientation of the camera 3 mounted on the ship 4 in the three-dimensional virtual space 40 and arranges the projection screen 51 so as to face the camera 3. In simulating the position of the camera 3, the position of the camera 3 with respect to the hull is determined based on the shooting position set in the shooting position setting unit 22.
- a change in the orientation due to an operation such as panning or tilting of the camera 3 is considered.
- This simulation is based on the position information acquired by the position acquisition unit 24 and the posture information acquired by the posture acquisition unit 25, and the change in the position and orientation of the camera 3 due to the change in the posture and height of the ship 4. It is performed so that is reflected.
- the data synthesizing unit 34 changes the position and the direction of the projection screen 51 arranged in the three-dimensional virtual space 40 so as to correspond to the change in the position and the direction of the camera 3.
- the data combining unit 34 performs a rendering process on the three-dimensional scene data 48 and the projection screen 51 to generate a two-dimensional image. Specifically, the data synthesizing unit 34 arranges a viewpoint camera 55 as a virtual camera in the three-dimensional virtual space 40, and sets a viewing frustum 56 that determines a range to be rendered. The viewing frustum 56 is set such that the viewpoint camera 55 is the vertex and the line of sight from the viewpoint camera 55 is the central axis.
- the data synthesizing unit 34 calculates the vertex coordinates of the polygons located inside the viewing frustum 56 among the polygons constituting the virtual reality objects 41 v to 45 v and the projection screen 51 by perspective projection using a two-dimensional virtual screen.
- To the coordinates of This virtual screen corresponds to a display area on the display 2 where an AR image is displayed.
- the data synthesizing unit 34 generates a two-dimensional image by performing processing such as generation and processing of pixels at a predetermined resolution based on vertex coordinates arranged on the virtual screen.
- the generated two-dimensional image includes a figure obtained by drawing the three-dimensional scene data 48 (that is, a figure as a rendering result of the virtual reality objects 41v to 45v).
- the image taken by the camera 3 is arranged at a position corresponding to the projection screen 51 so as to be pasted.
- the projection screen 51 has a curved shape along the spherical shell with the camera 3 at the center, thereby preventing distortion of a captured image due to perspective projection.
- the viewpoint camera 55 determines the viewpoint of the AR video. Under normal conditions, the position and orientation of the viewpoint camera 55 are determined by the settings of the viewpoint setting unit 28. By making a special setting in the viewpoint setting unit 28, the data synthesizing unit 34 sets the mode and the direction of the AR video so that the position and the direction of the viewpoint camera 55 always match the position and the direction of the camera 3.
- the mode changes automatically (viewpoint tracking mode). In this viewpoint tracking mode, the entire field of view of the viewpoint camera 55 is always covered with the projection screen 51 (that is, the image captured by the camera 3), and thus a realistic AR image is realized.
- the data synthesizing unit 34 may provide a mode in which the position and orientation of the viewpoint camera 55 follow the viewpoint set in the viewpoint setting unit 28 by operating the input device 14 irrespective of the position and orientation of the camera 3 (independent viewpoint). mode).
- independent viewpoint mode the user can freely move the viewpoint to check detailed information at a position outside the field of view of the camera 3.
- FIG. 5 is an image diagram showing an example of a video shot by the camera 3.
- FIG. 6 is an image diagram showing an AR video output from the data synthesizing unit 34.
- FIG. 5 shows an image captured by the camera 3 of the ship 4 in the situation shown in FIG. This photographed video shows another ship 44r floating on the sea surface. In addition, a bow portion of the ship 4 is shown in the lower center of the photographed image.
- the virtual buoy 45 is a virtual one, and therefore is not shown in the captured video.
- the waypoint 41, the route line 42, and the stop-by area 43 are also created by the plotter 11, and therefore are not included in the captured video.
- the AR video shown in FIG. 6 is obtained by synthesizing a two-dimensional image by rendering the three-dimensional scene data 48 shown in FIG. 4 with the captured video shown in FIG.
- graphics 41f, 42f, 43f, 44f, and 45f representing detailed information are arranged so as to overlap the captured video shown in FIG.
- the portion of the image captured by the camera 3 is indicated by a broken line to distinguish it from other portions (the same applies to FIGS. 8 to 10).
- the figures 41f to 45f correspond to the virtual reality objects 41v to 45v, respectively.
- the graphic 44f representing the other ship is arranged so as to substantially overlap the position of the other ship 44r in the captured video.
- the figures 41f to 45f are generated as a result of drawing the three-dimensional shapes of the virtual reality objects 41v to 45v constituting the three-dimensional scene data 48 shown in FIG. Therefore, even when the graphics 41f to 45f are superimposed on a realistic image by the camera 3, the appearance is hardly uncomfortable.
- the graphics 41f to 45f expressing the detailed information in a virtual reality are arranged on the AR video so as to be placed on the water surface of the captured video.
- the figures 41f to 45f that represent the detailed information in a virtual reality are arranged along the water surface of the captured video.
- This arrangement is performed as follows.
- the virtual reality objects 41v to 45v shown in FIG. 4 are arranged so as to be in contact with the xz plane located below the camera 3 by a distance calculated based on the height set by the shooting position setting unit 22. Further, the position of the projection screen 51 is correctly arranged in consideration of the position and orientation of the camera 3. Thus, the arrangement of the figures 41f to 45f on the water surface is realized.
- the information (name or position, etc.) of the target is displayed at the end of the line that goes upward from the target, and for other targets May display the information of the target at the end of a line that extends downward from the target. Displaying in this manner makes it easier to distinguish the own ship voyage information from other information.
- the own ship cruise information includes a waypoint, a route line, a stop-by area, and the like.
- FIG. 7 is a conceptual diagram showing a case where the boat 4 swings in the pitch direction and the roll direction from the state of FIG.
- FIG. 8 is an image diagram showing an AR image in the state of FIG.
- the data synthesis unit 34 changes the posture of the ship 4 acquired by the posture acquisition unit 25 and the position of the ship 4 acquired by the position acquisition unit 24.
- the position and orientation of the camera 3 in the three-dimensional virtual space 40 are changed so as to simulate a change in the vertical direction. With this change, the position of the projection screen 51 is changed.
- the ship 4 is tilted so as to fall forward and to the left, and the position and orientation of the camera 3 change to reflect this tilt.
- the projection screen 51 moves so as to face the camera 3 whose position and orientation have changed.
- the position and the direction of the viewpoint camera 55 also change so as to follow the camera 3 whose position and direction have changed. Even if the position and orientation of the camera 3 change due to the shaking of the ship 4, the position and orientation of the projection screen 51 change in conjunction therewith, and the position and orientation of the viewpoint camera 55 that renders the three-dimensional scene change. I do. Thereby, the AR video generation unit 20 continuously generates an AR video without a sense of discomfort, as shown in FIG.
- the drawing of the three-dimensional scene data 48 in the data synthesizing unit 34 is updated, and the figures 41f to 45f based on the latest viewpoint are used. Is generated.
- the display of the graphics 41f to 45f changes so as to maintain the state of being placed on the sea surface with respect to the image captured by the camera 3 in which the inclination of the sea surface changes due to the shaking of the ship 4.
- the scale information 91 indicating the direction on the AR video generated by the AR video generation unit 20 will be described. Note that the scale information 91 may or may not be selectable to be displayed.
- the detailed information generator 31 collects necessary information from the marine equipment or the like in order to display the scale information 91.
- the detailed information generation unit 31 outputs the collected information to the screen information generation unit 33.
- the screen information generation unit 33 generates an image or the like to be displayed on the AR video as the scale information 91 based on the information received from the detailed information generation unit 31.
- the screen information generation unit 33 outputs the generated scale information 91 to the data synthesis unit 34.
- the data synthesizing part 34 When synthesizing the three-dimensional scene data 48 generated by the three-dimensional scene generating part 32 with the video captured by the camera 3, the data synthesizing part 34 also generates an image serving as the scale information 91 generated by the screen information generating part 33. Combine.
- the scale information 91 is displayed at a predetermined position such as the upper or lower part of the AR video as shown in FIG. 9, for example. As shown in FIG. 10, the position of the scale information 91 may be automatically moved or changed so as not to overlap with detailed information such as the graphics 41f to 45f. As shown in FIG. 10, the scale information 91 may be displayed by tilting the detailed information 91 so as to always keep parallel to the horizontal line according to the tilt of the hull of the boat 4. By displaying in this manner, the scale information 91 can always indicate an accurate orientation.
- FIG. 11 is an image diagram showing an AR video on which detailed information D1, D2, and D20 are displayed.
- FIG. 12 is a flowchart showing an outline of a procedure for displaying the detailed information D1, D2, and D20 on the AR video.
- the description will be made assuming that there are three water vehicles S1, S2, and S3 in front of the ship 4 in the AR image.
- the description will be mainly given using the waterborne moving objects S1 to S3 as the targets, detailed information is similarly similarly applied to any target (including intangible objects) other than the waterborne moving objects S1 to S3. It may be displayed.
- the detailed information held by the video generation device 1 is classified into three types: main information (corresponding to first detailed information), sub information (corresponding to second detailed information), and non-display information.
- the main information is displayed in the first space SP1.
- the sub information is displayed in the second space SP2.
- the non-display information is not displayed on the AR video.
- Detailed information (items) corresponding to each of the main information, the sub information, and the non-display information is arbitrarily set by the user using the input device 14. For example, a list of items is displayed in the AR video, and items corresponding to each of the main information, the sub information, and the non-display information are selected in a drop-down format.
- a marker corresponding to each of the water vehicles S1 to S3 in the AR image is selected.
- M1, M2, and M3 are displayed (step ST102).
- the markers M1 to M3 are connected by corresponding lines L1, L2, L3 indicating a corresponding relationship extending downward from the corresponding waterborne vehicles S1 to S3, respectively.
- the shapes of the markers M1 to M3 may be different depending on the type of the detected marine equipment. For example, for the target detected by the AIS receiver 9, the shape of the marker is rhombus, and for the target detected by the radar 12, the shape of the marker is circular. Further, the target may be detected by a marine device such as the ECDIS 10 or the sonar 13. Further, when a single target is detected by a plurality of marine devices, markers M1 to M3 respectively corresponding to the plurality of marine devices detected from the single target may be displayed, or the selected arbitrary May be displayed, or a single marker may be displayed.
- the user selects (for example, clicks) the markers M1 to M3 connected to the waterborne mobile units S1 to S3 of the displayed detailed information (step ST103).
- the markers M1 to M3 are selected, the display may be changed such that the color is inverted.
- the main information of the target corresponding to the selected markers M1 to M3 is displayed at a predetermined position in the AR video (step ST104).
- the respective markers M1 of the two water vehicles S1 and S2 are selected, and main information D1 and D2 of each water vehicle S1 and S2 are displayed in a first space SP1 below the AR image as a predetermined location.
- the main information D1 and D2 are the distance to the ship (vessel 4), the speed, DCPA, and TCPA.
- the markers M1 and M2 and the main information D1 and L2 are extended by corresponding lines L11 and L12 extending from the corresponding lines L1 and L2. D2 are respectively connected.
- the user selects a display column in which the main information D1 is displayed (step ST105).
- the display column of the main information D1 is selected, as shown in FIG. 11, the sub information D20 corresponding to the selected main information D1 is displayed in the second space SP2 below the first space SP1 (see FIG. 11).
- Step ST106 The sub information D20 is connected by a corresponding line L20 indicating that the sub information D20 corresponds to the main information D1 in the first space SP1.
- the user can select whether to display the sub information D20 or to hide the sub information D20.
- the second space SP2 disappears, and the first space SP1 displaying the main information D1 and D2 moves to the lower side of the AR video.
- the second space SP2 is eliminated, so that the portion of the AR video captured by the camera 3 is expanded.
- the second space SP2 may be always reserved, or may appear when one of the display fields of the main information D1 and D2 is selected.
- a slightly larger rectangle shown by a broken line surrounding the outside of each of the markers M1 and M2 represents the touch determination areas R1 and R2.
- the touch determination areas R1 and R2 are areas for determining whether or not the markers M1 and M2 have been touched.
- the input device 14 when the input device 14 is a touch panel, if a finger or the like touches the touch determination areas R1 and R2, it is determined that the markers M1 and M2 have been touched (that is, selected).
- the input device 14 is a mouse, if a predetermined operation such as a click is performed in a state where the cursor is in the touch determination regions R1 and R2, it is determined that the markers M1 and M2 have been touched.
- the touch determination areas R1 and R2 are slightly larger than the markers M1 and M2, so that the markers M1 and M2 are determined to have been touched even when touching slightly off the markers M1 and M2. Thereby, user operability is improved.
- the second waterborne moving object S2 after t seconds from the initial position is close to the first waterborne moving object S1.
- the touch determination regions R1 and R2 of the two waterborne moving bodies S1 and S2 are respectively determined.
- the corresponding line L2b of the second waterborne moving object S2 is displayed so as to gradually extend downward until the touch determination region R2 does not overlap the touch determination region R1 of the first waterborne moving object S1.
- the marker M2 is moved so as to be visually continuous. This makes it easier for the user to visually follow the moving marker M2.
- the two touch determination areas R1 and R2 may temporarily overlap.
- the second waterborne moving object S2 which is further t seconds after being in proximity to the first waterborne moving object S1, is sufficiently separated from the first waterborne moving object S1 again, so that two touches are performed regardless of the length of the corresponding line L2c.
- the determination regions R1 and R2 do not overlap. Therefore, the corresponding line L2c of the second waterborne moving object S2 contracts until it reaches the state of the initial setting which is the shortest length.
- the horizontal axis represents the elapsed time
- the vertical axis represents the length of the corresponding line L1 that changes in the vertical direction in the AR video.
- the length a1 of the corresponding line L1 of the first waterborne moving object S1 is the shortest length of the initial setting.
- the screen information generation unit 33 determines that the two touch determination areas overlap.
- the length a2 of the corresponding line L1 that no longer exists is calculated. There may be any gap between the two touch determination areas.
- the screen information generation unit 33 may start the calculation not only after the two touch determination areas have touched but also before the touch. Whether or not the two touch determination areas are in contact with each other is not limited to the case where the respective positions of the two touch determination areas are directly detected, but is determined based on the position of a water vehicle, a marker, or a corresponding line. You may.
- the screen information generation unit 33 changes (draws) the corresponding line L1 such that the length a1 of the corresponding line L1 gradually becomes the calculated length a2. Thereby, the corresponding line L1 of the first waterborne moving object S1 has the target length a2.
- the screen information generation unit 33 changes the length of the corresponding line L1 as shown by a curve Cr shown in FIG.
- the curve Cr indicates that the speed of change gradually decreases as the length of the corresponding line L1 approaches the target length a2. This makes it easier for the user to visually follow the marker M1.
- an existing method used in graphics or animation may be applied.
- the touch determination region R1 of the first waterborne vehicle S1 is moved to another waterborne vehicle (third waterborne vehicle). Touches the touch determination area.
- the screen information generation unit 33 calculates a length a3 at which the touch determination region R1 of the first waterborne moving object S1 does not overlap with the touch determination region of the third waterborne moving object newly contacted.
- the screen information generation unit 33 changes the corresponding line L1 so as to gradually extend from the current length a2 to the calculated length a3.
- the corresponding line L1 of the first waterborne moving object S1 has the target length a3.
- the screen information generation unit 33 sets the length a3 of the corresponding line L1 to the initial length a4.
- the length of the corresponding line L1 is changed so as to gradually contract (return).
- the length of the corresponding line L1 is gradually changed by changing the length of the corresponding line L1 so as to draw a curve Cr, as in the case of extending the corresponding line L1.
- the corresponding line L1 of the first waterborne mobile unit S1 returns to the initially set length a4.
- the screen information generation unit is activated in the same manner as at times t1 and t2. 33 calculates the target length a5 of the corresponding line L1. Accordingly, the corresponding line L1 of the first waterborne moving object S1 has the target length a5.
- the screen information generating unit 33 starts to return the corresponding line L1 to the initially set length, as at time t3. .
- the touch determination area R1 of the first waterborne mobile object S1 contacts the touch determination area of another waterborne mobile object (the fifth waterborne mobile object).
- the screen information generating unit 33 calculates the target length a6 of the corresponding line L1, and changes the corresponding line L1 from the state in which the corresponding line L1 is contracting to the initially set length so as to gradually increase to the target length a6. .
- the corresponding line L1 of the first waterborne moving object S1 has the target length a6.
- the screen information generation unit 33 sets the corresponding line L1 to the initially set length, as in the case of times t3 and t5. Start returning.
- the corresponding line L1 of the first waterborne mobile S1 has the initially set length a7.
- the user can change the length of each waterborne mobile body. Markers are easier to select.
- the corresponding line L1 is changed by focusing on the first waterborne moving object S1, but actually, in each of the waterborne moving objects, the corresponding line L1 is changed in the same manner as the first waterborne moving body S1.
- the length of the corresponding line connected to the marker is changed so that the touch determination areas do not overlap.
- each waterborne moving object or each marker determines which corresponding line length is to be changed according to the priority determined by each waterborne moving object or each marker.
- the priority may be assigned in advance to each water vehicle or each marker.
- the priority order may be the display order of the markers (newest or oldest), or may be determined by the position of each waterborne object or each marker (up / down or left / right on the screen).
- the length of the corresponding line may be preferentially changed as the position of the marker is below the screen. Extending the corresponding line of the marker at the lower position is shorter than extending the corresponding line of the marker at the upper position.
- the corresponding line to be changed may be determined based on the current length of each corresponding line or the like.
- FIG. 15 is a flowchart showing a procedure for displaying the main information D1 and D2 on the AR video.
- a display column Dh for displaying the main information indicated by a broken line in which nothing is actually displayed is secured in addition to the portion where the main information D1 and D2 are displayed.
- the display field Dh is determined as follows.
- FIG. 11 shows an example of an AR image in which items of distance to own ship, speed, DCPA, and TCPA are displayed as main information D1 and D2.
- the screen information generation unit 33 determines the size of the display field Dh based on the items selected as the main information D1 and D2 (step ST202).
- the height of the display column is determined based on the number of selected items.
- the width of the display column is determined based on the largest number of characters among the number of characters secured in each of the selected items. Items represented only by numbers and units, such as position, distance, speed, or time, basically have a small number of secured characters. Items that may display proper nouns (such as ship names or place names) or sentences have basically a large number of reserved characters.
- the screen information generation unit 33 determines the number of display fields Dh based on the determined size of the display field Dh (step ST203). For example, if the width of the first space SP1 is divided by the width of the display column Dh, the number of display columns Dh arranged horizontally can be determined. The correspondence between the size and the number of the display fields Dh may be stored in advance like table data.
- FIG. 11 shows an example in which the display column Dh is displayed in one row in a horizontal row, but it may be displayed in two rows or more vertically, with one horizontal row as one row. In this case, based on the height of the first space SP1 and the height of the display column Dh, the number of stages in which the display columns Dh are stacked up and down may be determined in the same manner as the number of display columns Dh arranged horizontally.
- the screen information generation unit 33 determines the arrangement of the display columns Dh in the first space SP1 based on the determined number of display columns Dh (step ST204).
- FIG. 11 shows an AR image when the number of display columns Dh is six.
- an AR image shown in FIG. 16 is obtained.
- the name of the ship is selected as an item of the main information D1 and D2, so that the width of one display column Dh is wide. For this reason, the number of display columns Dh arranged horizontally decreases to four.
- Steps ST202 to ST204 are repeatedly executed each time the items of the main information D1 and D2 are changed in step ST201.
- the screen information generation unit 33 determines a display field Dh for displaying main information D1 and D2 of the water vehicles S1 and S2 (step ST205).
- the display column Dh closest to the position where the first space SP1 comes in contact with the line vertically lowered from the middle in the width direction of the waterborne mobiles S1 and S2 is displayed.
- the main information to be hidden may be the main information displayed earliest (that is, the oldest), the main information of the target with the lowest risk, or the information determined by another method. Good. Further, the user may be allowed to perform an operation such as pinning for fixing the display so that the specific main information is not automatically hidden.
- the risk is determined based on any combination of DCPA, TCPA, BCT, or BCR. If the elements of a predetermined combination among these elements are both higher than a preset threshold, it is determined that the risk is high.
- the combination of elements is DCPA and TCPA, or BCT and BCR.
- the screen information generation unit 33 displays the main information D1 and D2 of the water vehicles S1 and S2 in the determined display field Dh (step ST206).
- the water vehicles S1 and S2 When there are the water vehicles S1 and S2 with a high degree of risk, the water vehicles S1 and S2, the markers M1 and M2, or the display columns Dh of the main information D1 and D2 are displayed in a conspicuous color or blink.
- the user may be able to easily find a target with a high degree of danger by changing the display form and making it stand out visually.
- Steps ST205 and ST206 shown in FIG. 15 are repeatedly executed (updated) at predetermined time intervals.
- FIG. 17 shows an AR image after a predetermined time has elapsed from the state of the AR image shown in FIG.
- the main information D1 of the first waterborne mobile unit S1 has moved to the second to leftmost display field Dh from the left of the screen because the first waterborne mobile unit S1 has moved to the lower left of the screen.
- the main information D2 of the second waterborne moving object S2 is in the middle of moving to the fourth to fifth display columns Dh from the left of the screen because the second waterborne moving object S2 has moved to the right of the screen.
- the display of the main information D1 and D2 gradually moves between the two display columns Dh.
- the main information D2 is displayed not only at the position of the display field Dh arranged in advance but also between the two display fields Dh. .
- the main information D1 and D2 are moved so as to be visually continuous. Thereby, the user can confirm the position of the display field Dh after the movement while visually following the main information D1 and D2. Therefore, by switching the display field Dh, it is possible to prevent the user from losing the display location of the main information D1 and D2 and from erroneously recognizing the main information D1 and D2 of the other waterborne mobiles S1 and S2. it can.
- the method of drawing so that the display of the main information D1 and D2 gradually moves may be the same as the method of drawing so as to gradually change the length of the corresponding line L1.
- the data combining unit 34 does not have to render the three-dimensional scene data 48 and the projection screen 51 at the same time. That is, the data synthesizing unit 34 outputs a two-dimensional video (video such as the graphics 41f to 45f) as a rendering result of the three-dimensional scene data 48 and a two-dimensional video (video of the projection screen 51) as a rendering result of the projection screen 51. May be separately created. Thereafter, these two-dimensional images created separately are combined to generate an AR image. In this case, the rendering processing of the three-dimensional scene data 48 is performed at any time according to the movement of the ship 4 and the rendering processing of the projection screen 51 is performed at short time intervals according to the frame rate of the video by the camera 3. Is also good.
- the camera 3 may not have a function of rotating such as panning or tilting, and may have a fixed shooting direction.
- the shooting direction may be fixed to any of the front, rear, and other directions.
- the camera 3 may be configured to be capable of simultaneously photographing the periphery of the ship 4 in all directions of 360 degrees. Further, when the user performs an operation of changing the direction of the viewpoint camera 55, the rotation operation of the camera 3 may be automatically performed so as to follow the operation.
- the generation of the three-dimensional scene data 48 by the three-dimensional scene generation unit 32 has been described with a configuration in which the virtual reality objects 41v to 45v are arranged on the basis of the bow with the origin of the position of the ship 4 as shown in FIG. Not limited to this.
- the virtual reality objects 41v to 45v may be arranged not on the bow reference but on the true north reference where the + z direction is the true north. In this case, when the heading changes due to turning of the ship 4 or the like, the direction of the ship 4 in the three-dimensional virtual space 40 is changed in the yaw direction instead of rearranging the virtual reality objects 41v to 45v.
- the change of the position and the direction of the camera 3 is simulated in the three-dimensional virtual space 40, and the position and the direction of the viewpoint camera 55 are changed and the rendering is performed in conjunction with the simulation. In this way, a rendering result is obtained as in the case of the bow reference.
- the coordinate system of the three-dimensional virtual space 40 uses the arbitrarily selected fixed point on the earth as the origin, such that the + z direction is true north and the + x direction is true east,
- the relationship between the coordinate axis and the direction may be fixed.
- the coordinate system of the three-dimensional virtual space 40 is fixed on the earth, and the position and orientation at which the ship 4 is arranged changes based on the position information and the attitude information. With this change, a change in the position and orientation of the camera 3 is simulated in the three-dimensional virtual space 40.
- the image generation device 1 may perform a process of reducing the sway of the AR image due to the sway of the ship 4.
- the three-dimensional scene generation unit 32 may suppress a change in the position and the direction of the viewpoint camera 55 even when the ship 4 shakes.
- the marker in the AR image can be easily viewed.
- the markers are displayed in the horizontal direction (rightward or leftward) of the waterborne mobile object, in the AR video, the waterborne mobile objects are likely to be dense in the horizontal direction. Markers are likely to be difficult to see due to overlapping body indications.
- the user can simply view the marker and obtain the information source of the main information. You can know.
- the display mode for example, the shape
- the marine device AIS receiver 9 or radar 12 or the like
- the operability of the user when selecting a marker can be improved by setting the touch determination area for determining whether or not the marker is touched to have an area larger than that of the marker including the marker.
- the main information can be arranged in the AR video so as to be easily seen.
- a predetermined location for example, below the screen
- the display of the main information of the target is made prominent to visually inform the user of the target of high risk or the main information thereof. Can be.
- the marker display method and the display method of the main information and the like can be separately and independently performed, and even when either one is performed, the operation and effect of the performed display method can be obtained. Further, when both are implemented, further operational effects due to the combination can be obtained.
- the present invention is not limited to the above-described embodiment, and components may be deleted, added, or changed. Further, a new embodiment may be achieved by combining or exchanging constituent elements of a plurality of embodiments. Even if such an embodiment is directly different from the above-described embodiment, those having the same purpose as the present invention are described as the embodiment of the present invention, and the description thereof is omitted.
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Ocean & Marine Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Navigation (AREA)
Abstract
映像生成装置(1)は、船舶(4)に設けられるカメラ(3)と、物標に関する物標情報を取得する船舶機器と、カメラ(3)により撮影される撮影映像に、船舶機器により取得される物標情報が表示されたAR映像を生成するAR映像生成部(20)と、物標をユーザが選択するためのマーカーを、AR映像における物標の表示箇所に対応して移動するように表示するマーカー表示手段と、船舶機器により取得された物標情報に基づいて、ユーザにより選択されたマーカーに対応する物標のメイン情報を、AR映像が表示される画面の予め決められた第1スペースに表示するメイン情報表示手段とを備える。
Description
本発明は、物標を含む映像を生成する映像生成装置に関する。
一般に、カメラからの画像ストリームについてジオリファレンシングを行う映像生成装置が開示されている。例えば、船舶のカメラが撮影したストリーム画像データを受信し、当該船舶の周囲の物標(他船等)の位置を取得して、ディスプレイに映し出す映像を生成する映像生成装置がある(特許文献1参照)。
しかしながら、船舶が航行するには、船舶の周囲にある物標(例えば、水上移動体)について、様々な情報を取得する必要がある。このため、船舶のカメラが撮影した映像に、航行に必要な全ての情報を単純に重ね合わせてディスプレイに表示すると、表示された情報が分かり難くなる。したがって、このような映像では、利便性が低下する。
本発明の目的は、船舶から撮影した映像に情報を表示させ、利便性を向上させた映像生成装置を提供することにある。
本発明の観点に従った映像生成装置は、水上移動体に設けられる撮影手段と、物標に関する物標情報を取得する物標情報取得手段と、前記撮影手段により撮影される撮影映像に、前記物標情報取得手段により取得される前記物標情報が表示された拡張映像を生成する拡張映像生成手段と、前記物標をユーザが選択するためのマーカーを、前記拡張映像における前記物標の表示箇所に対応して移動するように表示するマーカー表示手段と、前記物標情報取得手段により取得された前記物標情報に基づいて、前記ユーザにより選択された前記マーカーに対応する前記物標の第1詳細情報を、前記拡張映像が表示される画面の予め決められた第1スペースに表示する第1詳細情報表示手段とを備える。
(実施形態)
図1は、本発明の実施形態に係る映像生成装置1の構成を示すブロック図である。図2は、本実施形態に係る船舶4の側面を示す側面図である。なお、図面における同一部分には同一符号を付し、重複する説明を適宜省略する。
図1は、本発明の実施形態に係る映像生成装置1の構成を示すブロック図である。図2は、本実施形態に係る船舶4の側面を示す側面図である。なお、図面における同一部分には同一符号を付し、重複する説明を適宜省略する。
映像生成装置1は、水上を移動する水上移動体である船舶4に搭載される。船舶4は、海、湖、又は河川等の水上を航行可能であれば、どのような水上移動体でもよい。映像生成装置1は、カメラ(撮影機器)3で撮影した映像に、詳細情報を表示することにより、船舶4の周囲の状況を拡張して表現する拡張現実(AR, augmented reality)映像を生成する。以降では、AR映像として説明するが、撮影された映像に情報が付加された映像であればどのような映像でもよい。
ディスプレイ2は、映像生成装置1が生成したAR映像を表示する。例えば、ディスプレイ2は、船舶4を操船するオペレータが参照する操船支援装置として設けられる。なお、ディスプレイ2は、船舶4から周囲の状況を監視する操船補助者が携帯する携帯型コンピュータのディスプレイ、船舶4の客室で乗客が鑑賞するためのディスプレイ、又は、乗船者が装着するウェアラブル端末のディスプレイなどでもよい。
次に、映像生成装置1に接続される各種機器について説明する。図2は、本実施形態に係る船舶4の各種機器が設けられた側面を示す側面図である。
カメラ3は、船舶4の周囲を撮影する広角型のビデオカメラである。カメラ3は、ライブ出力機能を有しており、撮影結果としての動画データ(映像データ又はストリームデータなど)をリアルタイムで生成して映像生成装置1に出力する。カメラ3は、撮影方向が船体に対して水平前方となるように船舶4に設置される。カメラ3は、パン又はチルトなどの回転動作をする回転機構を備える。カメラ3は、映像生成装置1から入力される回転動作を指示する信号に基づいて、船舶4の船体を基準として撮影方向を所定の角度範囲内で変更する。船舶4の高さ及び姿勢は波等の自然環境により様々に変化する。これに伴い、カメラ3の高さ及び姿勢(撮影方向)も3次元的に変化する。
映像生成装置1は、カメラ3の他に、船舶機器として、GNSS(global navigation satellite system)コンパス5、角速度センサ6、GNSS受信機7、加速度センサ8、AIS(automatic identification system)受信機9、ECDIS(electronic chart display and information system)10、プロッタ11、レーダ12、及び、ソナー13と接続される。船舶機器は、詳細情報の情報源となる。GNSSコンパス5は、角速度センサ6、GNSS受信機7及び加速度センサ8を内蔵している。なお、角速度センサ6、GNSS受信機7及び加速度センサ8のうち全部又は一部は、GNSSコンパス5とは独立して設けられてもよい。また、船舶機器は、ここで説明するものに限らず、どのような機器でもよい。
GNSSコンパス5は、方位センサ及び姿勢センサの機能を有する。GNSSコンパス5は、船舶4に固定された複数のGNSSアンテナ(測位用アンテナ)を備える。GNSSコンパス5は、それぞれのGNSSアンテナの位置関係を、測位衛星から受信した電波に基づいて算出する。特に、GNSSコンパス5は、各GNSSアンテナが受信した電波の搬送波位相の位相差に基づいて、GNSSアンテナの位置関係を求める。GNSSアンテナの位置関係の求め方については、既知の処理方法を適用することができる。これにより、GNSSコンパス5は、船舶4の船首方位を取得する。
GNSSコンパス5は、船舶4の姿勢を3次元的に取得する。具体的には、GNSSコンパス5は、船首方位(即ち、船舶4のヨー角)だけでなく、船舶4のロール角及びピッチ角を検出する。GNSSコンパス5で取得された船舶4の姿勢情報は、姿勢取得部25及び他の船舶機器に出力される。
角速度センサ6は、例えば、振動ジャイロセンサで構成される。角速度センサ6は、GNSSコンパス5が姿勢情報を検出する検出間隔(例えば、1秒)より短い周期で、船舶4のヨー角速度、ロール角速度及びピッチ角速度を検出する。GNSSコンパス5が検出した角度と、角速度センサ6が検出した角速度の積分値と、を併用することにより、GNSSコンパス5だけを用いる場合よりも短い時間間隔で船舶4の姿勢を取得することができる。また、GNSSの測位衛星からの電波が例えば橋等の障害物により遮られて、GNSSコンパス5による姿勢の検出が不能となっている場合、角速度センサ6は、姿勢情報を取得するための代替的な手段として機能する。
GNSS受信機7は、GNSSアンテナが測位衛星から受信した電波に基づいて、船舶4の位置を求める。例えば、船舶4の位置は、GNSSアンテナの緯度、経度及び高さである。GNSS受信機7は、得られた位置情報を、位置取得部24及び他の船舶機器に出力する。
加速度センサ8は、例えば、静電容量検出型のセンサである。GNSS受信機7が位置情報を検出する検出間隔(例えば、1秒)より短い周期で、船舶4のヨー軸、ロール軸及びピッチ軸における加速度を検出する。GNSS受信機7が検出した位置情報と、加速度センサ8が検出した加速度の二重積分値とを併用することにより、GNSS受信機7だけを用いる場合よりも短い時間間隔で船舶4の位置を取得することができる。また、GNSSの測位衛星からの電波が遮られてGNSS受信機7による位置の検出が不能となっている場合に、加速度センサ8は、位置情報を取得するための代替的な手段として機能する。
AIS受信機9は、他船や陸上局等から送信されるAIS情報を受信するための機器である。AIS情報には、船舶4の周囲を航行している他の船舶(他船)の情報、ランドマークの位置及び識別情報などの様々な情報が含まれる。他船の情報は、例えば、位置(緯度・経度)、船体の長さ、船体の幅、船舶の種類、識別情報、船速、針路、及び、目的地などである。
ECDIS10は、GNSS受信機7から船舶4の位置情報を取得するとともに、予め記憶されている電子海図情報に基づいて、船舶4の周囲の情報を映像生成装置1に出力する。
プロッタ11は、GNSS受信機7から船舶4の位置を継続して取得することにより、船舶4の航行軌跡の情報を生成する。また、プロッタ11は、ユーザに複数のウェイポイント(船舶4が通過する予定の地点)を設定させることにより、これらのウェイポイントを順次に繋ぐようにして予定航路を生成する。
レーダ12は、船舶4の周囲に存在する他船等の物標を探知する。また、レーダ12は、物標を捕捉及び追尾することが可能な目標追尾機能(TT)を有する。レーダ12は、このTTにより、物標の位置及び速度ベクトル(TT情報)を求める。レーダ12は、取得したTT情報を映像生成装置1に出力する。
ソナー13は、超音波を水中に送信して、その超音波が魚群等の物標で反射した反射波を受信することにより、物標を探知する。ソナー13は、探知した探知情報を映像生成装置1に出力する。
映像生成装置1には、ユーザが情報を入力するための入力機器14が接続されている。入力機器14は、キーボード又はマウス等である。なお、入力機器14は、ディスプレイ2に触れて情報を入力するタッチパネル、又は、ジョイスティックでもよいし、その他に、情報を入力可能な機器であれば、どのような機器でもよい。
ユーザは、入力機器14により、AR映像に関する各種指示を行う。例えば、ユーザは、カメラ3の姿勢を変える操作、各種情報の表示の有無の設定、又は、AR映像の視点の設定などについて指示を行う。
次に、映像生成装置1の構成について説明する。
映像生成装置1は、AR映像生成部20、撮影映像入力部21、撮影位置設定部22、アンテナ位置設定部23、位置取得部24、姿勢取得部25、詳細情報取得部26、記憶部27、視点設定部28、及び、表示設定部29を備える。
映像生成装置1は、主にコンピュータで構成される。例えば、コンピュータは、演算処理部及び記憶部を備える。演算処理部は、CPU(central processing unit)又は3次元画像処理を高速で行うためのGPU(graphics processing unit)などである。記憶部は、各種メモリ又はHDD(hard disk drive)などである。なお、コンピュータはどのように構成されてもよい。映像生成装置1は、各種機能を実現するためのソフトウェア(プログラム等)を実行することにより動作する。
撮影映像入力部21には、例えば30フレーム毎秒で、カメラ3から出力される映像データが入力される。撮影映像入力部21は、入力された映像データをAR映像生成部20に出力する。
撮影位置設定部22は、船舶4におけるカメラ3の位置(撮影位置)を設定する。例えば、撮影位置とは、船体の長さ方向の位置、船体の幅方向の位置、及び、上下方向の位置(高さ)である。カメラ3の高さは、例えば、船舶4において通常想定される喫水線からの高さであるが、船底からの高さとしてもよいし、その他を基準にしてもよい。また、カメラ3の位置をユーザが実際に計測した計測値を入力機器14により入力することにより、撮影位置設定部22に撮影位置が設定されてもよい。撮影位置設定部22は、設定された撮影位置をAR映像生成部20に出力する。
アンテナ位置設定部23は、船舶4におけるGNSSアンテナの位置(アンテナ位置)を設定する。アンテナ位置は、例えば、図2に示す船舶4の基準点4aを基準として、船体の長さ方向、幅方向及び上下方向で位置を表す。基準点4aは、制御の基準となる箇所である。本実施形態では、基準点4aは、船体の中央で、かつ、通常想定される喫水線と同じ高さとなる位置としているが、どのように決定してもよい。例えば、アンテナ位置の設定は、上述の撮影位置と同様に、実際の計測値をユーザが入力することで行われてもよい。アンテナ位置設定部23は、設定されたアンテナ位置をAR映像生成部20に出力する。
位置取得部24は、GNSS受信機7及び加速度センサ8の検出結果に基づいて、船舶4の現在の位置をリアルタイムで取得する。位置取得部24は、取得した船舶4の現在の位置情報をAR映像生成部20に出力する。
姿勢取得部25は、GNSSコンパス5及び角速度センサ6の検出結果に基づいて、船舶4の現在の姿勢をリアルタイムで取得する。姿勢取得部25は、取得した船舶4の現在の姿勢情報をAR映像生成部20に出力する。
詳細情報取得部26は、AIS受信機9、ECDIS10、プロッタ11、レーダ12、及び、ソナー13などから取得された情報に基づいて、カメラ3で撮影した映像に付加する詳細情報を取得する。詳細情報は、これらの船舶機器から映像生成装置1にリアルタイムで入力される。詳細情報取得部26は、取得した詳細情報をAR映像生成部20に出力する。詳細情報取得部26は、一意に特定して管理するための識別情報(例えば、識別番号)を各詳細情報に付与してもよい。
記憶部27は、各種情報を記憶するメモリとして構成される。記憶部27は、例えば、各種の詳細情報を表現する仮想現実オブジェクトの3次元形状を、テンプレートとして記憶してもよい。記憶部27に記憶される3次元形状のテンプレートは、例えば、小型の船、大型の船、ブイ、又は、灯台等であるが、これに限定されない。記憶部27は、記憶した情報をAR映像生成部20に出力する。
視点設定部28は、ユーザが入力機器14を用いて、AR映像生成部20により生成されるAR映像の視点に関する設定をする。視点設定部28は、AR映像の視点に関する設定情報をAR映像生成部20に出力する。
表示設定部29は、ユーザが入力機器14を用いて、AR映像生成部20により生成されるAR映像における詳細情報の表示に関する設定をする。表示設定部29は、詳細情報の表示に関する設定情報をAR映像生成部20に出力する。
AR映像生成部20は、撮影映像入力部21に入力されたカメラ3の撮影映像に3次元コンピュータグラフィックスを合成することにより、拡張現実を表現するAR映像を生成する。
AR映像生成部20は、詳細情報生成部31、3次元シーン生成部32、画面情報生成部33、及び、データ合成部34を備える。
詳細情報生成部31は、詳細情報取得部26から入力された詳細情報に基づいて、AR映像に表示するための詳細情報を生成する。詳細情報は、情報が文字で表される文字情報と情報が図形で表される図形情報などがある。詳細情報生成部31は、生成した詳細情報を3次元シーン生成部32又は画面情報生成部33に出力する。詳細情報は、ユーザが必要とする情報であれば、どのような情報でもよい。例えば、詳細情報は、映像生成装置1の目的又は機能に基づいて決定されてもよいし、船舶4の航行に必要な情報としてもよい。
例えば、水上移動体等の物標についての詳細情報は、名称(船名)、位置(船位)、方位(船首方位)、針路、距離、速度、回頭角速度、目的地、国籍(船籍)、種類(船種)、サイズ(長さ、幅及び高さなど)、状態(航行状態)、識別符号、DCPA(最接近距離、distance of closest point of approach)、TCPA(最接近時間、time of closest point of approach)、BCT(bow crossing time)、又は、BCR(bow crossing range)などである。ここで、DCPAは、他船との距離が最小となるときのその距離である。TCPAは、他船との距離が最小となるまでの時間である。BCTは、他船が自船の船首を横切るまでの時間である。BCRは、他船が自船の船首を横切るときの距離である。
この他に、AIS情報に基づいて、ブイ又は仮想ブイの位置等の情報を詳細情報としてもよい。仮想ブイは、設置が困難である等の事情により実際に海上に設けられていない仮想の(実体を持たない)ブイであるが、ナビゲーション装置の画面には標識として表示される。ECDIS10による電子海図に含まれる情報としては、危険海域、航海禁止領域、灯台又はブイなどを詳細情報としてもよい。プロッタ11に基づく情報としては、記録される船舶4の軌跡、予定航路、ウェイポイント、到着エリア又は立寄エリアなどを詳細情報としてもよい。レーダ12に基づく情報としては、探知された物標の位置又は速度などを詳細情報としてもよい。ソナー13に基づく情報としては、探知された魚群の位置などを詳細情報としてもよい。
図3は、本実施形態に係る船舶4の周囲の状況の例を示す概念図である。
海面上(水面上)には、複数のウェイポイント41、及び、目的地までの予定航路を示す折れ線状のルート線42が示されている。ルート線42の近傍には、多角形状(矩形状)の立寄エリア43が示されている。ウェイポイント41、ルート線42、及び、立寄エリア43は、ユーザがプロッタ11を操作することにより、設定される。
船舶4の前方のやや離れた地点で他船44が船舶4の右方へ向けて航行中である。船舶4の左斜め前の近くには仮想ブイ45がある。これらの情報は、AIS情報により検出される。
詳細情報には、その詳細情報の対象物が配置される海面(水面)における位置(緯度及び経度)を示す情報が含まる。例えば、ルート線42の詳細情報には、2つの変針点(折れ線の屈折点)の地点の位置情報が含まれる。ここでは、2つの変針点の位置は、2つのウェイポイント41の位置と一致する。立寄エリア43の詳細情報には、多角形の頂点となるそれぞれの地点の位置の情報が含まれる。
図4は、本実施形態に係る3次元仮想空間40を示す概念図である。図4は、図3に示す船舶4の周囲の状況に対応する3次元仮想空間40を示している。また、図3に示すウェイポイント41、ルート線42、立寄エリア43、他船44、及び、仮想ブイ45は、それぞれ図4に示す仮想現実オブジェクト41v,42v,43v,44v,45vに対応する。
3次元シーン生成部32は、図4に示すように、3次元仮想空間40に仮想現実の3次元シーンデータ(3次元表示用データ)48を生成する。3次元シーン生成部32は、表示設定部29に設定された設定情報に基づいて、生成した3次元シーンに詳細情報生成部31により生成された詳細情報を表示するように、3次元シーンデータ48を更新する。
詳細情報が図形情報である場合、3次元シーン生成部32は、詳細情報に対応する仮想現実オブジェクトを生成して、3次元シーンデータ48に加える。このとき、記憶部27に記憶された仮想現実オブジェクトのテンプレートを用いてもよい。
仮想現実オブジェクトを生成する図形情報は、例えば、仮想ブイ、危険海域、航海禁止領域、船舶4の軌跡、予定航路、ウェイポイント、到着エリア、又は、立寄エリアなどのカメラ3の撮影映像には映らない物標である。また、3次元シーン生成部32は、他船等の視認可能な物標を図形情報として仮想現実オブジェクトを生成してもよい。この場合、生成した仮想現実オブジェクトは、カメラ3の撮影映像に映された実際のこの物標に重ねて表示してもよい。
画面情報生成部33は、カメラ3の撮影映像及び3次元シーンデータ48の他に必要な画面情報を生成する。例えば、画面情報とは、ディスプレイ2に表示されるAR映像の画面において、映像生成装置1の各種設定若しくは操作に必要な情報、操作性若しくは視認性を向上させるための情報、又は、距離若しくは方位を示す表示をするための情報などである。また、画面情報生成部33は、他船等の状況をユーザが把握するために、船舶4を中心として周辺の状況を表すトップビューの画面(例えば、レーダ映像)を画面情報として生成してもよい。これにより、ユーザは、船舶4の周囲の状況をAR映像の範囲外(船舶4の横又は後方など)でも把握することができる。
データ合成部34は、撮影映像入力部21から入力されたカメラ3の撮影映像に、3次元シーン生成部32が生成した3次元シーンデータ48を描画し、画面情報生成部33により生成された画面情報を付加して、AR映像を生成する。データ合成部34は、生成したAR映像をディスプレイ2に出力する。これにより、ディスプレイ2は、AR映像を表示する。
次に、3次元仮想空間40の構築方法について説明する。
仮想現実オブジェクト41v~45vが配置される3次元仮想空間40は、図4に示すように、船舶4の基準位置(例えば、上述の基準点4a)を原点とする直交座標系で構成され、水平な面であるxz平面が海面(水面)を模擬するように設定される。図4の例では、座標軸は、+z方向が常に船首方位と一致し、+x方向が右方向、+y方向が上方向となるように定められる。3次元仮想空間40内の各地点(座標)は、船舶4の周囲の現実の位置に対応するように設定される。
仮想現実オブジェクト41v~45vは、船首方位を基準として、船舶4との相対位置を反映させるように、xz平面に接するように配置される。仮想現実オブジェクト41v~45vの配置位置を決定するには、アンテナ位置設定部23で設定されたGNSSアンテナの位置を用いた計算が行われる。
例えば、仮想現実オブジェクト41v~45vは、次のように生成される。
他船44を示す仮想現実オブジェクト44vは、大型の船をモデルとした船舶の形状のテンプレートを利用して表現される。仮想現実オブジェクト44vの向きは、AIS情報で取得した他船44の向きを示すように配置される。仮想ブイ45を示す仮想現実オブジェクト45vは、ブイをモデルとした形状のテンプレートを利用して表現される。
ウェイポイント41の仮想現実オブジェクト41vは、薄い円板状の3次元形状で表現される。ルート線42の仮想現実オブジェクト42vは、一定の厚み及び幅を有する細長い板を折れ線状に屈曲させた3次元形状で表現される。立寄エリア43の仮想現実オブジェクト43vは、立寄エリア43の輪郭を有する一定の厚みの板のような3次元形状で表現される。これらの仮想現実オブジェクト41v~45vは、テンプレートを使用せずに、その都度作成してもよい。
図4では、仮想現実オブジェクト41v~45vが船舶4の位置を原点とした方位基準で配置される。このため、船舶4の位置が図3の状態から東西方向又は南北方向に変化したり、船舶4の船首方位が回頭等により変化したりすると、3次元シーンデータ48は、仮想現実オブジェクト41v~45vが再配置された新しい3次元シーンになるように更新される。また、図3の状態から他船44の移動などの詳細情報の内容が変更されると、最新の詳細情報を反映するように3次元シーンデータ48が更新される。
データ合成部34は、カメラ3の撮影映像が映写される位置及び範囲を定める映写スクリーン51を3次元仮想空間40に配置する。映写スクリーン51と仮想現実オブジェクト41v~45vの両方が視野に含まれるように、視点カメラ55の位置及び向きが設定される。
データ合成部34は、船舶4に搭載されるカメラ3の位置及び向きを3次元仮想空間40においてシミュレートし、映写スクリーン51をカメラ3に正対するように配置する。カメラ3の位置のシミュレートにおいて、船体を基準とするカメラ3の位置は、撮影位置設定部22に設定された撮影位置に基づいて決定される。
カメラ3の位置及び向きのシミュレートでは、カメラ3のパン又はチルトなどの動作による向きの変化が考慮される。また、このシミュレートは、位置取得部24により取得された位置情報及び姿勢取得部25により取得された姿勢情報に基づいて、船舶4の姿勢及び高さの変化によるカメラ3の位置及び向きの変化が反映されるように行われる。データ合成部34は、カメラ3の位置及び向きの変化に対応するように、3次元仮想空間40に配置される映写スクリーン51の位置及び向きを変化させる。
データ合成部34は、3次元シーンデータ48及び映写スクリーン51に対してレンダリング処理をすることにより、2次元の画像を生成する。具体的には、データ合成部34は、3次元仮想空間40に仮想カメラとしての視点カメラ55を配置し、レンダリング処理の対象となる範囲を定める視錐台56を設定する。視錐台56は、視点カメラ55を頂点として、視点カメラ55からの視線方向が中心軸となるように設定される。
次に、データ合成部34は、仮想現実オブジェクト41v~45v及び映写スクリーン51を構成するポリゴンのうち、視錐台56の内部に位置するポリゴンの頂点座標を、透視投影により、2次元の仮想スクリーンの座標に変換する。この仮想スクリーンは、ディスプレイ2でのAR映像が表示される表示領域に相当する。データ合成部34は、仮想スクリーンに配置された頂点座標に基づいて、所定の解像度でピクセルの生成及び加工などの処理を行うことにより、2次元の画像を生成する。
生成された2次元の画像には、3次元シーンデータ48の描画が行われることにより得られた図形(即ち、仮想現実オブジェクト41v~45vのレンダリング結果としての図形)が含まれる。この2次元の画像の生成過程において、映写スクリーン51に相当する位置には、カメラ3の撮影映像が貼り付けられるように配置される。これにより、データ合成部34による映像の合成が実現される。映写スクリーン51は、カメラ3を中心とする球殻に沿うように湾曲した形状とすることで、透視投影による撮影映像の歪みを防止する。
視点カメラ55は、AR映像の視点を定める。通常時は、視点カメラ55の位置及び向きは、視点設定部28の設定により決定される。視点設定部28に特別な設定をすることで、データ合成部34は、AR映像を生成するときのモードとして、視点カメラ55の位置及び向きが、カメラ3の位置及び向きと常に一致するように自動的に変化するモードになる(視点追従モード)。この視点追従モードでは、視点カメラ55の視野全体が常に映写スクリーン51(即ち、カメラ3の撮影映像)で覆われることになるので、臨場感のあるAR映像が実現する。
データ合成部34は、視点カメラ55の位置及び向きが、カメラ3の位置及び向きと無関係に、入力機器14の操作により視点設定部28に設定された視点に従うモードを設けてもよい(独立視点モード)。この独立視点モードでは、ユーザは、視点を自由に動かして、カメラ3の撮影視野から外れた位置にある詳細情報を確認することができる。
図5及び図6を参照して、カメラ3で撮影した映像とAR映像との関係を説明する。図5は、カメラ3による撮影映像の例を示すイメージ図である。図6は、データ合成部34から出力されるAR映像を示すイメージ図である。
図5には、図3に示す状況において、船舶4のカメラ3が撮影した映像が示されている。この撮影映像には、海面に浮かぶ他船44rが写っている。また、撮影映像の下部中央には、船舶4の船首部分が写っている。
仮想ブイ45は、仮想的なものであるので、撮影映像には写らない。ウェイポイント41、ルート線42及び立寄エリア43も、プロッタ11で作成されるものであるので、撮影映像には写らない。
図6に示すAR映像は、図5に示す撮影映像に対して、図4の3次元シーンデータ48のレンダリングによる2次元の画像を合成したものである。図6のAR映像では、詳細情報を表現する図形41f,42f,43f,44f,45fが、図5に示す撮影映像に重なるように配置されている。ここで、図6では、カメラ3による撮影映像の部分は、それ以外の部分と区別するために破線で示されている(図8~図10も同様である)。図形41f~45fは、それぞれ仮想現実オブジェクト41v~45vに対応する。他船を表す図形44fは、撮影映像における他船44rの位置にほぼ重なるように配置される。
図形41f~45fは、図4に示す3次元シーンデータ48を構成する仮想現実オブジェクト41v~45vの3次元形状を、カメラ3と同じ位置及び向きの視点で描画した結果として生成される。従って、カメラ3による写実的な映像に、図形41f~45fを重ねた場合でも、見た目の違和感が殆ど生じない。
図6に示すように、詳細情報を仮想現実的に表現する図形41f~45fは、撮影映像の水面に置かれるように、AR映像上に配置される。換言すれば、詳細情報を仮想現実的に表現する図形41f~45fは、撮影映像の水面に沿って配置される。
この配置は、次のように行われる。図4に示す仮想現実オブジェクト41v~45vを、撮影位置設定部22で設定された高さに基づいて計算された距離だけカメラ3に対して下方に位置するxz平面に接するように配置する。さらに、映写スクリーン51の位置を、カメラ3の位置及び向きを考慮して正しく配置する。これにより、図形41f~45fの水面への配置が実現される。
船舶4の航海に関する情報(自船航海情報)である物標については、その物標から上方に出る線の先にその物標の情報(名称又は位置など)を表示し、その他の物標については、その物標から下方に出る線の先にその物標の情報を表示してもよい。このように、表示することで、自船航海情報とその他の情報を区別し易くなる。例えば、自船航海情報は、ウェイポイント、ルート線及び立寄エリアなどである。
次に、船舶4の揺れに伴うAR映像の変化について説明する。図7は、図4の状態から船舶4がピッチ方向及びロール方向に揺動した場合を示す概念図である。図8は、図7の状態のAR映像を示すイメージ図である。
カメラ3は、船舶4に取り付けられているので、その位置及び向きは、船舶4の姿勢が波等により傾いたり、船舶4が波に乗り上げたりすることに伴い変化する。データ合成部34は、船舶4に揺れ(ピッチング、ローリング及びヒービング)が生じた場合、姿勢取得部25が取得した船舶4の姿勢の変化、及び、位置取得部24が取得した船舶4の位置の上下方向の変化をシミュレートするように、3次元仮想空間40におけるカメラ3の位置及び向きを変更する。この変更に伴い、映写スクリーン51の位置を変更する。
図7の例では、船舶4は前下がりかつ左下がりとなるように傾いており、この傾きを反映するように、カメラ3の位置及び向きが変化する。これに連動して、映写スクリーン51は、位置及び向きが変化したカメラ3に正対するように移動する。
この例では、視点追従モードにより、視点カメラ55の位置及び向きも、位置及び向きが変化したカメラ3に追従するように変化する。船舶4の揺れに伴ってカメラ3の位置及び向きが変化しても、それに連動して映写スクリーン51の位置及び向きが変化して、3次元シーンをレンダリングする視点カメラ55の位置及び向きが変化する。これにより、AR映像生成部20は、図8に示すように、違和感のないAR映像を継続的に生成する。
視点追従モードでは、船舶4の揺れによってピッチ角又はロール角が所定値以上変化する毎に、データ合成部34での3次元シーンデータ48の描画が更新され、最新の視点に基づく図形41f~45fが生成される。この描画の更新により、海面の傾きが船舶4の揺れにより変化するカメラ3の撮影映像に対し、図形41f~45fの表示は、海面に置かれた状態を維持するように変化する。
これにより、仮想現実的に表現された図形が海面に浮かんでいるように見えるため、AR映像は、自然で現実感の高い映像になる。また、ユーザは、ディスプレイ2に映し出されたAR映像の海面を眺めることで、仮想現実オブジェクト41v~45vを表す図形41f~45fが網羅的に視界に入るので、取りこぼしなく必要な情報を得られる。
図9及び図10を参照して、AR映像生成部20により生成されるAR映像に方位を示す目盛情報91を表示する構成について説明する。なお、目盛情報91は、表示するか否かを選択できるようにしてもよいし、表示しなくてもよい。
詳細情報生成部31は、目盛情報91を表示するために、必要な情報を船舶機器等から収集する。詳細情報生成部31は、収集した情報を画面情報生成部33に出力する。
画面情報生成部33は、詳細情報生成部31から受信した情報に基づいて、目盛情報91としてAR映像に表示するための画像等を生成する。画面情報生成部33は、生成した目盛情報91をデータ合成部34に出力する。
データ合成部34は、カメラ3の撮影映像に、3次元シーン生成部32により生成された3次元シーンデータ48を合成する際に、画面情報生成部33により生成された目盛情報91となる画像も合成する。
目盛情報91は、例えば、図9に示すように、AR映像の上部又は下部などの所定の位置に表示する。目盛情報91の位置は、図10に示すように、図形41f~45f等の詳細情報と重ならないように、自動的に移動又は変更するようにしてもよい。また、目盛情報91は、図10に示すように、船舶4の船体の傾きに応じて、水平線と常に平行を保つように、詳細情報91を傾けて表示してもよい。このように表示することで、目盛情報91は、常に正確な方位を示すことができる。
図11及び図12を参照して、AR映像内にある物標の詳細情報の表示方法について説明する。図11は、詳細情報D1,D2,D20が表示されたAR映像を示すイメージ図である。図12は、AR映像に詳細情報D1,D2,D20を表示する手順の概要を示すフロー図である。
ここでは、AR映像内の船舶4の前方に、3つの水上移動体S1,S2,S3がいるものとして説明する。また、物標として水上移動体S1~S3を用いて、主に説明するが、水上移動体S1~S3以外のどのような物標(無体物を含む。)についても、同様に、詳細情報を表示してもよい。
映像生成装置1が保有する詳細情報は、メイン情報(第1詳細情報に相当する。)、サブ情報(第2詳細情報に相当する。)、及び非表示情報の3種類に分けられる。メイン情報は、第1スペースSP1に表示される。サブ情報は、第2スペースSP2に表示される。非表示情報は、AR映像に表示されない。メイン情報、サブ情報及び非表示情報のそれぞれに該当する詳細情報(項目)は、ユーザが入力機器14により、任意に設定される。例えば、AR映像内に項目のリストを表示させ、メイン情報、サブ情報及び非表示情報のそれぞれに該当する項目をドロップダウン形式に選択する。
AIS受信機9又はレーダ12などの船舶機器により、物標である水上移動体S1~S3を検出すると(ステップST101)、AR映像内の各水上移動体S1~S3に対応した選択するためのマーカーM1,M2,M3が表示される(ステップST102)。マーカーM1~M3は、それぞれ対応する水上移動体S1~S3から下方に延びる対応関係を示す対応線L1,L2,L3で接続される。
マーカーM1~M3の形状は、検出した船舶機器の種類に応じて、異なるようにしてもよい。例えば、AIS受信機9で検出された物標については、マーカーの形状を菱形とし、レーダ12で検出された物標については、マーカーの形状を円形とする。また、物標は、ECDIS10又はソナー13などの船舶機器で検出されたものでもよい。さらに、1つの物標に対し、複数の船舶機器で検出された場合、1つの物標から検出した複数の船舶機器にそれぞれ対応するマーカーM1~M3が表示されてもよいし、選択された任意のマーカーのみが表示されるようにしてもよいし、1つにまとめられたマーカーが表示されてもよい。
ユーザは、水上移動体S1~S3のより詳しい詳細情報を表示させる場合、表示させる詳細情報の水上移動体S1~S3に接続されたマーカーM1~M3を選択(例えば、クリック)する(ステップST103)。マーカーM1~M3は、選択されると、色が反転するなどの表示を変えてもよい。
マーカーM1~M3が選択されると、選択されたマーカーM1~M3に対応する物標のメイン情報がAR映像の所定の箇所に表示される(ステップST104)。図11では、2つの水上移動体S1,S2の各マーカーM1が選択され、所定の箇所としてAR映像の下部の第1スペースSP1に、各水上移動体S1,S2のメイン情報D1,D2が表示された状態を示している。例えば、メイン情報D1,D2は、自船(船舶4)との距離、速度、DCPA、及び、TCPAである。水上移動体S1,S2とメイン情報D1,D2との対応関係を分かり易く表示するために、対応線L1,L2を延長するような対応線L11,L12で、マーカーM1,M2とメイン情報D1,D2がそれぞれ接続される。
水上移動体S1について、メイン情報D1の他に、さらにサブ情報を表示する場合、ユーザは、メイン情報D1が表示されている表示欄を選択する(ステップST105)。メイン情報D1の表示欄が選択されると、図11に示すように、第1スペースSP1の下にある第2スペースSP2に、選択されたメイン情報D1に対応するサブ情報D20が表示される(ステップST106)。サブ情報D20は、第1スペースSP1にあるメイン情報D1と対応をしていることを示す対応線L20で接続される。
ユーザは、サブ情報D20を表示させておくか、非表示にするか選択できる。サブ情報を非表示にすると、第2スペースSP2が無くなり、メイン情報D1,D2を表示する第1スペースSP1がAR映像の下側に移動する。サブ情報D20が必要ない場合、第2スペースSP2を無くすことで、AR映像におけるカメラ3の撮影映像部分を広げる。なお、第2スペースSP2は、常に確保されていてもよいし、メイン情報D1,D2の表示欄のいずれかが選択されたら、出現するようにしてもよい。
なお、ここでは、1つのサブ情報D20を表示した場合について説明したが、2つ以上のサブ情報を表示してもよいし、サブ情報は無くてもよい。
図13を参照して、AR映像におけるマーカーM1,M2の基本的な表示方法について説明する。
ここでは、船舶4の前方で、横向きにほぼ停止状態の第1水上移動体S1の横を別の第2水上移動体S2が画面の右から左に通り過ぎる場合について説明する。
各マーカーM1,M2の外側を囲む破線で示した一回り大きい四角形は、タッチ判定領域R1,R2を表す。タッチ判定領域R1,R2は、マーカーM1,M2がタッチされたか否かを判定するための領域である。
例えば、入力機器14がタッチパネルの場合、タッチ判定領域R1,R2内で指等が触れれば、マーカーM1,M2がタッチされた(即ち、選択された)と判定される。入力機器14がマウスの場合、タッチ判定領域R1,R2内にカーソルがある状態でクリック等の所定の操作がされれば、マーカーM1,M2がタッチされたと判定される。タッチ判定領域R1,R2は、マーカーM1,M2よりも一回り大きい形状とすることで、マーカーM1,M2から多少外れてタッチしても、マーカーM1,M2がタッチされたと判定される。これにより、ユーザの操作性が向上する。
最初の位置にある第2水上移動体S2は、第1水上移動体S1から充分に離れている。このときの2つの水上移動体S1,S2に接続された対応線L1,L2aは、初期設定された最短の長さである。第1水上移動体S1の対応線L1の長さは、以降もこのまま変わらないものとする。なお、初期設定の長さは最短でなくてもよい。
最初の位置からt秒後の第2水上移動体S2は、第1水上移動体S1と近接している。この状態の場合、2つの水上移動体S1,S2の対応線L1,L2bがともに初期設定の長さのままであれば、2つの水上移動体S1,S2のそれぞれのタッチ判定領域R1,R2の一部が重なる。そこで、第2水上移動体S2の対応線L2bは、タッチ判定領域R2が第1水上移動体S1のタッチ判定領域R1と重ならない位置になるまで、下方向に徐々に伸びるように表示する。このように、対応線L2bの長さを徐々に変化させることで、マーカーM2を視覚的に連続するように移動する。これにより、移動しているマーカーM2をユーザが視覚的に追い易くなる。第2水上移動体S2の対応線L2bの長さが変化している過程では、一時的に2つのタッチ判定領域R1,R2が重なってもよい。
第1水上移動体S1と近接した状態からさらにt秒後の第2水上移動体S2は、再び第1水上移動体S1から充分に離れるため、対応線L2cの長さに関係なく、2つのタッチ判定領域R1,R2が重なることはない。そこで、第2水上移動体S2の対応線L2cは、最短の長さである初期設定の状態になるまで縮む。
このようにして、2つのタッチ判定領域R1,R2が重ならないように、各水上移動体S1,S2のそれぞれの対応線L1,L2a~L2cの長さは、伸縮するように変化する。
ここでは、移動している第2水上移動体S2の対応線L2a~L2cの長さが変化する場合について説明したが、停止している第1水上移動体S1の対応線L1の長さが変化してもよい。
図14を参照して、第1水上移動体S1とマーカーM1を接続する対応線L1の長さの変化の一例を説明する。図14において、横軸は、経過時間を表し、縦軸は、AR映像における上下方向に変化する対応線L1の長さを表す。
時刻t0では、第1水上移動体S1の対応線L1の長さa1は、初期設定の最短の長さである。
時刻t1において、第1水上移動体S1のタッチ判定領域R1が別の水上移動体(第2水上移動体)のタッチ判定領域に接触すると、画面情報生成部33は、2つのタッチ判定領域が重ならなくなる対応線L1の長さa2を演算する。2つのタッチ判定領域の間は、どの程度空けてもよい。
なお、画面情報生成部33は、2つのタッチ判定領域が接触した後に限らず、接触する前に演算を開始してもよい。また、2つのタッチ判定領域が接触するか否かは、2つのタッチ判定領域のそれぞれの位置を直接検出する場合に限らず、水上移動体、マーカー又は対応線などの位置に基づいて、判定してもよい。
画面情報生成部33は、対応線L1の長さa1が演算した長さa2に徐々になるように、対応線L1を変化させる(描画する)。これにより、第1水上移動体S1の対応線L1は、目標の長さa2になる。
例えば、画面情報生成部33は、図14に示す曲線Crのように、対応線L1の長さを変化させる。曲線Crは、対応線L1の長さが目標の長さa2に近づくにつれて、徐々に変化の速度が遅くなることを示している。これにより、ユーザは、マーカーM1を視覚的に追い易くなる。なお、対応線L1の長さa1を徐々に変化させるように描画する方法については、グラフィックス又はアニメーションなどで用いられる既存の方法を適用してもよい。
時刻t2において、第1水上移動体S1の対応線L1が伸びた長さa2のまま、第1水上移動体S1のタッチ判定領域R1は、さらに別の水上移動体(第3水上移動体)のタッチ判定領域と接触する。画面情報生成部33は、第1水上移動体S1のタッチ判定領域R1が新たに接触した第3水上移動体のタッチ判定領域と重ならなくなる長さa3を演算する。時刻t1のときと同様に、画面情報生成部33は、対応線L1を現在の長さa2から演算した長さa3に徐々に伸びるように変化させる。これにより、第1水上移動体S1の対応線L1は、目標の長さa3になる。
時刻t3において、第1水上移動体S1の近傍に、第2水上移動体及び第3水上移動体がいなくなると、画面情報生成部33は、対応線L1の長さa3が初期設定の長さa4に徐々に縮む(戻る)ように、対応線L1の長さを変化させる。対応線L1の長さが縮むときも、伸びるときと同様に、曲線Crを描くように変化させることで、対応線L1の長さが徐々に変化する。これにより、第1水上移動体S1の対応線L1は、初期設定の長さa4に戻る。
時刻t4において、第1水上移動体S1のタッチ判定領域R1が別の水上移動体(第4水上移動体)のタッチ判定領域に接触すると、時刻t1,t2のときと同様に、画面情報生成部33は、目標とする対応線L1の長さa5を演算する。これにより、第1水上移動体S1の対応線L1は、目標の長さa5になる。
時刻t5において、第1水上移動体S1の近傍に、第4水上移動体がいなくなると、画面情報生成部33は、時刻t3のときと同様に、対応線L1を初期設定の長さに戻し始める。
時刻t6において、対応線L1が初期設定の長さになる前に、第1水上移動体S1のタッチ判定領域R1が別の水上移動体(第5水上移動体)のタッチ判定領域に接触する。画面情報生成部33は、目標とする対応線L1の長さa6を演算し、対応線L1が初期設定の長さに縮む途中の状態から、目標の長さa6に徐々に伸びるように変化させる。これにより、第1水上移動体S1の対応線L1は、目標の長さa6になる。
時刻t7において、第1水上移動体S1の近傍に、第5水上移動体がいなくなると、画面情報生成部33は、時刻t3,t5のときと同様に、対応線L1を初期設定の長さに戻し始める。これにより、第1水上移動体S1の対応線L1は、初期設定の長さa7になる。
このように、第1水上移動体S1のタッチ判定領域R1が他の水上移動体のタッチ判定領域と重ならないように、対応線L1の長さを変化させることで、ユーザが各水上移動体のマーカーを選択し易くなる。
ここでは、説明の便宜上、第1水上移動体S1に着目して、対応線L1を変化させたが、実際には、各水上移動体のそれぞれにおいて、第1水上移動体S1と同様に、各タッチ判定領域が重ならないように、マーカーに接続される対応線の長さを変化させる。
複数の水上移動体のタッチ判定領域が重なる場合、各水上移動体又は各マーカーなどで決定される優先順位に従って、どの対応線の長さを変化させるかを決定する。優先順位は、各水上移動体又は各マーカーに予め付けられてもよい。優先順位は、マーカーの表示順(新しい順又は古い順)でもよいし、各水上移動体又は各マーカーの位置(画面の上下又は左右)で決定されてもよい。例えば、マーカーの位置が画面の下にある程、優先的に対応線の長さを変化させてもよい。位置が下にあるマーカーの対応線を伸ばす方が、位置が上にあるマーカーの対応線を伸ばすよりも、伸ばす長さは短くなる。その他に、各対応線の現在の長さ等に基づいて、変化させる対応線を決定してもよい。
図11及び図15を参照して、メイン情報D1,D2の表示方法について説明する。図15は、AR映像にメイン情報D1,D2を表示する手順を示すフロー図である。
図11の第1スペースSP1には、メイン情報D1,D2が表示されている部分以外に、実際には何も表示されていない破線で示したメイン情報を表示するための表示欄Dhが確保される。表示欄Dhは、次のように決定される。
ユーザは、入力機器14により、メイン情報D1,D2として表示する項目を選択する(ステップST201)。図11では、自船との距離、速度、DCPA、及び、TCPAの項目がメイン情報D1,D2として表示されたAR映像の一例が示されている。
画面情報生成部33は、メイン情報D1,D2として選択された項目に基づいて、表示欄Dhのサイズを決定する(ステップST202)。表示欄の高さは選択された項目の数に基づいて決定される。表示欄の幅は、選択された項目のそれぞれで確保されている文字数のうち最も多い文字数に基づいて、決定される。位置、距離、速さ、又は、時間などの数字と単位のみで表す項目は、確保されている文字数が基本的に少ない。固有名詞(船名又は地名など)、又は、文章を表示することがある項目は、確保されている文字数が基本的に多い。
画面情報生成部33は、決定された表示欄Dhのサイズに基づいて、表示欄Dhの数を決定する(ステップST203)。例えば、第1スペースSP1の幅を表示欄Dhの幅で割れば、横に並べられる表示欄Dhの数が分かる。表示欄Dhのサイズと数との対応関係は、テーブルデータのように予め記憶されていてもよい。図11では、表示欄Dhを、横一列に1段で表示した例を示しているが、横一列を1段として、上下に2段以上積み重ねて表示してもよい。この場合、第1スペースSP1の高さと表示欄Dhの高さに基づいて、横に並べられる表示欄Dhの数と同様に、表示欄Dhを上下に積み重ねる段数を決定してもよい。
画面情報生成部33は、決定された表示欄Dhの数に基づいて、第1スペースSP1における各表示欄Dhの配置を決定する(ステップST204)。図11では、表示欄Dhの数が6つの場合のAR映像を示している。表示欄Dhの数が4つの場合は、図16に示すAR映像のようになる。図16に示すAR映像では、メイン情報D1,D2の項目として船名が選択されているため、1つの表示欄Dhの幅が広い。このため、横に並べられる表示欄Dhの数が4つに減少する。
ステップST202~ST204は、ステップST201において、メイン情報D1,D2の項目が変更される度に繰り返し実行される。
ユーザが水上移動体S1,S2のマーカーM1,M2を選択すると、画面情報生成部33は、水上移動体S1,S2のメイン情報D1,D2を表示させる表示欄Dhを決定する(ステップST205)。
具体的には、水上移動体S1,S2の幅方向の真ん中から垂直方向に真下に下ろした線と第1スペースSP1が接触した箇所から最も近い表示欄Dhを、その水上移動体S1,S2のメイン情報D1,D2を表示する表示欄Dhとする。即ち、AR映像の画面において、横方向をx軸とすると、水上移動体S1,S2のx座標に最も近いx座標の表示欄Dhを、その水上移動体S1,S2の表示欄Dhとする。また、上述のように選択された表示欄Dhに、既に、別の水上移動体のメイン情報が表示されている場合、次に適切な表示欄Dh(例えば、次にx座標が近い表示欄Dh)が選択される。
また、全ての表示欄Dhにメイン情報が表示されている場合、既に表示されているメイン情報の1つを非表示にして、新しいメイン情報を表示できる表示欄Dhを作る。例えば、非表示にするメイン情報は、最も早く(即ち、最も古く)表示されたメイン情報でもよいし、最も危険度の低い物標のメイン情報でもよいし、その他の方法で決定されたものでもよい。また、特定のメイン情報について、自動的に非表示にならないように、ユーザが表示を固定するピン止めのような操作ができるようにしてもよい。
例えば、危険度は、DCPA、TCPA、BCT、又は、BCRの任意の組合せに基づいて決定する。これらの要素の中から予め決められた組合せの要素について、それぞれが共に予め設定された閾値よりも高ければ、危険度が高いと判断する。要素の組合せは、DCPAとTCPA、又は、BCTとBCRなどである。
画面情報生成部33は、水上移動体S1,S2のメイン情報D1,D2を決定された表示欄Dhに表示する(ステップST206)。
危険度の高い水上移動体S1,S2がある場合、水上移動体S1,S2、マーカーM1,M2、又は、メイン情報D1,D2の表示欄Dhなどを、目立つような色にしたり、点滅などの表示形態を変えたりして、視覚的に目立たせるようにすることで、ユーザが危険度の高い物標を発見し易いようにしてもよい。
図15に示すステップST205,ST206は、所定の時間間隔で、繰り返し実行(更新)される。
図17は、図11に示すAR映像の状態から所定時間経過後のAR映像を示している。
図17に示す第1水上移動体S1は、図11に示す第1水上移動体S1の位置からAR映像の画面左下方向に移動している。図17に示す第2水上移動体S2は、図11に示す第2水上移動体S2の位置からAR映像の画面右方向に移動している。
第1水上移動体S1のメイン情報D1は、第1水上移動体S1が画面左下に移動したことより、画面左から2番目から1番左の表示欄Dhに移動している。第2水上移動体S2のメイン情報D2は、第2水上移動体S2が画面右に移動したことより、画面左から4番目から5番目の表示欄Dhに移動している途中である。
メイン情報D1,D2の表示欄Dhが切り替わる場合、メイン情報D1,D2の表示が2つの表示欄Dhの間を徐々に移動する。この場合、図17のメイン情報D2のように、表示欄Dhが切り替わる途中では、予め配置された表示欄Dhの位置に限らず、2つの表示欄Dhの間でも、メイン情報D2は表示される。
このように、メイン情報D1,D2の表示を徐々に移動させることで、メイン情報D1,D2を視覚的に連続するように移動する。これにより、ユーザは、メイン情報D1,D2を目で追いながら、移動後の表示欄Dhの位置を確認することができる。したがって、表示欄Dhが切り替わることにより、ユーザが、メイン情報D1,D2の表示箇所を見失ったり、他の水上移動体S1,S2のメイン情報D1,D2と誤認したりすることを防止することができる。メイン情報D1,D2の表示が徐々に移動するように描画する方法については、対応線L1の長さを徐々に変化させるように描画する方法と同様にしてもよい。
なお、本実施形態は、以下のように変形してもよい。
データ合成部34は、3次元シーンデータ48及び映写スクリーン51を同時にレンダリングしなくてもよい。即ち、データ合成部34は、3次元シーンデータ48のレンダリング結果である2次元の映像(図形41f~45fなどの映像)と、映写スクリーン51のレンダリング結果である2次元の映像(映写スクリーン51に貼り付けられたカメラ3の撮影映像)と、を別々に作成してもよい。その後に、別々に作成したこれらの2次元の映像を合成することで、AR映像が生成される。この場合、3次元シーンデータ48のレンダリング処理は、船舶4の移動等に応じて随時行い、映写スクリーン51のレンダリング処理は、カメラ3による映像のフレームレートに応じた短い時間間隔で行うようにしてもよい。
カメラ3は、パン又はチルトなどの回転動作する機能を備えずに、撮影方向が固定されてもよい。この場合、撮影方向は、前方、後方又はその他の方向のいずれに固定されてもよい。また、カメラ3を、船舶4の周囲を360度の全方位にわたって同時撮影が可能な構成としてもよい。また、ユーザが視点カメラ55の向きを変更する操作をした場合、それに追従するように、カメラ3の回転動作が自動的に行われるようにしてもよい。
3次元シーン生成部32による3次元シーンデータ48の生成は、図4に示すように、仮想現実オブジェクト41v~45vが船舶4の位置を原点とした船首基準で配置される構成で説明したが、これに限らない。仮想現実オブジェクト41v~45vは、船首基準ではなく、+z方向が真北となる真北基準で配置されてもよい。この場合、船舶4の回頭等により船首方位が変化したときは、仮想現実オブジェクト41v~45vを再配置する代わりに、3次元仮想空間40での船舶4の向きをヨー方向に変化させる。このときのカメラ3の位置及び向きの変化を3次元仮想空間40においてシミュレートし、これに連動して視点カメラ55の位置及び向きを変更してレンダリングを行う。このようにして、船首基準の場合と同様に、レンダリング結果が得られる。
3次元仮想空間40の座標系は、船舶4の位置を原点とする代わりに、任意に選択された地球上の固定点を原点にし、+z方向が真北、+x方向が真東のように、座標軸と方位の関係を固定してもよい。この場合、3次元仮想空間40の座標系は、地球上に固定され、船舶4が配置される位置及び向きは、位置情報及び姿勢情報に基づいて変化する。この変化に伴い、カメラ3の位置及び向きの変化は、3次元仮想空間40でシミュレートされる。
映像生成装置1は、船舶4の揺れに伴うAR映像の揺れを軽減する処理を行ってもよい。このような処理として、例えば、3次元シーン生成部32は、船舶4が揺れても視点カメラ55の位置及び向きの変動を抑制するようにしてもよい。
本実施形態によれば、以下の作用効果を得ることができる。
2つ以上のマーカーのタッチ判定領域が重ならないように、物標とマーカーを接続する対応線の長さを変化させることで、ユーザがマーカーを選択する操作性を向上することができる。
詳細情報を表示するためのマーカーを、水上移動体(物標)の垂直方向(上方向又は下方向)に表示することで、AR映像におけるマーカーを見易くすることができる。例えば、マーカーを水上移動体の水平方向(右方向又は左方向)に表示した場合、AR映像では、水平方向に水上移動体が密集し易いため、マーカー同士が重なったり、マーカーと別の水上移動体の表示が重なったりして、マーカーが見え難くなり易い。
物標を認識した船舶機器(AIS受信機9又はレーダ12など)に応じて、マーカーの表示形態(例えば、形状)を異ならせることで、ユーザは、マーカーを見るだけで、メイン情報の情報源を知ることができる。
マーカーがタッチされたか否かを判定するためのタッチ判定領域を、マーカーを包含するマーカーよりも大きい面積にすることで、マーカーを選択するときのユーザの操作性を向上することができる。
各物標のメイン情報を表示する箇所をAR映像の所定の箇所(例えば、画面下)に予め確保しておくことで、AR映像において、メイン情報を見易く配置することができる。また、AR映像における物標の位置の移動に応じて、対応するメイン情報の表示箇所を移動させることで、物標とメイン情報との対応関係を分かり易くすることができる。
ある物標について危険度が高いと判断された場合は、その物標のメイン情報の表示を目立たせるようにすることで、ユーザに危険度の高い物標又はそのメイン情報を視覚的に知らせることができる。
マーカーの表示方法とメイン情報等の表示方法は、それぞれ別々に独立して実施することができ、いずれか一方を実施した場合でも、実施したその表示方法による作用効果を受けることができる。また、両方を実施した場合には、その組合せによる更なる作用効果を得ることができる。
なお、本発明は上述した実施形態に限定されず、構成要素を削除、付加又は変更等をしてもよい。また、複数の実施形態について構成要素を組合せ又は交換等をすることで、新たな実施形態としてもよい。このような実施形態が上述した実施形態と直接的に異なるものであっても、本発明と同様の趣旨のものは、本発明の実施形態として説明したものとして、その説明を省略している。
Claims (10)
- 水上移動体に設けられる撮影手段と、
物標に関する物標情報を取得する物標情報取得手段と、
前記撮影手段により撮影される撮影映像に、前記物標情報取得手段により取得される前記物標情報が表示された拡張映像を生成する拡張映像生成手段と、
前記物標をユーザが選択するためのマーカーを、前記拡張映像における前記物標の表示箇所に対応して移動するように表示するマーカー表示手段と、
前記物標情報取得手段により取得された前記物標情報に基づいて、前記ユーザにより選択された前記マーカーに対応する前記物標の第1詳細情報を、前記拡張映像が表示される画面の予め決められた第1スペースに表示する第1詳細情報表示手段と
を備えることを特徴とする映像生成装置。 - 前記マーカーと前記第1詳細情報との対応関係を示す対応線を表示する対応線表示手段
を備えることを特徴とする請求項1に記載の映像生成装置。 - 前記物標情報取得手段により取得された前記物標情報のうち前記第1詳細情報とする項目を前記ユーザが選択するための第1詳細情報項目選択手段
を備えることを特徴とする請求項1に記載の映像生成装置。 - 前記第1詳細情報項目選択手段により選択された前記項目に基づいて、前記第1詳細情報を表示する第1表示欄の数を決定する第1表示欄数決定手段
を備えることを特徴とする請求項3に記載の映像生成装置。 - 前記第1詳細情報を表示する複数の第1表示欄の前記第1スペースにおける配置を決定する第1表示欄配置決定手段
を備えることを特徴とする請求項1に記載の映像生成装置。 - 前記第1詳細情報表示手段は、前記拡張映像における前記物標の表示箇所の移動に対応して、前記第1詳細情報の表示を異なる配置の前記第1表示欄に移動すること
を特徴とする請求項5に記載の映像生成装置。 - 前記第1詳細情報表示手段は、前記第1詳細情報の表示を視覚的に連続するように移動すること
を特徴とする請求項6に記載の映像生成装置。 - 複数の前記第1詳細情報のうち少なくとも1つを前記ユーザが選択するための第1詳細情報選択手段と、
前記物標情報取得手段により取得された前記物標情報に基づいて、前記第1詳細情報選択手段により選択された前記第1詳細情報と同一の前記物標の異なる情報である第2詳細情報を、前記第1スペースと異なる第2スペースに表示する第2詳細情報表示手段と
を備えることを特徴とする請求項1に記載の映像生成装置。 - 危険な物標を検出する危険物標検出手段と、
前記危険物標検出手段により検出された前記危険な物標又は前記危険な物標に対応する前記物標情報を目立つように表示する危険物標表示手段と
を備えることを特徴とする請求項1に記載の映像生成装置。 - 水上移動体に設けられる撮影手段により撮影し、
物標に関する物標情報を取得し、
前記撮影手段により撮影した撮影映像に、取得した前記物標情報が表示された拡張映像を生成し、
前記物標をユーザが選択するためのマーカーを、前記拡張映像における前記物標の表示箇所に対応して移動するように表示し、
取得した前記物標情報に基づいて、前記ユーザにより選択された前記マーカーに対応する前記物標の第1詳細情報を、前記拡張映像が表示される画面の予め決められた第1スペースに表示すること
を含むことを特徴とする映像生成方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-161564 | 2018-08-30 | ||
JP2018161564A JP7214402B2 (ja) | 2018-08-30 | 2018-08-30 | 映像生成装置及び映像生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020045602A1 true WO2020045602A1 (ja) | 2020-03-05 |
Family
ID=69643659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/034029 WO2020045602A1 (ja) | 2018-08-30 | 2019-08-29 | 映像生成装置及び映像生成方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7214402B2 (ja) |
WO (1) | WO2020045602A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022137931A1 (ja) * | 2020-12-24 | 2022-06-30 | 古野電気株式会社 | 航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム |
US11879733B2 (en) | 2021-05-07 | 2024-01-23 | Furuno Electric Co., Ltd. | Tidal current information display device |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021261307A1 (ja) * | 2020-06-26 | 2021-12-30 | ソニーグループ株式会社 | 制御装置、画像表示システム、画像表示方法、及び移動体 |
WO2022137953A1 (ja) * | 2020-12-24 | 2022-06-30 | 古野電気株式会社 | 航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム |
WO2023276308A1 (ja) * | 2021-06-30 | 2023-01-05 | 古野電気株式会社 | 航海情報表示装置、航海情報表示方法、及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06301897A (ja) * | 1993-04-16 | 1994-10-28 | Kawasaki Heavy Ind Ltd | 船舶の航行支援装置 |
JP2012127947A (ja) * | 2010-12-15 | 2012-07-05 | Boeing Co:The | オーグメンテッドナビゲーションの方法およびシステム |
JP2014529322A (ja) * | 2011-07-21 | 2014-11-06 | コリア インスティチュートオブ オーシャン サイエンス アンド テクノロジー | 天井移動型透明ディスプレイを用いた船舶用増強現実システム及びその具現方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6301897B2 (ja) | 2015-11-18 | 2018-03-28 | ファナック株式会社 | クーラントを循環させるための循環路を備える光ファイバ中継ユニット |
-
2018
- 2018-08-30 JP JP2018161564A patent/JP7214402B2/ja active Active
-
2019
- 2019-08-29 WO PCT/JP2019/034029 patent/WO2020045602A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06301897A (ja) * | 1993-04-16 | 1994-10-28 | Kawasaki Heavy Ind Ltd | 船舶の航行支援装置 |
JP2012127947A (ja) * | 2010-12-15 | 2012-07-05 | Boeing Co:The | オーグメンテッドナビゲーションの方法およびシステム |
JP2014529322A (ja) * | 2011-07-21 | 2014-11-06 | コリア インスティチュートオブ オーシャン サイエンス アンド テクノロジー | 天井移動型透明ディスプレイを用いた船舶用増強現実システム及びその具現方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022137931A1 (ja) * | 2020-12-24 | 2022-06-30 | 古野電気株式会社 | 航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム |
US11879733B2 (en) | 2021-05-07 | 2024-01-23 | Furuno Electric Co., Ltd. | Tidal current information display device |
Also Published As
Publication number | Publication date |
---|---|
JP2020036202A (ja) | 2020-03-05 |
JP7214402B2 (ja) | 2023-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020045601A1 (ja) | 映像生成装置及び映像生成方法 | |
JP7225324B2 (ja) | 映像生成装置、および、映像生成方法 | |
CN110574366B (zh) | 影像生成装置 | |
WO2020045602A1 (ja) | 映像生成装置及び映像生成方法 | |
CN110998672B (zh) | 影像生成装置以及影像生成方法 | |
JP7021259B2 (ja) | 映像生成装置及び映像生成方法 | |
JP6720409B2 (ja) | 映像生成装置 | |
WO2023276307A1 (ja) | 画像生成装置、船舶情報表示方法、及びプログラム | |
WO2023276308A1 (ja) | 航海情報表示装置、航海情報表示方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19855706 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19855706 Country of ref document: EP Kind code of ref document: A1 |