WO2021149485A1 - 表示制御装置、表示制御方法、および、プログラム - Google Patents

表示制御装置、表示制御方法、および、プログラム Download PDF

Info

Publication number
WO2021149485A1
WO2021149485A1 PCT/JP2021/000142 JP2021000142W WO2021149485A1 WO 2021149485 A1 WO2021149485 A1 WO 2021149485A1 JP 2021000142 W JP2021000142 W JP 2021000142W WO 2021149485 A1 WO2021149485 A1 WO 2021149485A1
Authority
WO
WIPO (PCT)
Prior art keywords
satellite
image
data
small
live view
Prior art date
Application number
PCT/JP2021/000142
Other languages
English (en)
French (fr)
Inventor
哲士 梅田
至 清水
直道 菊地
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2021573049A priority Critical patent/JPWO2021149485A1/ja
Priority to EP21744996.6A priority patent/EP4096219A4/en
Priority to CN202180009107.0A priority patent/CN114946176A/zh
Priority to US17/792,564 priority patent/US12041363B2/en
Publication of WO2021149485A1 publication Critical patent/WO2021149485A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00—Cosmonautic vehicles
    • B64G1/10—Artificial satellites; Systems of such satellites; Interplanetary vehicles
    • B64G1/1021—Earth observation satellites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10041—Panchromatic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution

Definitions

  • the present technology relates to a display control device, a display control method, and a program, and more particularly to a display control device, a display control method, and a program that enable real-time image confirmation.
  • Remote sensing is performed by imaging the ground with an observation satellite equipped with an imaging device and observing the condition of the target area or object (see, for example, Patent Documents 1 and 2). Especially in recent years, the number of small observation satellites orbiting low earth orbit is increasing.
  • the satellite image captured by the observation satellite is downlinked when the artificial satellite passes over the ground station. If the transmission capacity of the image data is large, a communication delay will occur, making it difficult to confirm the image in real time.
  • This technology was made in view of such a situation, and enables the image to be confirmed in real time.
  • the display control device on one aspect of the present technology includes a receiving unit that receives a small amount of data that is information about the current imaging by an artificial satellite, and a control unit that displays a live view image based on the small amount of data on the display unit.
  • the receiving unit receives the satellite image corresponding to the live view image as large-capacity data at a timing different from that of the small-capacity data.
  • the display control device receives small-capacity data which is information on the current imaging by the artificial satellite, displays a live view image based on the small-capacity data on the display unit, and displays the above.
  • the satellite image corresponding to the live view image is received as large-capacity data at a timing different from that of the small-capacity data.
  • the program of one aspect of the present technology causes a computer to receive a small amount of data which is information about the current imaging by an artificial satellite, display a live view image based on the small amount of data on a display unit, and display the live view image on the live view image.
  • the purpose is to execute a process of receiving the corresponding satellite image as large-capacity data at a timing different from that of the small-capacity data.
  • small-capacity data that is information about the current imaging by an artificial satellite is received, a live view image based on the small-capacity data is displayed on the display unit, and a satellite image corresponding to the live view image is displayed.
  • large-capacity data it is received at a timing different from that of the small-capacity data.
  • the display control device of one aspect of the present technology can be realized by causing a computer to execute a program.
  • the program to be executed by the computer can be provided by transmitting via a transmission medium or by recording on a recording medium.
  • the display control device may be an independent device or an internal block constituting one device.
  • FIG. 1 is a block diagram showing a configuration example of a satellite image processing system according to an embodiment to which the present technology is applied.
  • the satellite image processing system 1 of FIG. 1 is a system that enables real-time confirmation of satellite images captured by one or more artificial satellites 21 (hereinafter, simply referred to as satellites 21) with a ground device.
  • the satellite 21 is equipped with an imaging device and has at least a function of imaging the ground.
  • the satellite operating company has a satellite management device 11 that manages a plurality of satellites 21 and a plurality of communication devices 13 that communicate with the satellites 21.
  • the satellite management device 11 and a part of the plurality of communication devices 13 may be devices owned by a company other than the satellite operating company.
  • the satellite management device 11 and the plurality of communication devices 13 are connected to each other via a predetermined network 12.
  • the communication device 13 is arranged at the ground station (ground base station) 15. Note that FIG. 1 shows an example in which the number of communication devices 13 is three, that is, the communication devices 13A to 13C, but the number of communication devices 13 is arbitrary.
  • the satellite management device 11 manages a plurality of satellites 21 owned by the satellite operating company. Specifically, the satellite management device 11 acquires related information from the information providing servers 41 of one or more external organizations as necessary, and determines the operation plan of the plurality of satellites 21 owned by the satellite management device 11. Then, the satellite management device 11 causes the predetermined satellite 21 to perform imaging by transmitting an imaging start instruction to the predetermined satellite 21 via the communication device 13 in response to the customer's request. Further, the satellite management device 11 acquires, displays or stores a satellite image transmitted from the satellite 21 via the communication device 13. The acquired satellite image may be provided (transmitted) to the customer after performing predetermined image processing as necessary. Further, the acquired satellite image may be provided (transmitted) to the image analysis server 42 of the image analysis company, and may be provided to the customer after performing predetermined image processing.
  • the information providing server 41 installed in the external organization supplies predetermined related information to the satellite management device 11 via a predetermined network in response to a request from the satellite management device 11 or periodically.
  • the related information provided by the information providing server 41 includes, for example, the following. For example, it is possible to obtain satellite orbit information (hereinafter referred to as TLE information) described in TLE (Two Line Elements) format from NORAD (North American Aerospace Defense Command) as an external organization as related information. can. Further, for example, it is possible to acquire meteorological information such as the weather and cloud cover at a predetermined point on the earth from a meteorological information providing company as an external organization.
  • TLE information satellite orbit information
  • NORAD North American Aerospace Defense Command
  • the image analysis server 42 performs predetermined image processing on the satellite image captured by the satellite 21 supplied from the satellite management device 11 via a predetermined network.
  • the processed image is provided to the customer of the image analysis company or supplied to the satellite management device 11 of the satellite operating company.
  • the image analysis server 42 performs metadata generation processing for adding predetermined metadata to the satellite image captured by the satellite 21, correction processing such as distortion correction of the satellite image, and image composition processing such as color composition processing.
  • the image processing of the satellite image may be performed by the satellite operating company, and in this case, the satellite operating company and the image analysis company are the same.
  • the satellite management device 11 and the image analysis server 42 may be realized by one device.
  • the communication device 13 communicates with a predetermined satellite 21 designated by the satellite management device 11 via the antenna 14 under the control of the satellite management device 11. For example, the communication device 13 transmits an imaging start instruction to start imaging of a predetermined area on the ground to a predetermined satellite 21. Further, the communication device 13 receives the satellite image transmitted from the satellite 21 and supplies the satellite image to the satellite management device 11 via the network 12.
  • the transmission from the communication device 13 of the ground station 15 to the satellite 21 is also referred to as an uplink, and the transmission from the satellite 21 to the communication device 13 is also referred to as a downlink.
  • the communication device 13 can directly communicate with the satellite 21 and can also communicate with the relay satellite 22. As the relay satellite 22, for example, a geostationary satellite is used.
  • the network 12 or the network between the information providing server 41 or the image analysis server 42 and the satellite management device 11 is an arbitrary communication network, which may be a wired communication network or a wireless communication network. It may be composed of both of them. Further, the network 12 and the network between the information providing server 41 or the image analysis server 42 and the satellite management device 11 may be composed of one communication network, or may be composed of a plurality of communication networks. You may do so. These networks include, for example, the Internet, public telephone network, wide area communication network for wireless mobiles such as so-called 4G line and 5G line, WAN (WideAreaNetwork), LAN (LocalAreaNetwork), Bluetooth (registered trademark).
  • WAN WideAreaNetwork
  • LAN LocalAreaNetwork
  • Bluetooth registered trademark
  • Wireless communication networks that perform standards-compliant communication, short-range wireless communication channels such as NFC (Near Field Communication), infrared communication channels, HDMI (registered trademark) (High-Definition Multimedia Interface) and USB (Universal Serial) It can be a communication network or communication path of any communication standard such as a wired communication communication network conforming to a standard such as Bus).
  • NFC Near Field Communication
  • HDMI registered trademark
  • USB Universal Serial
  • Each satellite 21 may be operated by a single machine or by a plurality of machines.
  • a plurality of satellites 21 operated by a plurality of aircraft constitute one satellite group 31.
  • satellites 21A and 21B are operated as a single machine, and satellites 21C and 21D form one satellite group 31A.
  • FIG. 1 for the sake of simplicity, an example in which one satellite group 31 is composed of two satellites 21 is shown, but the number of satellites 21 constituting one satellite group 31 is two. Not limited.
  • constellation and formation flight as a system that operates a plurality of satellites 21 as one unit (satellite group 31).
  • Constellation is a system that deploys services mainly globally by launching a large number of satellites 21 into a single orbital plane. Even a single satellite has a predetermined function, and a plurality of satellites 21 are operated for the purpose of improving the observation frequency.
  • the formation flight is a system in which a plurality of satellites 21 deploy while maintaining a relative positional relationship in a narrow area of about several kilometers. Formation flights can provide services that cannot be realized by a single satellite, such as high-precision 3D measurement and speed detection of moving objects. In this embodiment, it does not matter whether the operation of the satellite group is a constellation or a formation flight.
  • the communication device 13 communicates with each satellite 21, a method of directly communicating with the satellite 21 such as satellite 21A and satellite 21B, and a satellite 21C and satellite which are other satellites 21 such as satellite 21D.
  • the method of indirectly communicating includes communication via the relay satellite 22. Which method is used to communicate with the ground station 15 (communication device 13) may be predetermined by the satellite 21 or may be appropriately selected according to the content of the communication.
  • the satellite 21 as an observation satellite images a predetermined point on the ground based on the imaging start instruction from the satellite management device 11. If the data of the image captured by the satellite 21 is transmitted as it is, a delay occurs due to the large data capacity, and it is difficult to observe it as a live view image in real time.
  • the satellite image processing system 1 is configured so that an image similar to the image captured by the satellite 21 can be observed in real time by the satellite management device 11 on the ground.
  • FIG. 2 is a functional configuration block diagram of the satellite management device 11 and the satellite 21 regarding the observation of the image captured by the satellite 21.
  • the satellite 21 includes an antenna AT, a satellite communication unit 61, an image pickup device 62, a control unit 63, and a storage unit 64.
  • the configuration of the satellite 21 is mainly for functions related to images, and although not shown, the satellite 21 controls the position and propulsion devices such as a solid-state motor and an ion engine with respect to attitude control. It also has GPS receivers, start rackers (attitude sensors), acceleration sensors, gyro sensors and other sensors, and power supplies such as batteries and solar panels.
  • the satellite communication unit 61 Based on the control of the control unit 63, the satellite communication unit 61 transmits image data of the image captured by the image pickup device 62, state data indicating the state of the satellite 21 at the time of imaging, and the like via the antenna AT to the ground station 15. Is transmitted to the communication device 13 of.
  • the data transmitted from the satellite communication unit 61 to the communication device 13 is supplied from the communication device 13 to the satellite management device 11.
  • the image pickup device 62 is composed of, for example, a camera module including an image sensor, and images an object under the control of the control unit 63.
  • the imaging device 62 is composed of a radar device.
  • the control unit 63 controls the operation of the entire satellite 21.
  • the control unit 63 causes the imaging device 62 to perform imaging based on the imaging start instruction from the satellite management device 11.
  • the control unit 63 stores the satellite image obtained by imaging as a large-capacity data in the storage unit 64, and also performs a capacity reduction process for generating a small-capacity data having a capacity smaller than that of the satellite image.
  • the small-capacity data is, for example, an image obtained by converting a satellite image captured by the imaging device 62 to a low capacity, or state data indicating the state of the satellite 21 when the imaging device 62 captures the image.
  • the storage unit 64 stores the control program and parameters executed by the control unit 63. Further, the storage unit 64 stores the image data (large-capacity data) captured by the image pickup device 62 and the small-capacity data generated by the control unit 63, and stores the small-capacity data generated by the control unit 63 in the satellite communication unit 61 or the control unit 63 as needed. Supply.
  • the satellite management device 11 includes a control unit 81, a communication unit 82, a storage unit 83, an operation unit 84, and a display unit 85.
  • the control unit 81 manages a plurality of satellites 21 owned by the satellite operating company by executing the satellite management application program stored in the storage unit 83. For example, the control unit 81 determines the operation plan of the plurality of satellites 21 by using the related information acquired from the information providing server 41 as necessary, and controls the attitude of each satellite 21 via the communication device 13. And give instructions for imaging. Further, the control unit 81 performs processing such as displaying an image for observation on the display unit 85 based on the large-capacity data or the small-capacity data of the satellite image transmitted from the satellite 21 via the communication device 13.
  • the communication unit 82 performs predetermined communication with the communication device 13 via the network 12 and also performs predetermined communication with the image analysis server 42 in accordance with the instruction of the control unit 81. For example, the communication unit 82 receives a large amount of data or a small amount of data related to the satellite image transmitted from the satellite 21.
  • the storage unit 83 stores large-capacity data and small-capacity data related to the satellite image transmitted from the satellite 21 in accordance with the instruction of the control unit 81.
  • the operation unit 84 is composed of, for example, a keyboard, a mouse, a touch panel, etc., receives commands and data input based on user (operator) operations, and supplies them to the control unit 81.
  • the display unit 85 is composed of, for example, an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display.
  • the display unit 85 displays the screen of the satellite management application program, displays a satellite image based on a large amount of data transmitted from the satellite 21, a live view image based on a small amount of data transmitted from the satellite 21, and the like. do.
  • the satellite management device 11 functions as a display control device that displays a satellite image captured by the image pickup device 62 of the satellite 21 on a predetermined display unit (display unit 85 or an external display device) based on a user's operation.
  • First live view image display process Next, a first live view image display process for displaying a live view image for real-time observation will be described with reference to the flowchart of FIG. This process is started, for example, when the user who operates the satellite management device 11 performs a live view image display start operation.
  • step S11 the control unit 81 of the satellite management device 11 transmits an imaging start instruction to the satellite 21 via the communication unit 82.
  • step S41 the control unit 63 of the satellite 21 receives the imaging start instruction transmitted from the satellite management device 11 via the satellite communication unit 61. Then, in step S42, the control unit 63 performs imaging to generate a high-resolution image having a resolution of the normal performance of the imaging device 62.
  • the imaging device 62 performs imaging that generates 4K resolution when it is possible to image at a maximum of 4K resolution, and images that generate HD resolution when it is possible to image at a maximum of HD resolution. I do.
  • the image data of the high-resolution image obtained by imaging is stored in the storage unit 64.
  • the image data of the high-resolution image may be stored in the storage unit 64 as RAW data, or may be stored in the storage unit 64 as encoded data encoded by a predetermined coding.
  • step S43 the control unit 63 executes a volume reduction process for generating small volume data having a capacity smaller than that of the high resolution image based on the high resolution image obtained by imaging.
  • the information indicating the satellite state when the satellite 21 takes an image is generated as small volume data.
  • the information indicating the satellite state includes, for example, attitude information indicating the attitude of the satellite 21 when the satellite 21 performs imaging, and setting information when the imaging device 62 performs imaging (hereinafter, referred to as camera setting information). And so on.
  • the camera setting information is, for example, information related to camera setting values such as resolution, zoom magnification, shutter speed, sensitivity, and aperture.
  • the image pickup range (angle of view) of the image pickup device 62 can be specified based on the posture of the satellite 21 and the zoom setting value of the image pickup device 62.
  • the attitude information of the satellite 21 can also be regarded as a part of the camera setting information.
  • a low-capacity image obtained by converting a high-resolution image obtained by imaging into a low-capacity image may be generated as small-capacity data.
  • a low-resolution image obtained by converting a high-resolution image to a low resolution such as VGA a panchromatic image obtained by converting a color high-resolution image into a monochrome image, and a characteristic subject included in the high-resolution image.
  • Image feature amount information from which feature amounts have been extracted, partial images obtained by trimming only a part of a high-resolution image, and the like can be generated as small-capacity data.
  • Examples of image feature information obtained by extracting features of a high-resolution image include, for example, information indicating the characteristics of the shape of clouds, information on dynamic subjects such as airplanes, and information on the tint of light rays such as the red color of sunsets. There may be information about the reflection position of the ground surface due to sunlight such as the reflection state of the sea or lake.
  • a low frame rate image obtained by converting the frame rate of the high resolution image obtained by imaging to a frame rate lower than that may be generated as small volume data.
  • the control unit 63 generates a low frame rate image obtained by converting a frame rate of a high resolution image of 30 fps into a frame rate of 1 fps as a small amount of data.
  • the small-capacity data is data generated by the small-capacity processing of the information related to the current imaging by the satellite 21.
  • step S44 the control unit 63 transmits the small capacity data generated by the small capacity processing to the satellite management device 11 via the satellite communication unit 61.
  • the satellite 21 repeatedly executes the processes of steps S42 to S44 described above until an imaging end instruction is transmitted from the satellite management device 11.
  • steps S42 to S44 a small amount of data is transmitted to the satellite management device 11 at a predetermined frame rate. Since the small volume data has a small volume, it can be transmitted frame by frame without delay.
  • step S12 the control unit 81 of the satellite management device 11 receives the small-capacity data transmitted from the satellite 21 via the communication unit 82, and in step S13, executes a complementary process for complementing the small-capacity data. By doing so, a live view image is generated. Then, in step S14, the control unit 81 causes the display unit 85 to display the generated live view image.
  • the control unit 81 acquires related information from one or more information providing servers 41 of an external organization as necessary when performing complementary processing.
  • Related information includes, for example, the following.
  • the control unit 81 can acquire the TLE information as related information and specify the position of the satellite 21 at the imaging time.
  • the control unit 81 is an archive image (for example, a few days ago or a month ago) that is a satellite image of the same imaging point accumulated by an operating company that operates another satellite observation service.
  • Baseline images) and quasi-real-time images which are satellite images of the same imaging point taken at a relatively close time of several tens of minutes to several hours with respect to the current time, are acquired as related information.
  • the archived image or the quasi-real-time image to be acquired has the same season, imaging time, weather conditions, etc. as when the small volume data is generated.
  • the control unit 81 acquires meteorological information such as the weather at the same imaging point, cloud distribution, cloud cover, and sun position information when small-capacity data is generated from a meteorological information provider as an external organization. Can be done.
  • the control unit 81 uses AIS (Automatic Identification System) information indicating the position of the ship or airplane at the imaging time as related information from the information providing server 41 of the operation information providing company that provides the operation information of the ship or airplane. Can be obtained.
  • AIS Automatic Identification System
  • the control unit 81 executes complementary processing using the above-mentioned related information as necessary, and generates a live view image in which the image (satellite image) captured by the satellite 21 is estimated from the small volume data.
  • the control unit 81 uses the TLE information, the baseline image, the quasi-real-time image, and the like as related information. Then, at the angle of view captured by the image pickup device 62, the image captured by the image pickup device 62 is reproduced by CG (computer graphics) or the like to generate a live view image.
  • CG computer graphics
  • the control unit 81 uses super-resolution technology to convert the high-resolution image to a high-resolution image. Generate an image and use it as a live view image. At this time, a baseline image or a quasi-real-time image may be acquired as related information and interpolation processing or the like may be performed.
  • the control unit 81 uses machine learning to convert the panchromatic image into a color high resolution image. Is generated and used as a live view image. At this time, the colorization process may be performed using the image feature amount information extracted from the feature amount included in the high-resolution image.
  • the control unit 81 uses the cloud shape, dynamic subject, and light beam as the image feature amount information.
  • a live view image is generated by reproducing a characteristic subject from the information on the color tone and the information on the reflection position of sunlight and superimposing it on an archive image or a quasi-real-time image.
  • a panchromatic image and image feature amount information are acquired as small-capacity data, for example, a process of adding the tint of light rays, a cloud shape, or a dynamic subject is superimposed based on the panchromatic image. Processing may be performed.
  • External information can also be used for weather information and the position of dynamic subjects.
  • the control unit 81 when the small volume data is a low frame rate image, the control unit 81 generates a live view image by interpolating and generating an image between the frames of the acquired low frame rate image to increase the frame rate. do.
  • the frame rate of the live view image does not have to be the same as the frame rate of the high resolution image.
  • the complementary process in step S13 may be omitted.
  • the small-capacity data is a low-resolution image obtained by converting a high-resolution image into a low-resolution image or a panchromatic image obtained by converting a high-resolution image into a monochrome image, it is low without performing complementary processing.
  • the resolution image or the panchromatic image may be displayed on the display unit 85 as it is as a live view image.
  • the control unit 81 may display the live view image displayed on the display unit 85 so that the user can understand that the live view image is an image estimated from the small amount of data. For example, information (characters) indicating that it is an estimated image can be superimposed on the live view image, or an outer frame image indicating that it is an estimated image can be added and displayed on the outer periphery of the live view image.
  • step S15 the control unit 81 determines whether the user's operation on the satellite 21 has been performed by the operation unit 84. If it is determined in step S15 that no user operation has been performed, the process returns to step S12, and the processes of steps S12 to S15 described above are repeated.
  • step S15 if it is determined in step S15 that the user's operation has been performed, the process proceeds to step S16, and the control unit 81 issues a control instruction corresponding to the user's operation to the satellite 21 via the communication unit 82. Send.
  • Examples of the user's operation in step S15 include the following operations.
  • the user can perform an operation of instructing a change of camera setting information such as resolution (resolution), zoom magnification, shutter speed, sensitivity, and aperture.
  • an operation of changing the imaging direction (imaging point) of the imaging device 62 can be performed.
  • the imaging device 62 is attached to the satellite 21 at a fixed position, the attitude of the satellite 21 itself is changed in response to an instruction to change the imaging direction.
  • the image pickup apparatus 62 has a movable portion capable of changing the relative position with respect to the satellite 21, the attitude of the satellite 21 itself may be changed in response to an instruction to change the imaging direction, or the image pickup apparatus 62 may change its posture.
  • the relative position may be changed.
  • the zoom magnification may be either optical zoom or digital zoom.
  • the user can give an instruction to transmit a large amount of data requesting a large amount of data which is a high resolution image corresponding to the live view image displayed on the display unit 85. ..
  • control unit 63 of the satellite 21 receives the control instruction transmitted from the satellite management device 11 via the satellite communication unit 61 in step S45.
  • step S46 the control unit 63 determines whether the control instruction from the satellite management device 11 is a transmission instruction for a large amount of data.
  • step S46 If it is determined in step S46 that the control instruction from the satellite management device 11 is not a large-capacity data transmission instruction, the process proceeds to step S47, and the control unit 63 performs control based on the control instruction.
  • the control instruction is a change of camera setting information such as resolution and zoom magnification
  • the control unit 63 controls to change a part of the camera setting information of the image pickup apparatus 62 to a specified setting value. conduct.
  • step S47 the camera setting value of the image pickup apparatus 62 in capturing the high-resolution image, which is repeatedly executed in steps S42 to S44 described above, is changed.
  • the imaging device 62 changes a predetermined camera setting value to a plurality of values and performs bracket imaging in which imaging is performed with a plurality of different camera setting values. Therefore, when bracket shooting is performed with the camera setting information instructed to be changed by the user, the satellite management device 11 immediately immediately obtains a small amount of data based on the high-resolution image captured by the camera setting value instructed to be changed by the user. Can be sent to.
  • the data transmitted as small-capacity data is partial image data obtained by trimming only a part of a high-resolution image
  • the user's instruction to change the camera setting information is to change the zoom magnification or the angle of view.
  • a partial image having a zoom magnification and an angle of view after the change can be generated using the high-resolution image before trimming, and can be immediately transmitted to the satellite management device 11 as small-capacity data.
  • the user shifts the angle of view to the right when looking at the partial image C1 while observing the partial image C1 obtained by trimming only the central region of the high-resolution image B1 on the display unit 85. It is assumed that an instruction to change the camera setting information is given.
  • the control unit 63 of the satellite 21 receives the instruction to change the camera setting information, and starts the attitude control to change the attitude of the image pickup apparatus 62 in the instructed direction.
  • the angle of view of the high resolution image B2 captured by the image pickup device 62 at time t2 is the same as the angle of view of the high resolution image B1 at time t1. It's almost the same.
  • the control unit 63 trims the partial image C1 corresponding to the angle of view instructed by the user from the high-resolution image B2 captured by the image pickup device 62 at time t2, and immediately transmits it as small-capacity data to the satellite management device 11. ..
  • the partial image C3 obtained by trimming only the central region of the high-resolution image B3 is used as small-capacity data by the satellite management device. It is transmitted to 11.
  • the partial image of the angle of view specified by the user can be displayed on the display unit 85 before the posture of the imaging device 62 is instructed to be changed by the user, so that the user can display the live view image. It is possible to reduce the delay felt by confirming.
  • step S46 if it is determined in step S46 that the control instruction from the satellite management device 11 is a large-capacity data transmission instruction, the process proceeds to step S48, and the control unit 63 is instructed to perform the large amount of data.
  • the capacitance data is transmitted to the satellite management device 11 via the satellite communication unit 61. That is, the high-resolution image data corresponding to the live view image displayed on the display unit 85 in the process of step S14 is transmitted from the satellite 21 to the satellite management device 11.
  • step S16 After the control instruction corresponding to the user's operation is transmitted to the satellite 21 in step S16, the processing proceeds to step S17, and the control unit 81 receives a large amount of data for the control instruction transmitted to the satellite 21. Judge whether it is a transmission instruction of.
  • step S17 If it is determined in step S17 that the control instruction transmitted to the satellite 21 is not a large-capacity data transmission instruction, the process returns to step S12, and the processes after step S12 described above are executed again.
  • step S17 if it is determined in step S17 that the control instruction transmitted to the satellite 21 is a transmission instruction for a large amount of data, the process proceeds to step S18, and the control unit 81 receives the transmitted control instruction from the satellite 21. A large amount of transmitted data is received and stored in the storage unit 83. After step S18, the process returns to step S12, and the processes after step S12 described above are executed again.
  • the above first live view image display process is continuously executed until the user performs the live view image display end operation, and when the live view image display end operation is performed, the first live view image display is performed. The process ends.
  • the satellite management device 11 receives from the satellite 21 a small amount of data whose capacity is smaller than that of the high resolution image which is the resolution of the normal performance of the image pickup device 62. Since the small-capacity data has a small capacity, it can be transmitted in frame units without delay, so that a live view image based on the small-capacity data can be displayed in real time. Then, based on the instruction of the user who confirmed the live view image displayed on the display unit 85, a large amount of data which is a high resolution image corresponding to the live view image is received and stored.
  • the transmission / reception of large-capacity data which is the process of steps S18 and S48 described above, observes the live view image in real time at a timing different from that during the process of the first live view image display process described above, in other words. It may be executed at a timing different from the time zone.
  • the transmission / reception of large-capacity data can be performed in a background different from the transmission / reception of small-capacity data.
  • the large-capacity data takes a long communication time, the number of times the large-capacity data is transmitted is smaller than that of the small-capacity data. For example, when the small-capacity data is 30 fps data, the large-capacity data is 1 fps data, or the data is transmitted once every 10 minutes.
  • the large amount of data transmitted / received in the background can be used as a quasi-real-time image in the complementary process of step S13 described above.
  • the large amount of data can be used as teacher data when machine learning for estimating live view images is performed as complementary processing.
  • machine learning By using machine learning to generate the live view image, the accuracy of the live view image generated by estimation can be improved.
  • Second live view image display process Next, a second live view image display process executed by the satellite image processing system 1 will be described.
  • the satellite 21 captures a high-resolution image based on an imaging start instruction from the satellite management device 11, and generates a small amount of data based on the high-resolution image. Then, it was transmitted to the satellite management device 11.
  • the high-resolution image is stored in the storage unit 64, and is transmitted to the satellite management device 11 as a large amount of data at another timing as needed.
  • the satellite 21 does not capture a high-resolution image, but performs an imaging for generating a small amount of data. Then, the satellite 21 captures the high-resolution image corresponding to the live-view image and transmits it as a large-capacity data only when the user observing the live-view image gives an instruction to capture the high-resolution image. ..
  • the second live view image display process will be described with reference to the flowchart of FIG. This process is started, for example, when the user who operates the satellite management device 11 performs a live view image display start operation.
  • step S61 the control unit 81 of the satellite management device 11 transmits an imaging start instruction to the satellite 21 via the communication unit 82.
  • step S81 the control unit 63 of the satellite 21 receives the imaging start instruction transmitted from the satellite management device 11 via the satellite communication unit 61. Then, in step S82, the control unit 63 executes the small-capacity data generation process.
  • the same small-capacity data as the first live view image display process described above is generated.
  • information indicating the satellite state when the satellite 21 takes an image is generated as small-capacity data.
  • a low-capacity image having a capacity smaller than that of the high-resolution image captured by the normal performance of the image pickup device 62 for example, a low-resolution image having a lower resolution than a color high-resolution image, or a color high-resolution image.
  • a low frame rate image or the like whose frame rate is lower than that of the image image is generated as a small amount of data.
  • step S83 the control unit 63 transmits the small capacity data generated by the small capacity data generation process to the satellite management device 11 via the satellite communication unit 61.
  • the satellite 21 repeatedly executes the processes of steps S82 and S83 until the imaging end instruction is transmitted from the satellite management device 11.
  • steps S82 and S83 a small amount of data is transmitted to the satellite management device 11 at a predetermined frame rate. Since the small volume data has a small volume, it can be transmitted frame by frame without delay.
  • step S62 the control unit 81 of the satellite management device 11 receives the small-capacity data transmitted from the satellite 21 via the communication unit 82, and in step S63, executes the complementary process of complementing the small-capacity data. By doing so, a live view image is generated. Then, in step S64, the control unit 81 causes the display unit 85 to display the generated live view image.
  • step S63 The details of the complement processing in step S63 and the display of the live view image in step S64 are the same as those of the first live view image display processing described above, and thus the description thereof will be omitted. The same applies to the fact that the completion process in step S63 may be omitted.
  • step S65 the control unit 81 determines whether the user's operation on the satellite 21 has been performed by the operation unit 84. If it is determined in step S65 that no user operation has been performed, the process returns to step S62, and the processes of steps S62 to S65 described above are repeated.
  • step S65 if it is determined in step S65 that the user's operation has been performed, the process proceeds to step S66, and the control unit 81 issues a control instruction corresponding to the user's operation to the satellite 21 via the communication unit 82. Send.
  • the operation that the user can perform while observing the live view image is the same as the first live view image display process described above.
  • control unit 63 of the satellite 21 receives the control instruction transmitted from the satellite management device 11 via the satellite communication unit 61 in step S84.
  • step S85 the control unit 63 determines whether the control instruction from the satellite management device 11 is a transmission instruction for a large amount of data.
  • step S85 If it is determined in step S85 that the control instruction from the satellite management device 11 is not a large-capacity data transmission instruction, the process proceeds to step S86, and the control unit 63 performs control based on the control instruction.
  • the control instruction is a change of camera setting information such as resolution and zoom magnification
  • the control unit 63 controls to change a part of the camera setting information of the image pickup apparatus 62 to a specified setting value. conduct.
  • step S86 the camera setting value of the image pickup apparatus 62 for generating small-capacity data, which is repeatedly executed in steps S82 and S83 described above, is changed.
  • step S85 if it is determined in step S85 that the control instruction from the satellite management device 11 is a large-capacity data transmission instruction, the process proceeds to step S87, and the control unit 63 uses the resolution of the normal performance of the image pickup device 62. Imaging is performed to generate a high-resolution image. The generated high-resolution image is stored in the storage unit 64. Subsequently, in step S88, the control unit 63 transmits the generated high-resolution image image data as large-capacity data to the satellite management device 11 via the satellite communication unit 61.
  • step S66 After the control instruction corresponding to the user's operation is transmitted to the satellite 21 in step S66, the process proceeds to step S67, and the control unit 81 receives a large amount of data for the control instruction transmitted to the satellite 21. Judge whether it is a transmission instruction of.
  • step S67 If it is determined in step S67 that the control instruction transmitted to the satellite 21 is not a large-capacity data transmission instruction, the process returns to step S62, and the processes after step S62 described above are executed again.
  • step S67 if it is determined in step S67 that the control instruction transmitted to the satellite 21 is a large-capacity data transmission instruction, the process proceeds to step S68, and the control unit 81 receives the transmitted control instruction from the satellite 21. A large amount of transmitted data is received and stored in the storage unit 83. After step S68, the process returns to step S62, and the processes after step S62 described above are executed again.
  • the above second live view image display process is continuously executed until the user performs the live view image display end operation, and when the live view image display end operation is performed, the second live view image display is performed. The process ends.
  • the transmission / reception of large-capacity data which is the process of steps S68 and S88 described above, observes the live view image in real time at a timing different from that during the process of the second live view image display process described above, in other words, the live view image is observed in real time. It is the same as the first live view image display process described above in that it may be executed at a timing different from the time zone.
  • the satellite image processing system 1 According to the first and second live view image display processes executed by the satellite image processing system 1, a small amount of data is transmitted when observing the live view image, and for a high resolution image, another timing is required as needed. It is transmitted to the satellite management device 11 as a large amount of data. This allows the user to check the image on the ground in real time.
  • the mobile system is a system that includes, for example, a robot, particularly a remote robot (terelexistence robot), an autonomous vehicle, an autonomous aircraft (drone), a manned vehicle, or a manned aircraft as a mobile device.
  • a user who operates and monitors the mobile device from a remote location can confirm the minimum situation by using a live view image with a small amount of data.
  • the live view image can be generated by executing the complement processing for complementing the small amount of data, as in the case of the satellite image processing system 1 described above.
  • the assumed image can be reproduced (estimated) based on the posture information, position information, etc. of the moving device.
  • the movement route and existence environment of the mobile device are known, and as information on the movement route and existence environment, an archive image of the same point in the past or a quasi-real-time image of the same point taken at a relatively short time. If they are accumulated, they can be used for complementation.
  • high-resolution live view images can be generated, high-resolution color images can be generated from panchromatic images, and low frame rate images can be interpolated. It is possible to generate a live view image with a high frame rate.
  • the archive image is given a unique real-time time in the movement route and existence environment of the mobile device. It is possible to generate an estimated image by extracting only the feature amount of the subject.
  • the series of processes executed by the satellite management device 11 described above can be executed by hardware or software.
  • the programs constituting the software are installed on the computer.
  • the computer includes a microcomputer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 6 is a block diagram showing a configuration example of computer hardware that programmatically executes a series of processes executed by the satellite management device 11.
  • a CPU Central Processing Unit
  • ROM ReadOnly Memory
  • RAM RandomAccessMemory
  • An input / output interface 305 is further connected to the bus 304.
  • An input unit 306, an output unit 307, a storage unit 308, a communication unit 309, and a drive 310 are connected to the input / output interface 305.
  • the input unit 306 includes a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 307 includes a display, a speaker, an output terminal, and the like.
  • the storage unit 308 includes a hard disk, a RAM disk, a non-volatile memory, and the like.
  • the communication unit 309 includes a network interface and the like.
  • the drive 310 drives a removable recording medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 301 loads the program stored in the storage unit 308 into the RAM 303 via the input / output interface 305 and the bus 304, and executes the above-described series. Is processed.
  • the RAM 303 also appropriately stores data and the like necessary for the CPU 301 to execute various processes.
  • the program executed by the computer (CPU301) can be recorded and provided on a removable recording medium 311 as a package medium or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be installed in the storage unit 308 via the input / output interface 305 by mounting the removable recording medium 311 in the drive 310. Further, the program can be received by the communication unit 309 and installed in the storage unit 308 via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM 302 or the storage unit 308.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can have the following configurations.
  • a receiver that receives a small amount of data, which is information about the current imaging by artificial satellites, It is equipped with a control unit that displays a live view image based on the small amount of data on the display unit.
  • the receiving unit is a display control device that receives a satellite image corresponding to the live view image as large-capacity data at a timing different from that of the small-capacity data.
  • the display control according to (1) wherein the receiving unit receives the large amount of data transmitted from the artificial satellite based on an instruction of a user who has confirmed the live view image displayed on the display unit.
  • the artificial satellite generates the small-capacity data by reducing the volume of the captured satellite image.
  • the display control device wherein the large-capacity data is the satellite image before the small-capacity processing.
  • the receiving unit receives the satellite image imaged by the artificial satellite as the large-capacity data based on the instruction of the user who confirmed the live view image displayed on the display unit (1) or (2).
  • the display control device described in. (5) The display control device according to (1) above, wherein the small-capacity data is information indicating a satellite state of the artificial satellite.
  • the information indicating the satellite state of the artificial satellite is attitude information indicating the attitude of the artificial satellite and camera setting information when the artificial satellite performs imaging.
  • the small-capacity data is a low-capacity image obtained by converting a satellite image obtained by imaging the artificial satellite into a low-capacity image.
  • the control unit displays the low-capacity image as it is as the live view image on the display unit.
  • the small-capacity data is a low-resolution image obtained by converting a satellite image obtained by imaging the artificial satellite into a low-resolution image.
  • the display control device (10) The display control device according to (1), (7) or (8), wherein the small-capacity data is a panchromatic image obtained by converting a satellite image obtained by imaging the artificial satellite into a monochrome image.
  • the small-capacity data is image feature amount information obtained by extracting characteristic amounts of characteristic subjects included in a satellite image obtained by imaging the artificial satellite.
  • the small-capacity data is a partial image obtained by trimming only a part of a region of a satellite image obtained by imaging the artificial satellite.
  • the small-capacity data is a low frame rate image obtained by converting the frame rate of the satellite image obtained by imaging the artificial satellite into a frame rate lower than that, according to the above (1), (7) or (8).
  • the control unit generates the live view image by using a past image of the same point when performing the complementary process.
  • the small-capacity data is a low-resolution image obtained by converting a satellite image obtained by imaging the artificial satellite to a low resolution, or a frame rate lower than that of the satellite image obtained by imaging the artificial satellite. It is a low frame rate image converted to a rate,
  • the small-capacity data is image feature amount information obtained by extracting the feature amount of a characteristic subject included in the satellite image obtained by imaging the artificial satellite.
  • the display control device according to (14), wherein the control unit estimates and generates the live view image using the image feature amount information as the complementary process.
  • the small-capacity data is a panchromatic image obtained by converting a satellite image obtained by imaging the artificial satellite into a monochrome image.
  • the display control device according to (14), wherein the control unit generates the color live view image from the panchromatic image as the complementary process.
  • the display control device Receives a small amount of data, which is information about the current imaging by artificial satellites, A live view image based on the small amount of data is displayed on the display unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本技術は、リアルタイムで画像を確認できるようにする表示制御装置、表示制御方法、および、プログラムに関する。 表示制御装置は、人工衛星による現在の撮像に関する情報である小容量データを受信する受信部と、小容量データに基づくライブビュー画像を表示部に表示させる制御部とを備え、受信部は、ライブビュー画像に対応する衛星画像を、大容量データとして、小容量データと別のタイミングで受信する。本技術は、例えば、人工衛星により撮像された衛星画像を処理する衛星画像処理システム等に適用できる。

Description

表示制御装置、表示制御方法、および、プログラム
　本技術は、表示制御装置、表示制御方法、および、プログラムに関し、特に、リアルタイムで画像を確認できるようにした表示制御装置、表示制御方法、および、プログラムに関する。
　撮像装置を搭載した観測衛星により地上を撮像し、対象地域または対象物の状況を観測するリモートセンシングが行われている（例えば、特許文献１，２参照）。特に近年、低軌道を周回する小型の観測衛星が増加している。
特開２０００－１１１３５９号公報 特開２００６－１１５２８３号公報
　観測衛星により撮像された衛星画像は、人工衛星が地上局の上空を通過したときにダウンリンクされる。画像データの伝送容量が大きい場合には通信遅延が発生し、リアルタイムでの画像確認が困難になってしまう。
　本技術は、このような状況に鑑みてなされたものであり、リアルタイムで画像を確認できるようにするものである。
　本技術の一側面の表示制御装置は、人工衛星による現在の撮像に関する情報である小容量データを受信する受信部と、前記小容量データに基づくライブビュー画像を表示部に表示させる制御部とを備え、前記受信部は、前記ライブビュー画像に対応する衛星画像を、大容量データとして、前記小容量データと別のタイミングで受信する。
　本技術の一側面の表示制御方法は、表示制御装置が、人工衛星による現在の撮像に関する情報である小容量データを受信し、前記小容量データに基づくライブビュー画像を表示部に表示させ、前記ライブビュー画像に対応する衛星画像を、大容量データとして、前記小容量データと別のタイミングで受信する。
　本技術の一側面のプログラムは、コンピュータに、人工衛星による現在の撮像に関する情報である小容量データを受信し、前記小容量データに基づくライブビュー画像を表示部に表示させ、前記ライブビュー画像に対応する衛星画像を、大容量データとして、前記小容量データと別のタイミングで受信する処理を実行させるためのものである。
　本技術の一側面においては、人工衛星による現在の撮像に関する情報である小容量データが受信され、前記小容量データに基づくライブビュー画像が表示部に表示され、前記ライブビュー画像に対応する衛星画像が、大容量データとして、前記小容量データと別のタイミングで受信される。
　なお、本技術の一側面の表示制御装置は、コンピュータにプログラムを実行させることにより実現することができる。コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　表示制御装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
本技術を適用した実施の形態である衛星画像処理システムの構成例を示すブロック図である。 衛星管理装置と人工衛星の機能構成ブロック図である。 第１のライブビュー画像表示処理のフローチャートである。 ユーザの制御指示に応じた処理を説明する図である。 第２のライブビュー画像表示処理のフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、添付図面を参照しながら、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
１．衛星画像処理システムの構成例
２．第１のライブビュー画像表示処理
３．第２のライブビュー画像表示処理
４．アプリケーション適用例
５．コンピュータ構成例
＜１．衛星画像処理システムの構成例＞
　図１は、本技術を適用した実施の形態である衛星画像処理システムの構成例を示すブロック図である。
　図１の衛星画像処理システム１は、１以上の人工衛星２１（以下、単に衛星２１という。）によって撮像された衛星画像を、地上の装置でリアルタイムに確認できるようにしたシステムである。本実施の形態において、衛星２１は撮像装置を搭載し、地上を撮像する機能を少なくとも有する。
　衛星運用会社は、複数の衛星２１を管理する衛星管理装置１１と、衛星２１と通信を行う複数の通信装置１３とを有している。なお、衛星管理装置１１および複数の通信装置１３の一部は、衛星運用会社以外が所有する装置であってもよい。衛星管理装置１１と複数の通信装置１３とは、所定のネットワーク１２を介して接続されている。通信装置１３は、地上局（地上の基地局）１５に配置されている。なお、図１では、通信装置１３の個数が、通信装置１３A乃至１３Cの３個である例が示されているが、通信装置１３の個数は任意である。
　衛星管理装置１１は、衛星運用会社が所有する複数の衛星２１を管理する。具体的には、衛星管理装置１１は、１以上の外部機関の情報提供サーバ４１から関連情報を必要に応じて取得し、自身が所有する複数の衛星２１の運用計画を決定する。そして、衛星管理装置１１は、顧客の要望に応じて、通信装置１３を介して所定の衛星２１に撮像開始指示を送信することにより、所定の衛星２１に撮像を行わせる。また、衛星管理装置１１は、通信装置１３を介して衛星２１から送信されてきた衛星画像を取得し、表示または記憶する。取得された衛星画像は、必要に応じて所定の画像処理を行い、顧客へ提供（送信）される場合がある。また、取得された衛星画像は、画像解析会社の画像解析サーバ４２へ提供（送信）され、所定の画像処理を行った上で、顧客へ提供される場合もある。
　外部機関に設置された情報提供サーバ４１は、衛星管理装置１１からの要求に応じて、あるいは、定期的に、所定の関連情報を、所定のネットワークを介して、衛星管理装置１１へ供給する。情報提供サーバ４１から提供される関連情報には、例えば、次のようなものがある。例えば、外部機関としてのNORAD（北アメリカ航空宇宙防衛司令部）から、TLE（Two Line Elements）フォーマットで記述された衛星の軌道情報（以下、TLE情報と称する。）を関連情報として取得することができる。また例えば、外部機関としての気象情報提供会社から、地球上の所定の地点の天気、雲量などの気象情報を取得することができる。
　画像解析サーバ４２は、所定のネットワークを介して衛星管理装置１１から供給される、衛星２１が撮像した衛星画像に対して、所定の画像処理を行う。処理後の画像は、画像解析会社の顧客へ提供されたり、衛星運用会社の衛星管理装置１１へ供給される。例えば、画像解析サーバ４２は、衛星２１が撮像した衛星画像に所定のメタデータを付加するメタデータ生成処理、衛星画像の歪み補正等の補正処理、カラー合成処理等の画像合成処理などを行う。衛星画像の画像処理は、衛星運用会社が行う場合もあり、この場合、衛星運用会社と画像解析会社は同一である。また、衛星管理装置１１と画像解析サーバ４２が１つの装置で実現されてもよい。
　通信装置１３は、衛星管理装置１１の制御に従い、衛星管理装置１１によって指定された所定の衛星２１と、アンテナ１４を介して通信を行う。例えば、通信装置１３は、地上の所定の領域の撮像を開始する撮像開始指示を所定の衛星２１へ送信する。また、通信装置１３は、衛星２１から送信されてくる衛星画像を受信し、ネットワーク１２を介して衛星管理装置１１へ供給する。地上局１５の通信装置１３から衛星２１への送信をアップリンク、衛星２１から通信装置１３への送信をダウンリンクとも称する。通信装置１３は、衛星２１と直接通信を行うことができる他、中継衛星２２を介して通信を行うこともできる。中継衛星２２としては、例えば、静止衛星が用いられる。
　ネットワーク１２や、情報提供サーバ４１または画像解析サーバ４２と衛星管理装置１１との間のネットワークは、任意の通信網であり、有線の通信網であってもよいし、無線の通信網であってもよいし、それらの両方により構成されてもよい。また、ネットワーク１２と、情報提供サーバ４１または画像解析サーバ４２と衛星管理装置１１との間のネットワークが、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。これらのネットワークは、例えば、インターネット、公衆電話回線網、所謂4G回線や5G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網または通信路とすることができる。
　各衛星２１は、単機で運用される場合もあれば、複数機で運用される場合もある。複数機で運用される複数の衛星２１は、１つの衛星群３１を構成する。図１では、衛星２１Aと衛星２１Bが単機で運用されており、衛星２１Cと衛星２１Dとが１つの衛星群３１Aを構成している。なお、図１の例では、簡単のため、２機の衛星２１により１つの衛星群３１が構成される例を示しているが、１つの衛星群３１を構成する衛星２１の個数は２つに限られない。
　複数の衛星２１を１つの単位（衛星群３１）として運用するシステムとしては、コンステレーションとフォーメーションフライトとがある。コンステレーションは、多数の衛星２１を単一もしくは複数の軌道面に投入することで、主に全球に均一にサービスを展開するシステムである。単一衛星でも所定の機能を有し、観測頻度向上などを目的として複数の衛星２１が運用される。一方、フォーメーションフライトは、数km程度の狭い領域で、複数の衛星２１が相対的な位置関係を維持しつつ、展開するシステムである。フォーメーションフライトでは、高精度の３次元計測や、移動体の速度検出など、単一衛星では実現できないサービスの提供が可能である。本実施の形態においては、衛星群の運用は、コンステレーションまたはフォーメーションフライトのいずれであるかを問合わない。
　通信装置１３が各衛星２１と通信を行う場合、衛星２１Aや衛星２１Bのように、衛星２１と、直接、通信を行う方法と、衛星２１Dのように、他の衛星２１である衛星２１Cと衛星間通信を行うことにより、間接的に通信装置１３と通信を行う方法とがある。間接的に通信を行う方法には、中継衛星２２を介した通信も含む。どちらの方法で地上局１５（の通信装置１３）と通信を行うかは、衛星２１によって予め決められてもよいし、通信の内容に応じて適宜選択してもよい。
　以上のように構成される衛星画像処理システム１において、衛星管理装置１１からの撮像開始指示に基づいて、観測衛星としての衛星２１が、地上の所定の地点を撮像する。衛星２１が撮像した画像のデータをそのまま送信すると、データ容量が大きいために遅延が発生し、ライブビュー画像としてリアルタイムに観測することが難しい。
　そこで、衛星画像処理システム１は、衛星２１が撮像した画像と同様の画像を、地上の衛星管理装置１１でリアルタイムに観測できるように構成されている。
　図２は、衛星２１が撮像した画像の観測に関する、衛星管理装置１１と衛星２１の機能構成ブロック図である。
　衛星２１は、アンテナAT、衛星通信部６１、撮像装置６２、制御部６３、および、記憶部６４を備える。なお、この衛星２１の構成は、主に画像に関係する機能についてのみであり、図示は省略するが、衛星２１は、姿勢の制御に関して、固体モータ、イオンエンジン等の推進装置や、位置の制御に関する、GPS受信機、スタートラッカ（姿勢センサ）、加速度センサ、ジャイロセンサなどのセンサ類、バッテリ、太陽電池パネル等の電源類なども備える。
　衛星通信部６１は、制御部６３の制御に基づいて、撮像装置６２が撮像した画像の画像データや、撮像時の衛星２１の状態を示す状態データなどを、アンテナATを介して、地上局１５の通信装置１３に送信する。衛星通信部６１から通信装置１３へ送信されたデータは、通信装置１３から衛星管理装置１１へ供給される。
　撮像装置６２は、例えば、イメージセンサを含むカメラモジュールで構成され、制御部６３の制御に基づいて、対象物の撮像を行う。衛星２１が合成開口レーダー（SAR）衛星の場合には、撮像装置６２はレーダー装置で構成される。
　制御部６３は、衛星２１全体の動作制御を行う。例えば、制御部６３は、衛星管理装置１１からの撮像開始指示に基づいて、撮像装置６２に撮像を行わせる。制御部６３は、撮像により得られた衛星画像を大容量データとして記憶部６４に記憶させるとともに、衛星画像よりも容量が小さい小容量データを生成する小容量化処理などを行う。小容量データは、例えば、撮像装置６２が撮像した衛星画像を低容量に変換した画像であったり、撮像装置６２が撮像したときの衛星２１の状態を示す状態データなどである。
　記憶部６４は、制御部６３により実行される制御プログラムやパラメータを記憶する。また、記憶部６４は、撮像装置６２によって撮像された画像データ（大容量データ）、制御部６３によって生成された小容量データを記憶し、必要に応じて、衛星通信部６１または制御部６３に供給する。
　衛星管理装置１１は、制御部８１、通信部８２、記憶部８３、操作部８４、および、表示部８５を備える。
　制御部８１は、記憶部８３に記憶された衛星管理アプリケーションプログラムを実行することにより、衛星運用会社が所有する複数の衛星２１を管理する。例えば、制御部８１は、情報提供サーバ４１から取得した関連情報を必要に応じて用いて、複数の衛星２１の運用計画を決定し、通信装置１３を介して、各衛星２１へ、姿勢の制御や撮像の指示を行う。また、制御部８１は、通信装置１３を介して衛星２１から送信されてきた衛星画像の大容量データや小容量データに基づいて、表示部８５に観測用の画像を表示させる処理などを行う。
　通信部８２は、制御部８１の指示に従い、通信装置１３とネットワーク１２を介して所定の通信を行うとともに、画像解析サーバ４２とも所定の通信を行う。例えば、通信部８２は、衛星２１から送信されてきた衛星画像に関する大容量データや小容量データを受信する。
　記憶部８３は、制御部８１の指示に従い、衛星２１から送信されてきた衛星画像に関する大容量データや小容量データを記憶する。
　操作部８４は、例えば、キーボードやマウス、タッチパネル等で構成され、ユーザ（オペレータ）の操作に基づくコマンドやデータの入力を受け付け、制御部８１へ供給する。
　表示部８５は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイで構成される。表示部８５は、衛星管理アプリケーションプログラムの画面を表示したり、衛星２１から送信されてきた大容量データに基づく衛星画像や、衛星２１から送信されてきた小容量データに基づくライブビュー画像などを表示する。
　衛星管理装置１１は、衛星２１の撮像装置６２によって撮像された衛星画像を、ユーザの操作に基づいて所定の表示部（表示部８５や外部の表示装置）に表示させる表示制御装置として機能する。
＜２．第１のライブビュー画像表示処理＞
　次に、図３のフローチャートを参照して、リアルタイムに観測するためのライブビュー画像を表示する第１のライブビュー画像表示処理を説明する。この処理は、例えば、衛星管理装置１１を操作するユーザが、ライブビュー画像の表示開始操作を行ったとき、開始される。
　初めに、ステップＳ１１において、衛星管理装置１１の制御部８１は、撮像開始指示を、通信部８２を介して衛星２１へ送信する。
　ステップＳ４１において、衛星２１の制御部６３は、衛星管理装置１１から送信されてくる、撮像開始指示を、衛星通信部６１を介して受信する。そして、ステップＳ４２において、制御部６３は、撮像装置６２の通常性能の解像度である高解像画像を生成する撮像を行う。例えば、撮像装置６２は、最大で4K解像度による撮像が可能である場合には、4K解像度を生成する撮像を行い、最大でHD解像度による撮像が可能である場合には、HD解像度を生成する撮像を行う。撮像により得られた高解像画像の画像データは、記憶部６４に記憶される。高解像画像の画像データは、RAWデータとして記憶部６４に記憶されてもよいし、所定の符号化により符号化された符号化データとして記憶部６４に記憶されてもよい。
　ステップＳ４３において、制御部６３は、撮像により得られた高解像画像に基づいて、その高解像画像よりも容量の小さい小容量データを生成する小容量化処理を実行する。
　小容量化処理では、例えば、衛星２１が撮像を行った際の衛星状態を示す情報が、小容量データとして生成される。衛星状態を示す情報には、例えば、衛星２１が撮像を行った際の衛星２１の姿勢を示す姿勢情報、撮像装置６２が撮像を行った際の設定情報（以下、カメラ設定情報と称する。）などを含む。カメラ設定情報は、例えば、解像度（分解能）、ズーム倍率、シャッタスピード、感度、絞りなどのカメラ設定値に関する情報である。撮像装置６２が衛星２１に位置固定で取り付けられている場合、衛星２１の姿勢と、撮像装置６２のズームの設定値に基づき、撮像装置６２の撮像範囲（画角）を特定することができるので、衛星２１の姿勢情報もカメラ設定情報の一部とみなすこともできる。
　また、小容量化処理では、撮像により得られた高解像画像を低容量の画像に変換した低容量画像を、小容量データとして生成してもよい。例えば、高解像画像を、VGAなどの低解像度に変換した低解像度画像や、カラーの高解像画像を、モノクロ画像に変換したパンクロマティック画像、高解像画像に含まれる特徴的な被写体の特徴量を抽出した画像特徴量情報、高解像画像の一部の領域のみをトリミングした部分画像などを、小容量データとして生成することができる。高解像画像の特徴量を抽出した画像特徴量情報の例としては、例えば、雲の形状の特徴を示す情報、飛行機などの動的被写体に関する情報、夕焼けの赤色など光線の色味に関する情報、海や湖の反射状態などの太陽光による地表面の反射位置に関する情報などがあり得る。
　また、小容量化処理では、撮像により得られた高解像画像のフレームレートを、それよりも低いフレームレートに変換した低フレームレート画像を、小容量データとして生成してもよい。例えば、制御部６３は、３０fpsの高解像画像のフレームレートを、１fpsのフレームレートに変換した低フレームレート画像を小容量データとして生成する。
　小容量データは、衛星２１による現在の撮像に関する情報を小容量化処理により生成したデータである。
　ステップＳ４４において、制御部６３は、小容量化処理により生成した小容量データを、衛星通信部６１を介して、衛星管理装置１１に送信する。衛星２１は、上述したステップＳ４２ないしＳ４４の処理を、撮像終了指示が衛星管理装置１１から送信されてくるまで繰り返し実行する。ステップＳ４２ないしＳ４４の繰り返しにより、小容量データが所定のフレームレートで衛星管理装置１１へ送信される。小容量データは、小容量であるため、フレーム単位で遅滞なく送信することができる。
　ステップＳ１２において、衛星管理装置１１の制御部８１は、衛星２１から送信されてきた小容量データを、通信部８２を介して受信し、ステップＳ１３において、小容量データを補完する補完処理を実行することにより、ライブビュー画像を生成する。そして、ステップＳ１４において、制御部８１は、生成したライブビュー画像を、表示部８５に表示させる。
　制御部８１は、補完処理を行う際、外部機関の１以上の情報提供サーバ４１から、関連情報を必要に応じて取得する。関連情報には、例えば、次のようなものがある。例えば、制御部８１は、TLE情報を関連情報として取得し、撮像時刻における衛星２１の位置を特定することができる。また例えば、制御部８１は、他の衛星観測サービスを運営する運営会社が蓄積している、同一撮像地点を撮像した過去（例えば、数日前や１か月前）の衛星画像であるアーカイブ画像（ベースライン画像）や、現在の時刻に対して、数十分から数時間程度の比較的近い時間に同一撮像地点を撮像した衛星画像である準リアルタイム画像を、関連情報として取得する。勿論、他の衛星観測サービスを運営する運営会社ではなく、自身（衛星管理装置１１）の記憶部８３に同様の画像を記憶している場合には、それを用いることができる。取得するアーカイブ画像や準リアルタイム画像は、小容量データを生成したときと、季節、撮像時刻、気象条件などが近いことが好ましい。また例えば、制御部８１は、外部機関としての気象情報提供会社から、小容量データを生成したときの同一撮像地点の天気、雲の分布、雲量、太陽の位置情報などの気象情報を取得することができる。また例えば、制御部８１は、船舶や飛行機の運行情報を提供する運行情報提供会社の情報提供サーバ４１から、撮像時刻における船舶や飛行機の位置を示すAIS（Automatic Identification System）情報を、関連情報として取得することができる。
　制御部８１は、上述した関連情報を必要に応じて用いて補完処理を実行し、小容量データから、衛星２１が撮像した画像（衛星画像）を推定したライブビュー画像を生成する。
　例えば、小容量データが、衛星２１の姿勢情報、カメラ設定情報などの衛星状態を示す情報である場合には、制御部８１は、TLE情報、ベースライン画像、準リアルタイム画像などを関連情報として用いて、撮像装置６２が撮像した画角で、撮像装置６２が撮像した画像をCG（computer graphics）等により再現し、ライブビュー画像を生成する。
　例えば、小容量データが、高解像画像を、VGAなどの低解像度に変換した低解像度画像である場合には、制御部８１は、超解像技術を用いて、低解像度画像から高解像画像を生成し、ライブビュー画像とする。この際、ベースライン画像や準リアルタイム画像を関連情報として取得し、補間処理などを行ってもよい。
　例えば、小容量データが、カラーの高解像画像を、モノクロ画像に変換したパンクロマティック画像である場合には、制御部８１は、機械学習を用いて、パンクロマティック画像からカラーの高解像画像を生成し、ライブビュー画像とする。この際、高解像画像に含まれる特徴量を抽出した画像特徴量情報も用いてカラー化処理を行ってもよい。
　例えば、小容量データが、高解像画像に含まれる特徴量を抽出した画像特徴量情報である場合には、制御部８１は、画像特徴量情報としての、雲の形状、動的被写体、光線の色味に関する情報、太陽光の反射位置に関する情報から、特徴的な被写体を再現し、アーカイブ画像または準リアルタイム画像に重畳することにより、ライブビュー画像を生成する。小容量データとして、パンクロマティック画像と画像特徴量情報が取得された場合には、例えば、パンクロマティック画像を基に、光線の色味を付加する処理や、雲の形状や動的被写体を重畳する処理を行ってもよい。気象情報や動的被写体の位置に関しては、外部情報を用いることもできる。
　例えば、小容量データが、低フレームレート画像である場合には、制御部８１は、取得した低フレームレート画像のフレーム間の画像を補間生成して高フレームレート化することによりライブビュー画像を生成する。ライブビュー画像のフレームレートは、高解像画像と同じフレームレートでなくてもよい。
　ステップＳ１３の補完処理は、省略される場合もある。例えば、小容量データが、高解像画像を低解像度に変換した低解像度画像である場合や、高解像画像をモノクロ化したパンクロマティック画像である場合には、補完処理を行わずに、低解像度画像やパンクロマティック画像をそのままライブビュー画像として、表示部８５に表示してもよい。
　ステップＳ１４におけるライブビュー画像の表示では、制御部８１は、表示部８５に表示されるライブビュー画像が小容量データから推定された画像であることをユーザがわかるような表示を行ってもよい。例えば、ライブビュー画像に、推定画像であることを示す情報（文字）を重畳させたり、ライブビュー画像の外周に推定画像であることを示す外枠画像を付加して表示させることができる。
　ステップＳ１５において、制御部８１は、衛星２１に対するユーザの操作が操作部８４で行われたかを判定する。ステップＳ１５で、ユーザの操作が行われていないと判定された場合、処理はステップＳ１２に戻り、上述したステップＳ１２ないしＳ１５の処理が繰り返される。
　一方、ステップＳ１５で、ユーザの操作が行われたと判定された場合、処理はステップＳ１６に進み、制御部８１は、ユーザの操作に対応する制御指示を、通信部８２を介して、衛星２１へ送信する。
　ステップＳ１５におけるユーザの操作としては、例えば、次のような操作が挙げられる。例えば、ユーザは、解像度（分解能）、ズーム倍率、シャッタスピード、感度、絞りなどのカメラ設定情報の変更を指示する操作を行うことができる。また例えば、撮像装置６２の撮像方向（撮像地点）を変更する操作を行うことができる。撮像装置６２が衛星２１に位置固定で取り付けられている場合、撮像方向の変更指示に対して、衛星２１自身の姿勢が変更される。撮像装置６２が衛星２１に対する相対位置を変更可能な可動部を有している場合には、撮像方向の変更指示に対して、衛星２１自身の姿勢を変更してもよいし、撮像装置６２の相対位置を変更してもよい。ズーム倍率は、光学ズームまたはデジタルズームのどちらでもよい。
　また例えば、ステップＳ１５におけるユーザの操作として、ユーザは、表示部８５に表示されたライブビュー画像に対応する高解像画像である大容量データを要求する大容量データの送信指示を行うことができる。
　衛星管理装置１１のステップＳ１６の処理に対応して、衛星２１の制御部６３は、ステップＳ４５において、衛星管理装置１１から送信されてくる、制御指示を、衛星通信部６１を介して受信する。
　続いて、ステップＳ４６において、制御部６３は、衛星管理装置１１からの制御指示が大容量データの送信指示であるかを判定する。
　ステップＳ４６で、衛星管理装置１１からの制御指示が大容量データの送信指示ではないと判定された場合、処理はステップＳ４７に進み、制御部６３は、制御指示に基づく制御を行う。例えば、制御指示が、解像度、ズーム倍率等のカメラ設定情報の変更である場合には、制御部６３は、撮像装置６２のカメラ設定情報の一部を、指定された設定値に変更する制御を行う。ステップＳ４７の処理以降、上述したステップＳ４２ないしＳ４４で繰り返し実行されている、高解像画像の撮像における撮像装置６２のカメラ設定値が変更される。
　一般的な制御の流れとしては、衛星管理装置１１からの制御指示に応じて撮像装置６２のカメラ設定値が変更されてから、変更後のカメラ設定値で高解像画像の撮像が開始されるので、ユーザのカメラ設定情報の変更指示がライブビュー画像に反映されるまでには多少の遅延が発生する。
　しかしながら、以下のような特定の撮像条件とカメラ設定情報の変更指示との組み合わせの場合、ユーザがライブビュー画像を確認して感じる遅延を低減させることができる。
　例えば、上述したステップＳ４２の高解像画像の撮像において、撮像装置６２が所定のカメラ設定値を複数の値に変更して、異なる複数のカメラ設定値で撮像を行うブラケット撮影を行っている場合であって、ユーザによって変更指示されたカメラ設定情報でブラケット撮影を行っていた場合、ユーザによって変更指示されたカメラ設定値で撮像された高解像度画像に基づく小容量データを即座に衛星管理装置１１へ送信することができる。
　また例えば、小容量データとして送信したデータが、高解像画像の一部の領域のみをトリミングした部分画像のデータであり、ユーザによるカメラ設定情報の変更指示が、ズーム倍率の変更や画角の変更であった場合、トリミング前の高解像画像を用いて変更後のズーム倍率や画角となる部分画像を生成し、小容量データとして即座に衛星管理装置１１へ送信することができる。
　図４を参照して、ユーザによるカメラ設定情報の変更指示が画角の変更である場合の例について説明する。
　時刻ｔ１において、ユーザは、高解像画像Ｂ１の中央部分の領域のみをトリミングした部分画像Ｃ１を表示部８５で観察している状態で、部分画像Ｃ１を見て右側方向に画角を移動するカメラ設定情報の変更指示を行ったとする。
　時刻ｔ２において、衛星２１の制御部６３は、カメラ設定情報の変更指示を受け取り、撮像装置６２の姿勢を、指示された方向に変更する姿勢制御を開始する。ただし、撮像装置６２の姿勢は、即座に所望の姿勢に変更されないため、時刻ｔ２において撮像装置６２が撮像した高解像画像Ｂ２の画角は、時刻ｔ１における高解像画像Ｂ１の画角とほぼ同じである。制御部６３は、時刻ｔ２において撮像装置６２が撮像した高解像画像Ｂ２から、ユーザが指示した画角に対応する部分画像Ｃ１をトリミングし、小容量データとして即座に衛星管理装置１１へ送信する。
　時刻ｔ３において、撮像装置６２の姿勢が、ユーザが指定した撮像方向と一致する状態になると、高解像画像Ｂ３の中央部分の領域のみをトリミングした部分画像Ｃ３が、小容量データとして衛星管理装置１１へ送信される。
　以上のように、撮像装置６２の姿勢が、ユーザによって変更指示された状態となる前に、ユーザが指定した画角の部分画像を表示部８５に表示させることができるので、ユーザがライブビュー画像を確認して感じる遅延を低減させることができる。
　図３のフローチャートに戻り、ステップＳ４６で、衛星管理装置１１からの制御指示が大容量データの送信指示であると判定された場合、処理はステップＳ４８に進み、制御部６３は、指示された大容量データを、衛星通信部６１を介して衛星管理装置１１に送信する。すなわち、ステップＳ１４の処理で表示部８５に表示されたライブビュー画像に対応する高解像画像のデータが、衛星２１から衛星管理装置１１へ送信される。
　衛星管理装置１１では、ステップＳ１６において、ユーザの操作に対応する制御指示が衛星２１へ送信された後、処理はステップＳ１７に進み、制御部８１は、衛星２１へ送信した制御指示が大容量データの送信指示であるかを判定する。
　ステップＳ１７で、衛星２１へ送信した制御指示が大容量データの送信指示ではないと判定された場合、処理はステップＳ１２に戻り、上述したステップＳ１２以降の処理が再度実行される。
　一方、ステップＳ１７で、衛星２１へ送信した制御指示が大容量データの送信指示であると判定された場合、処理はステップＳ１８に進み、制御部８１は、送信した制御指示に応じて衛星２１から送信されてくる、大容量データを受信して、記憶部８３に記憶させる。ステップＳ１８の後、処理はステップＳ１２に戻り、上述したステップＳ１２以降の処理が再度実行される。
　以上の第１のライブビュー画像表示処理が、ユーザが、ライブビュー画像の表示終了操作を行うまで継続して実行され、ライブビュー画像の表示終了操作が行われると、第１のライブビュー画像表示処理は終了する。
　第１のライブビュー画像表示処理では、衛星管理装置１１が、撮像装置６２の通常性能の解像度である高解像画像よりも容量を少なくした小容量データを衛星２１から受信する。小容量データは、小容量であるため、フレーム単位で遅滞なく送信することができるので、小容量データに基づくライブビュー画像のリアルタイムな表示が可能となる。そして、表示部８５に表示されたライブビュー画像を確認したユーザの指示に基づいて、ライブビュー画像に対応する高解像画像である大容量データを受信し、記憶する。
　上述したステップＳ１８とＳ４８の処理である大容量データの送受信は、上述の第１のライブビュー画像表示処理の処理中とは別のタイミング、換言すれば、ライブビュー画像をリアルタイムに観察している時間帯とは別のタイミングで実行してもよい。
　また、衛星２１と通信装置１３との通信系統が２系統以上存在する場合、大容量データの送受信は、小容量データの送受信とは別のバックグラウンドで行うことができる。この際、大容量データは通信時間がかかるため、大容量データを送信する回数は、小容量データに対して少なくなる。例えば、小容量データが３０fpsのデータである場合に、大容量データが１fpsのデータであったり、１０分に１回送信されるデータなどとされる。バックグラウンドで送受信された大容量データは、準リアルタイム画像として、上述したステップＳ１３の補完処理で使用することができる。
　大容量データは、ライブビュー画像を推定する機械学習を補完処理として行う場合の、教師データとして利用することができる。ライブビュー画像の生成に機械学習を用いることにより、推定により生成されるライブビュー画像の精度を向上させることができる。
＜３．第２のライブビュー画像表示処理＞
　次に、衛星画像処理システム１が実行する第２のライブビュー画像表示処理について説明する。
　上述した第１のライブビュー画像表示処理では、衛星２１は、衛星管理装置１１からの撮像開始指示に基づいて高解像画像の撮像を行い、その高解像画像に基づいて小容量データを生成して、衛星管理装置１１に送信した。この場合、高解像画像は、記憶部６４に記憶されており、必要に応じて、別のタイミングで大容量データとして衛星管理装置１１に送信される。
　これに対して、第２のライブビュー画像表示処理では、衛星２１は、高解像画像の撮像は行わず、小容量データを生成するための撮像を行う。そして、衛星２１は、ライブビュー画像を観測しているユーザが高解像画像の撮像指示を行った場合のみ、ライブビュー画像に対応する高解像画像の撮像を行い、大容量データとして送信する。
　図５のフローチャートを参照して、第２のライブビュー画像表示処理を説明する。この処理は、例えば、衛星管理装置１１を操作するユーザが、ライブビュー画像の表示開始操作を行ったとき、開始される。
　初めに、ステップＳ６１において、衛星管理装置１１の制御部８１は、撮像開始指示を、通信部８２を介して衛星２１へ送信する。
　ステップＳ８１において、衛星２１の制御部６３は、衛星管理装置１１から送信されてくる、撮像開始指示を、衛星通信部６１を介して受信する。そして、ステップＳ８２において、制御部６３は、小容量データ生成処理を実行する。
　小容量データ生成処理では、上述した第１のライブビュー画像表示処理と同様の小容量データが生成される。例えば、衛星２１が撮像を行った際の衛星状態を示す情報が、小容量データとして生成される。あるいはまた、撮像装置６２の通常性能で撮像する高解像画像よりも容量が小さくなるような低容量画像、例えば、カラーの高解像画像よりも解像度の低い低解像度画像、カラーの高解像画像をモノクロ画像に変換したパンクロマティック画像、高解像画像に含まれる特徴的な被写体の特徴量を抽出した画像特徴量情報、高解像画像の一部の領域に相当する部分画像、高解像画像よりもフレームレートを低くした低フレームレート画像などが、小容量データとして生成される。
　ステップＳ８３において、制御部６３は、小容量データ生成処理により生成した小容量データを、衛星通信部６１を介して、衛星管理装置１１に送信する。衛星２１は、ステップＳ８２およびＳ８３の処理を、撮像終了指示が衛星管理装置１１から送信されてくるまで繰り返し実行する。ステップＳ８２およびＳ８３の繰り返しにより、小容量データが所定のフレームレートで衛星管理装置１１へ送信される。小容量データは、小容量であるため、フレーム単位で遅滞なく送信することができる。
　ステップＳ６２において、衛星管理装置１１の制御部８１は、衛星２１から送信されてきた小容量データを、通信部８２を介して受信し、ステップＳ６３において、小容量データを補完する補完処理を実行することにより、ライブビュー画像を生成する。そして、ステップＳ６４において、制御部８１は、生成したライブビュー画像を、表示部８５に表示させる。
　ステップＳ６３における補完処理、および、ステップＳ６４におけるライブビュー画像の表示の詳細は、上述した第１のライブビュー画像表示処理と同様であるので、説明は省略する。ステップＳ６３の補完処理は省略される場合もある点についても同様である。
　ステップＳ６５において、制御部８１は、衛星２１に対するユーザの操作が操作部８４で行われたかを判定する。ステップＳ６５で、ユーザの操作が行われていないと判定された場合、処理はステップＳ６２に戻り、上述したステップＳ６２ないしＳ６５の処理が繰り返される。
　一方、ステップＳ６５で、ユーザの操作が行われたと判定された場合、処理はステップＳ６６に進み、制御部８１は、ユーザの操作に対応する制御指示を、通信部８２を介して、衛星２１へ送信する。ライブビュー画像を観察しながらユーザが行うことができる操作は、上述した第１のライブビュー画像表示処理と同様である。
　衛星管理装置１１のステップＳ６６の処理に対応して、衛星２１の制御部６３は、ステップＳ８４において、衛星管理装置１１から送信されてくる、制御指示を、衛星通信部６１を介して受信する。
　続いて、ステップＳ８５において、制御部６３は、衛星管理装置１１からの制御指示が大容量データの送信指示であるかを判定する。
　ステップＳ８５で、衛星管理装置１１からの制御指示が大容量データの送信指示ではないと判定された場合、処理はステップＳ８６に進み、制御部６３は、制御指示に基づく制御を行う。例えば、制御指示が、解像度、ズーム倍率等のカメラ設定情報の変更である場合には、制御部６３は、撮像装置６２のカメラ設定情報の一部を、指定された設定値に変更する制御を行う。ステップＳ８６の処理以降、上述したステップＳ８２およびＳ８３で繰り返し実行されている、小容量データ生成のための撮像装置６２のカメラ設定値が変更される。
　一方、ステップＳ８５で、衛星管理装置１１からの制御指示が大容量データの送信指示であると判定された場合、処理はステップＳ８７に進み、制御部６３は、撮像装置６２の通常性能の解像度である高解像画像を生成する撮像を行う。生成された高解像画像は、記憶部６４に記憶される。続いて、ステップＳ８８において、制御部６３は、生成された高解像画像の画像データを、大容量データとして、衛星通信部６１を介して衛星管理装置１１に送信する。
　衛星管理装置１１では、ステップＳ６６において、ユーザの操作に対応する制御指示が衛星２１へ送信された後、処理はステップＳ６７に進み、制御部８１は、衛星２１へ送信した制御指示が大容量データの送信指示であるかを判定する。
　ステップＳ６７で、衛星２１へ送信した制御指示が大容量データの送信指示ではないと判定された場合、処理はステップＳ６２に戻り、上述したステップＳ６２以降の処理が再度実行される。
　一方、ステップＳ６７で、衛星２１へ送信した制御指示が大容量データの送信指示であると判定された場合、処理はステップＳ６８に進み、制御部８１は、送信した制御指示に応じて衛星２１から送信されてくる、大容量データを受信して、記憶部８３に記憶させる。ステップＳ６８のあと、処理はステップＳ６２に戻り、上述したステップＳ６２以降の処理が再度実行される。
　以上の第２のライブビュー画像表示処理が、ユーザが、ライブビュー画像の表示終了操作を行うまで継続して実行され、ライブビュー画像の表示終了操作が行われると、第２のライブビュー画像表示処理は終了する。
　上述したステップＳ６８とＳ８８の処理である大容量データの送受信は、上述の第２のライブビュー画像表示処理の処理中とは別のタイミング、換言すれば、ライブビュー画像をリアルタイムに観察している時間帯とは別のタイミングで実行してもよい点についても、上述した第１のライブビュー画像表示処理と同様である。
　衛星画像処理システム１が実行する第１および第２のライブビュー画像表示処理によれば、ライブビュー画像観察時には小容量データが送信され、高解像画像については、必要に応じて、別のタイミングで大容量データとして衛星管理装置１１に送信される。これにより、ユーザは、リアルタイムで、地上の画像を確認することができる。
＜４．アプリケーション適用例＞
　本技術は、人工衛星による撮像を遠隔から指示する衛星画像処理システムに限らず、遠隔地で運用される移動システムの遠隔操作や遠隔監視にも応用可能である。
　移動システムは、例えば、ロボット、特に遠隔存在ロボット（テレイグジスタンスロボット）、自律走行車両、自律型航空機（ドローン）、有人走行車両、または、有人航空機などを、移動装置として含むシステムである。これらの移動システムでは、上記移動装置の操作・監視を遠隔地から行うユーザが、小容量データによるライブビュー画像により、最低限の状況確認を行うことができる。
　ライブビュー画像は、上述した衛星画像処理システム１の場合と同様に、小容量データを補完する補完処理を実行して生成することができる。
　例えば、移動装置の姿勢情報、位置情報等に基づいて、想定画像を再現（推定）することができる。このとき、移動装置の移動経路や存在環境が既知であったり、移動経路や存在環境に関する情報として、過去の同一地点を撮像したアーカイブ画像や、同一地点を比較的近い時間に撮像した準リアルタイム画像が蓄積されている場合には、それらを用いた補完も可能である。
　また、VGA画像に基づく超解像技術を用いて、高解像のライブビュー画像を生成したり、パンクロマティック画像からカラーの高解像画像を生成したり、低フレームレート画像を補間生成して高フレームレート化したライブビュー画像を生成することができる。
　また、特徴量情報に基づくライブビュー画像の生成も可能である。例えば、移動装置の移動経路や存在環境が既知であったり、移動経路や存在環境に関する情報が蓄積されている場合には、アーカイブ画像に対して、移動装置の移動経路や存在環境においてユニークなリアルタイムの被写体の特徴量のみを抽出して、推定画像を生成することができる。
＜５．コンピュータ構成例＞
　上述した衛星管理装置１１が実行する一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図６は、衛星管理装置１１が実行する一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
　バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、及びドライブ３１０が接続されている。
　入力部３０６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部３０７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部３０８は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体３１１を駆動する。
　以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
　本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は、以下の構成を取ることができる。
（１）
　人工衛星による現在の撮像に関する情報である小容量データを受信する受信部と、
　前記小容量データに基づくライブビュー画像を表示部に表示させる制御部と
　を備え、
　前記受信部は、前記ライブビュー画像に対応する衛星画像を、大容量データとして、前記小容量データと別のタイミングで受信する
　表示制御装置。
（２）
　前記受信部は、前記表示部に表示された前記ライブビュー画像を確認したユーザの指示に基づいて前記人工衛星から送信されてくる、前記大容量データを受信する
　前記（１）に記載の表示制御装置。
（３）
　前記人工衛星は、撮像した衛星画像を小容量化処理して前記小容量データを生成し、
　前記大容量データは、小容量化処理する前の前記衛星画像である
　前記（１）または（２）に記載の表示制御装置。
（４）
　前記受信部は、前記表示部に表示された前記ライブビュー画像を確認したユーザの指示に基づいて前記人工衛星が撮像した衛星画像を、前記大容量データとして受信する
　前記（１）または（２）に記載の表示制御装置。
（５）
　前記小容量データは、前記人工衛星の衛星状態を示す情報である
　前記（１）に記載の表示制御装置。
（６）
　前記人工衛星の衛星状態を示す情報は、前記人工衛星の姿勢を示す姿勢情報と、前記人工衛星が撮像を行った際のカメラ設定情報である
　前記（５）に記載の表示制御装置。
（７）
　前記小容量データは、前記人工衛星の撮像により得られた衛星画像を低容量の画像に変換した低容量画像である
　前記（１）に記載の表示制御装置。
（８）
　前記制御部は、前記低容量画像をそのまま前記ライブビュー画像として前記表示部に表示させる
　前記（７）に記載の表示制御装置。
（９）
　前記小容量データは、前記人工衛星の撮像により得られた衛星画像を低解像度に変換した低解像度画像である
　前記（１）、（７）または（８）に記載の表示制御装置。
（１０）
　前記小容量データは、前記人工衛星の撮像により得られた衛星画像をモノクロ画像に変換したパンクロマティック画像である
　前記（１）、（７）または（８）に記載の表示制御装置。
（１１）
　前記小容量データは、前記人工衛星の撮像により得られた衛星画像に含まれる特徴的な被写体の特徴量を抽出した画像特徴量情報である
　前記（１）に記載の表示制御装置。
（１２）
　前記小容量データは、前記人工衛星の撮像により得られた衛星画像の一部の領域のみをトリミングした部分画像である
　前記（１）、（７）または（８）に記載の表示制御装置。
（１３）
　前記小容量データは、前記人工衛星の撮像により得られた衛星画像のフレームレートを、それよりも低いフレームレートに変換した低フレームレート画像である
　前記（１）、（７）または（８）に記載の表示制御装置。
（１４）
　前記制御部は、前記小容量データを補完する補完処理を実行し、前記ライブビュー画像を生成し、前記表示部に表示させる
　前記（１）乃至（１３）のいずれかに記載の表示制御装置。
（１５）
　前記制御部は、前記補完処理を行う際、同一地点を撮像した過去の画像を用いて、前記ライブビュー画像を生成する
　前記（１４）に記載の表示制御装置。
（１６）
　前記小容量データは、前記人工衛星の撮像により得られた衛星画像を低解像度に変換した低解像度画像、または、前記人工衛星の撮像により得られた衛星画像のフレームレートを、それよりも低いフレームレートに変換した低フレームレート画像であり、
　前記制御部は、前記補完処理として、解像度またはフレームレートを向上させ、前記ライブビュー画像を生成する
　前記（１４）に記載の表示制御装置。
（１７）
　前記小容量データは、前記人工衛星の撮像により得られた衛星画像に含まれる特徴的な被写体の特徴量を抽出した画像特徴量情報であり、
　前記制御部は、前記補完処理として、前記画像特徴量情報を用いて前記ライブビュー画像を推定して生成する
　前記（１４）に記載の表示制御装置。
（１８）
　前記小容量データは、前記人工衛星の撮像により得られた衛星画像をモノクロ画像に変換したパンクロマティック画像であり、
　前記制御部は、前記補完処理として、前記パンクロマティック画像からカラーの前記ライブビュー画像を生成する
　前記（１４）に記載の表示制御装置。
（１９）
　表示制御装置が、
　人工衛星による現在の撮像に関する情報である小容量データを受信し、
　前記小容量データに基づくライブビュー画像を表示部に表示させ、
　前記ライブビュー画像に対応する衛星画像を、大容量データとして、前記小容量データと別のタイミングで受信する
　表示制御方法。
（２０）
　コンピュータに、
　人工衛星による現在の撮像に関する情報である小容量データを受信し、
　前記小容量データに基づくライブビュー画像を表示部に表示させ、
　前記ライブビュー画像に対応する衛星画像を、大容量データとして、前記小容量データと別のタイミングで受信する
　処理を実行させるためのプログラム。
　１　衛星画像処理システム，　１１　衛星管理装置，　１３　通信装置，　１５　地上局，　２１　衛星，　４１　情報提供サーバ，　４２　画像解析サーバ，　６１　衛星通信部，　６２　撮像装置，　６３　制御部，　６４　記憶部，　８１　制御部，　８２　通信部，　８３　記憶部，　８４　操作部，　８５　表示部，　３０１　CPU，　３０２　ROM，　３０３　RAM，　３０６　入力部，　３０７　出力部，　３０８　記憶部，　３０９　通信部，　３１０　ドライブ

Claims (20)

  1. 　人工衛星による現在の撮像に関する情報である小容量データを受信する受信部と、
    　前記小容量データに基づくライブビュー画像を表示部に表示させる制御部と
    　を備え、
    　前記受信部は、前記ライブビュー画像に対応する衛星画像を、大容量データとして、前記小容量データと別のタイミングで受信する
    　表示制御装置。
  2. 　前記受信部は、前記表示部に表示された前記ライブビュー画像を確認したユーザの指示に基づいて前記人工衛星から送信されてくる、前記大容量データを受信する
    　請求項１に記載の表示制御装置。
  3. 　前記人工衛星は、撮像した衛星画像を小容量化処理して前記小容量データを生成し、
    　前記大容量データは、小容量化処理する前の前記衛星画像である
    　請求項１に記載の表示制御装置。
  4. 　前記受信部は、前記表示部に表示された前記ライブビュー画像を確認したユーザの指示に基づいて前記人工衛星が撮像した衛星画像を、前記大容量データとして受信する
    　請求項１に記載の表示制御装置。
  5. 　前記小容量データは、前記人工衛星の衛星状態を示す情報である
    　請求項１に記載の表示制御装置。
  6. 　前記人工衛星の衛星状態を示す情報は、前記人工衛星の姿勢を示す姿勢情報と、前記人工衛星が撮像を行った際のカメラ設定情報である
    　請求項５に記載の表示制御装置。
  7. 　前記小容量データは、前記人工衛星の撮像により得られた衛星画像を低容量の画像に変換した低容量画像である
    　請求項１に記載の表示制御装置。
  8. 　前記制御部は、前記低容量画像をそのまま前記ライブビュー画像として前記表示部に表示させる
    　請求項７に記載の表示制御装置。
  9. 　前記小容量データは、前記人工衛星の撮像により得られた衛星画像を低解像度に変換した低解像度画像である
    　請求項１に記載の表示制御装置。
  10. 　前記小容量データは、前記人工衛星の撮像により得られた衛星画像をモノクロ画像に変換したパンクロマティック画像である
    　請求項１に記載の表示制御装置。
  11. 　前記小容量データは、前記人工衛星の撮像により得られた衛星画像に含まれる特徴的な被写体の特徴量を抽出した画像特徴量情報である
    　請求項１に記載の表示制御装置。
  12. 　前記小容量データは、前記人工衛星の撮像により得られた衛星画像の一部の領域のみをトリミングした部分画像である
    　請求項１に記載の表示制御装置。
  13. 　前記小容量データは、前記人工衛星の撮像により得られた衛星画像のフレームレートを、それよりも低いフレームレートに変換した低フレームレート画像である
    　請求項１に記載の表示制御装置。
  14. 　前記制御部は、前記小容量データを補完する補完処理を実行し、前記ライブビュー画像を生成し、前記表示部に表示させる
    　請求項１に記載の表示制御装置。
  15. 　前記制御部は、前記補完処理を行う際、同一地点を撮像した過去の画像を用いて、前記ライブビュー画像を生成する
    　請求項１４に記載の表示制御装置。
  16. 　前記小容量データは、前記人工衛星の撮像により得られた衛星画像を低解像度に変換した低解像度画像、または、前記人工衛星の撮像により得られた衛星画像のフレームレートを、それよりも低いフレームレートに変換した低フレームレート画像であり、
    　前記制御部は、前記補完処理として、解像度またはフレームレートを向上させ、前記ライブビュー画像を生成する
    　請求項１４に記載の表示制御装置。
  17. 　前記小容量データは、前記人工衛星の撮像により得られた衛星画像に含まれる特徴的な被写体の特徴量を抽出した画像特徴量情報であり、
    　前記制御部は、前記補完処理として、前記画像特徴量情報を用いて前記ライブビュー画像を推定して生成する
    　請求項１４に記載の表示制御装置。
  18. 　前記小容量データは、前記人工衛星の撮像により得られた衛星画像をモノクロ画像に変換したパンクロマティック画像であり、
    　前記制御部は、前記補完処理として、前記パンクロマティック画像からカラーの前記ライブビュー画像を生成する
    　請求項１４に記載の表示制御装置。
  19. 　表示制御装置が、
    　人工衛星による現在の撮像に関する情報である小容量データを受信し、
    　前記小容量データに基づくライブビュー画像を表示部に表示させ、
    　前記ライブビュー画像に対応する衛星画像を、大容量データとして、前記小容量データと別のタイミングで受信する
    　表示制御方法。
  20. 　コンピュータに、
    　人工衛星による現在の撮像に関する情報である小容量データを受信し、
    　前記小容量データに基づくライブビュー画像を表示部に表示させ、
    　前記ライブビュー画像に対応する衛星画像を、大容量データとして、前記小容量データと別のタイミングで受信する
    　処理を実行させるためのプログラム。
PCT/JP2021/000142 2020-01-20 2021-01-06 表示制御装置、表示制御方法、および、プログラム WO2021149485A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021573049A JPWO2021149485A1 (ja) 2020-01-20 2021-01-06
EP21744996.6A EP4096219A4 (en) 2020-01-20 2021-01-06 DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD AND PROGRAM
CN202180009107.0A CN114946176A (zh) 2020-01-20 2021-01-06 显示控制设备、显示控制方法和程序
US17/792,564 US12041363B2 (en) 2020-01-20 2021-01-06 Display control device, display control method, and program for displaying images based on satellite imaging

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-006727 2020-01-20
JP2020006727 2020-01-20

Publications (1)

Publication Number Publication Date
WO2021149485A1 true WO2021149485A1 (ja) 2021-07-29

Family

ID=76991741

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000142 WO2021149485A1 (ja) 2020-01-20 2021-01-06 表示制御装置、表示制御方法、および、プログラム

Country Status (5)

Country Link
US (1) US12041363B2 (ja)
EP (1) EP4096219A4 (ja)
JP (1) JPWO2021149485A1 (ja)
CN (1) CN114946176A (ja)
WO (1) WO2021149485A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019152525A1 (en) * 2018-01-30 2019-08-08 Aero Vironment, Inc. Methods and systems for cloud-based management of images captured by aerial vehicles
US11954833B2 (en) * 2021-04-02 2024-04-09 Samsung Electronics Co., Ltd Electronic device for supporting machine learning-based image processing

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09153131A (ja) * 1995-11-30 1997-06-10 Hitachi Ltd 画像情報の処理方法、処理装置および画像情報統合システム
JP2002218439A (ja) * 2001-01-19 2002-08-02 Fujitsu General Ltd 画像監視システム
JP2003521769A (ja) * 1999-12-23 2003-07-15 ウエスポット アクチボラゲット 画像データ処理
JP2003264726A (ja) * 2002-03-08 2003-09-19 Hitachi Kokusai Electric Inc ネットワーク撮像装置
JP2007208481A (ja) * 2006-01-31 2007-08-16 Sogo Keibi Hosho Co Ltd 画像処理装置、監視センタ、監視システム、画像処理方法、および画像処理プログラム
JP2012138745A (ja) * 2010-12-27 2012-07-19 Canon Inc 画像表示システム
JP2014078896A (ja) * 2012-10-12 2014-05-01 Jvc Kenwood Corp 撮像装置及び画像処理方法
JP2019512989A (ja) * 2016-02-22 2019-05-16 ライブ アース イメージング エンタープライジズ エルエルシー 静止軌道衛星用の画像センサおよび方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4216828C2 (de) * 1992-05-21 1994-08-18 Dornier Gmbh Verfahren zur Erdbeobachtung
JP2000111359A (ja) 1998-10-05 2000-04-18 Hitachi Ltd 地球観測システム
DE19950433A1 (de) 1999-10-19 2001-04-26 Philips Corp Intellectual Pty Netzwerk mit mehreren Netzknoten zur Medienzugangsprüfung
JP2004007066A (ja) * 2002-05-30 2004-01-08 Kddi Corp 画像伝送装置
JP2006115283A (ja) 2004-10-15 2006-04-27 Mitsubishi Electric Corp データ圧縮装置およびデータ伸張装置
US9854209B2 (en) * 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US10853410B2 (en) * 2014-03-04 2020-12-01 Orbit Logic, Inc. Method for providing imaging satellite information on a mobile device
JP6072100B2 (ja) * 2015-01-30 2017-02-01 キヤノン株式会社 放射線撮影システム、制御方法、制御方法、及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09153131A (ja) * 1995-11-30 1997-06-10 Hitachi Ltd 画像情報の処理方法、処理装置および画像情報統合システム
JP2003521769A (ja) * 1999-12-23 2003-07-15 ウエスポット アクチボラゲット 画像データ処理
JP2002218439A (ja) * 2001-01-19 2002-08-02 Fujitsu General Ltd 画像監視システム
JP2003264726A (ja) * 2002-03-08 2003-09-19 Hitachi Kokusai Electric Inc ネットワーク撮像装置
JP2007208481A (ja) * 2006-01-31 2007-08-16 Sogo Keibi Hosho Co Ltd 画像処理装置、監視センタ、監視システム、画像処理方法、および画像処理プログラム
JP2012138745A (ja) * 2010-12-27 2012-07-19 Canon Inc 画像表示システム
JP2014078896A (ja) * 2012-10-12 2014-05-01 Jvc Kenwood Corp 撮像装置及び画像処理方法
JP2019512989A (ja) * 2016-02-22 2019-05-16 ライブ アース イメージング エンタープライジズ エルエルシー 静止軌道衛星用の画像センサおよび方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4096219A4 *

Also Published As

Publication number Publication date
EP4096219A1 (en) 2022-11-30
JPWO2021149485A1 (ja) 2021-07-29
EP4096219A4 (en) 2023-06-14
CN114946176A (zh) 2022-08-26
US12041363B2 (en) 2024-07-16
US20230079285A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
US11483518B2 (en) Real-time moving platform management system
EP3077985B1 (en) Systems and methods for processing distributing earth observation images
WO2021149485A1 (ja) 表示制御装置、表示制御方法、および、プログラム
WO2020250707A1 (ja) 衛星システムの撮像方法、および、送信装置
WO2021149484A1 (ja) 画像生成装置、画像生成方法、および、プログラム
CN111091088B (zh) 一种视频卫星信息支援海上目标实时检测定位系统及方法
WO2020250709A1 (ja) 人工衛星およびその制御方法
CN104885441A (zh) 图像处理装置和方法、以及程序
US20240056556A1 (en) Artificial satellite and ground system
CN108108396B (zh) 一种飞行器航拍图片拼接管理系统
US20210185127A1 (en) Logical Observation Sensors For Airborne And Spaceborne Nodes
US20120307003A1 (en) Image searching and capturing system and control method thereof
WO2022138181A1 (ja) 地上システムおよびその画像処理方法
WO2020250706A1 (ja) 画像処理方法、および、メタデータのデータ構造
WO2020250708A1 (ja) 画像管理方法、および、メタデータのデータ構造
JP7212294B2 (ja) 無線伝送システム、無線伝送装置、無線伝送方法、およびプログラム
CN110602456A (zh) 航拍焦点的显示方法及系统
US20240029391A1 (en) Sensor device and data processing method thereof
CN113709331B (zh) 一种数字天文成像方法及终端设备上的图像信号处理器
JP2018129577A (ja) 撮影システム、その制御方法、及びプログラム
CN110720055A (zh) 一种定位方法、设备、飞行器及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21744996

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021573049

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021744996

Country of ref document: EP

Effective date: 20220822