WO2020179869A1 - 情報処理装置、及び情報処理プログラム - Google Patents

情報処理装置、及び情報処理プログラム Download PDF

Info

Publication number
WO2020179869A1
WO2020179869A1 PCT/JP2020/009435 JP2020009435W WO2020179869A1 WO 2020179869 A1 WO2020179869 A1 WO 2020179869A1 JP 2020009435 W JP2020009435 W JP 2020009435W WO 2020179869 A1 WO2020179869 A1 WO 2020179869A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
display
information processing
processing device
image
Prior art date
Application number
PCT/JP2020/009435
Other languages
English (en)
French (fr)
Inventor
里菜 片寄
Original Assignee
株式会社ｍｏｅｇｉ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ｍｏｅｇｉ filed Critical 株式会社ｍｏｅｇｉ
Priority to JP2021503647A priority Critical patent/JPWO2020179869A1/ja
Publication of WO2020179869A1 publication Critical patent/WO2020179869A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an information processing device and an information processing program.
  • a display device that displays other information together with an image obtained by photographing.
  • a device that displays the time when the image was taken, the coordinates of the position corresponding to the place where the image was taken, and the like together with the image are known.
  • a technique relating to such a display device is disclosed in, for example, Patent Document 1.
  • the technique disclosed in Patent Document 1 as the information related to the image, peripheral information of the shooting location of the image, which is acquired based on the position coordinates associated with the image, is displayed.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide an information processing device and an information processing program capable of displaying information that is more convenient for the user. ..
  • the information processing device of one aspect of the present invention is A measuring means for measuring measured values related to the information processing device, and Based on the measurement value measured by the measuring means, a generation means for generating display information, A photographing means for capturing a peripheral image of the information processing device, and In parallel with the operation of each unit, the display information generated by the generating unit and the peripheral image photographed by the photographing unit are displayed on the same display device without synchronizing the measurement time and the photographing time. Display control means to control for Equipped with.
  • FIG. 5 is a flowchart illustrating a flow of a plurality of information display processes executed by an information processing apparatus having the functional configuration of FIG. 1.
  • FIG. 9 is a schematic diagram showing a display example of a peripheral image and display information as an example of display in the multiple information display processing.
  • FIG. 10 is a schematic diagram showing another display example of a peripheral image and display information as an example of display in the multiple information display processing.
  • FIG. 9 is a schematic diagram showing a display example of a setting screen as an example of a display in the multiple information display processing.
  • FIG. 10 is a schematic diagram showing another display example of a peripheral image and display information as an example of display in the multiple information display processing.
  • FIG. 10 is a schematic diagram showing another display example of a peripheral image and display information as an example of display in the multiple information display processing.
  • An object of the present embodiment is to display information that is more convenient for the user. Therefore, the information processing device 1 according to the present embodiment measures a measurement value related to the information processing device 1. The information processing device 1 also generates display information based on the measured values. Further, the information processing device 1 captures a peripheral image of the information processing device 1. Then, the information processing device 1 displays the generated display information and the captured peripheral image on the same display device without synchronizing the measurement time and the shooting time in parallel with the above-described operations. To control.
  • an information processing device 1 it is possible to display the generated display information and the captured peripheral image on the same display device. Further, in this display, in order to display without synchronizing the measurement time and the shooting time, for example, a process of generating a part of the display information (for example, since communication is required to generate, it takes time to generate). It is possible to display other display information and surrounding images in real time (that is, with responsiveness) without waiting for the completion of the processing). In addition, according to the information processing device 1, since such a display is possible, it is not possible to refer to information that is responsive to the current situation, and there is an aspect that convenience is lacking. It can solve conventional problems.
  • the information processing device 1 it is possible for the information processing device 1 itself to measure a measurement value and capture a peripheral image. Therefore, the above-mentioned processing can be realized by the information processing device 1 alone. As described above, according to the information processing apparatus 1 that exerts various effects, it is possible to display information that is more convenient for the user. Further, although details will be described later, the information processing apparatus 1 can appropriately store the display information and the peripheral image used for such display and output the information in a format suitable for the user.
  • FIG. 1 is a block diagram showing a hardware configuration of an information processing device 1 according to the embodiment of the present invention.
  • the information processing device 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a sensor 14, a camera 15, and a storage unit.
  • a 16-, a communication unit 17, and a touch panel 18 are provided.
  • the information processing device 1 further includes a bus 19 that connects these parts. Each of these parts is communicably connected to each other via the bus 19.
  • the CPU 11 executes various processes based on a program recorded in the ROM 12 or a program loaded from the storage unit 16 into the RAM 13. In addition to such programs, the RAM 13 also appropriately stores data necessary for the CPU 11 to execute various processes.
  • the sensor 14 includes a plurality of sensors for measuring the measured value related to the information processing device 1.
  • the sensor 14 is a GPS sensor that measures GPS (Global Positioning System) coordinates for positioning the position of the information processing device 1, and an acceleration that measures the acceleration for specifying the moving state of the information processing device 1.
  • GPS Global Positioning System
  • It includes a plurality of sensors such as a sensor, a gyro sensor for measuring an angular velocity for identifying the inclination of the information processing device 1, and a geomagnetic sensor for identifying the orientation of the information processing device 1. It should be noted that these sensors are only examples, and the sensor 14 may include other sensors such as a temperature sensor.
  • the camera 15 is a camera for photographing the periphery of the information processing device 1 and generating a peripheral image, and includes a lens and other mechanisms for realizing photographing.
  • the number of cameras 15 may be singular, but may be plural.
  • the front surface of the information processing device 1 that is, the surface on which the touch panel is arranged
  • the rear surface of the information processing device 1 have the cameras 15.
  • the camera 15 may be a camera having a general angle of view, but may be a wide-angle camera that enables panoramic photography and spherical photography.
  • the storage unit 16 is composed of a semiconductor memory such as DRAM (Dynamic Random Access Memory) and stores various data.
  • DRAM Dynamic Random Access Memory
  • the communication unit 17 realizes communication with other devices. For example, the communication unit 17 performs mutual communication with an external server device in order to obtain display information (details will be described later) based on the measurement value measured by the sensor 14 by communication. Further, for example, the communication unit 17 mutually communicates with an external server device or another information processing device 1 in order to output information for output (details will be described later) by communication.
  • This communication is performed, for example, via the Internet, a network such as a LAN (Local Area Network), a mobile phone network, or a network combining these. Further, this communication may be via a relay device, or may be directly performed between the devices without going through the relay device.
  • the touch panel 18 is configured by stacking an input receiving unit 182 and a display unit 181.
  • the display unit 181 is composed of a display such as a liquid crystal display, and displays various images so that the user can recognize them.
  • the input receiving unit 182 is configured by, for example, a capacitance type or resistance film type (that is, pressure sensitive type) position input sensor stacked on the display unit 181, and detects coordinates of a position where a touch operation is performed.
  • the touch operation means an operation of contacting or approaching an object with respect to the input receiving unit 182.
  • An object that comes into contact with or is close to the input receiving unit 182 is, for example, a user's finger or a stylus.
  • the information processing device 1 having such a hardware configuration can be realized by a general electronic device having an information processing function, such as a smartphone, a tablet type terminal, or a portable game machine.
  • the information processing device 1 may include various buttons and the like for inputting various information according to a user's instruction operation.
  • the information processing device 1 may include a speaker that outputs music, sound effects, voice, and the like.
  • the information processing apparatus 1 may be further provided with an interface or the like to which a removable medium such as a semiconductor memory can be attached, and various data may be read from the removable medium via this interface.
  • Each of the functional configurations described below is a functional configuration for executing a plurality of information display processes among the functional configurations of the information processing apparatus 1.
  • the multiple information display processing is a series of processing for displaying the generated display information and the captured peripheral image on the same display device without synchronizing the measurement time and the shooting time.
  • the CPU 11 When the multiple information display process is executed, as shown in FIG. 1, in the CPU 11, the measurement information acquisition unit 111, the peripheral image acquisition unit 112, the display information generation unit 113, the display control unit 114, and the image processing.
  • the unit 115 and the output unit 116 function. Other than those mentioned below, these functional blocks appropriately perform arithmetic processing necessary for executing the multiple information display processing and transmission/reception of information between the functional blocks.
  • a peripheral image storage unit 161 and an output information storage unit 162 are set in one area of the storage unit 16.
  • the measurement information acquisition unit 111 is a portion that acquires the measured value related to the information processing device 1 measured by the sensor 14.
  • the measured values to be acquired are, for example, the values of GPS coordinates, acceleration, angular velocity, geomagnetism, etc. described above in the description of the sensor 14.
  • the measurement information acquisition unit 111 outputs the acquired measurement value to other functional blocks such as the display information generation unit 113.
  • the peripheral image acquisition unit 112 is a part that acquires a peripheral image of the information processing device 1 captured by the camera 15.
  • the peripheral image acquisition unit 112 outputs the acquired peripheral image to other functional blocks such as the display control unit 114.
  • the display information generation unit 113 is a part that generates information to be displayed in the multiple information display process (hereinafter, referred to as “display information”).
  • the display information may be various kinds of information, as exemplified below, and is not particularly limited.
  • the display information generation unit 113 generates display information based on the measured value input from the measurement information acquisition unit 111.
  • the display information generating unit 113 is information indicating the orientation of the information processing apparatus 1 (or the corresponding shooting direction of the camera 15) based on the measurement value of the geomagnetic sensor included in the sensor 14 or the like. Is generated and used as display information.
  • the display information generating unit 113 generates information indicating the moving distance of the information processing device 1 based on the transition of GPS coordinates measured by the GPS sensor included in the sensor 14 and displays the information. Information for use.
  • the moving distance may be, for example, the moving distance from the time when the measurement of GPS coordinates is started, or the moving distance after starting the shooting of the peripheral image.
  • the display information generation unit 113 generates information indicating the altitude of the current position of the information processing device 1 based on the GPS coordinates measured by the GPS sensor included in the sensor 14 and displays the information. Information for use.
  • the display information generation unit 113 may be configured such that the display information generation unit 113 is based on the acceleration measured by the acceleration sensor included in the sensor 14, the transition of GPS coordinates measured by the GPS sensor included in the sensor 14, and the like. The information indicating the moving speed and the acceleration of the information processing device 1 is generated and used as the display information.
  • the display information generation unit 113 may communicate with an external server device or the like using the communication unit 17, and further use the information acquired by this communication to generate the display information.
  • the map information corresponding to the current position of the information processing device 1 is acquired from an external server that provides the map information based on the GPS coordinates measured by the GPS sensor included in the sensor 14, and the map information is acquired. It may be used as display information. Further, the current position specified by the GPS coordinates measured by the GPS sensor included in the sensor 14 may be superimposed on the map information by an icon or the like as display information. Further, once the map information is acquired, it may be stored in the information processing device 1 and the stored map information may be used as display information.
  • the current position of the information processing device 1 is supported based on GPS coordinates measured by a GPS sensor included in the sensor 14 from an external server that provides climate information such as current weather and temperature.
  • the mechanism information may be acquired and this climate information may be used as the display information.
  • display information generation unit 113 outputs the generated display information to other functional blocks such as the display control unit 114.
  • the display control unit 114 is a part that controls a plurality of information display processes in general in parallel with the operation of other functional blocks. For example, the display control unit 114 makes the peripheral image input from the peripheral image acquisition unit 112 and the display information input from the display information generation unit 113 the same without synchronizing the measurement time and the shooting time.
  • the display device here, the touch panel 18 is controlled to display.
  • the display control unit 114 sets each piece of information to be displayed on the same display device without synchronizing the measurement time and the shooting time (as described above, the peripheral image input from the peripheral image acquisition unit 112). And (display information input from the display information generation unit 113) is stored in the peripheral image storage unit 161 or the output information storage unit 162. For example, the display control unit 114 performs a process of temporarily dividing these pieces of information. Then, the display control unit 114 stores the peripheral image input from the peripheral image acquisition unit 112 in the peripheral image storage unit 161. Further, the display control unit 114 stores the display information input from the display information generation unit 113 in the output information storage unit 162.
  • the image processing unit 115 which will be described later, performs image processing.
  • the display control unit 114 also manages various settings related to the multiple information display processing, accepts setting changes from the user, and displays the user interface.
  • the image processing unit 115 Prior to the output by the output unit 116, the image processing unit 115 performs predetermined image processing on the peripheral image stored in the peripheral image storage unit 161, and stores the peripheral image after the image processing as output information. It is stored in the part 162.
  • the predetermined image processing is not particularly limited and may be any image processing. For example, image processing for correcting blurring (so-called camera shake) caused by blurring of the camera 15 during shooting, image processing for correcting the brightness and color of the peripheral image, and the amount of data of the peripheral image. Image processing such as compression and decompression of the image, and image processing such as resizing the image size of the peripheral image may be performed.
  • the image processing unit 115 re-synthesizes the image-processed peripheral image based on the display information stored in the output information storage unit 162 and the time-series correspondence when displayed. Then, the image processing unit 115 stores the recombined peripheral image (that is, the peripheral image after the image processing) and the display information in the output information storage unit 162 as the output information.
  • the peripheral image in the output information becomes a suitable image to which image processing has been performed.
  • the peripheral image to be displayed by the display control unit 114 is the image before the image processing is performed, it is not necessary to perform the image processing, and thus it can be displayed in real time (that is, with responsiveness). .. Further, it is possible to reduce the calculation processing amount and the power consumption amount of the CPU 11 at the time of display.
  • the information processing apparatus 1 since the display and the image processing are separately performed without performing them in parallel, real-time display and reduction of processing can be realized, and at the same time, for output for output to the outside.
  • the peripheral image in the information can be a suitable image that has been subjected to image processing.
  • the output unit 116 is a unit that outputs the output information stored in the output information storage unit 162 in a predetermined format.
  • the output unit 116 outputs the output information in a predetermined format according to the user's operation or the like.
  • This output destination may be an external device that communicates via the communication unit 17, or may be a touch panel 18. Further, in addition, for example, when the information processing device 1 has an interface capable of mounting a removable medium or an interface connected to an external device, the output destination is the removable medium or the external device. There may be.
  • the predetermined format for output may be any format, but it is preferable to use a general-purpose format that is easy to handle with many software at the output destination.
  • the display information (including the measured value of the sensor 14 itself) may be converted into a format such as CSV (Comma Separated Values) or GPX (GPS eXchange Format) and output.
  • peripheral images may be converted into a general-purpose format that can be easily handled by many software and output. It should be noted that such conversion to a predetermined format may be performed by the output unit 116 at the time of output, but when the image processing unit 115 stores the image in the peripheral image storage unit 161 or the output information storage unit 162. May be good.
  • the information to be output may be a combination of display information and peripheral images, or may be any of these.
  • the display information may be all display information or some display information.
  • the peripheral image may be a still image or a moving image generated by converting a continuously shot still image.
  • the output destination, output format, and information to be output in the output of the output unit 116 are not necessarily limited, and the output destination and output format in the output of the output unit 116. , And how to output the information to be output may be arbitrarily determined according to a preset setting or a user operation.
  • the user can acquire the output information that has been converted into an appropriate format based on the predetermined settings and the settings according to his/her operation.
  • the user can refer to the output information at any timing in the output destination device or the like.
  • the user can easily output the output information to another user by transmitting the output information to a terminal used by another user or a server device accessible by the other user. Can be shared with. For example, by transmitting (that is, uploading) the output information to a server device that provides an SNS (Social Networking Service), the output information can be easily shared with other users on this SNS.
  • SNS Social Networking Service
  • the peripheral image storage unit 161 stores the peripheral image before image processing, as described above. Further, as described above, the output information storage unit 162 stores the peripheral image that has undergone image processing and the display information as output information.
  • FIG. 2 is a flowchart illustrating a flow of a plurality of information display processes.
  • the transition of the display example on the touch panel 18 accompanying the operation of the plurality of information display processing will be described with reference to FIGS. 3 and 4.
  • 3 and 4 are schematic diagrams showing transitions of display examples on the touch panel 18.
  • the multiple information display process is executed in response to the user's start operation.
  • each functional block described above including a process not particularly mentioned in the following description with reference to the flowchart of FIG. 2, appropriately executes a process required to perform the multiple information display process.
  • the user is in the passenger seat of a moving car, and the information processing device 1 is held by hand (or installed at a predetermined position such as a dashboard). , It is assumed that this process is started for the purpose of shooting a moving image.
  • step S11 the measurement information acquisition unit 111 starts acquisition of measurement information.
  • step S12 the peripheral image acquisition unit 112 starts acquiring the peripheral image.
  • step S13 the display information generation unit 113 starts generating display information based on the measurement information or the like whose acquisition was started in step S11.
  • step S14 the display control unit 114 synchronizes the measurement time and the shooting time with the display information and the peripheral image whose input to the display control unit 114 is started by each process from step S11 to step S13.
  • the control for displaying on the touch panel 18 is started without any action.
  • the display of a plurality of information on the touch panel 18 is started.
  • each of the above-mentioned started processes is continuously performed by each functional block in parallel.
  • the peripheral image PI1 acquired by the peripheral image acquisition unit 112 is displayed over the entire display area of the touch panel 18.
  • the peripheral image PI1 acquired by the peripheral image acquisition unit 112 is the camera 15 arranged on the front surface of the information processing device 1. It is an image of the moving direction of the car.
  • the display information IN1 to the display information IN5 which are the display information generated by the display information generation unit 113, are superimposed on the peripheral image PI1 or in a display area different from the peripheral image PI1.
  • Operation icon IC1 to operation icon IC4 which are operation icons generated by the display control unit 114 as a user interface, and setting information IN10 generated by the display control unit 114 as information indicating a setting state (details will be described later). Is displayed.
  • the display information IN1 is the shooting direction of the camera 15. Further, the display information IN2 is a moving distance from the time when the measurement of GPS coordinates is started. Further, the display information IN3 is the altitude of the current position of the information processing device 1. Further, the display information IN4 is the moving speed of the information processing device 1 (that is, the moving speed of the automobile). Further, the display information IN5 is the acceleration of the information processing device 1 (that is, the acceleration of the automobile).
  • the method of generating the display information is as described above in the description of the display information generation unit 113. The user can enjoy a realistic image by simultaneously referring to the display information related to the information processing device 1 and the peripheral image displayed in real time (that is, with responsiveness).
  • the operation icon IC1 is an icon for performing an operation for transitioning to a screen for changing settings.
  • the operation icon IC1 accepts an operation (for example, a tap operation)
  • the screen transitions to a screen for changing the setting.
  • the operation icon IC2 is an icon for performing an operation of switching the camera 15 that is the acquisition source of the peripheral image PI1.
  • the information processing device 1 includes the cameras 15 on the front surface and the back surface thereof, respectively.
  • the camera 15 from which the peripheral image PI1 is acquired is a camera (so-called main camera) arranged in front of the information processing device 1 and the information processing device 1.
  • One of the cameras (so-called in-camera) arranged on the rear surface of the vehicle switches to the other.
  • the user can also refer to the display information together with the so-called self-portrait image, for example.
  • the operation icon IC3 is an icon for performing an operation of switching the recording start and the recording end of the peripheral image. Recording starts when the operation icon IC2 receives an operation (for example, a tap operation), and recording ends when the operation icon IC2 receives an operation (for example, a tap operation) again during recording.
  • an operation for example, a tap operation
  • the operation icon IC4 is an icon for performing an operation of switching the start and the end of the display of the map information around the current position of the information processing device 1 which is one of the display information.
  • the operation icon IC4 receives an operation (for example, a tap operation)
  • the display of the map information is started
  • the operation icon IC2 receives an operation (for example, a tap operation) again while the map information is displayed, the map information is displayed. finish.
  • the user can easily perform operations by using these icons.
  • the setting information IN10 is information as to whether or not the display information (including the measurement value itself of the sensor 14) is set, the storage format when the setting is set, and the positioning by GPS. This is information indicating the setting contents such as whether or not to perform. The user can easily understand the current setting contents by referring to the setting information IN10.
  • step S15 the display control unit 114 determines whether or not the display information is set to be stored. If it is set to be stored, it is determined as Yes in step S15, and the process proceeds to step S16. On the other hand, if it is not set to be stored, it is determined as No in step S15, and the process proceeds to step S17.
  • step S16 the display control unit 114 starts a process of storing the display information input from the display information generation unit 113 in the output information storage unit 162.
  • step S17 the display control unit 114 determines whether or not an operation for switching the display state has been accepted from the user. For example, the display control unit 114 determines whether or not the user has accepted the switching operation of the camera 15 using the operation icon IC 2 and the switching operation for displaying the map information using the operation icon IC 4. When the operation for switching the display state is accepted, it is determined as Yes in step S17, and the process proceeds to step S18. On the other hand, if the operation for switching the display state is not accepted, it is determined as No in step S17, and the process proceeds to step S19.
  • step S18 the display control unit 114 switches the display state according to the operation determined to have been accepted in step S17. For example, when the display control unit 114 determines that the switching operation of the camera 15 using the operation icon IC2 has been accepted, the display control unit 114 switches the camera 15 that is the acquisition source of the peripheral image PI1. Further, when the display control unit 114 determines that the switching operation for displaying the map information using the operation icon IC3 has been accepted, the display control unit 114 switches the display of the map information.
  • a display example of map information will be described with reference to FIG. As shown in FIG. 4, the map information is displayed as the display information IN6. This map information is map information around the current position of the information processing device 1. An icon indicating the current position of the information processing device 1 may be superimposed on this map information.
  • step S19 the display control unit 114 determines whether or not the user has accepted the recording start operation using the operation icon IC3. When the recording start operation is accepted, it is determined as Yes in step S19, and the process proceeds to step S20. On the other hand, if the recording start operation is not accepted, it is determined as No in step S19, and the process proceeds to step S27.
  • step S20 the display control unit 114 starts recording peripheral images. That is, the display control unit 114 starts the process of storing the peripheral image input from the peripheral image acquisition unit 112 in the peripheral image storage unit 161. As shown in FIG. 4, the shape of the central portion of the operation icon IC 3 may be changed at the start of recording. At the same time, the elapsed time from the start of recording may be displayed around the operation icon IC3 (for example, under the operation icon IC3).
  • step S21 it is determined whether or not the end condition for terminating the currently performed multiple information display process is satisfied.
  • the termination condition is not particularly limited, but for example, the display control unit 114 receives a transition instruction from the user to the setting screen using the operation icon IC1, or the user is a program for realizing the present embodiment.
  • the end operation is accepted, it is determined that the end condition is satisfied. If the end condition is satisfied, Yes is determined in step S21, and the process proceeds to step S25. On the other hand, if the end condition is not satisfied, it is determined as No in step S21, and the process proceeds to step S22.
  • steps S22 and S23 the display control unit 114 performs the same processing as steps S17 and S18. The details of these processes will be omitted because they are redundant descriptions.
  • step S25 the display control unit 114 determines whether or not the user has accepted the recording end operation using the operation icon IC3. When the recording end operation is accepted, it is determined as Yes in step S25, and the process proceeds to step S26. On the other hand, if the recording end operation is not accepted, it is determined as No in step S25, and the process returns to step S21 and is repeated.
  • step S26 the display control unit 114 finishes recording the peripheral image. That is, the display control unit 114 ends the process of storing the peripheral image input from the peripheral image acquisition unit 112 in the peripheral image storage unit 161. At the end of recording, as shown in FIG. 3, the shape of the central portion of the operation icon IC3 may be changed to the original state. At the same time, the display of the elapsed time from the start of recording may be terminated.
  • step S27 the display control unit 114 performs the same process as in step S21. The details of this process will be omitted because they are redundant descriptions.
  • step S28 the image processing unit 115 determines whether or not the recorded data exists in the peripheral image storage unit 161. That is, it is determined whether or not the peripheral image is stored in the peripheral image storage unit 161 because the recording is performed in the process of the plurality of information display processing currently being performed. If the recorded data exists, it is determined as Yes in step S28, and the process proceeds to step S29. On the other hand, if the recorded data does not exist, it is determined as No in step S28, and this process ends.
  • step S29 the image processing unit 115 performs predetermined image processing on the peripheral image stored in the peripheral image storage unit 161 and stores the peripheral image after the image processing in the output information storage unit 162. .. This ends this process.
  • FIGS. 5 to 7 are schematic views showing another display example on the touch panel 18.
  • FIG. 5 shows a display example when the operation icon IC1 accepts an operation (for example, a tap operation) and transitions to a screen for changing settings.
  • an operation area AR1, an operation area AR2, and an operation area AR3, which are operation areas generated by the display control unit 114 as a user interface are displayed.
  • the operation icon IC7 and the operation icon IC8, which are operation icons generated by the display control unit 114 as a user interface, are displayed.
  • the user can set whether to store the display information converted into the CSV format by performing an ON/OFF switching operation in the operation area AR1. Further, the user can set whether to store the display information converted into the GPX format by performing an ON/OFF switching operation in the operation area AR2. Further, the user can change the display size of the map information shown in FIG. 4 as the display information IN6 by performing a large/medium/small switching operation in the operation area AR3.
  • the operation icon IC7 is an icon for transitioning to the display screen shown in FIG. 4 or the like.
  • the operation icon IC4 receives an operation (for example, a tap operation)
  • the screen changes to the display screen shown in FIG.
  • the operation icon IC8 is an icon for performing an operation to transit to a screen for making more detailed setting changes and the like.
  • the operation icon IC8 receives an operation (for example, a tap operation)
  • the screen changes to a screen for making more detailed setting changes.
  • Figure 6 shows a display example when multiple peripheral images are displayed. For example, when a user accepts a setting change operation for displaying a plurality of peripheral images on a screen for performing more detailed setting changes transitioned by operating the operation icon IC8, the tables of FIGS. 3 and 4 are obtained. From the example shown, the example shown in FIG. 6 is obtained. As shown in FIG. 6, a peripheral image PI2 is displayed in addition to the peripheral image PI1. Then, the camera 15 that is the acquisition source of the peripheral image PI1 is a camera (so-called main camera) arranged in front of the information processing device 1.
  • the camera 15 that is the acquisition source of the peripheral image PI1 is a camera (so-called in-camera) arranged on the rear surface of the information processing device 1.
  • the user can simultaneously refer to the traveling direction image in the automobile and the so-called self-portrait image.
  • it is possible to provide the user with a display of more diverse information.
  • the camera 15 that is the acquisition source of the peripheral image PI1 and the camera 15 that is the acquisition source of the peripheral image PI2 may be exchanged. ..
  • the user can display a larger image desired by himself / herself from the traveling direction image in the automobile and the so-called self-portrait image.
  • FIG. 7 shows a display example when the information processing device 1 is used mainly for still images as an application different from the above-mentioned application for shooting a moving image in an automobile.
  • the information processing device 1 when a still image is mainly used, the information processing device 1 is in a substantially stopped state so that the speed is shown as zero as the display information IN4.
  • the display information generation unit 113 and the display control unit 114 may change the display information to a different mode when such a state is detected or when a predetermined operation is performed by the user.
  • the map information is made into more enlarged map information, and the compass is further superimposed and displayed, or a round icon indicating the shooting position and the shooting direction is superimposed. May be displayed.
  • the user can simultaneously refer to the shooting position, shooting direction, altitude, direction, etc. in addition to the peripheral image. Therefore, for example, the user can utilize the information processing device 1 for applications such as inspection of unknown land and preview of real estate properties.
  • the information processing device 1 may be used in a moving body other than the above-described automobile.
  • the information processing device 1 may be used in a moving body such as a train, a ship, or an airplane.
  • the information processing device 1 may be used for recording a trip by train or the like or for recording a walking movement at a tourist spot.
  • the information processing device 1 may be used for recording the running state of a racing driver or recording for touring in a car, a motorcycle, or the like.
  • the information processing device 1 may be used for the purpose of confirming whether safety measures such as an elevator and a roller coaster are appropriately taken.
  • the information processing device 1 may be used in the body.
  • the information processing device 1 may be mounted on a drone which is an unmanned aerial vehicle that is remotely controlled or autonomously flies. Then, during the flight of the drone, shooting or display information may be generated for the purpose of storing output information.
  • the output information can be stored in a place where it is difficult for a moving body for transporting the user to enter, such as an accident site or a mountain.
  • the information processing apparatus 1 can be used for the purpose of saving lives.
  • the information processing device 1 can also be used for other purposes such as attaching to a pet.
  • the information processing apparatus 1 is not limited in use, and can be used in various uses according to the wishes of the user.
  • the series of processes described above can be executed by hardware or software.
  • the functional configuration shown in FIG. 1 is merely an example and is not particularly limited. That is, it suffices that the information processing apparatus 1 be provided with a function capable of executing the above-described series of processing as a whole, and what kind of functional block is used to realize this function is not particularly limited to the example of FIG. ..
  • one functional block may be configured by a single piece of hardware, a single piece of software, or a combination thereof.
  • the functional configuration in the present embodiment is realized by a processor that executes arithmetic processing, and the processor that can be used in the present embodiment is configured by a single processing device such as a single processor, a multiprocessor, and a multicore processor.
  • the present invention includes a combination of these various processing units and processing circuits such as an ASIC (Application Specific Integrated Circuit) and an FPGA (Field-Programmable Gate Array).
  • the computer may be a computer embedded in dedicated hardware. Further, the computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
  • the recording medium containing such a program is provided not only by a removable medium that is distributed separately from the apparatus main body to provide the program to the user, but also provided to the user in a state of being pre-installed in the apparatus main body. It is composed of a recording medium and the like.
  • the removable media is composed of, for example, a magnetic disk (including a floppy disk), an optical disk, a magneto-optical disk, or the like.
  • the optical disk is composed of, for example, a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Paris Disk), a Blu-ray (registered trademark) Disc (Blu-ray Disc), or the like.
  • the magneto-optical disk is composed of an MD (Mini-Disk) or the like.
  • the recording medium provided to the user in the state of being incorporated in the apparatus main body in advance is composed of, for example, the ROM 12 in which the program is recorded, the semiconductor memory included in the storage unit 16 in FIG. ..
  • the steps for describing a program recorded on a recording medium are not necessarily processed in chronological order, but also in parallel or individually, even if they are not necessarily processed in chronological order. It also includes the processing to be performed.
  • the steps executed by the program recorded in the recording medium may be executed in any order without departing from the scope of the present invention.
  • 1 Information processing device, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... Sensor, 15 ... Camera, 16 ... Storage unit, 17 ... Communication Unit, 18 ... Touch panel, 19 ... Bus, 111 ... Measurement information acquisition unit, 112 ... Peripheral image acquisition unit, 113 ... Display information generation unit, 114 ... Display control unit, 115... Image processing unit, 116... Output unit, 161,... Peripheral image storage unit, 162... Output information storage unit, 181,... Display unit, 182... Input reception unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

ユーザにとって、より利便性に優れた情報表示を行う情報処理装置１を提供する。情報処理装置１が、センサ１４と、表示用情報生成部１１３と、カメラ１５と、表示制御部１１４と、を備える。センサ１４は、当該情報処理装置１に関連する測定値を測定する。表示用情報生成部１１３は、センサ１４が測定した測定値に基づいて、表示用情報を生成する。カメラ１５は、当該情報処理装置１の周辺画像を撮影する。表示制御部１１４は、各手段の動作と並行して、表示用情報生成部１１３が生成した表示用情報とカメラ１５が撮影した周辺画像とを、測定時刻と撮影時刻との同期をとることなく同一の表示装置に表示するための制御を行う。

Description

情報処理装置、及び情報処理プログラム
　本発明は、情報処理装置、及び情報処理プログラムに関する。
　従来、撮影により得られた画像と共に、他の情報を表示する表示装置が知られている。例えば、他の情報として、画像を撮影した時刻や、画像の撮影した場所に対応する位置の座標等を画像と共に表示する装置が知られている。
　このような表示装置に関する技術は、例えば、特許文献１に開示されている。特許文献１に開示の技術では、画像に関連する情報として、画像に関連付けられた位置座標に基づいて取得した、画像の撮影場所の周辺情報を表示する。
特開２０１０－２１８３７３号公報
　しかしながら、特許文献１に開示された技術等の一般的な技術では、撮影した画像を事後的に表示する場合に、他の情報を同時に表示するものであった。そのため、ユーザにとってみれば、例えば、現状に即した即応性のある情報を参照することができず、利便性に欠けているという側面があった。
　本発明は、このような状況に鑑みてなされたものであり、ユーザにとって、より利便性に優れた情報表示を行うことが可能な、情報処理装置、及び情報処理プログラム提供することを目的とする。
　上記目的を達成するため、本発明の一態様の情報処理装置は、
　当該情報処理装置に関連する測定値を測定する測定手段と、
　前記測定手段が測定した測定値に基づいて、表示用情報を生成する生成手段と、
　当該情報処理装置の周辺画像を撮影する撮影手段と、
　前記各手段の動作と並行して、前記生成手段が生成した表示用情報と前記撮影手段が撮影した周辺画像とを、測定時刻と撮影時刻との同期をとることなく同一の表示装置に表示するための制御を行う表示制御手段と、
　を備える。
　本発明によれば、ユーザにとって、より利便性に優れた情報表示を行うことができる。
本発明の実施形態に係る、情報処理装置のハードウェアの構成と、複数情報表示処理を実行するための機能的構成を示す機能ブロック図である。 図１の機能的構成を有する情報処理装置が実行する、複数情報表示処理の流れを説明するフローチャートである。 複数情報表示処理における表示の一例として、周辺画像と表示用情報の表示例を示す模式図である。 複数情報表示処理における表示の一例として、周辺画像と表示用情報の他の表示例を示す模式図である。 複数情報表示処理における表示の一例として、設定用画面の表示例を示す模式図である。 複数情報表示処理における表示の一例として、周辺画像と表示用情報の他の表示例を示す模式図である。 複数情報表示処理における表示の一例として、周辺画像と表示用情報の他の表示例を示す模式図である。
　以下、本発明の実施形態について、図面を用いて説明する。
　［本実施形態の概略］
　本実施形態は、ユーザにとって、より利便性に優れた情報表示を行うことを目的とする。
　そのために、本実施形態にかかる情報処理装置１は、当該情報処理装置１に関連する測定値を測定する。また、情報処理装置１は、測定した測定値に基づいて、表示用情報を生成する。更に、情報処理装置１は、当該情報処理装置１の周辺画像を撮影する。
　そして、情報処理装置１は、上述の各動作と並行して、生成した表示用情報と撮影した周辺画像とを、測定時刻と撮影時刻との同期をとることなく同一の表示装置に表示するための制御を行う。
　このような情報処理装置１によれば、生成した表示用情報と撮影した周辺画像とを、同一の表示装置に表示することができる。また、この表示において、測定時刻と撮影時刻との同期をとることなく表示するため、例えば、一部の表示用情報を生成する処理（例えば、生成するために通信を伴うことから、生成に時間を要する処理）の完了を待つことなく、他の表示用情報や周辺画像をリアルタイムに（すなわち、即応性をもって）表示することができる。
　また、情報処理装置１によれば、このような表示を可能とすることから、現状に即した即応性のある情報を参照することができず、利便性に欠けているという側面がある、という従来の問題を解決することができる。
　更に、情報処理装置１によれば、測定値を測定や、周辺画像の撮影を情報処理装置１自身で行うことができる。そのため、情報処理装置１単体により、上述の処理を実現することができる。
　以上のように、様々な効果を奏する情報処理装置１によれば、ユーザにとって、より利便性に優れた情報表示を行うことができる。また、詳細については後述するが、情報処理装置１によれば、このような表示に用いる表示用情報や周辺画像を適宜記憶しておき、ユーザにとって適切な形式で、出力することもできる。
　［ハードウェア構成］
　次に、本実施形態のハードウェアの構成について図１を参照して説明する。図１は、本発明の実施形態に係る、情報処理装置１のハードウェアの構成を示すブロック図である。
　情報処理装置１は、図１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３と、センサ１４と、カメラ１５と、記憶部１６と、通信部１７と、タッチパネル１８と、を備えている。また、情報処理装置１は、これら各部を接続するバス１９を更に備えている。これら各部は、バス１９を介して相互に通信可能に接続される。
　ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１６からＲＡＭ１３にロードされたプログラムに基づいて各種の処理を実行する。ＲＡＭ１３には、かかるプログラム以外にも、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
　センサ１４は、情報処理装置１に関連する測定値を測定するための、複数のセンサを含む。例えば、センサ１４は、情報処理装置１の位置等を測位するためのＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）座標を測定するＧＰＳセンサや、情報処理装置１における移動状態等を特定するための加速度を測定する加速度センサや、情報処理装置１の傾き等を特定するための角速度を測定するジャイロセンサや、情報処理装置１の向き等を特定するための地磁気センサ、といった複数のセンサを含む。なお、これらセンサは一例に過ぎず、センサ１４は、例えば、温度センサ等の他のセンサを含んでいてもよい。
　カメラ１５は、情報処理装置１の周辺を撮影して、周辺画像を生成するためのカメラであり、レンズや、その他の撮影を実現するための機構を含む。
　カメラ１５は、単数であってもよいが、複数存在してもよい。本実施形態では、一例として情報処理装置１の前面（すなわち、タッチパネルが配置されている面）と、その背面のそれぞれにカメラ１５が存在することを想定する。また、カメラ１５は、一般的な画角のカメラであってもよいが、パノラマ撮影や全天球撮影を可能とするような広角のカメラであってもよい。
　記憶部１６は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。
　通信部１７は、他の装置との間で行う通信を実現する。例えば、通信部１７は、センサ１４が測定した測定値に基づいた表示用情報（詳細は後述する）を通信によって取得するために、外部のサーバ装置との間で相互に通信を行う。また、例えば、通信部１７は、出力用情報（詳細は後述する）を通信によって出力するために、外部のサーバ装置や他の情報処理装置１との間で相互に通信を行う。
　この通信は、例えば、インターネットや、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）や、携帯電話網といったネットワーク、あるいはこれらを組み合わせたネットワークを介して行われる。また、この通信は、中継装置を介するものであってもよいし、中継装置を介することなく装置間で直接行われるものであってもよい。
　タッチパネル１８は、入力受付部１８２と表示部１８１とが積層することにより構成される。
　表示部１８１は、液晶等のディスプレイにより構成され、各種画像をユーザが認識可能に表示する。
　入力受付部１８２は、例えば表示部１８１に積層される静電容量式又は抵抗膜式（すなわち、感圧式）の位置入力センサにより構成され、タッチ操作がなされた位置の座標を検出する。ここで、タッチ操作とは、入力受付部１８２に対する物体の接触又は近接の操作をいう。入力受付部１８２に対して接触又は近接する物体は、例えばユーザの指やタッチペン等である。
　このようなハードウェア構成を有する情報処理装置１は、例えば、スマートフォンや、タブレット型の端末や、携帯型のゲーム機といった、情報処理機能を備えた電子機器一般により実現することができる。
　なお、上述したハードウェア構成は一例に過ぎず、これに限らない。例えば、情報処理装置１は、ユーザの指示操作に応じて各種情報を入力する各種ボタン等を備えていてもよい。また、他にも、情報処理装置１は、音楽、効果音、及び音声等を出力するスピーカを備えていてもよい。更に、他にも、情報処理装置１は、半導体メモリ等よりなるリムーバブルメディアを装着可能なインターフェース等を備えており、このインターフェースを介して、各種データをリムーバブルメディアから読み込むようにしてもよい。
　［機能的構成］
　引き続き図１を参照して、情報処理装置１の機能的構成について説明をする。以下で説明する各機能的構成は、情報処理装置１の機能的構成のうち、複数情報表示処理を実行するための機能的構成である。
　ここで、複数情報表示処理とは、生成した表示用情報と撮影した周辺画像とを、測定時刻と撮影時刻との同期をとることなく同一の表示装置に表示するための一連の処理である。
　複数情報表示処理が実行される場合、図１に示すように、ＣＰＵ１１において、測定情報取得部１１１と、周辺画像取得部１１２と、表示用情報生成部１１３と、表示制御部１１４と、画像処理部１１５と、出力部１１６とが機能する。これら機能ブロックは、以下で言及する以外にも、複数情報表示処理を実行するために必要な演算処理や、機能ブロック間での情報の送受を、必要に応じて適宜行う。
　また、記憶部１６の一領域には、周辺画像記憶部１６１と、出力用情報記憶部１６２とが設定される。
　測定情報取得部１１１は、センサ１４が測定した、情報処理装置１に関連する測定値を取得する部分である。取得する測定値は、例えば、センサ１４の説明の際に上述した、ＧＰＳ座標、加速度、角速度、及び地磁気等の値である。測定情報取得部１１１は、取得した測定値を、表示用情報生成部１１３等の他の機能ブロックに対して出力する。
　周辺画像取得部１１２は、カメラ１５が撮影した、情報処理装置１の周辺画像を取得する部分である。周辺画像取得部１１２は、取得した周辺画像を、表示制御部１１４等の他の機能ブロックに対して出力する。
　表示用情報生成部１１３は、複数情報表示処理において表示対象とする情報（以下、「表示用情報」と称する）を生成する部分である。表示用情報は、以下に例示するように、種々の情報であってよく、特に限定はされない。
　例えば、表示用情報生成部１１３は、測定情報取得部１１１から入力された測定値に基づいて表示用情報を生成する。この場合、例えば、表示用情報生成部１１３は、センサ１４に含まれる地磁気センサによる測定値等に基づいて、情報処理装置１の向き（あるいは、これに対応するカメラ１５の撮影方向）を示す情報を生成し、これを表示用情報とする。他にも、例えば、表示用情報生成部１１３は、センサ１４に含まれるＧＰＳセンサが測定したＧＰＳ座標の推移等に基づいて、情報処理装置１の移動距離を示す情報を生成し、これを表示用情報とする。移動距離は、例えば、ＧＰＳ座標の計測が開始された時点からの移動距離であってもよいし、周辺画像の撮影を開始してからの移動距離であってもよい。他にも、例えば、表示用情報生成部１１３は、センサ１４に含まれるＧＰＳセンサが測定したＧＰＳ座標等に基づいて、情報処理装置１の現在位置の標高を示す情報を生成し、これを表示用情報とする。他にも、例えば、表示用情報生成部１１３は、センサ１４に含まれる加速度センサが測定した加速度や、センサ１４に含まれるＧＰＳセンサが測定したＧＰＳ座標の推移等に基づいて、情報処理装置１の移動速度や、情報処理装置１の加速度を示す情報を生成し、これを表示用情報とする。
　あるいは、表示用情報生成部１１３は、通信部１７を用いて外部のサーバ装置等と通信を行い、この通信により取得した情報を更に用いて表示用情報を生成してもよい。この場合、例えば、地図情報を提供する外部サーバから、センサ１４に含まれるＧＰＳセンサが測定したＧＰＳ座標に基づいて、情報処理装置１の現在位置に対応する地図情報を取得し、この地図情報を表示用情報としてもよい。また、この地図情報に、センサ１４に含まれるＧＰＳセンサが測定したＧＰＳ座標により特定される現在位置を、アイコン等により重畳して表示用情報としてもよい。更に、地図情報を一度取得した後は、情報処理装置１に記憶しておき、この記憶している地図情報を表示用情報としてもよい。また、他にも、例えば、現在の天気や温度等の気候情報を提供する外部サーバから、センサ１４に含まれるＧＰＳセンサが測定したＧＰＳ座標に基づいて、情報処理装置１の現在位置に対応する機構情報を取得し、この気候情報を表示用情報としてもよい。
　なお、これらの表示用情報は、一例に過ぎず、他の情報を表示用情報としてもよい。例えば、測定値そのものを示す情報や、現在時刻等の情報を表示用情報としてもよい。
　表示用情報生成部１１３は、生成した表示用情報を、表示制御部１１４等の他の機能ブロックに対して出力する。
　表示制御部１１４は、他の機能ブロックの動作と並行して、複数情報表示処理全般における制御を行う部分である。例えば、表示制御部１１４は、周辺画像取得部１１２から入力された周辺画像と、表示用情報生成部１１３から入力された表示用情報とを、測定時刻と撮影時刻との同期をとることなく同一の表示装置（ここでは、タッチパネル１８）に表示するための制御を行う。
　また、表示制御部１１４は、前記測定時刻と撮影時刻との同期をとることなく同一の表示装置に表示する対象とした各情報（上述したように、周辺画像取得部１１２から入力された周辺画像と表示用情報生成部１１３から入力された表示用情報）を、周辺画像記憶部１６１や出力用情報記憶部１６２に記憶させるための制御を行う。例えば、表示制御部１１４は、これらの情報を、一旦分割する処理を行う。そして、表示制御部１１４は、周辺画像取得部１１２から入力された周辺画像を周辺画像記憶部１６１に記憶させる。また、表示制御部１１４は、表示用情報生成部１１３から入力された表示用情報を出力用情報記憶部１６２に記憶させる。このように分割を行う理由は、後述の画像処理部１１５による画像処理を行うためである。
　他にも、表示制御部１１４は、複数情報表示処理に関する各種の設定の管理や、ユーザからの設定変更の受け付けや、ユーザインタフェースの表示等の処理も行う。
　画像処理部１１５は、出力部１１６による出力に先立って、周辺画像記憶部１６１に記憶されている周辺画像に対して、所定の画像処理を行い、この画像処理後の周辺画像を出力用情報記憶部１６２に記憶させる。この所定の画像処理は、特に限定されず、任意の画像処理であってよい。例えば、撮影時のカメラ１５のブレに起因するブレ（いわゆる、手ブレ）を補正するための画像処理や、周辺画像の明るさや色味等を補正するための画像処理や、周辺画像のデータ量の圧縮や伸長といった画像処理や、周辺画像の画像サイズのリサイズ等の画像処理等であってよい。画像処理部１１５は、画像処理を行った周辺画像を、出力用情報記憶部１６２に記憶されている表示用情報と、表示した際の時系列の対応関係に基づいて再合成する。そして、画像処理部１１５は、再合成した、周辺画像（すなわち、画像処理後の周辺画像）と、表示用情報を、出力用情報として出力用情報記憶部１６２に記憶させる。
　画像処理部１１５がこのような処理を行うことにより、出力用情報における周辺画像は、画像処理が施された好適な画像となる。
　一方で、表示制御部１１４により、表示される周辺画像は、画像処理を施す前の画像となるが、画像処理を行う必要がないため、リアルタイムに（すなわち、即応性をもって）表示することができる。また、表示時におけるＣＰＵ１１の演算処理量や電力消費量を軽減することができる。
　このように、情報処理装置１では、表示と、画像処理とを並行して行うことなく、別途に行うことから、リアルタイムな表示や処理の軽減を実現できると共に、外部に出力するための出力用情報における周辺画像を、画像処理が施された好適な画像とすることが可能となる。
　出力部１１６は、出力用情報記憶部１６２が記憶する出力用情報を、所定の形式で出力する部分である。出力部１１６は、ユーザの操作等に応じて出力用情報を、所定の形式で出力する。
　この出力先は、通信部１７を介して通信を行う外部装置であってもよいし、タッチパネル１８であってもよい。また、他にも、例えば、情報処理装置１が、リムーバブルメディアを装着可能なインターフェースや、外部装置と接続されるインターフェースを有している場合には、出力先は、これらリムーバブルメディアや外部装置であってもよい。
　出力する際の所定の形式は、任意の形式であってもよいが、出力先において、多くのソフトウェアで扱いやすい汎用的な形式とするとよい。例えば、表示用情報（センサ１４の測定値そのものも含む）を、ＣＳＶ（Ｃｏｍｍａ　Ｓｅｐａｒａｔｅｄ　Ｖａｌｕｅｓ）やＧＰＸ（ＧＰＳ　ｅＸｃｈａｎｇｅ　Ｆｏｒｍａｔ）といった形式に変換して出力するとよい。また、周辺画像についても、同様に多くのソフトウェアで扱いやすい汎用的な形式に変換して出力するとよい。なお、このような所定の形式への変換は、出力部１１６が出力時に行ってもよいが、画像処理部１１５が、周辺画像記憶部１６１や出力用情報記憶部１６２へ記憶させる際に行ってもよい。
　また、出力対象とする情報は、表示用情報と周辺画像の組み合わせでもよいし、これらの何れかであってもよい。この場合に、表示用情報は全ての表示用情報であってもよいし、一部の表示用情報であってもよい。また、周辺画像は、静止画であってもよいし、連続して撮影された静止画を変換することで生成された動画であってもよい。
　以上説明したように、出力部１１６の出力における、出力先、出力形式、及び出力対象とする情報をどのようにするのかについては、必ずしも限定されない、出力部１１６の出力における、出力先、出力形式、及び出力対象とする情報をどのようにするのかについては、予め決定された設定や、ユーザの操作に応じて任意に定めるようにすればよい。
　ユーザは、このように、予め決定された設定や、自身の操作に応じた設定に基づいて、適切な形式に変換された出力用情報を取得することができる。これにより、ユーザは、出力先となった装置等において、任意のタイミングで出力用情報を参照することができる。
　また、ユーザは、この出力用情報を、他のユーザの利用する端末に送信したり、他のユーザがアクセス可能なサーバ装置等に送信したりすることにより、出力用情報を他のユーザと容易に共有することができる。例えば、出力用情報を、ＳＮＳ（Ｓｏｃｉａｌ　Ｎｅｔｗｏｒｋｉｎｇ　Ｓｅｒｖｉｃｅ）を提供するサーバ装置に送信（すなわち、アップロード）することにより、このＳＮＳで、出力用情報を他のユーザと容易に共有することができる。
　周辺画像記憶部１６１は、上述したように、画像処理前の周辺画像を記憶する。また、出力用情報記憶部１６２は、上述したように、画像処理が施された周辺画像と、表示用情報とを出力用情報として記憶する。
　［動作及び表示例］
　次に、情報処理装置１が実行する、複数情報表示処理における動作について図２を参照して説明をする。図２は、複数情報表示処理の流れを説明するフローチャートである。併せて、この複数情報表示処理の動作に伴う、タッチパネル１８における表示例の遷移について図３及び図４を参照して説明する。図３及び図４は、タッチパネル１８における表示例の遷移について示す模式図である。
　複数情報表示処理は、ユーザによる開始操作に伴い実行される。なお、以下の図２のフローチャートを参照した説明において特に言及しない処理も含め、上述した各機能ブロックは、複数情報表示処理を行うために必要な処理を適宜実行する。
　なお、今回の説明では、一例として、ユーザが移動中の自動車の助手席等に乗車しており、情報処理装置１を、手で持って（あるいは、ダッシュボード等の所定位置に設置して）、動画撮影を行う目的で本処理を開始した場合を想定する。
　ステップＳ１１において、測定情報取得部１１１は、測定情報の取得を開始する。
　ステップＳ１２において、周辺画像取得部１１２は、周辺画像の取得を開始する。
　ステップＳ１３において、表示用情報生成部１１３は、ステップＳ１１にて取得が開始された測定情報等に基づいて、表示用情報の生成を開始する。
　ステップＳ１４において、表示制御部１１４は、ステップＳ１１からステップＳ１３の各処理により表示制御部１１４への入力が開始された、表示用情報と周辺画像とを、測定時刻と撮影時刻との同期をとることなくタッチパネル１８に表示するための制御を開始する。これにより、タッチパネル１８における複数情報の表示が開始される。なお、本処理が終了するまでの間、開始された上述の各処理は、各機能ブロックが並行して、継続して行われる。
　この場合のタッチパネル１８における表示例について、図３を参照して説明する。図３に示すように、タッチパネル１８の表示領域の全体にわたり、周辺画像取得部１１２が取得した周辺画像ＰＩ１が表示される。上述したように、本例では、自動車で移動している状況を想定しているので、周辺画像取得部１１２が取得した周辺画像ＰＩ１は、情報処理装置１の前面に配置されたカメラ１５が、自動車の進行方向を撮影した画像となっている。また、本表示例では、この周辺画像ＰＩ１と重畳して、あるいは周辺画像ＰＩ１とは異なる表示領域に、表示用情報生成部１１３が生成した表示情報である表示用情報ＩＮ１～表示用情報ＩＮ５と、表示制御部１１４がユーザインタフェースとして生成した操作用のアイコンである操作用アイコンＩＣ１～操作用アイコンＩＣ４と、表示制御部１１４が設定状態（詳細は後述する）を示す情報として生成した設定情報ＩＮ１０とが表示される。
　ここで、表示用情報ＩＮ１は、カメラ１５の撮影方向である。また、表示用情報ＩＮ２は、ＧＰＳ座標の計測が開始された時点からの移動距離である。更に、表示用情報ＩＮ３は、情報処理装置１の現在位置の標高である。更に、表示用情報ＩＮ４は、情報処理装置１の移動速度（すなわち、自動車の移動速度）である。更に、表示用情報ＩＮ５は、情報処理装置１の加速度（すなわち、自動車の加速度）である。なお、これらの表示用情報の生成方法は、表示用情報生成部１１３の説明の際に上述した通りである。
　ユーザは、これらリアルタイムに（すなわち、即応性をもって）表示される、情報処理装置１に関連する表示用情報と、周辺画像とを同時に参照することにより、臨場感のある映像を楽しむことができる。
　また、操作用アイコンＩＣ１は、設定変更を行うための画面に遷移する操作を行うためのアイコンである。操作用アイコンＩＣ１が操作（例えば、タップ操作）を受け付けると、設定変更を行うための画面に遷移する。
　更に、操作用アイコンＩＣ２は、周辺画像ＰＩ１の取得元となるカメラ１５を切り替える操作を行うためのアイコンである。上述したように、情報処理装置１は、自身の前面と背面のそれぞれにカメラ１５を備えている。操作用アイコンＩＣ２が操作（例えば、タップ操作）を受け付ける都度、周辺画像ＰＩ１の取得元となるカメラ１５が、情報処理装置１の前面に配置されたカメラ（いわゆるメインカメラ）と、情報処理装置１の後面に配置されたカメラ（いわゆるインカメラ）の一方から他方に切り替わる。これにより、ユーザは、例えば、いわゆる自撮り画像と共に、表示用情報を参照するようなこともできる。
　更に、操作用アイコンＩＣ３は、周辺画像の録画の開始及び録画の終了を切り替える操作を行うためのアイコンである。操作用アイコンＩＣ２が操作（例えば、タップ操作）を受け付けると録画が開始され、録画中に再度操作用アイコンＩＣ２が操作（例えば、タップ操作）を受け付けると録画が終了する。
　更に、操作用アイコンＩＣ４は、表示用情報の１つである情報処理装置１の現在位置周辺の地図情報の表示の開始と、表示の終了を切り替える操作を行うためのアイコンである。操作用アイコンＩＣ４が操作（例えば、タップ操作）を受け付けると地図情報の表示が開始され、地図情報の表示中に再度操作用アイコンＩＣ２が操作（例えば、タップ操作）を受け付けると地図情報の表示が終了する。
　ユーザは、これらのアイコンを利用して、簡便に操作を行うことができる。
　また、設定情報ＩＮ１０は、表示用情報（センサ１４の測定値そのものも含む）を記憶する設定となっているか否かの情報や、記憶する設定となっている場合の記憶形式や、ＧＰＳによる測位を行うか否か等の設定内容を示す情報である。ユーザは、設定情報ＩＮ１０を参照することにより、現在の設定内容を容易に把握することができる。
　図２に戻り、ステップＳ１５において、表示制御部１１４は、表示用情報を記憶する設定となっているか否かを判定する。記憶する設定となっている場合は、ステップＳ１５においてＹｅｓと判定され、処理はステップＳ１６に進む。一方で、記憶する設定となっていない場合は、ステップＳ１５においてＮｏと判定され、処理はステップＳ１７に進む。
　ステップＳ１６において、表示制御部１１４は、表示用情報生成部１１３から入力された表示用情報を出力用情報記憶部１６２に記憶させる処理を開始する。
　ステップＳ１７において、表示制御部１１４は、ユーザから、表示状態を切り替えるための操作を受け付けたか否かを判定する。例えば、表示制御部１１４は、ユーザから、操作用アイコンＩＣ２を用いたカメラ１５の切り替え操作や、操作用アイコンＩＣ４を用いた地図情報の表示についての切り替え操作を受け付けたか否かを判定する。表示状態を切り替えるための操作を受け付けた場合は、ステップＳ１７においてＹｅｓと判定され、処理はステップＳ１８に進む。一方で、表示状態を切り替えるための操作を受け付けていない場合は、ステップＳ１７においてＮｏと判定され、処理はステップＳ１９に進む。
　ステップＳ１８において、表示制御部１１４は、ステップＳ１７において受け付けたと判定した操作に応じて、表示状態を切り替える。例えば、表示制御部１１４は、操作用アイコンＩＣ２を用いたカメラ１５の切り替え操作を受け付けたと判定した場合は、周辺画像ＰＩ１の取得元となるカメラ１５を切り替える。また、表示制御部１１４は、操作用アイコンＩＣ３を用いた地図情報の表示についての切り替え操作を受け付けたと判定した場合は、地図情報の表示を切り替える。地図情報の表示例について、図４を参照して説明する。図４に示すように、表示用情報ＩＮ６として地図情報は表示される。この地図情報は、情報処理装置１の現在位置周辺の地図情報である。この地図情報には、情報処理装置１の現在位置を示すアイコンを重畳してもよい。
　ステップＳ１９において、表示制御部１１４は、ユーザから、操作用アイコンＩＣ３を用いた録画開始操作を受け付けたか否かを判定する。録画開始操作を受け付けた場合は、ステップＳ１９においてＹｅｓと判定され、処理はステップＳ２０に進む。一方で、録画開始操作を受け付けていない場合は、ステップＳ１９においてＮｏと判定され、処理はステップＳ２７に進む。
　ステップＳ２０において、表示制御部１１４は、周辺画像の録画を開始する。すなわち、表示制御部１１４は、周辺画像取得部１１２から入力された周辺画像を周辺画像記憶部１６１に記憶させる処理を開始する。なお、録画の開始と共に、図４に示すように、操作用アイコンＩＣ３の中央部分の形状を変化させるようにしてもよい。また、併せて、操作用アイコンＩＣ３の周囲（例えば、操作用アイコンＩＣ３の下）に録画開始からの経過時間を表示するようにしてもよい。
　ステップＳ２１において、現在行っている複数情報表示処理を終了させるための終了条件が満たされたか否かを判定する。終了条件は、特に限定されないが、例えば、表示制御部１１４は、ユーザから、操作用アイコンＩＣ１を用いた設定画面への遷移指示を受け付けたり、ユーザから、本実施形態を実現するためのプログラムの終了操作を受け付けたりした場合に、終了条件が満たされたと判定する。終了条件が満たされた場合は、ステップＳ２１においてＹｅｓと判定され、処理はステップＳ２５に進む。一方で、終了条件が満たされていない場合は、ステップＳ２１においてＮｏと判定され、処理はステップＳ２２に進む。
　ステップＳ２２及びステップＳ２３において、表示制御部１１４は、ステップＳ１７及びステップＳ１８と同様の処理を行う。これら処理内容については、重複する説明となるので省略する。
　ステップＳ２５において、表示制御部１１４は、ユーザから、操作用アイコンＩＣ３を用いた録画終了操作を受け付けたか否かを判定する。録画終了操作を受け付けた場合は、ステップＳ２５においてＹｅｓと判定され、処理はステップＳ２６に進む。一方で、録画終了操作を受け付けていない場合は、ステップＳ２５においてＮｏと判定され、処理はステップＳ２１に戻って、繰り返される。
　ステップＳ２６において、表示制御部１１４は、周辺画像の録画を終了する。すなわち、表示制御部１１４は、周辺画像取得部１１２から入力された周辺画像を周辺画像記憶部１６１に記憶させる処理を終了する。なお、録画の終了と共に、図３に示すように、操作用アイコンＩＣ３の中央部分の形状を元の状態に変化させるようにしてもよい。また、併せて、録画開始からの経過時間の表示を終了するようにしてもよい。
　一方で、ステップＳ２７において、表示制御部１１４は、ステップＳ２１と同様の処理を行う。この処理内容については、重複する説明となるので省略する。
　ステップＳ２８において、画像処理部１１５は、録画データが周辺画像記憶部１６１に存在するか否かを判定する。すなわち、現在行っている複数情報表示処理の過程で録画が行われたことにより、周辺画像が周辺画像記憶部１６１に記憶されているか否かを判定する。録画データが存在する場合は、ステップＳ２８においてＹｅｓと判定され、処理はステップＳ２９に進む。一方で、録画データが存在しない場合は、ステップＳ２８においてＮｏと判定され、本処理は終了する。
　ステップＳ２９において、画像処理部１１５は、周辺画像記憶部１６１に記憶されている周辺画像に対して、所定の画像処理を行い、この画像処理後の周辺画像を出力用情報記憶部１６２に記憶させる。これにより本処理は終了する。
　以上説明した動作により、複数情報表示処理を実現することができる。これにより、本実施形態は、上述の［本実施形態の概略］欄で説明したような種々の効果を奏することができる。
　［他の表示例等］
　次に、図５から図７までを参照して、本実施形態の他の表示例等について説明をする。図５から図７までは、タッチパネル１８における他の表示例について示す模式図である。
　図５に、操作用アイコンＩＣ１が操作（例えば、タップ操作）を受け付けて、設定変更を行うための画面に遷移した場合の表示例を示す。図５に示すように、表示制御部１１４がユーザインタフェースとして生成した操作用の領域である、操作領域ＡＲ１、操作領域ＡＲ２、及び操作領域ＡＲ３が表示される。表示制御部１１４がユーザインタフェースとして生成した操作用のアイコンである操作用アイコンＩＣ７及び操作用アイコンＩＣ８が表示される。
　ユーザは、操作領域ＡＲ１にてＯＮ／ＯＦＦの切り替え操作を行うことにより、ＣＳＶ形式に変換した表示用情報の記憶を行うか否かを設定することができる。また、ユーザは、操作領域ＡＲ２にてＯＮ／ＯＦＦの切り替え操作を行うことにより、ＧＰＸ形式に変換した表示用情報の記憶を行うか否かを設定することができる。更に、ユーザは、操作領域ＡＲ３にて大／中／小の切り替え操作を行うことにより、表示用情報ＩＮ６として図４に示した地図情報の表示サイズを変更することができる。
　操作用アイコンＩＣ７は、図４等に示した表示画面に遷移するためのアイコンである。操作用アイコンＩＣ４が操作（例えば、タップ操作）を受け付けると、図４等に示した表示画面に遷移する。
　操作用アイコンＩＣ８は、より詳細な設定変更等を行うための画面に遷移する操作を行うためのアイコンである。操作用アイコンＩＣ８が操作（例えば、タップ操作）を受け付けると、より詳細な設定変更を行うための画面に遷移する。
　図６に、周辺画像を複数表示する場合の表示例を示す。例えば、操作用アイコンＩＣ８を操作することにより遷移した、より詳細な設定変更を行うための画面において、周辺画像を複数表示するための設定変更操作をユーザから受け付けると、図３や図４の表示例から、図６の表示例となる。図６に示すように、周辺画像ＰＩ１に加えて、周辺画像ＰＩ２を表示する。そして、周辺画像ＰＩ１の取得元となるカメラ１５を、情報処理装置１の前面に配置されたカメラ（いわゆるメインカメラ）とする。また、周辺画像ＰＩ１の取得元となるカメラ１５を、情報処理装置１の後面に配置されたカメラ（いわゆるインカメラ）とする。これにより、ユーザは、例えば、自動車における進行方向画像と、いわゆる自撮り画像とを同時に参照することができる。これにより、ユーザに、より多様な情報の表示を提供することができる。
　この場合に、操作用アイコンＩＣ２が操作（例えば、タップ操作）を受け付ける都度、周辺画像ＰＩ１の取得元となるカメラ１５と、周辺画像ＰＩ２の取得元となるカメラ１５とを入れ替えるようにしてもよい。これにより、ユーザは、例えば、自動車における進行方向画像と、いわゆる自撮り画像の中から、自身が希望する画像をより大きく表示することができる。
　図７に、上述した自動車での動画撮影した用途とは異なる用途として、静止画を主とした用途に情報処理装置１を利用する場合の表示例を示す。図７に示すように、静止画を主として利用する場合、表示用情報ＩＮ４として速度をゼロで示すように、情報処理装置１はほぼ停止した状態となる。表示用情報生成部１１３や表示制御部１１４は、このような状態を検出した場合や、ユーザからの所定の操作があった場合に、表示用情報を異なる態様に変更するようにしてもよい。例えば、図７の表示用情報ＩＮ６に示すように地図情報をより拡大した地図情報とすると共に、更にコンパスを重畳して表示したり、撮影位置及び撮影方向を示す丸型のアイコン等を重畳して表示したりするようにしてもよい。
　このように表示の態様を異ならせることにより、ユーザは、周辺画像に加えて、撮影位置、撮影方向、標高、及び方位等を同時に参照することができる。そのため、例えば、ユーザは、知らない土地の視察や、不動産物件の内覧等の用途に、情報処理装置１を活用することができる。
　なお、情報処理装置１の用途は、これら上述した用途には限定されない。例えば、上述した自動車以外の移動体において、情報処理装置１を利用してもよい。例えば、電車や船や飛行機等の移動体において、情報処理装置１を利用してもよい。例えば、電車等による旅の記録や、観光地での徒歩移動での記録に、情報処理装置１を利用してもよい。他にも、例えば、レーシングドライバーの走行状態の記録や、自動車やバイク等でのツーリングでの記録に、情報処理装置１を利用してもよい。あるいは、例えば、エレベータやジェットコースター等の安全対策が適切になされているかの確認等の用途に、情報処理装置１を利用してもよい。
　また、このような、自動車等のユーザを運搬することを目的とした移動体のみならず、ユーザを運搬することは目的としていない、遠隔操縦に基づいて移動する移動体や、自律で移動する移動体において、情報処理装置１を利用してもよい。例えば、遠隔操縦又は自律で飛行する無人飛行機であるドローンに、情報処理装置１を搭載するようにしてもよい。そして、ドローンが飛行中に、出力用情報を記憶することを目的として撮影や表示用情報の生成を行うようにしてもよい。これにより、例えば、事故現場や山奥等の、ユーザを運搬することを目的とした移動体では進入が困難な場所において、出力用情報を記憶することができる。これにより、例えば、人命救助等の用途に情報処理装置１を利用することもできる。
　また、他にも、例えば、ペットに取り付ける用途等にも、情報処理装置１を利用することができる。
　このように、情報処理装置１は、用途を限定されることなく、ユーザの希望に応じて、多様な用途に利用することができる。
　［本実施形態の非限定性］
　以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
　例えば、上述した表示例は、説明のための一例に過ぎず、表示する表示用情報の種類や、各表示レイアウト等は適宜変更することができる。
　また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
　換言すると、図１に示した機能的構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が情報処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図１の例に限定されない。
　また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
　本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。
　一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
　コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
　このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ），Ｂｌｕ－ｒａｙ（登録商標）　Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１６に含まれる半導体メモリ等で構成される。
　なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。また、記録媒体に記録されるプログラムにより実行されるステップは、本発明の要旨を逸脱しない範囲内において、任意の順番に実行されてよい。
　１・・・情報処理装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・センサ，１５・・・カメラ，１６・・・記憶部，１７・・・通信部，１８・・・タッチパネル，１９・・・バス，１１１・・・測定情報取得部，１１２・・・周辺画像取得部，１１３・・・表示用情報生成部，１１４・・・表示制御部，１１５・・・画像処理部，１１６・・・出力部，１６１・・・周辺画像記憶部，１６２・・・出力用情報記憶部，１８１・・・表示部，１８２・・・入力受付部

Claims (5)

  1. 　情報処理装置であって、
    　当該情報処理装置に関連する測定値を測定する測定手段と、
    　前記測定手段が測定した測定値に基づいて、表示用情報を生成する生成手段と、
    　当該情報処理装置の周辺画像を撮影する撮影手段と、
    　前記各手段の動作と並行して、前記生成手段が生成した表示用情報と前記撮影手段が撮影した周辺画像とを、測定時刻と撮影時刻との同期をとることなく同一の表示装置に表示するための制御を行う表示制御手段と、
    　を備えることを特徴とする情報処理装置。
  2. 　前記生成手段は、測定手段が測定した測定値に基づいた表示用情報を、通信によって外部装置から取得した情報を用いて生成する、
    　ことを特徴とする請求項１に記載の情報処理装置。
  3. 　前記表示制御手段が、前記測定時刻と撮影時刻との同期をとることなく同一の表示装置に表示する対象の各情報を記憶する記憶手段と、
    　前記記憶手段が記憶した各情報を、所定の形式に変換して出力する出力手段と、
    　を更に備えることを特徴とする請求項１又は２に記載の情報処理装置。
  4. 　前記出力手段による出力に先立って、前記表示装置に表示する対象の各情報に含まれる前記撮影手段が撮影した周辺画像に対して、所定の画像処理を行い、該画像処理後の周辺画像を前記記憶手段に記憶させる画像処理手段、
    　を更に備えることを特徴とする請求項３に記載の情報処理装置。
  5. 　情報処理装置に関連する測定値を測定する測定手段と、
    　前記測定手段が測定した測定値に基づいて、表示用情報を生成する生成手段と、
    　前記情報処理装置の周辺画像を撮影する撮影手段と、
    　を備えた前記情報処理装置に、
    　前記各手段の動作と並行して、前記生成手段が生成した表示用情報と前記撮影手段が撮影した周辺画像とを、測定時刻と撮影時刻との同期をとることなく同一の表示装置に表示するための制御を行う表示制御機能を実現することを特徴とする情報処理プログラム。
PCT/JP2020/009435 2019-03-06 2020-03-05 情報処理装置、及び情報処理プログラム WO2020179869A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021503647A JPWO2020179869A1 (ja) 2019-03-06 2020-03-05

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019040435 2019-03-06
JP2019-040435 2019-03-06

Publications (1)

Publication Number Publication Date
WO2020179869A1 true WO2020179869A1 (ja) 2020-09-10

Family

ID=72338182

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/009435 WO2020179869A1 (ja) 2019-03-06 2020-03-05 情報処理装置、及び情報処理プログラム

Country Status (2)

Country Link
JP (1) JPWO2020179869A1 (ja)
WO (1) WO2020179869A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107561A1 (ja) * 2020-11-20 2022-05-27 ヤンマーホールディングス株式会社 表示装置およびそれを備えた魚数計数システムと、表示制御プログラム
WO2023173409A1 (zh) * 2022-03-18 2023-09-21 深圳市大疆创新科技有限公司 信息的显示方法、模型的对比方法、装置及无人机系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290699A (ja) * 2008-05-30 2009-12-10 Toshiba Corp Ｃｃｔｖ監視システム、ｃｃｔｖ監視方法、およびこれらに利用する付加情報制御サーバ
JP2015088795A (ja) * 2013-10-28 2015-05-07 リコーイメージング株式会社 重力方向検知装置および撮影装置
US20150220299A1 (en) * 2014-02-06 2015-08-06 Samsung Electronics Co., Ltd. Electronic device and method for controlling displays
JP2016058978A (ja) * 2014-09-11 2016-04-21 キヤノン株式会社 情報処理装置、撮像装置、制御方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290699A (ja) * 2008-05-30 2009-12-10 Toshiba Corp Ｃｃｔｖ監視システム、ｃｃｔｖ監視方法、およびこれらに利用する付加情報制御サーバ
JP2015088795A (ja) * 2013-10-28 2015-05-07 リコーイメージング株式会社 重力方向検知装置および撮影装置
US20150220299A1 (en) * 2014-02-06 2015-08-06 Samsung Electronics Co., Ltd. Electronic device and method for controlling displays
JP2016058978A (ja) * 2014-09-11 2016-04-21 キヤノン株式会社 情報処理装置、撮像装置、制御方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107561A1 (ja) * 2020-11-20 2022-05-27 ヤンマーホールディングス株式会社 表示装置およびそれを備えた魚数計数システムと、表示制御プログラム
JP2022081871A (ja) * 2020-11-20 2022-06-01 ヤンマーホールディングス株式会社 表示装置およびそれを備えた魚数計数システムと、表示制御プログラム
JP7482759B2 (ja) 2020-11-20 2024-05-14 ヤンマーホールディングス株式会社 表示装置およびそれを備えた魚数計数システムと、表示制御プログラム
WO2023173409A1 (zh) * 2022-03-18 2023-09-21 深圳市大疆创新科技有限公司 信息的显示方法、模型的对比方法、装置及无人机系统

Also Published As

Publication number Publication date
JPWO2020179869A1 (ja) 2020-09-10

Similar Documents

Publication Publication Date Title
US11321870B2 (en) Camera attitude tracking method and apparatus, device, and system
EP3188467B1 (en) Method for image capturing using unmanned image capturing device and electronic device supporting the same
WO2020224479A1 (zh) 目标的位置获取方法、装置、计算机设备及存储介质
JP7305249B2 (ja) 画像特徴点の動き情報の決定方法、タスク実行方法およびデバイス
CN106477038B (zh) 图像拍摄方法及装置、无人机
US11039072B2 (en) Display control apparatus, display control method, and computer program
WO2020179869A1 (ja) 情報処理装置、及び情報処理プログラム
CN111192341A (zh) 生成高精地图的方法、装置、自动驾驶设备及存储介质
JP2011199750A (ja) 撮像端末、外部端末、撮像システム、及び撮像方法
CN110884500A (zh) 控制车辆的方法、装置、电子设备及存储介质
CN114170349A (zh) 图像生成方法、装置、电子设备及存储介质
US10771707B2 (en) Information processing device and information processing method
CN107306345A (zh) 行驶记录处理方法、装置、设备、操作系统及交通工具
CN111246095A (zh) 控制镜头运动的方法、装置、设备及存储介质
CN112802369B (zh) 获取飞行航线的方法、装置、计算机设备及可读存储介质
CN111553050A (zh) 汽车转向系统的结构校核方法、装置及存储介质
WO2019241970A1 (zh) 无人机的扬声器控制方法和设备
WO2021251441A1 (ja) 方法、システムおよびプログラム
JP2017067834A (ja) 無人航空機の撮像画像表示装置、撮像画像表示方法、および撮像画像表示プログラム
JP2017139582A (ja) 移動制御システム
WO2019061859A1 (zh) 移动平台、摄像路径生成方法、程序、以及记录介质
US10459315B2 (en) Electronic apparatus for displaying overlay images
JP6852878B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
CN111754564A (zh) 视频展示方法、装置、设备及存储介质
CN114598992A (zh) 信息交互方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20765869

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021503647

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20765869

Country of ref document: EP

Kind code of ref document: A1