WO2017179136A1 - 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム - Google Patents

全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム Download PDF

Info

Publication number
WO2017179136A1
WO2017179136A1 PCT/JP2016/061848 JP2016061848W WO2017179136A1 WO 2017179136 A1 WO2017179136 A1 WO 2017179136A1 JP 2016061848 W JP2016061848 W JP 2016061848W WO 2017179136 A1 WO2017179136 A1 WO 2017179136A1
Authority
WO
WIPO (PCT)
Prior art keywords
altitude
robot
omnidirectional camera
camera
celestial sphere
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/061848
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Priority to JP2016567950A priority Critical patent/JP6200604B1/ja
Priority to PCT/JP2016/061848 priority patent/WO2017179136A1/ja
Priority to US15/319,882 priority patent/US10792817B2/en
Publication of WO2017179136A1 publication Critical patent/WO2017179136A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45184—Filming, photography, camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Definitions

  • the present invention relates to an omnidirectional camera robot altitude adjustment system, an omnidirectional camera robot altitude adjustment method, and a program for adjusting the altitude of a robot equipped with an omnidirectional camera.
  • an omnidirectional camera that can capture 360 degree panoramic images in all directions.
  • an omnidirectional camera in order to capture a full-field image that is a 360-degree panoramic image, an omnidirectional camera is used by an imaging device having a plurality of cameras as one device or an imaging device having a plurality of special lenses. It is possible to display a part or all of the captured full-field image as a display image.
  • Patent Document 1 when there is a height difference in the movement path when the robot moves, the omnidirectional camera also moves in conjunction with the movement of the robot, and the altitude of the omnidirectional camera is constant. It was difficult to keep on. As a result, the image quality of the full-field image may be deteriorated.
  • An object of the present invention is to provide an omnidirectional camera robot altitude adjustment system, an omnidirectional camera robot altitude adjustment method, and a program that improve the image quality of a full-field image.
  • the present invention provides the following solutions.
  • the invention according to the first feature is an omnidirectional camera robot altitude adjustment system for adjusting the altitude of the robot equipped with the omnidirectional camera, Altitude acquisition means for acquiring the altitude of the omnidirectional camera; Altitude adjusting means for adjusting the altitude of the robot so that the acquired altitude is constant; A synthesized image creating means for creating a 360 degree captured image of the omnidirectional camera by a synthesis process within a predetermined altitude error range; An omnidirectional camera robot altitude adjustment system is provided.
  • the omnidirectional camera robot altitude adjustment system that adjusts the altitude of the robot equipped with the omnidirectional camera acquires the altitude of the omnidirectional camera, and the acquired altitude The altitude of the robot is adjusted so as to be constant, and a 360-degree captured image of the omnidirectional camera is created by a synthesis process within a predetermined altitude error range.
  • the invention according to the first feature is a category of the omnidirectional camera robot altitude adjustment system, but in other categories such as a method or a program, the same actions and effects according to the category are exhibited. .
  • the invention according to a second feature is provided with at least two points of the robot, and obtains coordinates of the at least two points; Altitude calculation means for calculating the altitude of the omnidirectional camera from the coordinates of the two acquired points and the angle connecting the two points and the omnidirectional camera; An omnidirectional camera robot altitude adjustment system that is an invention according to a first feature is provided.
  • the omnidirectional camera robot altitude adjustment system according to the invention according to the first feature is provided in at least two points of the robot, acquires coordinates of the at least two points, The altitude of the omnidirectional camera is calculated from the obtained coordinates of the two points and the angle connecting the two points and the omnidirectional camera.
  • the altitude adjusting means further adjusts the altitude of the omnidirectional camera from the altitude calculated by the altitude calculating means.
  • an omnidirectional camera robot altitude adjustment system which is an invention according to a second feature.
  • the omnidirectional camera robot altitude adjustment system according to the second aspect of the invention is configured to adjust the altitude of the omnidirectional camera from the altitude calculated by the altitude calculation means. Is further performed.
  • the invention according to a fourth feature is a omnidirectional camera robot altitude adjustment method for adjusting the altitude of a robot equipped with an omnidirectional camera, Obtaining an altitude of the omnidirectional camera; Adjusting the altitude of the robot so that the acquired altitude is constant; Creating a 360-degree captured image of the omnidirectional camera by a synthesis process within a predetermined altitude error range; An omnidirectional camera robot altitude adjustment method is provided.
  • the invention according to the fifth feature provides an omnidirectional camera robot altitude adjustment system that adjusts the altitude of a robot equipped with an omnidirectional camera. Obtaining an altitude of the omnidirectional camera; Adjusting the altitude of the robot so that the acquired altitude is constant; Creating a 360-degree captured image of the omnidirectional camera by a synthesis process within a predetermined altitude error range; A program characterized in that is executed is provided.
  • an omnidirectional camera robot altitude adjustment system it is possible to provide an omnidirectional camera robot altitude adjustment system, an omnidirectional camera robot altitude adjustment method, and a program that improve the image quality of a full-field image.
  • FIG. 1 is a diagram showing an overview of an omnidirectional camera robot altitude adjustment system 1.
  • FIG. 2 is an overall configuration diagram of the omnidirectional camera robot altitude adjustment system 1.
  • FIG. 3 is a functional block diagram of the robot 200.
  • FIG. 4 is a flowchart showing altitude change processing executed by the robot 200.
  • FIG. 5 is a diagram illustrating a state in which the robot 200 has adjusted the altitude.
  • FIG. 1 is a diagram for explaining the outline of an omnidirectional camera robot altitude adjustment system 1 which is a preferred embodiment of the present invention.
  • the omnidirectional camera robot altitude adjustment system 1 includes a robot 200.
  • the number of robots 200 is not limited to one and may be plural.
  • the robot 200 may be realized by either or both of an actual device and a virtual device.
  • the robot 200 is a machine that accepts a continuous or random automatic operation or an instruction from a user autonomously and performs an action based on the instruction. You may receive the instruction input from the information terminal which is not illustrated.
  • the robot 200 includes a trunk composed of a head 340, a neck 350, and a torso, and a limb composed of upper and lower limbs 300 and 310.
  • the head 340 has a mounting portion 360 on which the omnidirectional camera 100 is mounted.
  • Rollers 320 and 330 are provided at the bottom of the lower limb 310.
  • the robot 200 performs rotation, movement, and the like by driving the lower limbs 300 and 310 or the rollers 320 and 330.
  • the robot 200 changes the altitude of the omnidirectional camera 100 by driving the mounting unit 360. Further, the robot 200 changes the altitude of the omnidirectional camera 100 by changing the length of the neck portion 350. Note that the robot 200 may move by driving a part other than the part described above, or may change the altitude of the omnidirectional camera 100 or may change its own altitude. Good.
  • the omnidirectional camera 100 is an imaging device such as a camera combined with a plurality of cameras or a camera equipped with a plurality of special lenses.
  • the omnidirectional camera 100 captures all directions of up, down, left, and right, and captures a 360-degree panoramic image as a full-field image.
  • the omnidirectional camera 100 may be configured to capture a plurality of images in all directions from a certain point and create a full-field image by synthesizing the captured images.
  • the robot 200 receives an imaging instruction input and captures a full-field image by the omnidirectional camera 100 (step S01).
  • the robot 200 may be configured to always capture a full-field image, or receives an instruction input from an information terminal (not shown) or an instruction input to an input unit that receives an input (not shown).
  • the configuration may be such that imaging is performed by
  • the robot 200 When the robot 200 receives an input of a movement instruction, the robot 200 acquires the altitude of the omnidirectional camera 100 at the current location A and moves to the destination point B designated by the movement instruction (step S02). The robot 200 acquires the altitude of the omnidirectional camera 100 using an altitude sensor or the like provided in the omnidirectional camera 100. Further, the robot 200 moves to a designated point by driving the rollers 320 and 330. Note that the robot 200 may acquire the omnidirectional camera 100 and its altitude by a method other than the altitude sensor. The robot 200 may move to a designated point by driving the lower limbs 300 and 310, or may move according to other configurations.
  • the robot 200 acquires the altitude of the omnidirectional camera 100 after moving (step S03).
  • the robot 200 compares the altitude of the omnidirectional camera 100 before movement with the altitude of the omnidirectional camera 100 after movement, and determines whether or not there is a change in altitude. When it is determined that there is a change in altitude, the robot 200 adjusts the altitude of the omnidirectional camera 100 by changing the altitude of the omnidirectional camera 100 or its own altitude (step S04). In step S04, the robot 200 may adjust the altitude of the omnidirectional camera 100 by driving the mounting unit 360 on which the omnidirectional camera 100 is mounted, or by changing the altitude of the neck 350. The altitude of the omnidirectional camera 100 may be adjusted.
  • the robot 200 may be provided with an altitude sensor or the like at the bottom of the lower limbs 300 and 310. In this case, the robot 200 acquires the coordinates of the two provided points, and calculates the altitude of the omnidirectional camera 100 from the coordinates of the two points and the angle connecting the two points and the omnidirectional camera 100. To do. The robot 200 may execute the process of step S04 described above based on the calculated altitude.
  • FIG. 2 is a diagram showing a system configuration of the omnidirectional camera robot altitude adjustment system 1 which is a preferred embodiment of the present invention.
  • the omnidirectional camera robot altitude adjustment system 1 includes a robot 200. Note that the robot 200 is not limited to one and may be a plurality. The robot 200 may be realized by a real device or a virtual device.
  • the robot 200 is the above-described machine having the functions described later.
  • the omnidirectional camera 100 and the robot 200 may be separate.
  • the omnidirectional camera 100 and the robot 200 may be connected via a wired connection, short-range wireless communication, infrared communication, a public line network, or the like.
  • the robot 200 is composed of a trunk and limbs as described above.
  • the mounting unit 360 changes the altitude and position of the omnidirectional camera 100 by driving the omnidirectional camera 100 mounted in the front, rear, up, down, left, and right directions using a motor or the like.
  • the robot 200 moves by driving the lower limbs 300 and 310 and performing a bending and stretching operation.
  • the robot 200 moves or rotates by driving the rollers 320 and 330. Note that the robot 200 may move by driving a part other than the parts described above or the whole, or may change the altitude or position of the omnidirectional camera 100.
  • FIG. 3 is a functional block diagram of the robot 200.
  • the robot 200 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc. as the control unit 210, and a device for enabling communication with other devices as a communication unit, for example, , A device compatible with WiFi (Wireless Fidelity) compliant with IEEE 802.11.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the robot 200 serves as an input / output unit 230, such as a display unit that outputs and displays data and images controlled by the control unit 210, an input unit such as a touch panel, a keyboard, and a mouse that accepts input from a user, Alternatively, a driving device such as a motor that drives the whole, an altitude detecting device such as a sensor that detects the altitude of the omnidirectional camera 100, and the like are provided.
  • the robot 200 includes a data storage unit such as a hard disk, a semiconductor memory, a recording medium, or a memory card as the storage unit 240.
  • the control unit 210 when the control unit 210 reads a predetermined program, the imaging module 270, the camera height acquisition module 271, the coordinate acquisition module 272, the instruction input reception module 273, and the drive module 274 cooperate with the input / output unit 230.
  • the altitude change determination module 275 and the synthesis module 276 are realized.
  • the control unit 210 reads a predetermined program, thereby realizing the data storage module 280 in cooperation with the storage unit 240.
  • FIG. 4 is a diagram showing a flowchart of altitude adjustment processing executed by the robot 200. Processing executed by each module described above will be described together with this processing.
  • the imaging module 270 receives an imaging instruction and captures a full-field image (step S10).
  • step S ⁇ b> 10 the imaging module 270 activates a dedicated application by an information terminal (not shown) and transmits an imaging instruction input, or inputs an imaging switch provided in the omnidirectional camera 100 or the robot 200.
  • a full-field image is picked up based on accepting.
  • the imaging module 270 captures an image such as a moving image or a still image as a full-field image.
  • the full-field image is an image having 360 degrees in all directions. Note that the imaging module 270 may accept an input of an imaging instruction other than the example described above.
  • the camera altitude acquisition module 271 acquires the current altitude of the omnidirectional camera 100 (step S11). In step S11, the camera altitude acquisition module 271 acquires the current altitude using a sensor or the like based on its own atmospheric pressure, GPS, or the like.
  • the coordinate acquisition module 272 is provided at two points on the bottom of the lower limb 300 and the bottom of the lower limb 310. From the coordinates of the two points and the angle between the two points and the omnidirectional camera 100, The current altitude of the omnidirectional camera 100 may be calculated. A coordinate is the length of the side connected between these two points. The coordinate acquisition module 272 calculates the altitude of the omnidirectional camera 100 by triangulation. In addition, the coordinates may be a set of numbers based on the distance from the center of gravity of each point, or may have other configurations.
  • the coordinate acquisition module 272 only needs to be provided at least at two points, and the location is not limited to the example described above, and may be another location, and the number thereof can be changed as appropriate.
  • the data storage module 280 stores the image data of the entire visual field image captured in step S10 in association with the current altitude acquired in step S11 (step S12).
  • the instruction input reception module 273 determines whether or not an instruction input for moving, changing the position of the omnidirectional camera 100, or the like has been received (step S13).
  • step S ⁇ b> 13 the instruction input reception module 273 performs an input to move the robot 200 to a predetermined point using an information terminal (not shown), an input to change the position of the omnidirectional camera 100 to a predetermined point, or a touch panel. The determination is made based on whether or not an input to move to a predetermined point is accepted by using a keyboard or the like.
  • step S13 when the instruction input receiving module 273 determines that the instruction input is not received (NO in step S13), the process is repeated.
  • step S13 when the instruction input receiving module 273 determines in step S13 that the instruction has been received (YES in step S13), the drive module 274 drives a part or all of the robot 200 based on the instruction to Move (step S14).
  • step S14 the drive module 274 rotates the rollers 320 and 330, whereby the robot 200 moves.
  • the drive module 274 may drive part or all of the other robots 200 to move the robots 200.
  • the camera altitude acquisition module 271 acquires the altitude after the movement of the omnidirectional camera 100 (step S15).
  • step S15 the camera altitude acquisition module 271 is the same as the processing in step S11 described above, and thus the details are omitted.
  • the altitude change determination module 275 compares the altitude of the omnidirectional camera 100 before movement stored in the data storage module 280 with the altitude of the omnidirectional camera 100 after movement, and determines whether or not there is a change in altitude. Is determined (step S16). In step S16, the altitude change determination module 275 may determine that no change has occurred if the altitude change is within a predetermined threshold even if the altitude change has occurred. .
  • the predetermined threshold is, for example, several mm, 1 cm, or 2 cm. This threshold value can be changed as appropriate.
  • step S16 if the altitude change determination module 275 determines that no altitude change has occurred (NO in step S16), the process ends.
  • step S16 determines in step S16 that the altitude change has occurred (step S16 YES)
  • the drive module 274 causes the omnidirectional camera 100 to keep the altitude change constant.
  • the altitude is adjusted (step S17).
  • step S ⁇ b> 17 the drive module 274 adjusts the altitude of the omnidirectional camera 100 by driving the mounting unit 360.
  • step S ⁇ b> 17 the drive module 274 adjusts the altitude of the omnidirectional camera 100 by driving the neck 350, changing its length, and adjusting the altitude of the robot 200.
  • the drive module 274 is not limited to the example described above, and may drive a part or all of the other robot 200 to adjust the altitude of the omnidirectional camera 100. And the altitude of the omnidirectional camera 100 may be adjusted.
  • a coordinate acquisition module 272 is provided at two points on the bottom of the lower limb 300 and the bottom of the lower limb 310.
  • the current altitude of the celestial camera 100 may be calculated.
  • a coordinate is the length of the side connected between these two points.
  • the coordinate acquisition module 272 calculates the altitude of the omnidirectional camera 100 by triangulation.
  • the coordinates may be a set of numbers based on the distance from the center of gravity of each point, or may have other configurations. Processing described below may be performed based on the altitude of the omnidirectional camera 100 calculated in this way.
  • the coordinate acquisition module 272 only needs to be provided at least at two points, and the location is not limited to the example described above, and may be another location, and the number thereof can be changed as appropriate.
  • FIG. 5 is a diagram illustrating a state in which the robot 200 executes the processes of steps S14 to S17 described above.
  • the robot 200 will be described as moving from the current point C to the destination point D.
  • the current point C is lower than the destination point D.
  • the robot 200 receives a movement instruction to the destination point D, drives the rollers 320 and 330, and moves from the current point C to the destination point D.
  • the robot 200 compares the altitude of the omnidirectional camera 100 stored at the current location C with the altitude of the omnidirectional camera 100 acquired at the destination location D, and calculates the amount of change. In FIG. 5, the robot 200 lowers the altitude of the omnidirectional camera 100 in order to keep the amount of change in altitude constant.
  • the robot 200 drives the mounting unit 360 to lower the altitude of the omnidirectional camera 100, and substantially reduces the altitude of the omnidirectional camera 100 at the current location C and the altitude of the omnidirectional camera 100 at the destination location D. Adjust to an equal value.
  • the imaging module 270 captures a full-field image at the destination point (step S18).
  • the synthesizing module 276 synthesizes the stored image data of the entire visual field image at the current position and the image data of the entire visual field image at the movement destination point within a predetermined error range to create one image (step S19).
  • the synthesis module 276 recognizes the stored full-field image at the current location and the entire visual-field image at the destination location, and synthesizes them by superimposing the matching parts to create one image.
  • “within a predetermined error range” indicates that synthesis may be performed not only in a completely matched state but also in a slightly shifted state.
  • the synthesis module 276 may synthesize a plurality of image data by other methods.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

【課題】全視野画像の画質を向上させた全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラムを提供することを目的とする。【解決手段】全天球カメラ（１００）が備えられたロボット（２００）の高度を調整する全天球カメラロボット高度調整システム１は、全天球カメラ（１００）の高度を取得し、取得した高度が一定になるように、ロボット（２００）の高度を調整し、全天球カメラ（１００）の３６０度撮像画像を、所定の高度誤差範囲内で合成処理により作成する。

Description

全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム
　本発明は、全天球カメラが備えられたロボットの高度を調整する全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラムに関する。
　近年、上下左右全方位３６０度パノラマ画像を撮像可能な全天球カメラが提案されている。このような全天球カメラでは、３６０度パノラマ画像である全視野画像を撮像するために、複数のカメラを一の装置とした撮像装置や、特殊なレンズを複数備えた撮像装置により、全方位を撮像し、撮像した全視野画像の一部又は全部を表示画像として表示することを可能としている。
　このような構成として、ロボット等に全天球カメラを取り付け、ロボットの周囲の全視野画像を撮像する構成が開示されている（特許文献１参照）。
特開２００６－１８５４３８号公報
　しかしながら、特許文献１の構成では、ロボットが移動する際、移動経路に高低差が存在する場合、ロボットの動きに連動して、全天球カメラも動いてしまい、全天球カメラの高度を一定に保つことが困難であった。そのため、全視野画像の画質が悪くなってしまうおそれがあった。
　本発明の目的は、全視野画像の画質を向上させた全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、全天球カメラが備えられたロボットの高度を調整する全天球カメラロボット高度調整システムであって、
　前記全天球カメラの高度を取得する高度取得手段と、
　前記取得した高度が一定になるように、前記ロボットの高度を調整する高度調整手段と、
　前記全天球カメラの３６０度撮像画像を、所定の高度誤差範囲内で合成処理により作成する合成画像作成手段と、
　を備えることを特徴とする全天球カメラロボット高度調整システムを提供する。
　第１の特徴に係る発明によれば、全天球カメラが備えられたロボットの高度を調整する全天球カメラロボット高度調整システムは、前記全天球カメラの高度を取得し、前記取得した高度が一定になるように、前記ロボットの高度を調整し、前記全天球カメラの３６０度撮像画像を、所定の高度誤差範囲内で合成処理により作成する。
　ここで、第１の特徴に係る発明は、全天球カメラロボット高度調整システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　第２の特徴に係る発明は、前記ロボットの少なくとも２点に備えられ、当該少なくとも２点の座標を取得する座標取得手段と、
　前記取得した２点の座標と、当該２点と全天球カメラとを結ぶ角度とから、前記全天球カメラの高度を計算する高度計算手段と、
　を備えることを特徴とする第１の特徴に係る発明である全天球カメラロボット高度調整システムを提供する。
　第２の特徴に係る発明によれば、第１の特徴に係る発明である全天球カメラロボット高度調整システムは、前記ロボットの少なくとも２点に備えられ、当該少なくとも２点の座標を取得し、前記取得した２点の座標と、当該２点と全天球カメラとを結ぶ角度とから、前記全天球カメラの高度を計算する。
　第３の特徴に係る発明は、前記高度調整手段が、前記高度計算手段で計算された高度から、前記全天球カメラの高度の調整を更に行う、
　ことを特徴とする第２の特徴に係る発明である全天球カメラロボット高度調整システムを提供する。
　第３の特徴に係る発明によれば、第２の特徴に係る発明である全天球カメラロボット高度調整システムは、前記高度計算手段で計算された高度から、前記全天球カメラの高度の調整を更に行う。
　第４の特徴に係る発明は、全天球カメラが備えられたロボットの高度を調整する全天球カメラロボット高度調整方法であって、
　前記全天球カメラの高度を取得するステップと、
　前記取得した高度が一定になるように、前記ロボットの高度を調整するステップと、
　前記全天球カメラの３６０度撮像画像を、所定の高度誤差範囲内で合成処理により作成するステップと、
　を備えることを特徴とする全天球カメラロボット高度調整方法を提供する。
　第５の特徴に係る発明は、全天球カメラが備えられたロボットの高度を調整する全天球カメラロボット高度調整システムに、
　前記全天球カメラの高度を取得するステップ、
　前記取得した高度が一定になるように、前記ロボットの高度を調整するステップ、
　前記全天球カメラの３６０度撮像画像を、所定の高度誤差範囲内で合成処理により作成するステップ、
　を実行させることを特徴とするプログラムを提供する。
　本発明によれば、全視野画像の画質を向上させた全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラムを提供することが可能となる。
図１は、全天球カメラロボット高度調整システム１の概要を示す図である。 図２は、全天球カメラロボット高度調整システム１の全体構成図である。 図３は、ロボット２００の機能ブロック図である。 図４は、ロボット２００が実行する高度変更処理を示すフローチャートである。 図５は、ロボット２００が高度を調整した状態を示す図である。
　以下、本発明を実施するための最良の形態について、図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　［全天球カメラロボット高度調整システム１の概要］
　本発明の好適な実施形態である全天球カメラロボット高度調整システム１の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である全天球カメラロボット高度調整システム１の概要を説明するための図である。全天球カメラロボット高度調整システム１は、ロボット２００から構成される。
　なお、図１において、ロボット２００は、１つに限らず複数であってもよい。また、ロボット２００は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。
　ロボット２００は、自立的に連続又はランダムな自動作業やユーザからの指示を受け付け、この指示に基づいた行動を行う機械である。図示していない情報端末からの指示入力を受け付けてもよい。
　ロボット２００は、頭部３４０、首部３５０、胴体部からなる体幹と、上肢、下肢３００，３１０からなる体肢とにより構成される。頭部３４０には、全天球カメラ１００を装着する装着部３６０を有する。下肢３１０の底部には、ローラ３２０，３３０を有する。ロボット２００は、下肢３００，３１０又は、ローラ３２０，３３０を駆動することにより、回転、移動等を実行する。また、ロボット２００は、装着部３６０を駆動することにより、全天球カメラ１００の高度を変更する。また、ロボット２００は、首部３５０の長さを変更することにより、全天球カメラ１００の高度を変更する。なお、ロボット２００は、上述した部位以外の部位又は全部を駆動することにより、移動してもよいし、全天球カメラ１００の高度を変更してもよいし、自身の高度を変更してもよい。
　全天球カメラ１００は、複数のカメラを組合せ、一のカメラとしたものや、特殊なレンズを複数備えたカメラ等の撮像装置である。全天球カメラ１００は、上下左右全方位を撮像し、３６０度パノラマ画像を全視野画像として撮像する。なお、全天球カメラ１００は、ある一点から全方位の画像を複数撮像し、撮像した画像を合成処理することにより、全視野画像を作成する構成であってもよい。
　ロボット２００は、撮像指示入力を受け付け、全天球カメラ１００により、全視野画像を撮像する（ステップＳ０１）。なお、ロボット２００は、全視野画像を、常時撮像する構成であってもよいし、図示していない情報端末からの指示入力や、図示していない入力を受け付ける入力部への指示入力を受け付けることにより撮像する構成であってもよい。
　ロボット２００は、移動指示の入力を受け付けた場合、現在地Ａにおける全天球カメラ１００の高度を取得し、移動指示により指定された移動先地点Ｂへ移動する（ステップＳ０２）。ロボット２００は、全天球カメラ１００の高度を、この全天球カメラ１００に設けられた高度センサ等により、取得する。また、ロボット２００は、ローラ３２０，３３０を駆動することにより、指定された地点へ移動する。なお、ロボット２００は、高度センサ以外の方法により全天球カメラ１００及び自身の高度を取得してもよい。また、ロボット２００は、下肢３００，３１０を駆動させることにより、指定された地点へ移動してもよいし、その他の構成により移動してもよい。
　ロボット２００は、移動後の全天球カメラ１００の高度を取得する（ステップＳ０３）。
　ロボット２００は、移動前の全天球カメラ１００の高度と、移動後の全天球カメラ１００の高度とを比較し、高度の変化が存在するか否かを判断する。ロボット２００は、高度に変化が存在すると判断した場合、全天球カメラ１００の高度又は自身の高度を変更することにより、全天球カメラ１００の高度を調整する（ステップＳ０４）。ステップＳ０４において、ロボット２００は、全天球カメラ１００が装着された装着部３６０を駆動することにより、全天球カメラ１００の高度を調整してもよいし、首部３５０の高度を変更することにより、全天球カメラ１００の高度を調整してもよい。
　なお、ロボット２００は、下肢３００，３１０の底部の其々に高度センサ等を設けていてもよい。この場合、ロボット２００は、この備えられた２点の座標を取得し、この２点の座標と、この２点と全天球カメラ１００とを結ぶ角度から、全天球カメラ１００の高度を算出する。ロボット２００はこの算出した高度に基づいて、上述したステップＳ０４の処理を実行してもよい。
　以上が、全天球カメラロボット高度調整システム１の概要である。
　［全天球カメラロボット高度調整システム１のシステム構成］
　図２に基づいて、本発明の好適な実施形態である全天球カメラロボット高度調整システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である全天球カメラロボット高度調整システム１のシステム構成を示す図である。全天球カメラロボット高度調整システム１は、ロボット２００から構成される。なお、ロボット２００は、１つに限らず複数であってもよい。また、ロボット２００は、実在する装置又は仮想的な装置により実現されてもよい。
　ロボット２００は、後述の機能を備えた上述した機械である。なお、全天球カメラ１００とロボット２００とが別体であってもよい。この場合、全天球カメラ１００とロボット２００とは、有線接続、近距離無線通信、赤外線通信、公衆回線網等を介して接続される構成であってもよい。
　ロボット２００は、上述した通り、体幹と、体肢とから構成される。装着部３６０は、モータ等により、装着した全天球カメラ１００を前後上下左右全方位に駆動することにより、全天球カメラ１００の高度や位置を変更する。ロボット２００は、下肢３００，３１０を駆動させ、屈伸動作を実行することにより、移動する。ロボット２００は、ローラ３２０，３３０を駆動することにより、移動又は回転する。なお、ロボット２００は、上述した部位以外の部位又は全部を駆動することにより、移動等してもよいし、全天球カメラ１００の高度又は位置を変更してもよい。
　［各機能の説明］
　図３に基づいて、本発明の好適な実施形態である全天球カメラロボット高度調整システム１の機能について説明する。図３は、ロボット２００の機能ブロック図である。
　ロボット２００は、制御部２１０として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、通信部として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、ロボット２００は、入出力部２３０として、制御部２１０で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部や、自身の一部又は全部を駆動させるモータ等の駆動デバイスや、全天球カメラ１００の高度を検知するセンサ等の高度検知デバイス等を備える。また、ロボット２００は、記憶部２４０として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。
　ロボット２００において、制御部２１０が所定のプログラムを読み込むことにより、入出力部２３０と協働して、撮像モジュール２７０、カメラ高度取得モジュール２７１、座標取得モジュール２７２、指示入力受付モジュール２７３、駆動モジュール２７４、高度変化判断モジュール２７５、合成モジュール２７６を実現する。また、ロボット２００において、制御部２１０が所定のプログラムを読み込むことにより、記憶部２４０と協働して、データ記憶モジュール２８０を実現する。
　［高度調整処理］
　図４に基づいて、ロボット２００が実行する高度調整処理について説明する。図４は、ロボット２００が実行する高度調整処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
　撮像モジュール２７０は、撮像指示の入力を受け付け、全視野画像を撮像する（ステップＳ１０）。ステップＳ１０において、撮像モジュール２７０は、図示していない情報端末が専用のアプリケーションを起動し、撮像指示の入力を送信することや、全天球カメラ１００又はロボット２００に設けられた撮像用スイッチの入力を受け付けること等に基づいて、全視野画像を撮像する。撮像モジュール２７０は、全視野画像として、動画又は静止画等の画像を撮像する。全視野画像は、上下左右全方位３６０度の画像である。なお、撮像モジュール２７０は、上述した例以外の撮像指示の入力を受け付けてもよい。
　カメラ高度取得モジュール２７１は、全天球カメラ１００の現在の高度を取得する（ステップＳ１１）。ステップＳ１１において、カメラ高度取得モジュール２７１は、センサ等により、自身の気圧、ＧＰＳ等に基づいて、現在の高度を取得する。
　なお、ステップＳ１１において、座標取得モジュール２７２が、下肢３００の底部及び下肢３１０の底部の２点に備えられ、この２点の座標と、この２点と全天球カメラ１００との角度とから、全天球カメラ１００の現在の高度を算出してもよい。座標とは、この２点間で結ばれた辺の長さである。座標取得モジュール２７２は、三角測量により、全天球カメラ１００の高度を算出する。また、座標は、各点の重心からの距離に基づいた数の組であってもよいし、その他の構成であってもよい。
　また、座標取得モジュール２７２は、少なくとも２点に備えられていればよく、場所は上述した例に限らず、他の場所であってもよく、その数も適宜変更可能である。
　データ記憶モジュール２８０は、ステップＳ１０において撮像した全視野画像の画像データと、ステップＳ１１において取得した現在の高度とを対応付けて記憶する（ステップＳ１２）。
　指示入力受付モジュール２７３は、移動や、全天球カメラ１００の位置変更等の指示の入力を受け付けたか否かを判断する（ステップＳ１３）。ステップＳ１３において、指示入力受付モジュール２７３は、図示していない情報端末により、ロボット２００を、所定の地点へ移動させる入力や、全天球カメラ１００の位置を所定の地点に変更する入力や、タッチパネルやキーボード等により所定の地点へ移動させる入力等を受け付けたか否かに基づいて、判断する。ステップＳ１３において、指示入力受付モジュール２７３は、指示の入力を受け付けていないと判断した場合（ステップＳ１３　ＮＯ）、本処理を繰り返す。
　一方、ステップＳ１３において、指示入力受付モジュール２７３は、指示を受け付けたと判断した場合（ステップＳ１３　ＹＥＳ）、駆動モジュール２７４は、指示に基づいて、ロボット２００の一部又は全てを駆動し、ロボット２００を移動させる（ステップＳ１４）。ステップＳ１４において、駆動モジュール２７４が、ローラ３２０，３３０を回転することにより、ロボット２００は移動する。なお、駆動モジュール２７４は、その他のロボット２００の一部又は全部を駆動し、ロボット２００を移動させてもよい。
　カメラ高度取得モジュール２７１は、全天球カメラ１００の移動後の高度を取得する（ステップＳ１５）。ステップＳ１５において、カメラ高度取得モジュール２７１は、上述したステップＳ１１の処理と同様であるため、詳細は省略する。
　高度変化判断モジュール２７５は、データ記憶モジュール２８０に記憶した移動前の全天球カメラ１００の高度と、移動後の全天球カメラ１００の高度とを比較し、高度に変化が生じているか否かを判断する（ステップＳ１６）。なお、ステップＳ１６において、高度変化判断モジュール２７５は、高度の変化が生じている場合であっても、その高度の変化が所定の閾値以内である場合、変化が生じていないと判断してもよい。所定の閾値とは、例えば、数ｍｍ、１ｃｍ、２ｃｍである。この閾値は、適宜変更可能である。
　ステップＳ１６において、高度変化判断モジュール２７５は、高度に変化が生じていないと判断した場合（ステップＳ１６　ＮＯ）、本処理を終了する。
　一方、ステップＳ１６において、高度変化判断モジュール２７５は、高度に変化が生じていると判断した場合（ステップＳ１６　ＹＥＳ）、駆動モジュール２７４は、高度変化が一定になるように、全天球カメラ１００の高度を調整する（ステップＳ１７）。ステップＳ１７において、駆動モジュール２７４は、装着部３６０を駆動することにより、全天球カメラ１００の高度を調整する。また、ステップＳ１７において、駆動モジュール２７４は、首部３５０を駆動し、その長さを変更し、ロボット２００の高度を調整することにより、全天球カメラ１００の高度を調整する。なお、ステップＳ１７において、駆動モジュール２７４は、上述した例に限らず、その他のロボット２００の一部又は全部を駆動し、全天球カメラ１００の高度を調整してもよいし、ロボット２００の高度を調整し、全天球カメラ１００の高度を調整してもよい。
　なお、ステップＳ１７において座標取得モジュール２７２が、下肢３００の底部及び下肢３１０の底部の２点に備えられ、この２点の座標と、この２点と全天球カメラ１００との角度とから、全天球カメラ１００の現在の高度を算出してもよい。座標とは、この２点間で結ばれた辺の長さである。座標取得モジュール２７２は、三角測量により、全天球カメラ１００の高度を算出する。また、座標は、各点の重心からの距離に基づいた数の組であってもよいし、その他の構成であってもよい。後述する処理は、このように算出した全天球カメラ１００の高度により行われてもよい。
　また、座標取得モジュール２７２は、少なくとも２点に備えられていればよく、場所は上述した例に限らず、他の場所であってもよく、その数も適宜変更可能である。
図５は、ロボット２００が、上述したステップＳ１４～１７の処理を実行する状態を示す図である。図５において、ロボット２００は、現在地点Ｃから移動先地点Ｄに移動するものとして説明する。図５において、現在地点Ｃは、移動先地点Ｄよりも低い位置にある。
　ロボット２００は、移動先地点Ｄへの移動指示を受け付け、ローラ３２０，３３０を駆動し、現在地点Ｃから移動先地点Ｄへ移動する。ロボット２００は、現在地点Ｃにおいて記憶した全天球カメラ１００の高度と、移動先地点Ｄにおいて取得した全天球カメラ１００の高度とを比較し、その変化量を算出する。図５において、ロボット２００は、高度の変化量を一定にするために、全天球カメラ１００の高度を低くする。ロボット２００は、装着部３６０を駆動させ、全天球カメラ１００の高度を下げ、現在地点Ｃにおける全天球カメラ１００の高度と、移動先地点Ｄにおける全天球カメラ１００の高度とを、略等しい値に調整する。
　撮像モジュール２７０は、移動先地点において、全視野画像を撮像する（ステップＳ１８）。
　合成モジュール２７６は、記憶した現在地点における全視野画像の画像データと、移動先地点における全視野画像の画像データとを所定の誤差範囲内で合成し、一の画像を作成する（ステップＳ１９）。ステップＳ１９において、合成モジュール２７６は、記憶した現在地点における全視野画像と、移動先地点における全視野画像とを画像認識し、一致する部分を重畳させることにより合成し、一の画像を作成する。また、所定の誤差範囲内とは、完全に一致させた状態で合成するだけでなく、わずかにずれた状態で合成してもよいことを示す。なお、ステップＳ１９において、合成モジュール２７６は、他の方法により複数の画像データを合成してもよい。
　以上が、高度調整処理である。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　全天球カメラロボット高度調整システム、１００　全天球カメラ、２００　ロボット

Claims (5)

  1. 　全天球カメラが備えられたロボットの高度を調整する全天球カメラロボット高度調整システムであって、
    　前記全天球カメラの高度を取得する高度取得手段と、
    　前記取得した高度が一定になるように、前記ロボットの高度を調整する高度調整手段と、
    　前記全天球カメラの３６０度撮像画像を、所定の高度誤差範囲内で合成処理により作成する合成画像作成手段と、
    　を備えることを特徴とする全天球カメラロボット高度調整システム。
  2. 　前記ロボットの少なくとも２点に備えられ、当該少なくとも２点の座標を取得する座標取得手段と、
    　前記取得した２点の座標と、当該２点と全天球カメラとを結ぶ角度とから、前記全天球カメラの高度を計算する高度計算手段と、
    　を備えることを特徴とする請求項１に記載の全天球カメラロボット高度調整システム。
  3. 　前記高度調整手段は、前記高度計算手段で計算された高度から、前記全天球カメラの高度の調整を更に行う、
    　ことを特徴とする請求項２に記載の全天球カメラロボット高度調整システム。
  4. 　全天球カメラが備えられたロボットの高度を調整する全天球カメラロボット高度調整方法であって、
    　前記全天球カメラの高度を取得するステップと、
    　前記取得した高度が一定になるように、前記ロボットの高度を調整するステップと、
    　前記全天球カメラの３６０度撮像画像を、所定の高度誤差範囲内で合成処理により作成するステップと、
    　を備えることを特徴とする全天球カメラロボット高度調整方法。
  5. 　全天球カメラが備えられたロボットの高度を調整する全天球カメラロボット高度調整システムに、
    　前記全天球カメラの高度を取得するステップ、
    　前記取得した高度が一定になるように、前記ロボットの高度を調整するステップ、
    　前記全天球カメラの３６０度撮像画像を、所定の高度誤差範囲内で合成処理により作成するステップ、
    　を実行させることを特徴とするプログラム。
PCT/JP2016/061848 2016-04-12 2016-04-12 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム Ceased WO2017179136A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016567950A JP6200604B1 (ja) 2016-04-12 2016-04-12 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム
PCT/JP2016/061848 WO2017179136A1 (ja) 2016-04-12 2016-04-12 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム
US15/319,882 US10792817B2 (en) 2016-04-12 2016-04-12 System, method, and program for adjusting altitude of omnidirectional camera robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/061848 WO2017179136A1 (ja) 2016-04-12 2016-04-12 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2017179136A1 true WO2017179136A1 (ja) 2017-10-19

Family

ID=59895633

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/061848 Ceased WO2017179136A1 (ja) 2016-04-12 2016-04-12 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム

Country Status (3)

Country Link
US (1) US10792817B2 (ja)
JP (1) JP6200604B1 (ja)
WO (1) WO2017179136A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11212439B2 (en) 2018-07-24 2021-12-28 Ricoh Company, Ltd. Communication terminal, display method, and non-transitory computer-readable medium for displaying images and controller

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3738725B1 (en) * 2019-05-15 2022-02-16 Omron Corporation Measurement system, measurement device, measurement method, and measurement program
KR20230048072A (ko) * 2020-08-06 2023-04-10 피아지오 패스트 포워드 인코포레이티드 페어 모드 및 스마트 거동 모드를 갖는 에티켓-기반 차량 및 이를 위한 제어 시스템들
CN112389686B (zh) * 2020-11-24 2022-06-07 西北工业大学深圳研究院 一种基于空间多臂接触的被动目标同步消旋抓捕操作方法
CN116372916A (zh) * 2023-03-20 2023-07-04 山东新一代信息产业技术研究院有限公司 一种巡检机器人拍摄控制方法、系统、装置和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006185438A (ja) * 2004-12-03 2006-07-13 Matsushita Electric Ind Co Ltd ロボット制御装置
JP2007225809A (ja) * 2006-02-22 2007-09-06 Nippon Hoso Kyokai <Nhk> カメラ雲台付き移動台車

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4119529B2 (ja) * 1998-06-17 2008-07-16 オリンパス株式会社 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体
JP3889650B2 (ja) * 2002-03-28 2007-03-07 三洋電機株式会社 画像処理方法、画像処理装置、コンピュータプログラム、及び記録媒体
US20100222925A1 (en) * 2004-12-03 2010-09-02 Takashi Anezaki Robot control apparatus
KR100988960B1 (ko) * 2008-04-23 2010-10-20 한국도로공사 장애물 승월이 가능한 교량점검용 로봇
WO2013121897A1 (ja) * 2012-02-17 2013-08-22 ソニー株式会社 情報処理装置および方法、画像処理装置および方法、並びにプログラム
JP2013214947A (ja) * 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
US20140152765A1 (en) * 2012-12-05 2014-06-05 Samsung Electronics Co., Ltd. Imaging device and method
US10084960B2 (en) * 2014-10-10 2018-09-25 Iec Infrared Systems, Llc Panoramic view imaging system with drone integration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006185438A (ja) * 2004-12-03 2006-07-13 Matsushita Electric Ind Co Ltd ロボット制御装置
JP2007225809A (ja) * 2006-02-22 2007-09-06 Nippon Hoso Kyokai <Nhk> カメラ雲台付き移動台車

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11212439B2 (en) 2018-07-24 2021-12-28 Ricoh Company, Ltd. Communication terminal, display method, and non-transitory computer-readable medium for displaying images and controller
US12075167B2 (en) 2018-07-24 2024-08-27 Ricoh Company, Ltd. Communication terminal, display method, and non-transitory computer-readable medium for displaying images and controller
US12483795B2 (en) 2018-07-24 2025-11-25 Ricoh Company, Ltd. Communication terminal, display method, and non-transitory computer-readable medium for displaying videos captured by telepresence robot

Also Published As

Publication number Publication date
JPWO2017179136A1 (ja) 2018-04-19
US20180354138A1 (en) 2018-12-13
JP6200604B1 (ja) 2017-09-20
US10792817B2 (en) 2020-10-06

Similar Documents

Publication Publication Date Title
CN114761909B (zh) 头戴式设备及调整对虚拟内容项的渲染的方法
US9401050B2 (en) Recalibration of a flexible mixed reality device
US11164378B1 (en) Virtual reality detection and projection system for use with a head mounted display
JP4825980B2 (ja) 魚眼カメラの校正方法。
US8255462B2 (en) Information processing system and information processing apparatus
US20200342830A1 (en) Method and system of wireless data transmission for virtual or augmented reality head mounted displays
CN106575437B (zh) 信息处理装置、信息处理方法以及程序
US11769258B2 (en) Feature processing in extended reality systems
TWI642903B (zh) 用於頭戴式顯示裝置的定位方法、定位器以及定位系統
JP6200604B1 (ja) 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム
JP2019536170A (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
JP2006059202A (ja) 撮像装置及び画像補正方法
KR102404867B1 (ko) 3차원 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법
US11847784B2 (en) Image processing apparatus, head-mounted display, and method for acquiring space information
WO2025006353A1 (en) Head mounted display (hmd) device calibration based on hinge motion
JP6890524B2 (ja) 姿勢制御システム
JP2017227957A (ja) 情報処理装置、および、情報処理システム
US9445015B2 (en) Methods and systems for adjusting sensor viewpoint to a virtual viewpoint
EP3242471B1 (en) Camera having multiple imaging sensors
KR102923256B1 (ko) 전자 장치, 이를 이용한 스테레오 영상 복원 방법 및 컴퓨터로 읽을 수 있는 기록 매체
US12450855B2 (en) Visual alignment of displayed virtual content
US12572197B2 (en) Hand tracking and power optimization for extended reality (XR) systems
US20240386532A1 (en) Jitter estimation using physical constraints
EP3616400B1 (en) Method for providing content and apparatus therefor
JP2025035059A (ja) 画像処理システム、移動体、画像処理方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016567950

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16898596

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 21.01.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16898596

Country of ref document: EP

Kind code of ref document: A1