WO2021161689A1 - 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報処理システム、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2021161689A1
WO2021161689A1 PCT/JP2021/000296 JP2021000296W WO2021161689A1 WO 2021161689 A1 WO2021161689 A1 WO 2021161689A1 JP 2021000296 W JP2021000296 W JP 2021000296W WO 2021161689 A1 WO2021161689 A1 WO 2021161689A1
Authority
WO
WIPO (PCT)
Prior art keywords
drive
type projector
information processing
projector
image
Prior art date
Application number
PCT/JP2021/000296
Other languages
English (en)
French (fr)
Inventor
拓也 池田
健太郎 井田
青木 悠
邦仁 澤井
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021161689A1 publication Critical patent/WO2021161689A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor

Definitions

  • the first aspect of the disclosure is A difference calculation unit that calculates a control amount for eliminating a positional deviation between the image projection target position of the drive-type projector and the irradiation light position irradiated by the light irradiation unit mounted on the drive-type projector.
  • the information processing device has a projector drive unit that generates and outputs a drive command for changing the image projection direction of the drive type projector based on the control amount calculated by the difference calculation unit.
  • the third aspect of the present disclosure is It is an information processing method executed in an information processing device.
  • a difference calculation step in which the difference calculation unit calculates a control amount for eliminating a positional deviation between the image projection target position of the drive-type projector and the irradiation light position irradiated by the light irradiation unit mounted on the drive-type projector.
  • a projector drive unit executes a projector drive step that generates and outputs a drive command for changing an image projection direction of the drive type projector based on a control amount calculated by the difference calculation unit.
  • FIG. 4 is a diagram illustrating an example in which an image projection deviated from the image projection target position is performed.
  • the example shown in FIG. 4 is an example in which an image is projected onto the “table” shown in FIG.
  • the user specifies an image projection target position using, for example, a control device capable of communicating with the drive projector 30.
  • the control device calculates the motor rotation amount for projecting an image on the table, generates a motor drive command according to the calculated motor rotation amount, and transmits the motor drive command to the drive type projector 30.
  • the information processing device of the present disclosure is a device that controls the drive of a drive-type projector.
  • the drive control of the drive projector is performed so that the image projection direction of the drive projector matches the image projection target position specified by the user.
  • the initial setting for directing the drive-type projector in the target projection direction is performed.
  • the irradiation position (three-dimensional position) of the laser beam output from the drive-type projector is analyzed, the amount of misalignment between the analysis result and the image projection target position is calculated, and the drive is performed based on the calculated amount of misalignment. Readjust the orientation of the type projector. By a series of these processes, the image projection direction of the driven projector is matched with the image projection target position specified by the user.
  • the drive type projector 50 performs initial setting to direct the projection direction to the image projection target position according to the motor drive command input from the information processing device 100.
  • the senor 60 is composed of a camera, a distance sensor, or the like capable of detecting the infrared light. Further, the camera in the sensor 60 is preferably a wide-angle camera because it can measure all the positions (three-dimensional positions) of the movable range of the drive type projector 50.
  • the information processing device 100 inputs sensor detection information from the sensor 60, analyzes the sensor detection information, and analyzes the three-dimensional position of the laser beam irradiation point emitted from the drive-type projector 50.
  • the information processing device 100 determines the driving amount for making the driving angle deviation amount zero based on the driving angle deviation amount of the motors (the tilt axis rotation motor and the pan axis rotation motor), and drives the motor. Feedback control is performed to redrive the type projector 50.
  • FIG. 6 is a diagram showing a detailed configuration example of the drive-type projector 50.
  • the motors 55T and 55P are motors that control the image projection direction of the drive-type projector 50.
  • the motor 55T is a tilt (Tilt) axis rotation motor that rotates the drive type projector 50 around the tilt axis.
  • the drive type projector 50 is rotated according to the "tilt axis rotation direction" shown by the dotted line in the figure.
  • the image projection direction of the drive-type projector 50 can be changed in the vertical direction.
  • the motor 55P is a motor for rotating around the pan axis that rotates the drive type projector 50 around the pan axis, and rotates the drive type projector 50 according to, for example, the "rotation direction around the pan axis" shown by the dotted line in the figure.
  • the image projection direction by the drive-type projector 50 can be changed to the left-right direction.
  • the laser pointer 52 is, for example, a laser pointer that outputs an infrared laser beam that is invisible light.
  • the laser pointer 52 is arranged so as to output the laser beam in parallel with the optical axis direction (projection direction) of the image projection unit 51.
  • the laser pointer 52 is arranged as close to the position of the image projection unit 51 (light source) as possible. Is desirable.
  • the image projection unit 51 projects an image onto various image projection objects.
  • the laser pointer 52 outputs a laser beam.
  • the speaker 53 outputs sound that matches the image projected by the image projection unit 51, for example.
  • the motors 55T and 55P are motors that control the image projection direction of the drive-type projector 50, and as described above with reference to FIG. 6, rotate around the tilt axis and rotate around the pan axis, respectively. It is a motor.
  • the control unit 57 controls communication processing with the information processing device 100 and output of image data and audio data input from the information processing device 100 via the image projection unit 51 and the speaker 53. Further, the motors 55T and 55P are driven in response to the motor drive command input from the information processing device 100. Further, ON / OFF control of the laser pointer 52 and the like are performed according to a command input from the information processing apparatus 100.
  • the three-dimensional space information storage unit 106 stores three-dimensional position information regarding an object in the image projection space that has been analyzed in advance by the three-dimensional space analysis unit 105.
  • the three-dimensional space analysis unit 105 inputs the detection information of the sensor 60, analyzes the movable range of the driven projector 50, that is, the three-dimensional position of the object in the image projectable space, and outputs the analysis result into the three-dimensional space information. It is stored in the storage unit 106.
  • the projector drive unit 103 is, for example, a drive amount for matching the projection direction of the drive type projector 50 with the image projection target position determined by the image projection target position determination unit 102, that is, driving the motors 55T and 55P of the drive type projector 50. The amount is determined and transmitted to the drive projector 50 via the communication unit 104.
  • the communication unit 104 executes communication processing such as transmission of projection contents by the drive-type projector 50, reception of sensor detection information from the sensor 60, and transmission of motor drive commands for controlling the projection direction of the drive-type projector 50.
  • the laser light irradiation point three-dimensional position analysis unit 109 analyzes the laser light irradiation position (three-dimensional position) output from the drive type projector 50.
  • the laser beam irradiation point three-dimensional position analysis unit 109 inputs the detection information of the sensor 60 via the communication unit 104, analyzes the laser beam irradiation position (three-dimensional position) output from the drive-type projector 50, and analyzes the laser beam irradiation position (three-dimensional position).
  • the analyzed laser beam irradiation position (three-dimensional position) information is output to the difference calculation unit 110.
  • the image projection target position determination process by the image projection target position determination unit 102 is specifically executed as a process of determining a three-dimensional position (x, y, z) of the image projection target position.
  • the image projection target position determination unit 102 refers to the three-dimensional space information stored in the three-dimensional space information storage unit 106, and refers to the three-dimensional position (x, y, z) of the image projection target as the image projection target position. To get. For example, when the user specifies a table as an image projection object, the three-dimensional position (x, y, z) of the center position of the upper surface of the table is acquired.
  • Step S102 the information processing apparatus 100 executes a drive process for setting the drive-type projector 50 at the image projection target position.
  • step S102 A specific example of the initial setting executed by the projector drive unit 103 in step S102, that is, the drive process for setting the drive type projector 50 at the image projection target position will be described.
  • FIG. 9 A three-dimensional coordinate system with the light source position of the drive-type projector 50 as the origin as shown in FIG. 9 is used.
  • the pan-axis Y-axis and the tilt axis of the drive-type projector 50 are the X-axis, and the coordinates are orthogonal to the XY plane and the Z-axis is set in the direction opposite to the projection direction of the drive-type projector 50. It is a system.
  • the origin of this three-dimensional coordinate system is treated as the origin of the world coordinate system.
  • the straight line indicating the optical axis (axis extending from the light source in the projection direction) of the drive type projector 50 can be shown as the following (Equation 1).
  • the three-dimensional position (x, y, z) of the image projection target position determined in step S101 be a point (x', y', z') on the three-dimensional space of the above (Equation 5a, b). Then, based on the above (Equations 5a and 5b), the rotation angle ⁇ around the X axis (tilt axis) of the drive type projector 50 and the rotation angle ⁇ around the Y axis (pan axis) can be calculated.
  • step S102 the projector drive unit 103 sets the image projection target position (x, y, z) determined by the image projection target position determination unit 102 in step S101 to a point on the three-dimensional space of the above (Equation 5a, b).
  • the laser beam irradiation point three-dimensional position analysis unit 109 analyzes the laser light irradiation position (three-dimensional position) output from the drive type projector 50.
  • the laser beam irradiation point three-dimensional position analysis unit 109 inputs the detection information of the sensor 60 via the communication unit 104, analyzes the laser beam irradiation position (three-dimensional position) output from the drive-type projector 50, and analyzes the laser beam irradiation position (three-dimensional position).
  • the analyzed laser beam irradiation position (three-dimensional position) information is output to the difference calculation unit 110.
  • the laser light irradiation point three-dimensional position analysis unit 109 analyzes the three-dimensional position of the laser light irradiation point by referring to the three-dimensional space information stored in the three-dimensional space information storage unit 106, for example.
  • the laser light irradiation point three-dimensional position analysis unit 109 inputs the detection information of the sensor 60 via the communication unit 104.
  • the image shown in step S201 of FIG. 10 is input.
  • the central white elliptical region in the image shown in step S201 of FIG. 10 is the laser beam irradiation portion.
  • a three-dimensional vector in the detection direction of the laser beam irradiation point is calculated from the three-dimensional position of the camera of the sensor 60 and the angle information (internal parameter) of the camera.
  • the laser beam irradiation point three-dimensional position analysis unit 109 executes the above processing, for example, analyzes the laser beam irradiation position (three-dimensional position) output from the drive-type projector 50, and analyzes the laser beam irradiation position (three-dimensional position).
  • the three-dimensional position) information is output to the difference calculation unit 110.
  • the above-mentioned three-dimensional position analysis processing example of the laser light irradiation point is a processing example when the sensor 60 has a camera and a distance sensor (depth sensor) sensor, but the three-dimensional position of the laser light irradiation point is analyzed.
  • the processing for this is not limited to the above processing, and various processing is possible.
  • the laser light position captured in the camera captured image of the sensor 60 is a two-dimensional coordinate position.
  • the following processing may be executed. Using the 3D position where the camera (sensor 60) is installed, the camera's angle of view information (internal parameters), and the 3D spatial information, the intersection of the 3D vector in the detection direction of the laser beam irradiation point and the 3D spatial information. Perform position detection. The three-dimensional coordinates of this intersection position can be calculated as the three-dimensional position of the laser beam position.
  • the sensor 60 is a stereo camera or an infrared light stereo camera
  • the three-dimensional coordinates calculated by this image analysis are the three-dimensional coordinates in the camera coordinate system of the stereo camera
  • the three-dimensional coordinates detected in the camera coordinate system are three in the world coordinate system described above. Need to convert to dimensional coordinates. Three-dimensional position information of the installation position of the stereo camera is used for this conversion process.
  • step S103 for example, any of the above processes is performed to analyze the three-dimensional position of the laser beam irradiation point. That is, the irradiation position (three-dimensional position) of the laser beam output from the drive type projector 50 is analyzed. The analyzed laser beam irradiation position (three-dimensional position) information is output to the difference calculation unit 110.
  • step S104 the information processing apparatus 100 has a motor drive angle deviation amount corresponding to a positional deviation amount between the image projection target position (three-dimensional position) and the laser beam irradiation position (three-dimensional position), that is, The motor (motor for rotating around the tilt axis) 55T of the drive type projector 50, the motor (motor for rotating around the pan axis) 55P, and the drive angle deviation amounts of these two motors are calculated.
  • This process is a process executed by the difference calculation unit 110 of the information processing apparatus 100 shown in FIG. 7.
  • step S107 the information processing apparatus 100 transmits the drive command generated in step S106 to the drive projector 50 to redrive the drive projector 50 (feedback control).
  • step S103 the process returns to step S103, and the drive angle shift amount of the motor corresponding to the position shift between the laser beam irradiation position after re-driving and the image projection target position is calculated, and the drive is performed in step S105. It is determined whether or not the amount of angular deviation is equal to or less than the threshold value. If it is not less than the threshold value, the feedback control process of steps S106 to S107 is further repeated.
  • step S105 If it is determined in step S105 that the drive angle deviation amount is equal to or less than the threshold value, the process proceeds to step S108.
  • the image correction unit 108 first performs the coordinate conversion process shown in (Process A). Looking at the image projection object (table) from the angle of view information of the drive-type projector 50 and the current position and orientation of the drive-type projector 50, it looks as shown in (a1) of FIG. 12 (process A).
  • the shape of the display area (upper surface of the table) of the image projection object (table) shown in (a1) of FIG. 12 (process A) is the image projection object, the three-dimensional position / orientation information of the drive projector 50, and the drive projector 50. It can be calculated based on the angle of view information of.
  • the projection position of this image is the projection position after adjustment so that the difference (three-dimensional position difference) between the three-dimensional position of the laser beam irradiation point and the three-dimensional position of the image projection target position becomes zero. .. That is, it is a projection position adjusted by performing feedback control so that the amount of drive angle deviation of the motor corresponding to the amount of positional deviation between the three-dimensional position of the laser beam irradiation point and the image projection target position becomes zero.
  • the projection position is almost the same as the target position.
  • the examples described below are examples of performing a process for preventing the occurrence of such a situation, specifically, adjusting the size of the projected image.
  • steps S121 to S122 are executed by the image correction unit 108 of the information processing apparatus 100 shown in FIG. 7.
  • the image correction unit 108 outputs an image size change command, for example, a zoom processing execution command to the drive type projector 50 via the communication unit 104, and the control unit 57 of the drive type projector 50 changes the image size according to the reception command. Performs zoom adjustment processing.
  • the image correction unit 108 may change the image size and output the changed image data to the drive type projector 50.
  • a configuration in which a plurality of sensors 60 are used and installed at a plurality of locations may be used depending on the image projection environment.
  • the image projection environment can be observed from a plurality of viewpoints, for example, the area where the sensor cannot be detected due to the shielding of an object can be reduced, and robust laser irradiation position detection becomes possible.
  • pan / tilt rotation axis is set as an axis passing through the light source position as shown in FIG.
  • This pan / tilt rotation axis can also be set as an axis passing through a position deviated from the light source position.
  • the process considering the deviation amount (offset) is executed.
  • the projection direction adjustment processing of the projected image is executed by, for example, zoom processing, and the adjustment processing is performed so that the projected image is entirely displayed on the image projection target, for example, the upper surface of the table. It may be configured to perform only.
  • the projection direction adjustment process and the projection image size adjustment process may be performed at the same time.
  • an inertial measurement unit is attached to the drive-type projector to obtain measurement information of the IMU. It may be used as correction information.
  • IMU inertial measurement unit
  • the drive-type projector 50 is configured to output the laser light at a plurality of angles different from the image projection direction of the drive-type projector 50, and by analyzing the plurality of laser light irradiation positions from the camera-captured image of the sensor 60, the drive-type projector 50 It is possible to calculate the position and orientation. Further, in a configuration in which a plurality of laser pointers are attached, even if one laser light irradiation position cannot be detected due to obstruction of an object or the like, the probability that other laser light irradiation positions can be detected increases, and the robust laser light irradiation position is increased. Detection is possible.
  • each laser pointer may be controlled by outputting a command to the sensor 60 from the information processing device 100 side, and the laser pointers may be irradiated in order.
  • the ON / OFF control of each laser pointer may be controlled by outputting a command to the sensor 60 from the information processing device 100 side, and the laser pointers may be irradiated in order.
  • the laser light irradiation by the laser pointer may be set to temporarily irradiate at the timing after the drive type projector 50 is initially set to the image projection target position. It is not always necessary to irradiate the laser pointer all the time, and it is more efficient to irradiate only when necessary from the viewpoint of power consumption.
  • the information processing apparatus 100 also executes ON / OFF control of the laser pointer.
  • the laser pointer when the laser pointer is shielded by an object and cannot be observed from the camera of the sensor 60, it may be presented to the user by voice or GUI, and the system may guide the user to move the shield.
  • the configuration and processing of the present disclosure can be applied to the control of the light irradiation direction of the moving light (Moving Light) used for the live production of the artist, that is, the moving light (Moving Light) that irradiates the artist with light.
  • the moving light Moving Light
  • FIG. 18 is a diagram showing a specific hardware configuration of the information processing apparatus 100 of the present disclosure. The components of the hardware configuration shown in FIG. 18 will be described.
  • the CPU (Central Processing Unit) 301 functions as a data processing unit that executes various processes according to a program stored in the ROM (Read Only Memory) 302 or the storage unit 308. For example, the process according to the sequence described in the above-described embodiment is executed.
  • the RAM (Random Access Memory) 303 stores programs and data executed by the CPU 301. These CPU 301, ROM 302, and RAM 303 are connected to each other by a bus 304.
  • the CPU 301 is connected to the input / output interface 305 via the bus 304, and the input / output interface 305 includes an input unit 306 including various switches, a keyboard, a touch panel, a mouse, a microphone, a camera, and an output unit 307 including a display and a speaker. Is connected.
  • the output unit 307 includes a projector that executes PWM image output.
  • the information processing device is The information processing apparatus according to any one of (1) to (3), which has a light irradiation point three-dimensional position analysis unit that analyzes the irradiation light position based on sensor detection information from a sensor independent of the drive type projector.
  • the drive type projector is It is configured to have a motor for adjusting the image projection direction of the drive type projector.
  • the difference calculation unit As the control amount, the drive angle shift of the drive type projector by the motor, which is a factor of the position shift between the image projection target position and the irradiation light position, is calculated.
  • the projector drive unit The information processing apparatus according to any one of (1) to (4), which generates and outputs a motor drive command for making the drive angle deviation zero.
  • the image correction unit is The information processing apparatus according to (7) or (8), which executes an image size adjustment process of a projected image by the drive-type projector.
  • the light irradiation unit mounted on the drive type projector is a laser pointer that outputs laser light. 4. Information processing device.
  • the difference calculation unit is The information processing according to any one of (1) to (12), wherein the control amount calculation process is executed in consideration of the offset corresponding to the distance between the image projection light source of the drive type projector and the light irradiation unit. Device.
  • An information processing method executed in an information processing device A difference calculation step in which the difference calculation unit calculates a control amount for eliminating a positional deviation between the image projection target position of the drive-type projector and the irradiation light position irradiated by the light irradiation unit mounted on the drive-type projector.
  • the sensor The sensor detection information for analyzing the laser beam irradiation position by the laser pointer mounted on the drive type projector is acquired and transmitted to the information processing apparatus.
  • the information processing device Based on the sensor detection information, the drive type projector is based on the control amount calculated by calculating the control amount for eliminating the positional deviation between the image projection target position of the drive type projector and the laser light irradiation position. Generate a drive command to change the image projection direction of the above and send it to the drive type projector.
  • the drive type projector An information processing method that changes the image projection direction of the drive-type projector in response to a drive command received from the information processing device.
  • the difference calculation unit calculates the drive angle deviation of the drive type projector, which is a factor of the positional deviation between the image projection target position and the irradiation light position, as a control amount, and the projector drive unit sets the drive angle deviation to zero. Is generated and output.

Abstract

駆動型プロジェクタが投影する投影画像を目標位置に併せて表示させることを可能とした装置、方法を提供する。駆動型プロジェクタの画像投影目標位置と、駆動型プロジェクタに搭載されたレーザポインタの照射光位置との位置ずれを解消する制御量を算出する差分算出部と、算出した制御量に基づいて、駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して出力するプロジェクタ駆動部を有する。差分算出部は、制御量として、画像投影目標位置と照射光位置との位置ずれの要因である駆動型プロジェクタの駆動角度ずれを算出し、プロジェクタ駆動部は、駆動角度ずれをゼロにする駆動コマンドを生成して出力する。

Description

情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
 本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、プロジェクタの投影画像を目標位置に正確に投影することを可能とした情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。
 画像投影する装置としてプロジェクタが知られている。
 近年、プロジェクタを駆動させることで、画像を任意の場所へ投影可能とした駆動型プロジェクタが開発され、利用されている。
 駆動型プロジェクタとして、例えば、パン・チルト駆動機構を用いて投影方向を変更するプロジェクタや、プロジェクタ前面にパン・チルト駆動機構を持つ鏡を配置して、鏡の反射方向を変えることで任意の場所へ画像を投影する構成がある。
 なお、このような駆動型プロジェクタを開示した文献として特許文献1(国際公開WO2019/176218号公報)がある。
 この文献は、主として駆動型プロジェクタの駆動可能範囲をユーザに知らせるための構成を開示した文献である。
 駆動型プロジェクタの問題として、プロジェクタの投影画像をユーザが希望する領域に正確に投影させることが困難であるという問題がある。すなわち、プロジェクタの投影画像が、ユーザの希望する領域からずれて投影されてしまうという問題がある。
 駆動型プロジェクタの投影方向は、上述したように多くの場合、パン・チルト駆動機構を用いて制御されるが、パン・チルト駆動機構はモータによって駆動される。
 しかし、例えば温度変化による部品の伸縮や、各部品の摩擦や抵抗の変化、モータトルクの変化、ハードウェア筐体への重力の影響、ギアの遊びの変化、さらにはモータエンコーダの量子化誤差など様々な要因により、モータに所定の回転量を行わせても投影方向が微妙にずれてしまうといった問題が発生する。
 このずれは、プロジェクタから画像投影位置までの距離が大きいほど拡大することになるため、画像投影位置が遠い場合には、ユーザの希望する位置から大きくずれた位置に画像が表示されるといった問題が発生する。
国際公開WO2019/176218号公報
 本開示は、例えば上記問題点に鑑みてなされたものであり、駆動型プロジェクタの投影画像を、目標位置に正確に投影することを可能とした情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。
 本開示の第1の側面は、
 駆動型プロジェクタの画像投影目標位置と、前記駆動型プロジェクタに搭載された光照射部が照射する照射光位置との位置ずれを解消するための制御量を算出する差分算出部と、
 前記差分算出部が算出した制御量に基づいて、前記駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して出力するプロジェクタ駆動部を有する情報処理装置にある。
 さらに、本開示の第2の側面は、
 駆動型プロジェクタと、センサと、情報処理装置を有する情報処理システムであり、
 前記センサは、
 前記駆動型プロジェクタに装着されたレーザポインタによるレーザ光照射位置を解析するためのセンサ検出情報を取得して前記情報処理装置に送信し、
 前記情報処理装置は、
 前記センサ検出情報に基づいて、前記駆動型プロジェクタの画像投影目標位置と、前記レーザ光照射位置との位置ずれを解消するための制御量を算出し算出した制御量に基づいて、前記駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して前記駆動型プロジェクタに送信し、
 前記駆動型プロジェクタは、
 前記情報処理装置から受信する駆動コマンドに応じて、前記駆動型プロジェクタの画像投影方向を変更する情報処理システムにある。
 さらに、本開示の第3の側面は、
 情報処理装置において実行する情報処理方法であり、
 差分算出部が、駆動型プロジェクタの画像投影目標位置と、前記駆動型プロジェクタに搭載された光照射部が照射する照射光位置との位置ずれを解消するための制御量を算出する差分算出ステップと、
 プロジェクタ駆動部が、前記差分算出部が算出した制御量に基づいて、前記駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して出力するプロジェクタ駆動ステップを実行する情報処理方法にある。
 さらに、本開示の第4の側面は、
 駆動型プロジェクタと、センサと、情報処理装置を有する情報処理システムにおいて実行する情報処理方法であり、
 前記センサが、
 前記駆動型プロジェクタに装着されたレーザポインタによるレーザ光照射位置を解析するためのセンサ検出情報を取得して前記情報処理装置に送信し、
 前記情報処理装置が、
 前記センサ検出情報に基づいて、前記駆動型プロジェクタの画像投影目標位置と、前記レーザ光照射位置との位置ずれを解消するための制御量を算出し算出した制御量に基づいて、前記駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して前記駆動型プロジェクタに送信し、
 前記駆動型プロジェクタが、
 前記情報処理装置から受信する駆動コマンドに応じて、前記駆動型プロジェクタの画像投影方向を変更する情報処理方法にある。
 さらに、本開示の第5の側面は、
 情報処理装置において情報処理を実行させるプログラムであり、
 差分算出部に、駆動型プロジェクタの画像投影目標位置と、前記駆動型プロジェクタに搭載された光照射部が照射する照射光位置との位置ずれを解消するための制御量を算出させる差分算出ステップと、
 プロジェクタ駆動部に、前記差分算出部が算出した制御量に基づいて、前記駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して出力するプロジェクタ駆動ステップを実行させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、駆動型プロジェクタが投影する投影画像を目標位置に併せて表示させることを可能とした装置、方法が実現される。
 具体的には、例えば、駆動型プロジェクタの画像投影目標位置と、駆動型プロジェクタに搭載されたレーザポインタの照射光位置との位置ずれを解消する制御量を算出する差分算出部と、算出した制御量に基づいて、駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して出力するプロジェクタ駆動部を有する。差分算出部は、制御量として、画像投影目標位置と照射光位置との位置ずれの要因である駆動型プロジェクタの駆動角度ずれを算出し、プロジェクタ駆動部は、駆動角度ずれをゼロにする駆動コマンドを生成して出力する。
 本構成により、駆動型プロジェクタが投影する投影画像を目標位置に併せて表示させることを可能とした装置、方法が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
プロジェクタによる投影画像の歪みについて説明する図である。 プロジェクタによる投影画像の歪み補正例について説明する図である。 駆動型プロジェクタの投影環境の一例について説明する図である。 駆動型プロジェクタの投影画像の位置ずれの例について説明する図である。 本開示の駆動型プロジェクタの駆動処理を行うシステム構成例について説明する図である。 本開示の駆動型プロジェクタの構成例について説明する図である。 本開示の情報処理装置、およびシステム構成要素の構成例について説明する図である。 本開示の情報処理装置が実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の処理において利用する座標系の例について説明する図である。 レーザ光照射ポイントの3次元位置解析処理の一例について説明する図である。 レーザ光照射ポイントの3次元位置解析処理の一例について説明する図である。 画像補正部が実行する画像補正処理の一例について説明する図である。 投影画像サイズ調整処理を実行して画像投影対象物の画像投影領域の大きさに併せて投影画像を調整する処理例について説明する図である。 本開示の情報処理装置が実行する処理シーケンスについて説明するフローチャートを示す図である。 アイコンが画像投影対象物に表示されているか否かを判定し、この判定結果に応じて調整処理を行なう構成例について説明する図である。 異なる方向にレーザ光を出力する複数のレーザポインタを装着した構成例について説明する図である。 アーティストのライブの演出などで利用されるムービングライト(Moving Light)に本開示の構成を適用した構成について説明する図である。 本開示の情報処理装置のハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
 1.プロジェクタによる投影画像の歪みと補正処理の概要について
 2.駆動型プロジェクタの概要と問題点について
 3.本開示の情報処理装置の実行する処理の概要について
 4.本開示の情報処理装置を含む情報処理システム構成例について
 5.本開示の情報処理装置が実行する処理のシーケンスについて
 6.投影画像サイズ調整処理を実行して画像投影対象物の画像投影領域の大きさに併せて投影画像を調整する処理例について
 7.変形例、および応用例について
 8.情報処理装置のハードウェア構成例について
 9.本開示の構成のまとめ
  [1.プロジェクタによる投影画像の歪み補正処理の概要について]
 まず、図1以下を参照してプロジェクタによる投影画像の歪み補正処理の概要について説明する。
 図1はプロジェクタによる投影画像の例を示している。
 図1(a)は、画像投影領域20の正面位置にプロジェクタ10を配置して、画像投影領域20に画像を投影表示した例である。
 この場合、投影画像には歪みが発生しない。
 一方、図1(b)は、画像投影領域20に対して斜め方向からプロジェクタ10の投影画像を表示した例である。
 この場合、投影画像には歪みが発生する。
 このような画像歪みは、例えば台形補正等の幾何補正やキーストーン補正等の歪み補正を投影画像に施すことで修正することができる。
 すなわち、プロジェクタ10、あるいはプロジェクタ10に接続された装置で投影用画像に補正処理を施して補正後の画像を投影することで歪みのない画像を画像投影領域20上に表示することができる。
 すなわち、図2(c)に示すように、画像投影領域20に対して斜め方向からプロジェクタ10の投影画像を表示しても歪みの無い画像を表示することが可能となる。
  [2.駆動型プロジェクタの概要と問題点について]
 次に、駆動型プロジェクタの概要と問題点について説明する。
 図3は、駆動型プロジェクタ30の利用例を示す図である。
 図3に示す駆動型プロジェクタ30は、モータ31,32を有しており、これらのモータ31,32の回転により画像投影方向を様々な方向に設定することができる。
 モータ31は、駆動型プロジェクタ30をチルト軸周りに回転させるチルト(Tilt)軸周り回転用モータであり、図3に示す例では、駆動型プロジェクタ30を上下方向に回転させることができる。
 また、モータ32は、駆動型プロジェクタ30をパン(Pan)軸周りに回転させるパン軸周り回転用モータであり、図3に示す例では、駆動型プロジェクタ30を左右方向に回転させることができる。
 例えばユーザが外部装置を利用して駆動型プロジェクタ30に対してモータの駆動コマンドを出力することで、駆動型プロジェクタ30のモータ31,32が回転し、駆動型プロジェクタ30の画像投影方向を様々な方向に設定することができる。
 図3に示す例では、例えば「壁」や「柱」や、「テーブル」等、様々な画像投影対象物を示している。モータ31,32を回転させることで、これら様々な画像投影対象物の方向に、駆動型プロジェクタ30の投影方向を設定することで、「壁」や「柱」や、「テーブル」等、様々な画像投影対象物に画像を表示することが可能となる。
 しかし、例えば温度変化による部品の伸縮や、各部品の摩擦や抵抗の変化、モータトルクの変化、ハードウェア筐体への重力の影響、ギアの遊びの変化、さらにはモータエンコーダの量子化誤差など様々な要因により、モータに所定の回転量の回転を行わせる制御を行っても投影方向が微妙にずれてしまうといった問題が発生する。
 このずれは、プロジェクタから画像投影位置までの距離が大きいほど拡大することになるため、画像投影位置が遠い場合には、ユーザの希望する画像投影位置から大きくずれた位置に画像が表示されるといった問題が発生する。
 図4は、画像投影目標位置からずれた画像投影が行われた例を説明する図である。
 図4に示す例は、図3に示す「テーブル」に画像投影を行った例である。
 ユーザは、例えば駆動型プロジェクタ30と通信可能な制御装置を用いて、画像投影目標位置を指定する。
 制御装置は、この指定情報に従い、テーブル上に画像投影を行うためのモータ回転量を算出して算出したモータ回転量に応じたモータ駆動コマンドを生成して、駆動型プロジェクタ30に送信する。
 駆動型プロジェクタ30は、制御装置から受信したモータ駆動コマンドに従って、モータ31,32を回転させる。
 この結果として、図4に示すような投影画像がテーブル上に表示される。
 図4の「(a)理想的な投影画像例」は、ユーザが指定した画像投影目標位置に位置ずれなく投影画像が表示された例を示している。
 一方、図4の「(b)位置ずれのある投影画像例」は、ユーザが指定した画像投影目標位置から大きな位置ずれが発生した投影画像の表示例を示している。
 図4(a)の「理想的な投影画像例」に示すような画像投影が行われることが望ましいが、現実には、図4の「(b)位置ずれのある投影画像例」に示すように、ユーザが指定した画像投影目標位置から位置ずれが発生した投影画像が表示されてしまう場合がある。
 この原因は、上述したように、温度変化による部品の伸縮や、各部品の摩擦や抵抗の変化、モータトルクの変化、ハードウェア筐体への重力の影響、ギアの遊びの変化、さらにはモータエンコーダの量子化誤差など様々な要因の複合的な作用によるものであり、調整が困難である。
 本開示の情報処理装置は、この問題を解決するものである。
  [3.本開示の情報処理装置の実行する処理の概要について]
 次に、本開示の情報処理装置の実行する処理の概要について説明する。
 本開示の情報処理装置は、駆動型プロジェクタの駆動制御を行う装置である。
 駆動型プロジェクタの画像投影方向をユーザの指定した画像投影目標位置に一致させるように駆動型プロジェクタの駆動制御を行う。
 本開示の処理の概要について説明する。
 本開示の構成では、駆動型プロジェクタからレーザ光の照射を行う。このレーザ光の照射された位置(3次元位置)を、例えばステレオカメラやデプスセンサ(距離センサ)等のセンサを用いて検出する。
 本開示の情報処理装置は、このレーザ照射位置の3次元位置を解析し、目標の画像投影位置(3次元位置)との差分を算出する。さらに、算出した差分量に基づいて駆動型プロジェクタの駆動制御(フィードバック制御)を行う。
 このように本開示の構成では、まず、駆動型プロジェクタを目標投影方向に向けさせる初期設定を行う。その後、駆動型プロジェクタから出力されるレーザ光の照射位置(3次元位置)を解析し、この解析結果と画像投影目標位置との位置ずれ量を算出し、算出した位置ずれ量に基づいて、駆動型プロジェクタの方向の再調整を行う。
 これらの一連の処理により、駆動型プロジェクタの画像投影方向をユーザの指定した画像投影目標位置に一致させる。
 図5は、本開示の情報処理装置100と、駆動型プロジェクタ50を用いた本開示の情報処理システムである画像投影システムの一構成例を示す図である。
 図5に示す情報処理装置100は、まず、例えばユーザの指定する画像投影目標位置、あるいは予めプログラムされた画像投影目標位置に画像投影を行うためのモータ駆動量を算出する。次に、算出したモータ駆動量に応じたモータ駆動コマンドを生成して、駆動型プロジェクタ50に送信する。
 駆動型プロジェクタ50は、情報処理装置100から入力したモータ駆動コマンドに従って、投影方向を画像投影目標位置に向けさせる初期設定を行う。
 なお、駆動型プロジェクタ50は、先に図3を参照して説明した駆動型プロジェクタ30と同様、駆動型プロジェクタ50をチルト軸周りで回転させるチルト(Tilt)軸周り回転用モータと、駆動型プロジェクタ50をパン(Pan)軸周りで回転させるパン軸周り回転用モータを有している。
 これらのモータを、情報処理装置100から入力したモータ駆動コマンドに従って回転させることで、投影方向を画像投影目標位置に向けさせる初期設定を行う。
 投影方向を画像投影目標位置に向けさせる初期設定が完了した後、駆動型プロジェクタ50から照射されるレーザ光の照射位置を図5に示すセンサ60が検出し、検出情報を情報処理装置100に入力する。
 センサ60は、駆動型プロジェクタ50の可動範囲、すなわち画像投影可能空間内のオブジェクトの3次元位置を解析するための情報を検出するセンサである。具体的には、例えば画像投影可能空間全体を撮影可能なステレオカメラや、距離センサ(デプスセンサ)等によって構成される。
 なお、駆動型プロジェクタ50が照射するレーザ光として赤外光を用いる場合、センサ60は赤外光を検出可能なカメラや距離センサ等によって構成する。また、センサ60内のカメラは、駆動型プロジェクタ50の可動範囲の全ての位置(3次元位置)を計測可能とするため、広角カメラとすることが好ましい。
 情報処理装置100は、センサ60からセンサ検出情報を入力し、センサ検出情報を解析して、駆動型プロジェクタ50から照射されるレーザ光照射ポイントの3次元位置を解析する。
 さらに、情報処理装置100は、レーザ光照射ポイントの3次元位置と、画像投影目標位置との位置ずれ量に対応するモータの駆動角度ずれ量、すなわち、駆動型プロジェクタ50のモータ(チルト軸周り回転用モータと、パン軸周り回転用モータ)の駆動角度ずれ量を算出する。
 情報処理装置100は、モータ(チルト軸周り回転用モータと、パン軸周り回転用モータ)の駆動角度ずれ量に基づいて、駆動角度ずれ量をゼロにするための駆動量を決定して、駆動型プロジェクタ50を再駆動させるフィードバック制御を行う。
 このフィードバック制御において、レーザ光照射ポイントの3次元位置と、画像投影目標位置の3次元位置との差分(3次元位置差分)がゼロになるような調整が行われる。結果として、駆動型プロジェクタ50の投影方向を画像投影目標位置に正確に一致させることが可能となる。
 なお、本開示の情報処理装置100が実行するさらに詳細な説明については、後段においてフローチャートを参照して説明する。
  [4.本開示の情報処理装置を含む情報処理システム構成例について]
 次に、本開示の情報処理装置を含む情報処理システム構成例について説明する。
 まず、図6を参照して、駆動型プロジェクタ50の詳細構成について説明する。
 図6は駆動型プロジェクタ50の詳細構成例を示す図である。
 図6に示すように、駆動型プロジェクタ50は、画像投影部51、光(レーザ光)照射部であるレーザポインタ52、スピーカ53、モータ55T,55P、制御部57を有する。
 画像投影部51は、様々な画像投影対象物に画像を投影する。レーザポインタ52は、レーザ光を出力する。スピーカ53は、例えば画像投影部51によって投影される画像に併せた音声を出力する。
 モータ55T,55Pは、駆動型プロジェクタ50の画像投影方向の制御を行うモータである。
 モータ55Tは、駆動型プロジェクタ50をチルト軸周りに回転させるチルト(Tilt)軸周り回転用モータであり、駆動型プロジェクタ50を、例えば図に点線で示す「チルト軸周り回転方向」に従って回転させ、駆動型プロジェクタ50による画像投影方向を上下方向に変化させることができる。
 また、モータ55Pは、駆動型プロジェクタ50をパン(Pan)軸周りで回転させるパン軸周り回転用モータであり、駆動型プロジェクタ50を、例えば図に点線で示す「パン軸周り回転方向」に従って回転させ、駆動型プロジェクタ50による画像投影方向を左右方向に変化させることができる。
 制御部57は、情報処理装置100との通信処理や、情報処理装置100から入力する画像データや音声データを、画像投影部51やスピーカ53を介して出力する制御を行う。さらに、情報処理装置100から入力するモータ駆動コマンドに応じて、モータ55T,55Pを駆動させる。さらに、情報処理装置100から入力するコマンドに応じてレーザポインタ52のON/OFF制御等を行う。
 なお、駆動型プロジェクタ50のモータ55T,55Pによる駆動機構は、駆動型プロジェクタ50の光源位置を中心としたパン・チルトを行う設定を有することが好ましい。
 すなわち、回転しても光源中心の位置が変化しない機構とすることが好ましい。これは後述するレーザポインティング位置から現在のパン・チルト角度の算出を簡単にするためである。なお、回転中心と光源位置にオフセットがある構成とした場合は、オフセットを考慮した処理、例えば位置ずれ算出処理を行なえばよい。
 レーザポインタ52は、例えば、不可視光である赤外線のレーザ光を出力するレーザポインタである。レーザポインタ52は、画像投影部51の光軸方向(投射方向)と平行にレーザ光を出力するように配置する。なお、レーザポインタ52が出力するレーザ光の照射位置に基づいて画像投影部51の光軸方向を正確に算出するため、レーザポインタ52はできる限り画像投影部51(光源)の位置近傍に配置することが望ましい。
 次に、図7を参照して、図5に示す情報処理システム、すなわち、本開示の情報処理装置100と、駆動型プロジェクタ50を用いた本開示の情報処理システムである画像投影システムの各構成要素の構成例について説明する。
 図5を参照して説明したように、本開示の情報処理システムである画像投影システムは、情報処理装置100の他、センサ60、駆動型プロジェクタ50を有する。
 センサ60は、駆動型プロジェクタ50の可動範囲、すなわち画像投影可能空間内のオブジェクトの3次元位置を解析するための情報を検出するセンサである。
 図7に示すように、センサ60は、センサ部61と、通信部62を有する。
 センサ部61は、具体的には、例えば画像投影可能空間全体を撮影可能なステレオカメラや、距離センサ等によって構成される。
 通信部61は、情報処理装置100との通信を実行し、センサ部61の検出情報を情報処理装置100に送信する。
 具体的には、駆動型プロジェクタ50のレーザポインタ52によって照射されたレーザ光のカメラ撮影画像や、距離センサ検出情報等の検出情報を情報処理装置100に送信する。
 駆動型プロジェクタ50は、先に図6を参照して説明した構成を有し、図7に示すように画像投影部51、レーザポインタ52、スピーカ53、モータ(チルト軸周り回転用モータ)55T、モータ(パン軸周り回転用モータ)55P、通信部56、制御部57を有する。
 画像投影部51は、様々な画像投影対象物に画像を投影する。レーザポインタ52は、レーザ光を出力する。スピーカ53は、例えば画像投影部51によって投影される画像に併せた音声を出力する。
 モータ55T,55Pは、駆動型プロジェクタ50の画像投影方向の制御を行うモータであり、先に図6を参照して説明したように、それぞれチルト軸周りの回転、パン軸周りの回転を行わせるモータである。
 通信部56は、情報処理装置100とのデータ通信を実行する。
 例えば情報処理装置100から投影画像や出力音声等の出力コンテンツ情報を受信し、さらに、モータ駆動コマンドやレーザポインタのON/OFF制御信号等を受信する。
 制御部57は、情報処理装置100との通信処理や、情報処理装置100から入力する画像データや音声データを、画像投影部51やスピーカ53を介して出力する制御を行う。さらに、情報処理装置100から入力するモータ駆動コマンドに応じて、モータ55T,55Pを駆動させる。さらに、情報処理装置100から入力するコマンドに応じてレーザポインタ52のON/OFF制御等を行う。
 情報処理装置100は、入力部101、画像投影目標位置決定部102、プロジェクタ駆動部103、通信部104、3次元空間解析部105、3次元空間情報記憶部106、コンテンツDB107、画像補正部108、レーザ光照射ポイント3次元位置解析部109、差分算出部110を有する。
 入力部101は、例えば、画像投影目標位置や、画像投影対象物の指定情報等のユーザ入力を行う。その他、例えば投影コンテンツの入力処理、駆動型プロジェクタ50の起動、停止等の制御情報の入力等にも用いられる。
 画像投影目標位置決定部102は、例えば入力部101から入力された情報に従い、駆動型プロジェクタ50による投影画像の投影目標位置を決定する。または、予めプログラムされた投影目標位置情報を、図示しない記憶部から取得して投影目標位置を決定する。
 あるいは、センサ60のカメラによって撮影された画像情報に従い、投影目標位置を決定する処理を行なってもよい。
 例えば、ユーザが図5に示す「テーブル」に対して指差しを行い、画像投影対象物を「テーブル」とする指定を行った場合、センサ60のカメラがユーザの指さし画像を撮影し、撮影画像を、通信部104を介して画像投影目標位置決定部102に入力する。
 画像投影目標位置決定部102は、この入力画像に基づいて「テーブル」を、投影目標位置として決定するといった処理を行なう構成としてもよい。
 なお、画像投影目標位置決定部102による画像投影目標位置の決定処理においては、画像投影目標位置の3次元位置(x,y,z)を算出する。
 例えば、「テーブル」が、画像投影対象物として指定された場合、テーブルの上面領域の頂点の3次元座標や、テーブル上面中心の3次元座標を算出する。
 この3次元位置の算出には、例えば3次元空間情報記憶部106に格納された画像投影空間のオブジェクトに関する3次元位置情報が利用可能である。
 3次元空間情報記憶部106には、予め3次元空間解析部105によって解析された画像投影空間のオブジェクトに関する3次元位置情報が格納されている。
 3次元空間解析部105は、センサ60の検出情報を入力して、駆動型プロジェクタ50の可動範囲、すなわち画像投影可能空間内のオブジェクトの3次元位置を解析し、その解析結果を3次元空間情報記憶部106に格納する。
 画像投影目標位置決定部102は、この3次元空間情報記憶部106に格納された3次元空間情報を参照して、画像投影目標位置としての画像投影対象物の3次元位置(x,y,z)を取得する。
 プロジェクタ駆動部103は、例えば、画像投影目標位置決定部102の決定した画像投影目標位置に駆動型プロジェクタ50の投影方向を一致させるための駆動量、すなわち駆動型プロジェクタ50のモータ55T,55Pの駆動量を決定して、通信部104を介して駆動型プロジェクタ50に送信する。
 プロジェクタ駆動部103は、さらに、差分算出部110の算出した駆動型プロジェクタ50から出力されるレーザ光の照射位置(3次元位置)と画像投影目標位置との位置ずれ量に基づいて、差分をゼロにするための駆動量、すなわち駆動型プロジェクタ50のモータ55T,55Pの駆動量を決定して、通信部104を介して駆動型プロジェクタ50に送信する。
 通信部104は、駆動型プロジェクタ50による投影コンテンツの送信の他、センサ60からのセンサ検出情報の受信、駆動型プロジェクタ50の投影方向制御のためのモータ駆動コマンド送信等の通信処理を実行する。
 コンテンツDB107には、駆動型プロジェクタ50による投影コンテンツが格納されている。
 画像補正部108は、駆動型プロジェクタ50と画像投影対象物との位置関係に応じて、投影画像の補正処理を行なう。すなわち、先に図1~図2を参照して説明した画像ひずみを解消するための補正、例えば、台形補正等の幾何補正やキーストーン補正等の歪み補正を実行する。
 画像補正部108の生成した補正画像は、駆動型プロジェクタ50に送信され、画像投影部51を介して投影される。
 なお、画像補正部108は、例えば、駆動型プロジェクタ50の画像投影方向と、画像投影対象物との位置関係に応じた投影画像の幾何変換処理を実行する。また、画像補正部108は、駆動型プロジェクタ50による投影画像の画像サイズ調整処理を実行する。例えば、駆動型プロジェクタ50よる投影画像が、画像投影対象物の画像投影領域に収まっていない場合、投影画像を画像投影対象物の画像投影領域に収まるように画像補正処理を実行する。
 さらに、画像補正部108は、駆動型プロジェクタによる投影画像の画像サイズ調整のためのズーム処理実行コマンドを生成し、駆動型プロジェクタ50出力する処理も行う。
 レーザ光照射ポイント3次元位置解析部109は、駆動型プロジェクタ50から出力されるレーザ光の照射位置(3次元位置)を解析する。
 レーザ光照射ポイント3次元位置解析部109は、センサ60の検出情報を、通信部104を介して入力し、駆動型プロジェクタ50から出力されるレーザ光の照射位置(3次元位置)を解析し、解析したレーザ光の照射位置(3次元位置)情報を差分算出部110に出力する。
 差分算出部110は、駆動型プロジェクタ50から出力されるレーザ光の照射位置(3次元位置)と画像投影目標位置との位置ずれ量に対応するモータの駆動角度ずれ量、すなわち、駆動型プロジェクタ50のモータ(チルト軸周り回転用モータ)55Tと、モータ(パン軸周り回転用モータ)55P、これら2つのモータの駆動角度ずれ量を、フィードバック制御量として算出する。
 なお、例えば、駆動型プロジェクタ50の画像投影用光源と、レーザポインタとが離れた位置にある場合には、差分算出部110は、この離間距離に相当するオフセットを考慮して制御量の算出処理を実行する。
 差分算出部110は、算出した駆動角度ずれ量をプロジェクタ駆動部103に出力する。
 プロジェクタ駆動部103は、前述したように、差分算出部110の算出したレーザ光照射位置と画像投影目標位置との位置ずれに対応する駆動角度ずれ量に基づいて、駆動角度ずれ量をゼロにするための駆動量、すなわち駆動型プロジェクタ50のモータ55T,55Pの駆動量を決定して、通信部104を介して駆動型プロジェクタ50に送信する。
 このフィードバック制御により、レーザ光照射ポイントの3次元位置と、画像投影目標位置の3次元位置との差分(3次元位置差分)をゼロとする調整が行われ、駆動型プロジェクタ50の投影方向を画像投影目標位置に正確に一致させることが可能となる。
  [5.本開示の情報処理装置が実行する処理のシーケンスについて]
 次に、本開示の情報処理装置が実行する処理のシーケンスについて説明する。
 図8は、本開示の情報処理装置が実行する処理のシーケンスについて説明するフローチャートである。
 なお、図8に示すフローに従った処理は、例えば、情報処理装置100の記憶部に格納されたプログラムに従って、プログラム実行機能を有するCPU等の制御部の制御の下で実行される。
 なお、制御部や記憶部は、図7に示す情報処理装置100の構成図では示していないが、制御部は図7に示す構成部各々の処理の統括的制御を実行し、制御用プログラムが記憶部に格納されている。
 以下、図8に示すフローの各ステップの処理について、順次、説明する。
  (ステップS101)
 まず、情報処理装置100は、ステップS101において、画像投影目標位置が決定されたか否かを判定する。
 先に図7を参照して説明したように、画像投影目標位置の決定処理は、画像投影目標位置決定部102が実行する。画像投影目標位置決定部102は、例えば入力部101から入力された情報に従い、駆動型プロジェクタ50による投影画像の投影目標位置を決定する。または、予めプログラムされた投影目標位置情報を記憶部から取得して投影目標位置を決定する。
 あるいは、センサ60のカメラによって撮影された画像情報に従い、投影目標位置を決定する処理を行なってもよい。
 なお、画像投影目標位置決定部102による画像投影目標位置の決定処理は、具体的には、画像投影目標位置の3次元位置(x,y,z)を決定する処理として実行される。画像投影目標位置決定部102は、3次元空間情報記憶部106に格納された3次元空間情報を参照して、画像投影目標位置としての画像投影対象物の3次元位置(x,y,z)を取得する。
 例えばユーザがテーブルを画像投影対象物として指定した場合、テーブル上面の中心位置の3次元位置(x,y,z)を取得する。
 ステップS101において、画像投影目標位置が決定されたと判定した場合は、ステップS102に進む。
  (ステップS102)
 次に、情報処理装置100は、ステップS102において、駆動型プロジェクタ50を画像投影目標位置に設定する駆動処理を実行する。
 この処理は、プロジェクタ駆動部103が実行する。
 プロジェクタ駆動部103は、画像投影目標位置決定部102の決定した画像投影目標位置に駆動型プロジェクタ50の投影方向を一致させるための駆動量、すなわち駆動型プロジェクタ50のモータ55T,55Pの駆動量を決定して、通信部104を介して駆動型プロジェクタ50に送信する。
 なお、この処理は、プロジェクタ駆動部103の初期設定であり、この時点の駆動では、駆動型プロジェクタ50の投影方向が、画像投影目標位置からずれている可能性がある。
 すなわち、例えば温度変化による部品の伸縮や、各部品の摩擦や抵抗の変化、モータトルクの変化、ハードウェア筐体への重力の影響、ギアの遊びの変化、さらにはモータエンコーダの量子化誤差など様々な要因により、駆動型プロジェクタ50の投影方向が、画像投影目標位置からずれている可能性がある。
 ステップS102において、プロジェクタ駆動部103が実行する初期設定、すなわち、駆動型プロジェクタ50を画像投影目標位置に設定する駆動処理の具体例について説明する。
 まず、図9を参照して、駆動処理に利用する座標系について説明する。図9に示すような駆動型プロジェクタ50の光源位置を原点とした3次元座標系を利用する。
 図9に示す3次元座標系は、駆動型プロジェクタ50のパン軸Y軸、チルト軸をX軸とし、XY平面に直交し、駆動型プロジェクタ50の投影方向と反対方向にZ軸を設定した座標系である。この3次元座標系の原点を世界座標系の原点として扱う。
 駆動型プロジェクタ50の光軸(光源から投影方向に延びる軸)を示す直線は、以下の(式1)として示すことができる。
Figure JPOXMLDOC01-appb-M000001
 なお、上記(式1)において、
 (x,y,z)は、任意の単位ベクトル、
 (x,y,z)は、光軸(光源から投影方向に延びる軸)を示す直線が通る任意の点である。
 ここで、駆動型プロジェクタ50の光源は原点であり、また、
 光軸方向は、z=-1であることから、パン・チルト角度が0°の時の駆動型プロジェクタ50の光軸は次の(式2)として示すことができる。
Figure JPOXMLDOC01-appb-M000002
 次に、駆動型プロジェクタ50のY軸(パン軸)周りの回転角度をβ,X軸(チルト軸)周りの回転角度をαとすると、駆動型プロジェクタ50の回転行列Rは次の(式3)として示される。
Figure JPOXMLDOC01-appb-M000003
 上記(式2)および(式3)から、駆動型プロジェクタ50の回転後、すなわち、駆動型プロジェクタ50をY軸(パン軸)周りに回転角度=β,X軸(チルト軸)周りに回転角度=αで回転させた後の駆動型プロジェクタ50の光軸方向を示す直線(x,y,z)は以下に示す(式4)で示すことができる。
Figure JPOXMLDOC01-appb-M000004
 上記(式4)を変形することで、3次元空間上のある点(x',y',z')を、駆動型プロジェクタ50の光軸が通る場合の、駆動型プロジェクタ50の回転角度、すなわち、駆動型プロジェクタ50のX軸(チルト軸)周りの回転角度αと、Y軸(パン軸)周りの回転角度βは、以下の(式5a,5b)として示すことができる。
Figure JPOXMLDOC01-appb-M000005
 なお、上記(式5a,5b)において、
 x'≠0である。
 ステップS101で決定された画像投影目標位置の3次元位置(x,y,z)を、上記(式5a,b)の3次元空間上の点(x',y',z')とすることで、上記(式5a,b)に基づいて、駆動型プロジェクタ50のX軸(チルト軸)周りの回転角度αと、Y軸(パン軸)周りの回転角度βを算出することができる。
 プロジェクタ駆動部103は、ステップS102において、ステップS101で画像投影目標位置決定部102の決定した画像投影目標位置(x,y,z)を、上記(式5a,b)の3次元空間上の点(x',y',z')として、上記(式5a,b)に基づいて、駆動型プロジェクタ50のX軸(チルト軸)周りの回転角度αと、Y軸(パン軸)周りの回転角度βを算出する。さらにプロジェクタ駆動部103は、駆動型プロジェクタ50のモータ55T,55Pに算出した回転角度α,βの回転を行わせるための駆動コマンドを生成して通信部104を介して駆動型プロジェクタ50に送信する。
 なお、上記説明に従った処理は、駆動型プロジェクタ50のX軸(チルト軸)、Y軸(パン軸)の交点(原点)と、駆動型プロジェクタ50の光源位置が一致していると仮定した処理である。
 駆動型プロジェクタ50のX軸(チルト軸)、Y軸(パン軸)の交点(原点)と、駆動型プロジェクタ50の光源位置が一致せず、オフセット(平行移動)している場合は、先に説明した(式2)にオフセット値(平行移動成分)を加味することで、同様に画像投影目標位置に対する駆動角度を算出することができる。
 また、上記説明に従った処理は、レーザポインタの光線を、駆動型プロジェクタ50の光軸として近似した処理であるが、レーザポインタの光線と、駆動型プロジェクタ50の光軸とのオフセット(平行移動成分)を加味して処理を行なう構成としてもよい。この場合は、前述した(式2)にレーザポインタの光線と、駆動型プロジェクタ50の光軸とのオフセット値(平行移動成分)を加味することで、画像投影目標位置への駆動角度を算出することができる。
  (ステップS103)
 次に、情報処理装置100は、ステップS103において、センサ検出情報に基づいて、レーザ光照射位置(3次元位置)を解析する。
 この処理は、レーザ光照射ポイント3次元位置解析部109が実行する。
 レーザ光照射ポイント3次元位置解析部109は、駆動型プロジェクタ50から出力されるレーザ光の照射位置(3次元位置)を解析する。
 レーザ光照射ポイント3次元位置解析部109は、センサ60の検出情報を、通信部104を介して入力し、駆動型プロジェクタ50から出力されるレーザ光の照射位置(3次元位置)を解析し、解析したレーザ光の照射位置(3次元位置)情報を差分算出部110に出力する。
 レーザ光照射ポイント3次元位置解析部109は、例えば、3次元空間情報記憶部106に格納された3次元空間情報を参照して、レーザ光照射ポイントの3次元位置を解析する。
 なお、このレーザ光照射ポイントの3次元位置を解析処理の一例として、以下において図10、図11を参照して説明するアルゴリズムを用いた処理が適用可能である。
 図10、図11を参照して、レーザ光照射ポイント3次元位置の解析処理の一例について説明する。
 まず、レーザ光照射ポイント3次元位置解析部109は、センサ60の検出情報を、通信部104を介して入力する。
 例えば、図10のステップS201に示す画像を入力する。
 図10のステップS201に示す画像中の中央白い楕円領域がレーザ光照射部分である。
 次に、レーザ光照射ポイント3次元位置解析部109は、ステップS202において、センサ60からの入力画像に対する2値化処理を実行する。
 さらに、レーザ光照射ポイント3次元位置解析部109は、ステップS203において、2値化画像から輪郭(レーザ光照射ポイントの輪郭)を抽出する処理を行なう。
 この処理によってレーザ光照射位置の周囲の輪郭が抽出される。
 次に、ステップS204において、輪郭によって囲まれたレーザ光照射領域の重心位置を算出し、この重心位置の3次元座標を取得する。この3次元座標は、3次元空間情報記憶部106に格納された3次元空間情報を参照して取得することができる。
 なお、3次元空間情報記憶部106に格納された3次元空間情報を参照することなく、レーザ光照射ポイント3次元位置を解析することも可能である。
 この処理について、図11を参照して説明する。
 まず、センサ60のカメラの3次元位置とカメラの画角情報(内部パラメータ)から、レーザ光照射ポイントの検出方向の3次元ベクトル(センサ検出レーザ光対応3次元ベクトル)を算出する。
 次に、この3次元ベクトル(センサ検出レーザ光対応3次元ベクトル)と、センサ60の構成要素である距離センサ(デプスセンサ)から取得した3次元空間情報との交差判定を行う。この処理により、レーザ光照射位置(3次元位置)を特定することが可能である。
 レーザ光照射ポイント3次元位置解析部109は、例えば上記処理を実行して、駆動型プロジェクタ50から出力されるレーザ光の照射位置(3次元位置)を解析し、解析したレーザ光の照射位置(3次元位置)情報を差分算出部110に出力する。
 なお、上述したレーザ光照射ポイントの3次元位置解析処理例は、センサ60がカメラと、距離センサ(デプスセンサ)センサを有する場合の処理例であるが、レーザ光照射ポイントの3次元位置を解析するための処理は、上記処理に限らず、様々な処理が可能である。
 例えば、センサ60が距離計測用ではない通常カメラや赤外光カメラである場合、センサ60のカメラ撮影画像中に撮影されたレーザ光位置は2次元座標位置となる。このレーザ光位置の3次元位置を求めるためには以下の処理を実行すればよい。
 カメラ(センサ60)の設置された3次元位置とカメラの画角情報(内部パラメータ)および3次元空間情報を用いて、レーザ光照射ポイントの検出方向の3次元ベクトルと3次元空間情報との交差位置検出を行う。この交差位置の3次元座標をレーザ光位置の3次元位置として算出することができる。
 さらに、センサ60がステレオカメラや赤外光ステレオカメラである場合は、ステレオカメラの撮影画像の解析により、直接、レーザ光照射ポイントの3次元座標を取得することが可能となる。ただし、この画像解析により算出される3次元座標は、ステレオカメラのカメラ座標系における3次元座標であるため、カメラ座標系で検出された3次元座標を、先に説明した世界座標系での3次元座標に変換する必要がある。この変換処理にはステレオカメラの設置位置の3次元位置情報を利用する。
 ステップS103では、例えば上記いずれかの処理を行なって、レーザ光照射ポイントの3次元位置を解析する。すなわち、駆動型プロジェクタ50から出力されるレーザ光の照射位置(3次元位置)を解析する。解析したレーザ光の照射位置(3次元位置)情報を差分算出部110に出力する。
  (ステップS104)
 次に、情報処理装置100は、ステップS104において、画像投影目標位置(3次元位置)と、レーザ光照射位置(3次元位置)との位置ずれ量に対応するモータの駆動角度ずれ量、すなわち、駆動型プロジェクタ50のモータ(チルト軸周り回転用モータ)55Tと、モータ(パン軸周り回転用モータ)55P、これら2つのモータの駆動角度ずれ量を算出する。
 この処理は、図7に示す情報処理装置100の差分算出部110が実行する処理である。
 差分算出部110は、
 (A)画像投影目標位置(3次元位置)対応のモータ駆動角度(X軸(チルト軸)周りの回転角度=αa、Y軸(パン軸)周りの回転角度=βa)、
 (B)レーザ光照射位置(3次元位置)、これら2つの3次元位置対応のモータ駆動角度(X軸(チルト軸)周りの回転角度=αb、Y軸(パン軸)周りの回転角度=βb)、
 これら2つの3次元位置対応のモータ駆動角度を算出し、この駆動角度の差分を算出する。
 算出する差分は、
 X軸(チルト軸)周りの回転角度差分=αa-αb
 Y軸(パン軸)周りの回転角度差分=βa-βb、
 これら2つの回転軸周りの角度差分である。
 上記の
 (A)画像投影目標位置(3次元位置)対応のモータ駆動角度(X軸(チルト軸)周りの回転角度=αa、Y軸(パン軸)周りの回転角度=βa)、
 このモータ駆動角度算出処理には、先に説明した(式5a,b)を利用する。
 画像投影目標位置(3次元位置)(xa,ya,za)を、(式5a,b)の3次元空間上の点(x',y',z')とした代入することで、上記(式5a,b)に基づいて、駆動型プロジェクタ50のX軸(チルト軸)周りの回転角度αaと、Y軸(パン軸)周りの回転角度βaを算出することができる。
 同様に、
 (B)レーザ光照射位置(3次元位置)、これら2つの3次元位置対応のモータ駆動角度(X軸(チルト軸)周りの回転角度=αb、Y軸(パン軸)周りの回転角度=βb)、
 このモータ駆動角度算出処理には、レーザ光照射位置(3次元位置)(xb,yb,zb)を、(式5a,b)の3次元空間上の点(x',y',z')とした代入することで、上記(式5a,b)に基づいて、駆動型プロジェクタ50のX軸(チルト軸)周りの回転角度αbと、Y軸(パン軸)周りの回転角度βbを算出することができる。
  (ステップS105)
 次に、情報処理装置100は、ステップS105において、ステップS104で算出した駆動角度ずれ量が予め規定したしきい値以下であるか否かを判定する。
 すなわち、画像投影目標位置(3次元位置)と、レーザ光照射位置(3次元位置)との位置ずれ量に対応するモータの駆動角度ずれ量が予め規定したしきい値以下であるか否かを判定する。
 予め規定したしきい値とは例えば1°、あるいは2°等のしきい値である。このしきい値は予め規定しておく。
 画像投影目標位置(3次元位置)と、レーザ光照射位置(3次元位置)との位置ずれ量に対応するモータの駆動角度ずれ量が予め規定したしきい値以下であると判定した場合は、ステップS106~S107のフィードバック制御を行うことなく、ステップS108以下の処理を実行する。この場合は、画像投影位置の修正は行われない。
 一方、画像投影目標位置(3次元位置)と、レーザ光照射位置(3次元位置)との位置ずれ量に対応するモータの駆動角度ずれ量が予め規定したしきい値以下でないと判定した場合は、ステップS106~S107のフィードバック制御を行う。この場合は、画像投影位置の修正が行われる。
  (ステップS106)
 ステップS105の判定処理において、画像投影目標位置(3次元位置)と、レーザ光照射位置(3次元位置)との位置ずれ量に対応するモータの駆動角度ずれ量が予め規定したしきい値以下でないと判定した場合は、ステップS106~S107のフィードバック制御を行う。
 まず、ステップS106において、情報処理装置100は、モータの駆動角度ずれ量をゼロにするための調整駆動コマンドを生成する。
 この処理は、図7に示す情報処理装置100のプロジェクタ駆動部103の実行する処理である。
 プロジェクタ駆動部103は、ステップS104で差分算出部110が算出したレーザ光照射位置と画像投影目標位置との位置ずれに対応する駆動角度ずれ量に基づいて、駆動角度ずれ量をゼロにするための駆動量、すなわち駆動型プロジェクタ50のモータ55T,55Pの駆動量を決定して、この駆動量に応じた駆動処理を実行させるための駆動コマンドを生成する。
  (ステップS107)
 次に、情報処理装置100は、ステップS107において、ステップS106で生成した駆動コマンドを駆動型プロジェクタ50に送信して駆動型プロジェクタ50を、再駆動(フィードバック制御)を実行する。
 さらに、この処理の後、ステップS103に戻り、さらに再駆動後のレーザ光照射位置と、画像投影目標位置との位置ずれ量に対応するモータの駆動角度ずれ量を算出し、ステップS105において、駆動角度ずれ量がしきい値以下になったか否かを判定する。
 しきい値以下になっていない場合は、さらに、ステップS106~S107のフィードバック制御処理を繰り返して実行する
 ステップS105において、駆動角度ずれ量がしきい値以下になったと判定された場合は、ステップS108に進む。
  (ステップS108)
 ステップS105において、駆動角度ずれ量がしきい値以下になったと判定された場合は、ステップS108に進む。
 情報処理装置は、ステップS108において、画像投影目標位置の3次元形状に基づいて投影画像の補正処理(幾何変換等)を実行して補正画像を生成する。
 この処理は、図7に示す情報処理装置100の画像補正部108が実行する処理である。
 画像補正部108は、駆動型プロジェクタ50と画像投影対象物との位置関係に応じて、投影画像の補正処理を行なう。すなわち、先に図1~図2を参照して説明した画像ひずみを解消するための補正、例えば、台形補正等の幾何補正やキーストーン補正等の歪み補正を実行する。
 画像補正部108が実行する画像補正処理の一例について、図12を参照して説明する。
 例えば、図12(1)に示すように駆動型プロジェクタ50と画像投影対象物(テーブル)が配置された場合を例として説明する。
 画像補正部108は、まず(処理A)に示す座標変換処理を行なう。
 駆動型プロジェクタ50の画角情報および現在の駆動型プロジェクタ50の位置姿勢から画像投影対象物(テーブル)を見ると、図12(処理A)の(a1)に示すように見える。図12(処理A)の(a1)に示す画像投影対象物(テーブル)の表示領域(テーブル上面)の形状は画像投影対象物および駆動型プロジェクタ50の3次元位置姿勢情報、および駆動型プロジェクタ50の画角情報に基づいて算出することができる。
 次に、画像補正部108は、(処理A)において、(a1)に示す画像投影対象物(テーブル)の表示領域(テーブル上面)を(a2)に示すプロジェクタスクリーン座標に変換する。なお、プロジェクタスクリーン座標は、駆動型プロジェクタ50の光軸方向に垂直な平面を定義した座標である。画像投影対象物(テーブル)の表示領域(テーブル上面)上面の四隅4点を(a2)に示すプロジェクタスクリーンの4隅の頂点としたプロジェクタのスクリーン座標に変換する。
 次に、(処理B)画像補正処理を行なう。
 この処理は、例えば、画像投影対象物の表示領域に併せて表示画像を射影変換する処理である。(a2)に示すプロジェクタスクリーン座標上の4点から構成される四辺形に合わせて表示物の画像変換(=射影変換)を行い、補正された映像を生成する。
 なお、前述したように画像補正部108は、例えば、駆動型プロジェクタ50の画像投影方向と、画像投影対象物との位置関係に応じた投影画像の幾何変換処理を実行する。また、画像補正部108は、駆動型プロジェクタ50による投影画像の画像サイズ調整処理を実行する。例えば、駆動型プロジェクタ50よる投影画像が、画像投影対象物の画像投影領域に収まっていない場合、投影画像を画像投影対象物の画像投影領域に収まるように画像補正処理を実行する。
 さらに、画像補正部108は、駆動型プロジェクタによる投影画像の画像サイズ調整のためのズーム処理実行コマンドを生成し、駆動型プロジェクタ50出力する処理も行う。
  (ステップS109)
 次に、情報処理装置100は、ステップS109において、ステップS108で生成した補正画像を画像投影対象物に投影する。
 この画像の投影位置は、レーザ光照射ポイント3次元位置と、画像投影目標位置の3次元位置との差分(3次元位置差分)がゼロになるような調整が行われた後の投影位置である。すなわち、レーザ光照射ポイントの3次元位置と、画像投影目標位置との位置ずれ量に対応するモータの駆動角度ずれ量がゼロになるようにフィードバック制御を行って調整された投影位置であり、投影目標位置にほぼ一致した投影位置となる。
  (ステップS110)
 最後に、情報処理装置100は、ステップS110において、投影が終了したか否かを判定する。
 投影が終了していない場合は、ステップS108に戻り、ステップS108~S109において、補正画像の生成、補正画像の投影を継続する。
 投影が終了した場合は、処理を終了する。
  [6.投影画像サイズ調整処理を実行して画像投影対象物の画像投影領域の大きさに併せて投影画像を調整する処理例について]
 次に、ズーム処理等、投影画像サイズ調整処理を実行して画像投影対象物の画像投影領域の大きさに併せて投影画像をと調整する処理例について説明する。
 例えば画像投影対象物が図5に示すテーブルの上面であるような場合、投影画像が大きすぎると、テーブルの上面領域に納まらず、はみ出してしまう場合がある。
 具体例について図13を参照して説明する。
 図13の「(a)理想的な投影画像例」は、ユーザが指定した画像投影目標位置に位置ずれなく投影画像が表示された例を示している。
 一方、図13の「(b)位置ずれと画像サイズ不適合がある投影画像例」は、ユーザが指定した画像投影目標位置から位置ずれがあり、さらに、投影画像の画像サイズが、画像投影対象物であるテーブル上面領域より大きく、投影画像がテーブル上面内に表示できない投影画像の表示例を示している。
 図4(a)の「理想的な投影画像例」に示すような画像投影が行われることが望ましいが、図4の「(b)位置ずれと画像サイズ不適合がある投影画像例」に示すように、ユーザが指定した画像投影目標位置から位置ずれが発生し、さらに、投影画像サイズが画像投影領域より大きく、投影画像が画像投影領域に表示できない場合がある。
 以下に説明する実施例は、このような事態の発生を防止する処理、具体的には投影画像のサイズ調整を実行する実施例である。
 本実施例の処理シーケンスを図14に示す。
 図14に示すフローチャートは、図5、図7に示す情報処理装置100が実行する処理である。
 なお、図14に示すフローに従った処理は、例えば、情報処理装置100の記憶部に格納されたプログラムに従って、プログラム実行機能を有するCPU等の制御部の制御の下で実行される。
 なお、制御部は、図14に示す情報処理装置100の構成図では示していないが、図7に示す構成部各々の処理の統括的制御を実行する。
 図14に示すフローは、先に説明した図8に示すフローのステップS105とステップS108の間に、ステップS121とステップS122の処理を追加した処理フローである。
 これらの追加処理ステップ以外のステップS101~S110の処理は、先に図8を参照して説明した処理と同様の処理であるので説明を省略する。
 以下、追加ステップであるステップS121~S122の処理について説明する。
  (ステップS121)
 ステップS105において、駆動角度ずれ量がしきい値以下になったと判定された場合は、ステップS121に進む。
 情報処理装置は、ステップS121において、投影画像サイズが、投影領域サイズ以下であるか否かを判定する。
 投影画像サイズが、投影領域サイズ以下であると判定した場合は、ステップS108に進む。
 一方、投影画像サイズが、投影領域サイズ以下でないと判定した場合は、ステップS122に進む。
  (ステップS122)
 ステップS121において、投影画像サイズが、投影領域サイズ以下でないと判定した場合は、ステップS122に進む。
 この場合、情報処理装置は、ステップS122において、投影画像サイズを投影領域サイズ以下に調整する。例えばズーム処理等によって投影画像サイズを調整して、投影画像を投影領域サイズ以下に調整する。
 その後、ステップS108に進む。
 情報処理装置は、ステップS108において、画像投影目標位置の3次元形状に基づいて投影画像の補正処理(幾何変換等)を実行して補正画像を生成し、ステップS109において補正画像を投影する。
 本実施例では、上記のように処理ステップS121~S122を実行することで、駆動型プロジェクタ50の投影画像サイズを、画像投影対象物の画像投影領域サイズ以下に調整することが可能となり、投影画像が、投影領域からはみ出すといったエラーを防止できる。
 なお、ステップS121~S122の処理は、図7に示す情報処理装置100の画像補正部108において実行する。
 画像補正部108が通信部104を介して駆動型プロジェクタ50に画像サイズ変更コマンド、例えばズーム処理実行コマンドを出力し、駆動型プロジェクタ50の制御部57が受信コマンドに応じて画像サイズを変更するためのズーム調整処理を行なう。
 あるいは画像補正部108において画像サイズを変更して変更後の画像データを駆動型プロジェクタ50に出力する構成としてもよい。
  [7.変形例、および応用例について]
 次に、上述した実施例の変形例や応用例について説明する。
 (1)センサ60の構成について
 上述の実施例において説明したように、センサ60は駆動型プロジェクタ50の可動範囲、すなわち画像投影可能空間内のオブジェクトの3次元位置を解析するための情報を検出するセンサである。具体的には、例えば画像投影可能空間全体を撮影可能なステレオカメラや、距離センサ(デプセンサ)等によって構成される。
 これらの構成の他、オブジェクトまのでの距離を計測するセンサとして利用可能な構成として、例えば、以下の構成が利用可能である。
 (a)ToF(Time of Flight)センサ、
 (b)カメラとパターン投影用プロジェクタを用いたアクティブステレオ方式による距離計測を実行するセンサ、
 (c)複数台のカメラを用いたパッシブステレオ方式による距離計測を実行するセンサ、
 例えばこれらの構成も利用可能である。
 また、上述した実施例ではセンサ60は1つのみ用いた構成を説明したが、画像投影環境に応じて、センサ60を複数用いて複数箇所に設置した構成としてもよい。このような構成とすることで、画像投影環境を複数視点から観測可能となり、例えば、物体の遮蔽によるセンサ検出不可領域を削減可能となり、ロバストなレーザ照射位置検出が可能となる。
 また、センサ60による距離計測を実行することなく、予め作成された3D環境モデルを記憶部に格納して、これを利用して、レーザ光照射位置や、画像投影対象物の3次元位置を算出、または取得する構成としてもよい。
 (2)駆動型プロジェクタ50の構成について
 上述した実施例では、駆動プロジェクタ50本体を駆動するパン・チルト機構を有する構成について説明した。
 このように、駆動プロジェクタ50本体を駆動する構成以外の構成として、プロジェクタ前面にパン・チルト駆動機構を持つ鏡を配置し、鏡の反射方向を変えることで様々な異なる場所へ画像投影を行う構成としてもよい。
 この構成とした場合、情報処理装置100は、鏡の駆動コマンドを生成して鏡の方向を変更するモータ制御部に送信し、モータ制御部が鏡の角度を変更する。
 また、上述した実施例では、先に図9に示すようにパン・チルト回転軸を、光源位置を通る軸として設定した構成例を説明した。このパン・チルト回転軸は、光源位置からずれた位置を通る軸として設定することも可能である。ただし、このような設定の場合は、ずれ量(オフセット)を考慮した処理を実行する。
 また、上述した実施例では、駆動プロジェクタ50にレーザポインタを装着した構成について説明したが、レーザポインタの代わりに指向性の高いLEDを用いることも可能である。
 また、上述した実施例では、例えば図8に示すフローを参照して説明したように、駆動型プロジェクタ50の投影画像が画像投影目標位置からずれている場合、駆動型プロジェクタ50のモータを駆動して投影方向を調整していた。
 このような投影方向調整処理を行なうことなく、例えばズーム処理等により投影画像のサイズ調整処理のみを実行して、投影画像が画像投影対象物、例えばテーブルの上面に全て表示されるような調整処理のみを行う構成としてもよい。
 もちろん、先に図14を参照して説明したように、投影方向調整処理と、投影画像サイズ調整処理を併せて行う構成としてもよい。
 また、上述した実施例では、レーザ光照射位置と画像投影目標位置とのずれや、これらのずれに対応するモータ駆動角度のずれ量を算出して調整を行う構成であった。
 このようなずれ量の算出処理の代わり、あるいはこれらのずれ量算出処理に併せて、基準となる投影画像、例えば、図15に示すようなアイコンが画像投影対象物に表示されているか否かを判定し、この判定結果に応じて調整処理を行なう構成としてもよい。
 例えば、図15に示すようなアイコンやGUI、スタンプ画像のように小さいサイズの絵などが画像投影対象物に表示されているか否かを判定する。
 表示されていない場合は、表示されるように駆動型プロジェクタ50を制御し、表示したいアイコンが投影されるまで再駆動(フィードバック制御)を実行する。アイコンを表示すべき位置の3次元位置情報に基づいて制御を行う。
 また、上述した実施例では、レーザポインタを駆動型プロジェクタ50に搭載した例を説明したが、さらに、駆動型プロジェクタに慣性計測センサ(IMU:Inertial Measurement Unit)を装着して、IMUの計測情報を補正情報として活用してもよい。
 このような構成とすれば、例えば人物などの遮蔽物によってレーザ照射位置が検知できない場合にもIMUセンサから取得可能な3次元姿勢情報を用いた投影方向制御が可能となる。
 また、上述した実施例ではレーザ光を照射するレーザポインタを用いた構成について説明したが、赤外パターン画像を照射する赤外パターン画像照射部を駆動型プロジェクタ50に装着した構成としてもよい。
 この場合、センサ60は赤外パターン画像を撮影する。情報処理装置100は、撮影画像から赤外パターン画像を検出し、赤外パターン画像の検出位置に基づいてフィードバック制御を実行する。
 また、駆動型プロジェクタ50から、赤外光ではない肉眼で観察可能なパターン画像を照射する構成として、このパターン画像の検出データに基づいてフィードバック制御を行う構成としてもよい。
 また、上述した実施例では駆動型プロジェクタ50にプロジェクタの画像投影方向と平行なレーザ光を出力する1つのレーザポインタを装着した構成例について説明したが、異なる方向にレーザ光を出力する複数のレーザポインタを装着した構成としてもよい。
 例えば、図16に示すように、
 光軸と平行方向にレーザ光を出力する第1レーザポインタ、
 光軸から30度上方向にレーザ光を出力する第2レーザポインタ、
 光軸から30度下方向にレーザ光を出力する第3レーザポインタ、
 これら3つのレーザポインタを配置した構成としてもよい。
 このように駆動型プロジェクタ50の画像投影方向に対して異なる複数角度にレーザ光を出力する構成とし、センサ60のカメラ撮影画像から複数のレーザ光照射位置を解析することで、駆動型プロジェクタ50の位置姿勢を算出することが可能となる。
 また、複数のレーザポインタを装着した構成では、1つのレーザ光照射位置が物体の遮蔽等によって検出できない場合でも、その他のレーザ光照射位置を検出可能となる確率が高まり、ロバストなレーザ光照射位置検出が可能となる。
 なお、各レーザポインタのON/OFF制御は、情報処理装置100側からセンサ60にコマンドを出力して制御し、順番に各レーザポインタの照射を行う構成としてもよい。この処理により、センサ60のカメラには、各タイミングにおいて1つのレーザ光照射ポイントが検出され、輝点とレーザポインタの対応付けが容易となる。
 また、レーザポインタによるレーザ光照射は駆動型プロジェクタ50が画像投影目標位置へ初期設定された後のタイミングで一時的に照射する設定としてよい。必ずしも常時レーザポインタを照射する必要はなく、消費電力の観点からも必要な時のみ照射する方が効率的である。レーザポインタのON/OFF制御についても情報処理装置100が実行する。
 また、上述した実施例では1台の駆動型プロジェクタ50を用いた例を示しているが、複数台の駆動型プロジェクタ50を並列に利用する場合は、各プジェクタのレーザポインタのON/OFF制御を情報処理装置100が行い、各タイミングで選択された1つのプロジェクタのレーザポインタのみが照射される設定とする。
 この設定により、複数の駆動型プロジェクタ各々のフィードバック制御を、順次、確実に実行可能となる。
 また、レーザポインタが物体に遮蔽されてセンサ60のカメラから観測できない場合は、ユーザに音声やGUIなどで提示して、システムがユーザに遮蔽物を移動させるように誘導する構成としてもよい。
 (3)応用例について
 次に、本開示の構成の応用例について説明する。
 上述した実施例では、プロジェクタの投影方向制御のためのプロジェクタ駆動処理構成を説明した。
 本開示の構成や処理は、このプロジェクタ以外の機器に対しても利用可能である。
 例えば、アーティストのライブの演出などで利用されるムービングライト(Moving Light)、すなわちアーティストに対する光照射を行うムービングライト(Moving Light)の光照射方向の制御に本開示の構成や処理を適用できる。
 図17に示すように、アーティストのライブの演出などで利用されるムービングライト(Moving Light)は、上述した実施例で説明した駆動型プロジェクタ50と同様、パン・チルト駆動機構を有している。
 従って、ムービングライトに本開示の構成や処理を適用することで、ライトの照射方向を目標位置に一致させるフィードバック制御を行うことができる。
 さらに、パン・チルト駆動機構を持つカメラ(例えば監視カメラ)に対しても本開示の構成や処理を適用することができる。
  [8.情報処理装置のハードウェア構成例について]
 次に、本開示の情報処理装置100の具体的なハードウェア構成例について説明する。
 図18は、本開示の情報処理装置100の具体的なハードウェアの一構成を示す図である。
 図18に示すハードウェア構成の構成要素について説明する。
 CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
 CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロホン、カメラなどよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続されている。
 なお、出力部307には、PWM方式の画像出力を実行するプロジェクタが含まれる。
 CPU301は、入力部306から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部307に出力する。
 入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
 入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
  [9.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) 駆動型プロジェクタの画像投影目標位置と、前記駆動型プロジェクタに搭載された光照射部が照射する照射光位置との位置ずれを解消するための制御量を算出する差分算出部と、
 前記差分算出部が算出した制御量に基づいて、前記駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して出力するプロジェクタ駆動部を有する情報処理装置。
 (2) 前記差分算出部は、
 前記制御量として、前記画像投影目標位置と、前記照射光位置との位置ずれの要因である前記駆動型プロジェクタの駆動角度ずれを算出し、
 前記プロジェクタ駆動部は、
 前記駆動角度ずれをゼロにする駆動コマンドを生成して出力する(1)に記載の情報処理装置。
 (3) 前記差分算出部による前記制御量の算出処理と、
 前記プロジェクタ駆動部による駆動コマンドの生成、出力処理は、
 前記差分算出部によって算出される前記制御量が予め規定されたしきい値以下になるまで繰り返し、実行する(1)または(2)に記載の情報処理装置。
 (4) 前記情報処理装置は、
 前記駆動型プロジェクタと独立したセンサからのセンサ検出情報に基づいて、前記照射光位置を解析する光照射ポイント3次元位置解析部を有する(1)~(3)いずれかに記載の情報処理装置。
 (5) 前記駆動型プロジェクタは、
 前記駆動型プロジェクタの画像投影方向を調整するためのモータを有する構成であり、
 前記差分算出部は、
 前記制御量として、前記画像投影目標位置と、前記照射光位置との位置ずれの要因である、前記モータによる前記駆動型プロジェクタの駆動角度ずれを算出し、
 前記プロジェクタ駆動部は、
 前記駆動角度ずれをゼロにするためのモータ駆動コマンドを生成して出力する(1)~(4)いずれかに記載の情報処理装置。
 (6) 前記駆動型プロジェクタは、
 前記駆動型プロジェクタをチルト軸周りに回転させるチルト軸周り回転用モータと、
 前記駆動型プロジェクタをパン軸周りに回転させるパン軸周り回転用モータを有し、
 前記差分算出部は、
 前記制御量として、前記画像投影目標位置と、前記照射光位置との位置ずれの要因である前記チルト軸周り回転用モータと、前記パン軸周り回転用モータ各々の前記駆動型プロジェクタの駆動角度ずれを算出し、
 前記プロジェクタ駆動部は、
 前記駆動角度ずれをゼロにするためのモータ駆動コマンドとして、前記チルト軸周り回転用モータと、前記パン軸周り回転用モータ各々のモータ駆動コマンドを生成して出力する(1)~(5)いずれかに記載の情報処理装置。
 (7) 前記情報処理装置は、
 前記駆動型プロジェクタによる投影画像の補正処理を実行する画像補正部を有する(1)~(6)いずれかに記載の情報処理装置。
 (8) 前記画像補正部は、
 前記駆動型プロジェクタの画像投影方向と、画像投影対象物との位置関係に応じた投影画像の幾何変換処理を実行する(7)に記載の情報処理装置。
 (9) 前記画像補正部は、
 前記駆動型プロジェクタによる投影画像の画像サイズ調整処理を実行する(7)または(8)に記載の情報処理装置。
 (10) 前記画像補正部は、
 前記駆動型プロジェクタによる投影画像が、画像投影対象物の画像投影領域に収まっていない場合、前記投影画像を画像投影対象物の画像投影領域に収まるように画像補正処理を実行する(7)~(9)いずれかに記載の情報処理装置。
 (11) 前記画像補正部は、
 前記駆動型プロジェクタによる投影画像の画像サイズ調整のためのズーム処理実行コマンドを生成し、前記駆動型プロジェクタに出力する(7)~(10)いずれかに記載の情報処理装置。
 (12) 前記駆動型プロジェクタに搭載された光照射部はレーザ光を出力するレーザポインタであり、
 前記駆動型プロジェクタと独立したセンサからのレーザ光照射ポイント検出情報に基づいて、前記照射光位置を解析するレーザ光照射ポイント3次元位置解析部を有する(1)~(11)いずれかに記載の情報処理装置。
 (13) 前記差分算出部は、
 前記駆動型プロジェクタの画像投影用光源と、前記光照射部との離間距離に相当するオフセットを考慮して前記制御量の算出処理を実行する(1)~(12)いずれかに記載の情報処理装置。
 (14) 駆動型プロジェクタと、センサと、情報処理装置を有する情報処理システムであり、
 前記センサは、
 前記駆動型プロジェクタに装着されたレーザポインタによるレーザ光照射位置を解析するためのセンサ検出情報を取得して前記情報処理装置に送信し、
 前記情報処理装置は、
 前記センサ検出情報に基づいて、前記駆動型プロジェクタの画像投影目標位置と、前記レーザ光照射位置との位置ずれを解消するための制御量を算出し算出した制御量に基づいて、前記駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して前記駆動型プロジェクタに送信し、
 前記駆動型プロジェクタは、
 前記情報処理装置から受信する駆動コマンドに応じて、前記駆動型プロジェクタの画像投影方向を変更する情報処理システム。
 (15) 情報処理装置において実行する情報処理方法であり、
 差分算出部が、駆動型プロジェクタの画像投影目標位置と、前記駆動型プロジェクタに搭載された光照射部が照射する照射光位置との位置ずれを解消するための制御量を算出する差分算出ステップと、
 プロジェクタ駆動部が、前記差分算出部が算出した制御量に基づいて、前記駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して出力するプロジェクタ駆動ステップを実行する情報処理方法。
 (16) 駆動型プロジェクタと、センサと、情報処理装置を有する情報処理システムにおいて実行する情報処理方法であり、
 前記センサが、
 前記駆動型プロジェクタに装着されたレーザポインタによるレーザ光照射位置を解析するためのセンサ検出情報を取得して前記情報処理装置に送信し、
 前記情報処理装置が、
 前記センサ検出情報に基づいて、前記駆動型プロジェクタの画像投影目標位置と、前記レーザ光照射位置との位置ずれを解消するための制御量を算出し算出した制御量に基づいて、前記駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して前記駆動型プロジェクタに送信し、
 前記駆動型プロジェクタが、
 前記情報処理装置から受信する駆動コマンドに応じて、前記駆動型プロジェクタの画像投影方向を変更する情報処理方法。
 (17) 情報処理装置において情報処理を実行させるプログラムであり、
 差分算出部に、駆動型プロジェクタの画像投影目標位置と、前記駆動型プロジェクタに搭載された光照射部が照射する照射光位置との位置ずれを解消するための制御量を算出させる差分算出ステップと、
 プロジェクタ駆動部に、前記差分算出部が算出した制御量に基づいて、前記駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して出力するプロジェクタ駆動ステップを実行させるプログラム。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、駆動型プロジェクタが投影する投影画像を目標位置に併せて表示させることを可能とした装置、方法が実現される。
 具体的には、例えば、駆動型プロジェクタの画像投影目標位置と、駆動型プロジェクタに搭載されたレーザポインタの照射光位置との位置ずれを解消する制御量を算出する差分算出部と、算出した制御量に基づいて、駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して出力するプロジェクタ駆動部を有する。差分算出部は、制御量として、画像投影目標位置と照射光位置との位置ずれの要因である駆動型プロジェクタの駆動角度ずれを算出し、プロジェクタ駆動部は、駆動角度ずれをゼロにする駆動コマンドを生成して出力する。
 本構成により、駆動型プロジェクタが投影する投影画像を目標位置に併せて表示させることを可能とした装置、方法が実現される。
  10 プロジェクタ
  20 画像と投影領域
  30 駆動型プロジェクタ
  31,32 モータ
  50 駆動型プロジェクタ
  51 画像投影部
  52 レーザポインタ
  53 スピーカ
  55 モータ
  56 通信部
  57 制御部
  60 センサ
  61 センサ部
  62 通信部
 100 情報処理装置
 101 入力部
 102 画像投影目標位置決定部
 103 プロジェクタ駆動部
 104 通信部
 105 3次元空間解析部
 106 3次元空間情報記憶部
 107 コンテンツDB
 108 画像補正部
 109 レーザ光照射ポイント3次元位置解析部
 301 CPU
 302 ROM
 303 RAM
 304 バス
 305 入出力インタフェース
 306 入力部
 307 出力部
 308 記憶部
 309 通信部
 310 ドライブ
 311 リムーバブルメディア

Claims (17)

  1.  駆動型プロジェクタの画像投影目標位置と、前記駆動型プロジェクタに搭載された光照射部が照射する照射光位置との位置ずれを解消するための制御量を算出する差分算出部と、
     前記差分算出部が算出した制御量に基づいて、前記駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して出力するプロジェクタ駆動部を有する情報処理装置。
  2.  前記差分算出部は、
     前記制御量として、前記画像投影目標位置と、前記照射光位置との位置ずれの要因である前記駆動型プロジェクタの駆動角度ずれを算出し、
     前記プロジェクタ駆動部は、
     前記駆動角度ずれをゼロにする駆動コマンドを生成して出力する請求項1に記載の情報処理装置。
  3.  前記差分算出部による前記制御量の算出処理と、
     前記プロジェクタ駆動部による駆動コマンドの生成、出力処理は、
     前記差分算出部によって算出される前記制御量が予め規定されたしきい値以下になるまで繰り返し、実行する請求項1に記載の情報処理装置。
  4.  前記情報処理装置は、
     前記駆動型プロジェクタと独立したセンサからのセンサ検出情報に基づいて、前記照射光位置を解析する光照射ポイント3次元位置解析部を有する請求項1に記載の情報処理装置。
  5.  前記駆動型プロジェクタは、
     前記駆動型プロジェクタの画像投影方向を調整するためのモータを有する構成であり、
     前記差分算出部は、
     前記制御量として、前記画像投影目標位置と、前記照射光位置との位置ずれの要因である、前記モータによる前記駆動型プロジェクタの駆動角度ずれを算出し、
     前記プロジェクタ駆動部は、
     前記駆動角度ずれをゼロにするためのモータ駆動コマンドを生成して出力する請求項1に記載の情報処理装置。
  6.  前記駆動型プロジェクタは、
     前記駆動型プロジェクタをチルト軸周りに回転させるチルト軸周り回転用モータと、
     前記駆動型プロジェクタをパン軸周りに回転させるパン軸周り回転用モータを有し、
     前記差分算出部は、
     前記制御量として、前記画像投影目標位置と、前記照射光位置との位置ずれの要因である前記チルト軸周り回転用モータと、前記パン軸周り回転用モータ各々の前記駆動型プロジェクタの駆動角度ずれを算出し、
     前記プロジェクタ駆動部は、
     前記駆動角度ずれをゼロにするためのモータ駆動コマンドとして、前記チルト軸周り回転用モータと、前記パン軸周り回転用モータ各々のモータ駆動コマンドを生成して出力する請求項1に記載の情報処理装置。
  7.  前記情報処理装置は、
     前記駆動型プロジェクタによる投影画像の補正処理を実行する画像補正部を有する請求項1に記載の情報処理装置。
  8.  前記画像補正部は、
     前記駆動型プロジェクタの画像投影方向と、画像投影対象物との位置関係に応じた投影画像の幾何変換処理を実行する請求項7に記載の情報処理装置。
  9.  前記画像補正部は、
     前記駆動型プロジェクタによる投影画像の画像サイズ調整処理を実行する請求項7に記載の情報処理装置。
  10.  前記画像補正部は、
     前記駆動型プロジェクタによる投影画像が、画像投影対象物の画像投影領域に収まっていない場合、前記投影画像を画像投影対象物の画像投影領域に収まるように画像補正処理を実行する請求項7に記載の情報処理装置。
  11.  前記画像補正部は、
     前記駆動型プロジェクタによる投影画像の画像サイズ調整のためのズーム処理実行コマンドを生成し、前記駆動型プロジェクタに出力する請求項7に記載の情報処理装置。
  12.  前記駆動型プロジェクタに搭載された光照射部はレーザ光を出力するレーザポインタであり、
     前記駆動型プロジェクタと独立したセンサからのレーザ光照射ポイント検出情報に基づいて、前記照射光位置を解析するレーザ光照射ポイント3次元位置解析部を有する請求項1に記載の情報処理装置。
  13.  前記差分算出部は、
     前記駆動型プロジェクタの画像投影用光源と、前記光照射部との離間距離に相当するオフセットを考慮して前記制御量の算出処理を実行する請求項1に記載の情報処理装置。
  14.  駆動型プロジェクタと、センサと、情報処理装置を有する情報処理システムであり、
     前記センサは、
     前記駆動型プロジェクタに装着されたレーザポインタによるレーザ光照射位置を解析するためのセンサ検出情報を取得して前記情報処理装置に送信し、
     前記情報処理装置は、
     前記センサ検出情報に基づいて、前記駆動型プロジェクタの画像投影目標位置と、前記レーザ光照射位置との位置ずれを解消するための制御量を算出し算出した制御量に基づいて、前記駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して前記駆動型プロジェクタに送信し、
     前記駆動型プロジェクタは、
     前記情報処理装置から受信する駆動コマンドに応じて、前記駆動型プロジェクタの画像投影方向を変更する情報処理システム。
  15.  情報処理装置において実行する情報処理方法であり、
     差分算出部が、駆動型プロジェクタの画像投影目標位置と、前記駆動型プロジェクタに搭載された光照射部が照射する照射光位置との位置ずれを解消するための制御量を算出する差分算出ステップと、
     プロジェクタ駆動部が、前記差分算出部が算出した制御量に基づいて、前記駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して出力するプロジェクタ駆動ステップを実行する情報処理方法。
  16.  駆動型プロジェクタと、センサと、情報処理装置を有する情報処理システムにおいて実行する情報処理方法であり、
     前記センサが、
     前記駆動型プロジェクタに装着されたレーザポインタによるレーザ光照射位置を解析するためのセンサ検出情報を取得して前記情報処理装置に送信し、
     前記情報処理装置が、
     前記センサ検出情報に基づいて、前記駆動型プロジェクタの画像投影目標位置と、前記レーザ光照射位置との位置ずれを解消するための制御量を算出し算出した制御量に基づいて、前記駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して前記駆動型プロジェクタに送信し、
     前記駆動型プロジェクタが、
     前記情報処理装置から受信する駆動コマンドに応じて、前記駆動型プロジェクタの画像投影方向を変更する情報処理方法。
  17.  情報処理装置において情報処理を実行させるプログラムであり、
     差分算出部に、駆動型プロジェクタの画像投影目標位置と、前記駆動型プロジェクタに搭載された光照射部が照射する照射光位置との位置ずれを解消するための制御量を算出させる差分算出ステップと、
     プロジェクタ駆動部に、前記差分算出部が算出した制御量に基づいて、前記駆動型プロジェクタの画像投影方向を変更する駆動コマンドを生成して出力するプロジェクタ駆動ステップを実行させるプログラム。
PCT/JP2021/000296 2020-02-10 2021-01-07 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム WO2021161689A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020020360 2020-02-10
JP2020-020360 2020-02-10

Publications (1)

Publication Number Publication Date
WO2021161689A1 true WO2021161689A1 (ja) 2021-08-19

Family

ID=77291438

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000296 WO2021161689A1 (ja) 2020-02-10 2021-01-07 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Country Status (1)

Country Link
WO (1) WO2021161689A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115040238A (zh) * 2022-08-15 2022-09-13 南昌大学第二附属医院 体表皮损区域激光定位设备的控制方法及激光定位设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2575910B2 (ja) * 1990-02-19 1997-01-29 株式会社 電通プロックス 自動追尾投影装置
JP2008294961A (ja) * 2007-05-28 2008-12-04 Panasonic Electric Works Co Ltd 映像表示装置
WO2016129489A1 (ja) * 2015-02-10 2016-08-18 シャープ株式会社 表示装置、表示装置の制御方法、制御プログラム、記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2575910B2 (ja) * 1990-02-19 1997-01-29 株式会社 電通プロックス 自動追尾投影装置
JP2008294961A (ja) * 2007-05-28 2008-12-04 Panasonic Electric Works Co Ltd 映像表示装置
WO2016129489A1 (ja) * 2015-02-10 2016-08-18 シャープ株式会社 表示装置、表示装置の制御方法、制御プログラム、記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115040238A (zh) * 2022-08-15 2022-09-13 南昌大学第二附属医院 体表皮损区域激光定位设备的控制方法及激光定位设备

Similar Documents

Publication Publication Date Title
US20210012532A1 (en) System and method for calibration of machine vision cameras along at least three discrete planes
CN112804508B (zh) 投影仪校正方法、系统、存储介质以及电子设备
US20230070217A1 (en) Online compensation of thermal distortions in a stereo depth camera
Wilson et al. Steerable augmented reality with the beamatron
US10262230B1 (en) Object detection and identification
US10805546B2 (en) Image processing system, image processing device, and image processing program
US9041769B2 (en) System and method for controlling media projectors
CN112689135A (zh) 投影校正方法、装置、存储介质及电子设备
US20060038881A1 (en) Stereoscopic image display
US10085012B2 (en) Single-view feature-less depth and texture calibration
CN105264436A (zh) 用于控制与图像捕捉有关的设备的系统和方法
EP2973414A1 (en) System and method for generation of a room model
GB2466126A (en) A hand held robotic camera motion controller
CN112804507A (zh) 投影仪校正方法、系统、存储介质以及电子设备
JP7145432B2 (ja) 投影システム、画像処理装置および投影方法
US10606241B2 (en) Process planning apparatus based on augmented reality
JP2004506215A (ja) 3次元再構成のためのストラップダウンシステム
JP2010511945A (ja) 対話型入力システムおよび方法
US9304582B1 (en) Object-based color detection and correction
WO2022014312A1 (ja) ロボット制御装置、およびロボット制御方法、並びにプログラム
WO2021161689A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN101329163A (zh) 基于双目的三维表面建模系统
JP2018194542A (ja) 画像処理システム、画像処理装置および画像処理プログラム
WO2018167918A1 (ja) プロジェクタ、マッピング用データ作成方法、プログラム及びプロジェクションマッピングシステム
JP2006098256A (ja) 3次元サーフェスモデル作成システム、画像処理システム、プログラム及び情報記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21753977

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 21753977

Country of ref document: EP

Kind code of ref document: A1