WO2006033245A1 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
WO2006033245A1
WO2006033245A1 PCT/JP2005/016628 JP2005016628W WO2006033245A1 WO 2006033245 A1 WO2006033245 A1 WO 2006033245A1 JP 2005016628 W JP2005016628 W JP 2005016628W WO 2006033245 A1 WO2006033245 A1 WO 2006033245A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projector
projection
electronic device
unit
Prior art date
Application number
PCT/JP2005/016628
Other languages
English (en)
French (fr)
Inventor
Keiichi Nitta
Hirotake Nozaki
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to EP05781973.2A priority Critical patent/EP1793599B1/en
Priority to JP2006536341A priority patent/JP5029012B2/ja
Priority to US11/658,876 priority patent/US8159594B2/en
Publication of WO2006033245A1 publication Critical patent/WO2006033245A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0208—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings characterized by the relative motions of the body parts
    • H04M1/0214—Foldable telephones, i.e. with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0241—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings using relative motion of the body parts to change the operational status of the telephone set, e.g. switching on/off, answering incoming call
    • H04M1/0243—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings using relative motion of the body parts to change the operational status of the telephone set, e.g. switching on/off, answering incoming call using the relative angle between housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0272—Details of the structure or mounting of specific components for a projector or beamer module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Definitions

  • the present invention relates to an electronic apparatus having a projector device that projects information such as images and text.
  • Patent Document 1 There is known a projector device that includes a camera that captures an image of a subject placed on a mounting table and projects an image captured by the camera onto a screen or the like.
  • Patent Document 1 Japanese Patent Laid-Open No. 2001-251476
  • the projector device When the projector device is configured as a small device that can be held and held, it is considered that the projector device that is projecting swings with the shaking of the hand. For this reason, the image projected on the screen also shakes!
  • an electronic device includes an imaging device that captures a subject image and outputs an image signal, and a projector device that projects an image formed on the optical image forming element. And a correction unit that corrects the position of the image that the projector unit projects on the screen separated from the housing according to the calculated change amount.
  • the electronic device of the first aspect further includes a direction in which the imaging device captures images and a projector device so that the imaging range by the imaging device and the projection range by the projector device do not match.
  • a changing unit for changing at least one of the directions in which the image is projected.
  • the calculation unit can also calculate the amount of change using an image signal corresponding to the subject image excluding the projection range by the projector device.
  • the electronic device according to the first aspect further includes an imaging device.
  • a range changing unit that changes the size of at least one of the shooting range and the projection range may be provided so that the shadow range does not match the projection range by the projector device.
  • the calculation unit can also calculate the amount of change using an image signal corresponding to the subject image excluding the projection range by the projector device.
  • the electronic device of the third aspect it is desirable to configure a range changing unit that changes the shooting range or the projection range so that the shooting range is larger than the projection range.
  • the projector device when the change amount cannot be calculated by the calculation unit, the projector device narrows the projection range and the calculation unit calculates the change amount. It is also possible to widen the extraction range of the image signal used for.
  • the imaging device widens the shooting range and the calculation unit calculates the change amount. It is also possible to widen the extraction range of the image signal used for.
  • the projector device of the electronic device of the fifth or sixth aspect can irradiate illumination light around the projection range.
  • the electronic apparatus is integrally provided with an imaging device that captures a subject image and outputs an image signal, and a projector device that projects the image formed on the optical image forming element. And a correction unit that corrects an image corresponding to the image signal output by the imaging device and an image projected by the projector device based on the shake detection signal. .
  • the correction unit corrects an image corresponding to the image signal output from the imaging device when the shake is detected by the shake detection unit. It is also possible to perform the correction by reversing the image and the image shift direction between when the image is projected and when correcting the image projected by the projector apparatus.
  • the imaging apparatus of the electronic device can also start imaging in response to an instruction to start projection of the projector apparatus.
  • the electronic device program according to any one of the first to tenth aspects.
  • the projector device is prohibited from projecting an image formed using an image signal output from the imaging device when the correction unit performs correction.
  • the electronic device may further include an exposure calculation unit that determines the exposure at the time of photographing by the imaging device based on the subject luminance.
  • the exposure calculation unit can also calculate the subject luminance using an image signal corresponding to the subject image excluding the projection range by the projector device.
  • the electronic apparatus integrally includes an imaging device that captures a subject image and outputs an image signal, and a projector device that projects the image formed on the optical image forming element.
  • a control unit that controls the imaging device and the projector device in a time-sharing manner so that an image is captured when the device is not projecting and is projected when the image capturing device is not imaged, and an arithmetic unit that calculates a temporal change amount of the image signal;
  • a correction unit that corrects the position of the image projected by the projector device in accordance with the calculated amount of change.
  • control unit of the electronic device according to the thirteenth aspect can also control the projection cycle of the projector device to be 1Z30 seconds or less.
  • the electronic device according to any one of the twelfth to fourteenth aspects further increases the level of the image signal corresponding to the subject image excluding the projection range by the projector device. May be provided.
  • the calculation unit can also calculate the amount of change using the image signal that has been subjected to the level increase process.
  • the calculation unit may be replaced with calculation means.
  • the correction unit may be replaced with correction means.
  • the changing unit may be replaced with changing means.
  • the range changing unit may be replaced with range changing means.
  • the shake detection unit may be replaced with shake detection means.
  • the exposure calculation unit may be replaced with exposure calculation means.
  • the control unit may be replaced with control means.
  • the level increase processing unit may be replaced with level increase processing means.
  • the projector device is used while holding the electronic device.
  • the discomfort given to the person observing the projected image can be reduced.
  • FIG. 1 is a perspective view of a projector-equipped mobile phone according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of a projector-equipped mobile phone.
  • FIG. 3 is a diagram for explaining a projected image of a projector-equipped mobile phone, where (a) is a view of the screen when facing the screen, and (b) is a view of the screen viewed from the right side.
  • ⁇ 4 It is a diagram for explaining the configuration on the screen side when suppressing the fluctuation of the projection content in the mobile phone with a projector.
  • FIG. 5 is a diagram illustrating an example in which an image is projected by a projector module while photographing with a camera unit, where (a) is a diagram at time tx, and js (b) is a diagram at time (tx + 1).
  • FIG. 6 is a diagram illustrating six blocks that do not include a projection range in a captured image.
  • FIG. 7 is a diagram for explaining a projected image on a screen after shifting.
  • FIG. 8 is a diagram for explaining the relationship between the shooting direction by the camera unit and the projection direction by the projector module, (a) is a diagram in which the shooting direction and the projection direction are the same, and (b) is the shooting direction and the projection direction.
  • Figure 180 is different by 180 degrees.
  • Figure (c) is a figure with 90 degrees different shooting direction and projection direction.
  • FIG. 9 is a diagram for explaining a photometric area in a modified example.
  • FIG. 10 is a diagram for explaining projection timing and photographing timing.
  • FIG. 1 is a perspective view of a projector-equipped mobile phone 10 that can be used in handholding according to an embodiment of the present invention.
  • the projector-equipped mobile phone 10 is configured such that the casing constituting the operation unit 1 and the display unit 2 is supported by a rotatable folding hinge unit 3 and can be folded around the folding hinge unit 3 as a rotation center.
  • the folding hinge section 3 is provided with a click mechanism (not shown) at a relative angle ⁇ between the operation section 1 and the display section 2 of, for example, 80 degrees and 150 degrees. 80 degrees corresponds to the projection posture of the projector unit, and 150 degrees corresponds to the telephone conversation posture.
  • Small legs 12a to 12d are provided on the bottom surface la of the operation unit 1 so as to be stable when the projector-equipped mobile phone 10 is placed on a flat surface.
  • a first operation member 112 which will be described later, is provided on the surface lb on the display unit 2 side of the operation unit 1, and a small leg 11 is provided on the side surface lc of the operation unit 1.
  • the small leg 11 is placed on a flat surface with the side lc down and the relative angle ⁇ of the projector-equipped mobile phone 10 being 80 degrees as shown in Fig. 1 (projection posture) 3) together with the folding hinge part 3 and the small leg part 21 arranged in the display part 2, the structure is configured to be stably placed at three points.
  • a main liquid crystal display 204 described later is disposed on the surface 2b on the operation unit 1 side of the display unit 2, and a sub liquid crystal display 4 is disposed on the outer surface 2a of the display unit 2.
  • the surface 2a of the display unit 2 is further provided with a camera unit 200 and a projector module 6.
  • the projector module 6 projects an image on a projection surface provided outside the casing.
  • the projector module 6 is formed in a cylindrical shape, and is inserted into a circular hole M provided on the surface 2a of the display unit 2 so as to rotate freely, and the normal position shown in FIG. Click mechanisms (not shown) are provided at three locations in total, including two positions where the projector module 6 is rotated 90 degrees in the left and right directions relative to the reference.
  • the display unit 2 is provided with a camera unit 200.
  • the camera unit 200 is provided with a rotation mechanism so that the direction of the photographic lens 5 can be directed to the outer surface 2a of the display unit 2 or the surface 2b on the operation unit 1 side.
  • the orientation is configured to be changeable with respect to the housing.
  • FIG. 2 is a block diagram illustrating the configuration of the projector-equipped mobile phone 10 of FIG.
  • a CPU 101 on the operation unit 1 side, a CPU 101, a memory 102, an attitude sensor 103, a short-range communication unit (circuit) 104, a TV tuner 106, a microphone 107, an external interface (iZ F) 108, A detachable memory equipped with a power source 109, communication ff3 ⁇ 4 control (circuit) 110, antenna 7, GPS antenna 111, first operation member 112, speaker 113, and opening / closing angle switch (SW) 114 Card 105 is installed.
  • a CPU 101 on the operation unit 1 side, a CPU 101, a memory 102, an attitude sensor 103, a short-range communication unit (circuit) 104, a TV tuner 106, a microphone 107, an external interface (iZ F) 108, A detachable memory equipped with a power source 109, communication ff3 ⁇ 4 control (circuit) 110, antenna 7, GPS antenna 111, first operation member 112, speaker 113, and opening / closing angle switch (SW)
  • the display unit 2 includes a camera unit 200, a projector module 6 (projector unit), a second operation member 205, a speaker 206, a main liquid crystal display 204, and a sub liquid crystal display 4. Yes.
  • the CPU 101 as a controller performs control for each part of the projector-equipped mobile phone 10 by performing a predetermined calculation using a signal to which each component constituting the projector-equipped mobile phone 10 is also input based on a control program. By sending signals, the phone operation, camera operation, and projector operation are controlled.
  • the control program is
  • the memory 102 is used as a working memory for the CPU 101.
  • the attitude sensor 103 detects the attitude of the projector-equipped mobile phone 10 and sends a detection signal to the CPU 101.
  • the CPU 101 obtains the top and bottom information indicating the top and bottom of the image at the time of shooting (including information for identifying the vertical shooting and the horizontal shooting), and is mounted in the vertical position as shown in FIG. 1 when the projector is used. It is judged whether it is placed in a horizontal position with the placed force, the small leg parts 11 and 21 and the folding hinge part 3 down.
  • the short-range communication unit 104 is configured by, for example, an infrared communication circuit, and transmits / receives data to / from an external device according to a command from the CPU 101.
  • the TV tuner 106 receives a television broadcast according to a command from the CPU 101.
  • the CPU 101 displays the received image on the main liquid crystal display 204 and plays back the received sound with the speaker 206.
  • the memory card 105 is composed of a non-volatile memory, and can write, save, and read data such as image data output from the camera unit 200 and video / audio data output from the TV tuner 106, for example, according to instructions from the CPU 101. is there.
  • the microphone 107 converts the collected sound into an electrical signal and sends it to the CPU 101 as an audio signal.
  • the audio signal is recorded in the memory card 105 at the time of recording, and is sent to the communication control unit 110 at the time of a call.
  • the external interface 108 transmits / receives data to / from an external device via a cable or cradle (not shown) according to a command from the CPU 101.
  • the speaker 113 reproduces sound based on the sound signal output from the CPU 101.
  • the first operation member 112 includes a dial button of the telephone and sends an operation signal corresponding to the pressed button to the CPU 101.
  • the GPS antenna 111 receives a signal from the GPS satellite power and sends the received data to the CPU 101.
  • the CPU 101 is configured to be able to calculate position information using data received from the GPS antenna 111.
  • the communication control unit 110 includes a wireless transmission / reception circuit, and communicates with other telephones via a base station (not shown) according to a command from the CPU 101. Communicate between each other.
  • the communication control unit 110 is configured to be able to transmit and receive image data taken by the camera unit 200 and image data to be projected by the projector module 6 in addition to telephone voice.
  • the antenna 7 is a transmission / reception antenna of the communication control unit 110.
  • the power source 109 is constituted by, for example, a detachable battery pack and a DCZDC conversion circuit, and supplies necessary power to each unit in the projector-equipped mobile phone 10. Opening / closing angle SW114 detects the turning angle of folding hinge part 3, and detects that the relative angle ⁇ between operation part 1 and display part 2 is set to 80 degrees (projection posture), for example, an ON signal (H level) ) Is sent to CPU101, and an off signal (L level) is sent at angles other than the above.
  • Opening / closing angle SW114 detects the turning angle of folding hinge part 3, and detects that the relative angle ⁇ between operation part 1 and display part 2 is set to 80 degrees (projection posture), for example, an ON signal (H level) ) Is sent to CPU101, and an off signal (L level) is sent at angles other than the above.
  • the main liquid crystal display 204 displays information such as images and texts according to instructions from the CPU 101.
  • the sub liquid crystal display 4 displays information such as images and texts according to instructions from the CPU 101.
  • the contents displayed as the text information include, for example, the operating state of the projector-equipped mobile phone 10, the operation menu, and the contents of sent / received mail.
  • the main liquid crystal display 204 is configured to be able to display an image having the same content as the image projected by the projector module 6.
  • the second operation member 205 includes a button associated with the display content of the main liquid crystal display 204 and transmits an operation signal corresponding to the pressed button to the CPU 101.
  • the speaker 206 reproduces sound based on the sound signal output from the CPU 101 in a call posture in which the relative angle ⁇ is 150 degrees.
  • the camera unit 200 includes a photographic lens 5, an image sensor 201, a lens driving unit (circuit) 202, an imaging unit control CPU 203 that is a controller, and an image processing circuit 207.
  • As the image sensor 201 a CCD, a CMOS image sensor or the like is used.
  • the imaging unit control CPU 203 drives and controls the image sensor 201 and the lens driving unit 202 according to a command from the CPU 101, and causes the image processing circuit 207 to perform predetermined image processing.
  • the image processing circuit 207 includes a shake calculation correction circuit 208, which performs white balance processing, gamma processing, shading correction processing, etc. on the accumulated charge signal output from the image sensor 201, and also performs shake correction processing in the shake calculation correction circuit 208. .
  • Shake correction compensates for shaking (camera shake) of the captured image that occurs when the mobile phone 10 with a projector is held and the camera unit 200 takes a picture, or the projector module 6 is held with the mobile phone 10 with a projector. This is to correct the fluctuation of the projected image that occurs when projecting with
  • the lens driving unit 202 drives a zoom lens (not shown) constituting the photographing lens 5 to the tele side or the wide side according to the control signal.
  • the taking lens 5 forms a subject image on the image pickup surface of the image sensor 201.
  • the imaging unit control CPU 203 causes the image sensor 201 to start imaging, reads the accumulated charge signal from the image sensor 201 and sends it to the image processing circuit 207, and sends the image data processed by the image processing circuit 207 to the CPU 101. To do.
  • image data captured by the camera unit 200 is transmitted to another device, the image data is transmitted from the CPU 101 to the communication control unit 110.
  • image data is sent from the imaging unit control CPU 203 to the projector module 6 via the CPU 101.
  • the CPU 101 which is an image processing circuit, a keystone distortion correction process is performed on the image data projected by the projector module 6.
  • the projector module 6 includes a projection lens 61, a liquid crystal node 62, an LED light source 63, an LED drive unit (circuit) 64, a liquid crystal drive unit (circuit) 65, and a lens drive unit (circuit) 66.
  • the LED drive unit 64 supplies current to the LED light source 63 in accordance with the LED drive signal output from the CPU 101.
  • the LED light source 63 illuminates the liquid crystal panel 62 with brightness according to the supplied current.
  • the liquid crystal drive unit 65 generates a liquid crystal panel drive signal according to the image data, and drives the liquid crystal panel 62 with the generated drive signal. Specifically, a voltage corresponding to the image signal is applied to the liquid crystal layer for each pixel. In the liquid crystal layer to which a voltage is applied, the arrangement of liquid crystal molecules changes, and the light transmittance of the liquid crystal layer changes. As described above, the liquid crystal panel 62 generates an optical image by modulating the light of the LED light source 63 according to the image signal.
  • the lens driving unit 66 drives the projection lens 61 to move back and forth in a direction orthogonal to the optical axis based on a control signal output from the CPU 101.
  • the projection lens 61 projects the light image emitted from the liquid crystal panel 62 onto a screen or the like.
  • FIG. 10 is a diagram for explaining an image Iv projected on a screen S separated from the projector-equipped mobile phone 10 placed in the vertical position above.
  • FIG. 3 (a) is a view of the screen S when facing the screen S
  • FIG. 3 (b) is a view of the screen S viewed from the right side.
  • the projector module 6 has a function of correcting the shape of the projection image Iv as follows.
  • the lens drive unit 66 shifts the projection lens 61 in the direction orthogonal to the optical axis to obtain the tilt effect, and performs keystone correction (trapezoidal distortion correction) on the display data projected according to the tilt effect. Apply. This corrects the projected image Iv to a square shape.
  • the image data for each frame that is output from the image sensor 201 and processed by the image processing circuit 207 in a state in which it is set to perform the shake correction processing is sequentially input to the shake calculation correction circuit 208. .
  • the shake calculation correction circuit 208 also extracts a plurality of blocks (for example, 6 blocks) for a predetermined area force that is preliminarily determined in the input one-frame image.
  • the setting for performing the shake correction process is performed by menu setting or operation by the second operation member 205.
  • the shake calculation correction circuit 208 performs block matching processing on each of the extracted six block images, thereby obtaining an area corresponding to each of the six block images from the previous frame image.
  • Six motion vectors are calculated from the region position by a known motion vector calculation process.
  • the shake calculation correction circuit 208 further uses, for example, six motion vectors to perform an averaging process on the magnitude and direction of each motion vector to calculate a representative vector that represents the entire image of the six blocks.
  • the shake calculation correction circuit 208 compares the magnitudes and directions of the calculated six motion vectors, and determines whether the magnitudes and directions of the vectors match.
  • the shake calculation correction circuit 208 when the magnitude difference between the vectors and the direction difference between the vectors are within a predetermined range that is determined in advance, (Positional change) is considered to have been caused by “camera shake”, and if at least one of the magnitude difference between each vector and the direction difference between each vector exceeds a predetermined range, the image between the frames Is considered to be due to “subject movement”.
  • the shake calculation correction circuit 208 generates image shift information for shifting the image so as to cancel the motion of the image due to the representative vector when the “hand shake” is determined.
  • the image shift direction is opposite to the direction of the representative vector, and the image shift amount is the same as the representative vector size.
  • the image shift information can be used to suppress “camera shake” that occurs in the captured image when the camera unit 200 captures the image. Specifically, one frame of image data output from the image sensor 201 is shifted on the memory space based on the shift direction and shift amount indicated by the image shift information. As a result, image data (corrected image data) in which the movement of the image between frames is suppressed in the memory space so as to suppress the fluctuation of the subject image due to “hand shake” is obtained. As described above, the image data in which the movement is suppressed can be recorded as captured image data in the memory card 105 which is a recording unit, or can be transmitted via the antenna 7 and the external IZF 108.
  • image shift information can be used to suppress fluctuations that occur in images and characters (referred to as projection contents) included in the projection image.
  • the liquid crystal panel drive signal for driving the liquid crystal panel 62 is changed based on the shift direction and shift amount indicated by the image shift information.
  • the light image formed on the liquid crystal panel 62 is shifted so as to suppress the fluctuation of the projection content on the screen S that is caused by the parallel movement of the mobile phone 10 with a projector caused by “camera shake” during projection.
  • the present invention is characterized by suppressing fluctuations in the projection content by the projector module 6 using the image shift information, and will be further described focusing on this point.
  • the CPU 101 of the projector-equipped mobile phone 10 is set to the projection posture as described above and a predetermined time elapses, the CPU 101 instructs the projector module 6 to start projection. At this time, if it is set to perform the shake correction process, the camera unit 200 is instructed to start capturing continuous frame images.
  • FIG. 4 is a diagram for explaining the configuration on the screen S side in the case of suppressing the fluctuation of the projection content in the projector-equipped mobile phone 10.
  • the screen S is placed on the desk 100.
  • a flower pot u is arranged adjacent to the screen s.
  • the projector-equipped mobile phone 10 is held by the operator's hand in the projection posture as shown in FIG. 1, and the surface 2a of the display unit 2 (that is, the projection direction of the projector module 6) and the photographing lens of the camera unit 200 5 is directed to screen S.
  • Desk 100, flowerpot U and screen S are stationary.
  • FIG. 5 is a diagram showing an example in which an image is projected by the projector module 6 while photographing with the camera unit 200.
  • FIG. 5 (a) is a diagram for explaining the imaging range 51 at time tx
  • FIG. 5 (b) is a diagram illustrating an imaging range 51 at time (t x + 1).
  • 5 (a) and 5 (b) the camera unit 200 shoots the imaging range 51 including the desk 100, the screen S on the desk 100, and the flower pot U, and the projector module 6 projects the projected image P toward the screen S. Project.
  • the shooting lens 5 is zoomed and the shooting angle of view is adjusted so that the imaging range 51 by the camera unit 200 is wider than the projection range by the projector module 6.
  • the shake calculation correction circuit 208 extracts, for example, six blocks 51a to 51f that do not include the projection range on the screen S from the image of the imaging range 51 corresponding to one frame image.
  • the above-described image shift information is obtained based on the image data in these blocks.
  • the blocks 51a to 51f are preliminarily determined in the imaging range 51, for example, near the periphery.
  • the image in the imaging range 51 in Fig. 5 (a) corresponds to the previous frame captured image
  • the image in the imaging range 51 in Fig. 5 (b) corresponds to the current frame captured image.
  • the screen 2a of the display unit 2 of the projector-equipped mobile phone 10 is translated downward in comparison with the case of FIG.
  • the screen S and the flower pot U move upward, and the person H of the image P projected on the screen S moves downward.
  • the person observing the projected image P on the screen S feels uncomfortable because the person H appears to move.
  • the CPU 101 sends a command to the liquid crystal driving unit 65 of the projector module 6 to shift the light image on the liquid crystal panel 62 according to the image shift information.
  • the person H of the projected image P on the screen S is projected onto the center of the screen S as in FIG. 5 (a), and the projected image P on the screen S is observed.
  • Person H is still It looks like
  • the position of the image of the person H in the projection image at time t (x + l) shown in Fig. 5 (b) is the position of the image of the person H in the projection image of Fig. 5 (a). Compared to the position, it moves downward. Therefore, in order to cancel this movement, the position of the image of the person H in the projection image on the screen S moves upward (the image in the direction opposite to the direction of movement of the projection image, that is, the direction of camera shake). The control is performed so that the position of is moved.
  • the mobile phone 10 with the projector corrects the fluctuation of the captured image while projecting the image corrected for the fluctuation of the image due to camera shake, and records the captured image data with the corrected fluctuation on the memory card 105. Can do. At this time, the direction of correction of the fluctuation of the projected image is reversed from the direction of correction of the fluctuation of the captured image. In addition, in a case where the correction of the fluctuation of the projected image and the correction of the fluctuation of the captured image are switched by, for example, the operation of the first operation member 112 (that is, the projection mode for performing the image projection and the imaging recording are performed). The same applies to the case of switching between imaging modes.
  • “camera shake” is caused by a rotational motion that rotates around a joint such as an arm of an operator having the mobile phone 10 with a projector as a fulcrum. Therefore, the motion generated in the mobile phone 10 with a projector is almost a parallel motion. it is conceivable that. Therefore, in this case, when “camera shake” is determined, the projector-equipped mobile phone 10 is treated as a translation.
  • a captured image including six blocks 51a to 51f used to calculate a motion vector is:
  • the imaging range 51 does not necessarily include the screen S. That is, the shooting direction by the camera unit 200 and the projection direction by the projector module 6 do not have to be the same.
  • FIGS. 8A to 8C are diagrams for explaining the relationship between the shooting direction by the camera unit 200 and the projection direction by the projector module 6.
  • FIG. 8A which is a top view, is a diagram showing a case where the shooting direction and the projection direction are the same.
  • the optical axis of the camera unit 200 is indicated by LC
  • the optical axis of the projector module 6 is indicated by LP.
  • the shake calculation correction circuit 208 calculates a representative vector indicated by an arrow B (rightward shooting direction)
  • the CPU 101 controls the projector module 6 so as to displace the projected image in a direction that cancels the movement of the arrow B.
  • Fig. 8 (b) which is a top view, is a diagram showing a case where the shooting direction and the projection direction differ by 180 degrees.
  • the optical axis of the camera unit 200 is represented by LC
  • the optical axis of the projector module 6 is represented by LP.
  • the shake calculation correction circuit 208 calculates the representative vector indicated by the arrow A (left direction of shooting)
  • the projected image is displayed in the direction of the right direction of shooting in the case of the arrow B (in the case of FIG. 5 (a), as in FIG. 5 (a). It moves in the same way as the case where the representative vector shown in FIG. Therefore, the CPU 101 controls the projector module 6 so that the projected image is displaced in a direction that cancels the movement of the arrow B.
  • the optical axis of the camera unit 200 is represented by LC
  • the optical axis of the projector module 6 is represented by LP.
  • the shake calculation correction circuit 208 calculates the representative scale indicated by the arrow A (rightward shooting)
  • the projected image does not move, but the distance from the projector-equipped mobile phone 10 to the screen S changes.
  • the image is out of focus. Therefore, the CPU 101 controls the projector module 6 so as to adjust the focus of the projected image.
  • the lens drive unit 66 adjusts the focus of the projection image by driving a focus lens (not shown) constituting the projection lens 61 forward and backward in the optical axis direction based on a control signal output from the CPU 101. .
  • FIGS. 8 (a) to 8 (c) are diagrams illustrating a case where the orientation of the representative vector is calculated in the left and right directions with respect to the shooting direction.
  • the same applies to FIGS. 5A and 5B described above correspond to the case where the shooting direction and the projection direction are the same and the shake calculation correction circuit 208 calculates a representative vector in the shooting vertical direction.
  • the projector module 6 is controlled so as to displace the projected image in a direction that cancels the movement in the oblique direction.
  • a process when the image power of the block extracted by the shake calculation correction circuit 208 cannot detect a motion vector will be described.
  • the case where the motion vector cannot be detected means that the motion vector cannot be calculated because there is no feature including contrast information such as contour in the image data.
  • the shake calculation correction circuit 208 excludes the undetected block and only the block for which the motion vector is calculated. Use it to calculate the representative vector.
  • the shake calculation correction circuit 208 detects that the motion vector cannot be detected from any of the extracted six blocks.
  • a signal indicating motion vector non-detection is sent to the CPU 101 via the control CPU 203.
  • the CPU 101 controls the projector module 6 so as to adjust the zoom of the projected image.
  • the lens drive unit 66 is driven to move forward and backward in the direction of the optical axis of the zoom lens (not shown) constituting the projection lens 61 based on the control signal output from the CPU 101 so as to reduce the projection range on the screen S. Adjust the zoom to.
  • the shake calculation correction circuit 208 increases the size of the extraction blocks 51a to 51f in inverse proportion to the reduction of the projection range by the projector module 6.
  • the shake calculation correction circuit 208 increases the size of the extraction blocks 51a to 51f in inverse proportion to the reduction of the projection range by the projector module 6.
  • the extraction blocks 51a to 5 If can be widened to make it easier to detect a motion vector.
  • the same effect can be obtained by driving the sensors 5 to widen the imaging range of the camera unit 200 and simultaneously increasing the size of the extraction blocks 51a to 5 If.
  • the projector-equipped mobile phone 10 calculates six motion vectors by comparing images between successive frames captured by the image sensor 201 and larger than the projection area. Based on the calculated motion vector, “shake” determination is performed, and the six motion vectors are averaged to further calculate a representative vector. Further, the projector-equipped mobile phone 10 generates image shift information for canceling the representative vector, and when determining “shake”, the image shift information is set so as to suppress the fluctuation of the projection content by the projector module 6. Is used to correct the projected image. As a result, even if “hand-shake” occurs in the handheld projector-equipped mobile phone 10, the image or characters projected on the screen S can be prevented from swinging and appear to be stationary for the observer. This reduces the discomfort felt by the observer.
  • the imaging angle of view is adjustable so that the imaging range 51 by the camera unit 200 is wider than the projection range by the projector module 6, the imaging direction and the projection direction can be adjusted. Even in the same case, it is easy to image a region other than the projection range.
  • the electrical correction for shifting the optical image on the liquid crystal panel 62 is performed in order to suppress the fluctuation of the projection content on the screen S caused by the “shake”.
  • the relative positional relationship between the liquid crystal panel 62 and the projection lens 61 may be mechanically moved in a plane perpendicular to the optical axis of the projection lens 61 so as to eliminate the representative vector.
  • it may be configured to correct the shake of the projected image by performing optical correction using a variable apex angle prism.
  • the projector module 6 projects a still image as the projected image P when it is set to perform the shake correction processing.
  • characters, symbols, and pointers are projected. May be.
  • the blocks 5 la to 5 If may include a projection range.
  • the projector module 6 may project a moving image as the projected image P. Similar to the case of projecting a still image, the projector module 6 that controls the displacement of the projected image so as to cancel the calculated representative vector is controlled.
  • the moving image is a video image received by the TV tuner 106, a video image received by the communication control unit 110, or a reproduced image based on data recorded on the memory card 105.
  • the CPU 101 uses the camera unit 200. Therefore, it is prohibited to project continuous frame images captured in real time as moving images.
  • only illumination light that does not include information such as an image or text may be projected onto a predetermined area near the periphery within the projection range by the projector module 6.
  • the projection content is not displayed in a predetermined area near the periphery in the projection range of the liquid crystal panel 62, and the projection light in this area is used as the illumination light.
  • the camera unit 200 is photographed so that the imaging range 51 includes the screen 100 on the imaging range 51 and the screen S on the desk 100 and the flowerpot U.
  • Six blocks 51a to 51f not including the projection range are extracted, and image shift information is obtained based on the image data in these blocks.
  • only the area that does not include the projection area on the screen S and includes a stationary object (for example, the frame of the desk 100, the flower pot U, or the screen S) is captured. May be obtained.
  • the distance to the screen S or the stationary object may be calculated by, for example, a distance measuring device for the camera unit 200 or a distance measuring device for the projector module 6.
  • the image sensor 201 has a function as a shake detection sensor that detects a shake when correcting a shake of a captured image and a projected image.
  • the shake calculation correction circuit 208 detects the shake and outputs a shake detection signal.
  • a configuration that uses a gyroscope, an angular velocity sensor, and an acceleration sensor may be used as the shake detection sensor used when correcting the shake of the captured image and the projected image.
  • the projection surface of the projector module 6 may be the surface or the inside of the housing. With such a configuration, it is possible to perform shake correction using a single sensor without using a shake detection sensor individually when correcting shake of a captured image and shake of a projected image. Miniaturization and low power consumption can be realized.
  • a light image forming element is configured using the liquid crystal panel 62 and the image by the liquid crystal panel 62 is illuminated with the light from the LED light source 63 to obtain a light image.
  • a light image forming element is configured by arranging point light sources corresponding to pixels, and the light image forming element generates a light image by emitting light of luminance corresponding to the image signal for each pixel.
  • the LED light source 63 can be omitted when a self-luminous optical image forming element is used. Further, the light source is not limited to the LED light source, and may be another light source.
  • the optical image forming element may be configured using a micromirror element in which micromirrors are arranged corresponding to pixels.
  • the micromirror element is illuminated with the light from the LED light source 63.
  • the relationship between the shooting direction by the camera unit 200 and the projection direction by the projector module 6 can be changed.
  • the projector module 6 May be configured to change the projection direction, for example, by enabling rotation.
  • both the camera unit 200 and the projector module 6 may be configured to be rotatable.
  • the projector module 6 is zoomed to reduce the projection range.
  • the camera unit 200 may adjust the zoom to widen the shooting range.
  • FIG. 9 is a diagram for explaining the photometry area in this case.
  • the shaded area K excluding at least the projection range P on the screen S from the imaging range 51 corresponding to one frame image has a lower brightness than the projection range P. Therefore, the exposure is determined according to the subject brightness calculated based on the image data including the projection range P with high brightness (for example, the imaging range 5
  • the area K is shot dark. Since the blocks 5 la to 5 If described above are included in the region K, it is difficult to detect the feature portion including the contrast information, and it is difficult to accurately calculate the motion vector.
  • the CPU 101 determines the exposure according to the brightness of the subject calculated based on the signal value of the image data of the region K including the block for motion vector extraction and excluding the projection range P, Appropriate exposure is obtained for the blocks 51a to 51f. This makes it easier to calculate the motion vector and makes it more accurate for the projector module 6.
  • the displacement of the projected image can be controlled.
  • the CPU 101 increases the gain of the captured image data of the region K, for example.
  • data of an appropriate signal level can be obtained for the blocks 5 la to 5 If, and the motion vector can be easily calculated. Therefore, the displacement of the projection image by the projector module 6 can be controlled more accurately.
  • the processes of Modification 12 and Modification 13 may be combined.
  • the aperture may be increased so that the shutter speed of the image sensor 201 is increased or the amount of light incident on the image sensor 201 is increased. These gain-up processing, shatter speed change, or aperture change processing are performed by the level increase processing unit (the imaging unit control CPU 203 or the image processing circuit 207).
  • the projection by the projector module 6 and the photographing by the camera unit 200 may be performed in a time-sharing manner, instead of the camera unit 200 photographing while projecting an image by the projector module 6.
  • FIG. 10 is a timing chart for explaining projection timing and photographing (imaging) timing.
  • the LED drive unit 64 of the projector module 6 causes the LED light source 63 to flash and emit light so that it is repeatedly turned on and off every lZ 60 sec in accordance with the LED drive signal from the CPU 101.
  • the liquid crystal panel 62 is illuminated by the blinking light, the projected image force on the screen is blinked with a period of SlZ 30 sec.
  • the image capturing unit control CPU 203 of the camera unit 200 starts capturing a frame image in response to a capturing instruction from the CPU 101.
  • the shooting interval between frames is set to lZ30 sec, and the LED light source 63 is turned off (turned off), that is, the projected image on the screen S (FIG. 6) is The image is captured (accumulation of imaging charge in the image sensor 201) during lZ60sec (off (non-display state)).
  • the CPU 101 obtains image shift information using an image taken at the above timing.
  • the intermediate force of the image in the imaging range 51 (Fig. 6) corresponding to one frame image is also a predetermined block.
  • Blocks 51a to 51f in the example of FIG. 6 are extracted, and image shift information is obtained based on the image data in these blocks.
  • the block position may be set so that the screen S is included in the blocks 51a to 51f.
  • the CPU 101 sends a command to the liquid crystal drive unit 65 of the projector module 6 and shifts the optical image on the liquid crystal panel 62 to be projected next according to the obtained image shift information.
  • the person H of the projected image P on the screen S is projected onto the center of the screen S, and whether the person H is stationary for the person observing the projected image P on the screen S. looks like.
  • Projection by the projector module 6 and shooting by the camera unit 200 are alternately performed, and the projection image to be canceled to cancel the fluctuation of the projection image caused by the “camera shake” generated in the projector-equipped mobile phone 10.
  • Image shift information necessary for correction is obtained using the captured image while the projection image is turned off. Accordingly, the imaging range 51 by the camera unit 200 may not be wider than the projection range by the projector module 6 (that is, unlike the first embodiment, the screens S may be included in the blocks 51a to 51f). ) Can save you the trouble of adjusting the angle of view.
  • the on / off driving of the LED light source 63 is not limited to the above-described lZ60 sec interval, and the interval may be further shortened. [0079] (Modification 15)
  • each light source 63 is controlled to emit light using the PWM method, or when it is driven to emit light of each RGB color sequentially, each light source is turned off (off), and the camera unit 200 takes a picture. You can configure it to do!
  • the subject brightness at the time of shooting with the camera unit 200 is insufficient, instead of turning off the LED light source 63, only illumination light is emitted with low brightness (for example, white projection) without including information such as images and text. Also good. As a result, the luminance of the image of the predetermined block is increased, so that the motion vector calculation accuracy can be increased.
  • low brightness for example, white projection
  • the CPU 101 performs gain increase on the captured image data, for example.
  • data of an appropriate signal level can be obtained for the blocks 51a to If, and the motion vector can be easily calculated. Therefore, the displacement of the projection image by the projector module 6 can be controlled more accurately.
  • the processes of Modification 16 and Modification 17 may be performed in combination.
  • the shutter speed of the image sensor 201 may be increased, or the diaphragm may be widened so that the amount of light incident on the image sensor 201 is increased.
  • These gain-up processing, shatter speed change, or aperture change processing are performed by a level increase processing unit (imaging unit control CPU 203 or image processing circuit 207).
  • the power for explaining the example in which the projector module 6 and the camera unit 200 are mounted on the mobile phone 10 Electronic devices such as a projector and a notebook computer with a camera, a PDA with a projector and a camera, and an electronic camera with a projector
  • Electronic devices such as a projector and a notebook computer with a camera, a PDA with a projector and a camera, and an electronic camera with a projector
  • the present invention can also be applied to.
  • the camera unit 200 is automatically instructed to start the imaging. May be configured to manually instruct. Also, in the above embodiment, an example in which the projector-equipped mobile phone 10 is used for the node hold will be described. As described above, the present invention can also be applied to the case where the projector-equipped mobile phone 10 is held or the relative positional relationship between the mounting form and the projection surface changes with time.

Abstract

　プロジェクタ付き携帯電話機１０は、相対角θ＝８０度の投影姿勢に設定されて３秒経過すると、プロジェクタモジュール６の投射を開始させる。揺れ補正処理を行う設定がなされていれば、カメラ部２００に連続するフレーム画像の撮像開始を指示する。プロジェクタ付き携帯電話機１０は、イメージセンサによって撮像された連続するフレーム間の画像を比較して６つの動きベクトルを算出する。算出した動きベクトルに基づいて「手ぶれ」判定をするとともに、代表ベクトルをさらに算出する。プロジェクタ付き携帯電話機１０はさらに、代表ベクトルをキャンセルするための画像シフト情報を生成し、「手ぶれ」を判定した場合には画像シフト情報を使用してプロジェクタモジュール６による投射内容の揺動を抑える。

Description

明 細 書
電子機器
技術分野
[0001] 本発明は、画像やテキストなどの情報を投射するプロジェクタ装置を有する電子機 器に関する。
背景技術
[0002] 載置台に載置された被写体を撮像するカメラを備え、カメラで撮像した画像をスクリ ーンなどへ投射するプロジェクタ装置が知られて ヽる (特許文献 1参照)。
[0003] 特許文献 1 :特開 2001— 251476号公報
発明の開示
発明が解決しょうとする課題
[0004] プロジェクタ装置をノヽンドホールド可能な小型機器として構成する場合、手の揺れ に伴って投射中のプロジェクタ装置が揺動すると考えられる。このため、スクリーン上 に投射される像も揺れ動!/ヽてしま!ヽ、投射像を観察する人に不快感を与えるおそれ がある。
課題を解決するための手段
[0005] 本発明の第 1の態様によると、電子機器は、被写体像を撮像して画像信号を出力 する撮像装置と、光像形成素子に形成された像を投射するプロジェクタ装置とを筐体 内に一体に備え、画像信号の時間的な変化量を演算する演算部と、演算された変 化量に応じてプロジェクタ装置が筐体と離間したスクリーンに投射する像の位置を補 正する補正部とを備える。
本発明の第 2の態様によると、第 1の態様の電子機器はさらに、撮像装置による撮 影範囲とプロジヱクタ装置による投射範囲とがー致しないように、撮像装置が撮像す る向きおよびプロジェクタ装置が像を投射する向きの少なくとも一方の向きを変更す るための変更部を備えてもよい。この場合の演算部は、プロジェクタ装置による投射 範囲を除く被写体像に対応する画像信号を用いて変化量を演算することもできる。 本発明の第 3の態様によると、第 1の態様の電子機器はさらに、撮像装置による撮 影範囲とプロジヱクタ装置による投射範囲とがー致しないように、撮影範囲および投 射範囲の少なくとも一方の大きさを変更する範囲変更部を備えてもよい。この場合の 演算部は、プロジェクタ装置による投射範囲を除く被写体像に対応する画像信号を 用いて変化量を演算することもできる。
本発明の第 4の態様によると、第 3の態様の電子機器において、撮影範囲が投射 範囲より大きくなるように撮影範囲または投射範囲を変更するべぐ範囲変更部を構 成することが望ましい。
本発明の第 5の態様によると、第 3または第 4の態様の電子機器において、演算部 によって変化量が演算不能の場合、プロジェクタ装置が投射範囲を狭くするとともに 、演算部が変化量の演算に用いる画像信号の抽出範囲を広げることもできる。
本発明の第 6の態様によると、第 3または第 4の態様の電子機器において、演算部 によって変化量が演算不能の場合、撮像装置が撮影範囲を広くするとともに、演算 部が変化量の演算に用いる画像信号の抽出範囲を広げることもできる。
本発明の第 7の態様によると、第 5または第 6の態様の電子機器のプロジェクタ装置 は、投射範囲内の周囲に照明光を照射することもできる。
本発明の第 8の態様によると、電子機器は、被写体像を撮像して画像信号を出力 する撮像装置と、光像形成素子に形成された像を投射するプロジェクタ装置とを一体 に備え、揺れを検出して揺れ検出信号を出力する揺れ検出部と、揺れ検出信号に基 づいて、撮像装置の出力する画像信号に対応する画像、およびプロジェクタ装置が 投射する像を補正する補正部とを備える。
本発明の第 9の態様によると、第 8の態様の電子機器において、補正部は、揺れ検 出部で揺れが検出された際に、撮像装置の出力する画像信号に対応する画像を補 正するときと、プロジェクタ装置が投射する像を補正するときとで、画像、および像の シフト方向を逆にして補正することもできる。
本発明の第 10の態様によると、第 1〜第 9のいずれかの態様の電子機器の撮像装 置は、プロジェクタ装置の投射を開始させる指示に応じて撮像を開始することもでき る。
本発明の第 11の態様によると、第 1〜第 10のいずれかの態様の電子機器のプロジ ヱクタ装置は、補正部が補正を行う場合に撮像装置カゝら出力される画像信号を用い て形成された像を投射することが禁止されて 、る。
本発明の第 12の態様によると、第 1〜第 7のいずれかの態様の電子機器はさらに、 被写体輝度に基づいて撮像装置による撮影時の露出を決定する露出演算部を備え てもよい。この場合の露出演算部は、プロジェクタ装置による投射範囲を除く被写体 像に対応する画像信号を用いて被写体輝度を算出することもできる。
本発明の第 13の態様によると、電子機器は、被写体像を撮像して画像信号を出力 する撮像装置と、光像形成素子に形成された像を投射するプロジェクタ装置とを一体 に備え、プロジェクタ装置による非投射時に撮像するとともに、撮像装置による非撮 影時に投射するように撮像装置とプロジェクタ装置とを時分割で制御する制御部と、 画像信号の時間的な変化量を演算する演算部と、演算された変化量に応じてプロジ ヱクタ装置が投射する像の位置を補正する補正部とを備える。
本発明の第 14の態様によると、第 13の態様の電子機器の制御部は、プロジェクタ 装置による投射周期を 1Z30秒以下にするように制御することもできる。
本発明の第 15の態様によると、第 12〜第 14のいずれかの態様の電子機器はさら に、プロジェクタ装置による投射範囲を除く被写体像に対応する画像信号のレベル を大きくするレベル増大処理部を備えてもよい。この場合の演算部は、レベル増大処 理された画像信号を用いて変化量を演算することもできる。
上記演算部は、演算手段と置き換えてもよい。
上記補正部は、補正手段と置き換えてもよい。
上記変更部は、変更手段と置き換えてもよい。
上記範囲変更部は、範囲変更手段と置き換えてもよい。
上記揺れ検出部は、揺れ検出手段と置き換えてもよい。
上記露出演算部は、露出演算手段と置き換えてもよい。
上記制御部は、制御手段と置き換えてもよい。
上記レベル増大処理部は、レベル増大処理手段と置き換えてもよ 、。
発明の効果
本発明による電子機器では、電子機器を手持ちした状態でプロジェクタ装置を使 用した場合に投射像を観察する人に与える不快感を軽減できる。
図面の簡単な説明
[0007] [図 1]本発明の一実施の形態によるプロジェクタ付き携帯電話機の斜視図である。
[図 2]プロジェクタ付き携帯電話機の構成を説明するブロック図である。
[図 3]プロジェクタ付き携帯電話機力もの投射像を説明する図であり、（a)はスクリーン を正対する向きに見た図、（b)はスクリーンを右側方から見た図である。
圆 4]プロジェクタ付き携帯電話機で投射内容の揺動を抑える場合のスクリーン側の 構成を説明する図である。
[図 5]カメラ部で撮影しながらプロジェクタモジュールで画像を投射する例を示す図で あり、（a)は時刻 txにおける図、 js(b)は時刻 (tx+1)における図である。
[図 6]撮像画像のうち投射範囲を含まない 6つのブロックを説明する図である。
[図 7]シフト後のスクリーン上の投射画像を説明する図である。
[図 8]カメラ部による撮影方向とプロジェクタモジュールによる投射方向との関係につ いて説明する図であり、（a)は撮影方向および投射方向が同一の図、（b)は撮影方向 および投射方向が 180度異なる図、（c)は撮影方向および投射方向が 90度異なる図 である。
[図 9]変形例における測光エリアを説明する図である。
[図 10]投影タイミングおよび撮影タイミングを説明する図である。
発明を実施するための最良の形態
[0008] 以下、本発明を実施するための最良の形態について説明する。
(第 1の実施形態）
図 1は、本発明の一実施の形態によるハンドホールドで用いることが可能なプロジェ クタ付き携帯電話機 10の斜視図である。図 1において、プロジェクタ付き携帯電話機 10は操作部 1と表示部 2とを構成する筐体が回動可能な折り畳みヒンジ部 3で支持さ れ、折り畳みヒンジ部 3を回動中心に折り畳み自在に構成されている。折り畳みヒンジ 部 3には、操作部 1および表示部 2間の相対角 Θがたとえば、 80度の位置と 150度 の位置とに不図示のクリック機構が設けられている。 80度はプロジェクタ部の投影姿 勢に対応し、 150度は電話機の通話姿勢に対応する。 [0009] 操作部 1の底面 laには、プロジェクタ付き携帯電話機 10を平面上に載置した場合 に安定するように小型脚部 12a〜 12dが設けられて 、る。操作部 1の表示部 2側の面 lbには後述する第 1操作部材 112などが設けられ、操作部 1の側面 lcには小型脚 部 11が設けられている。小型脚部 11は、プロジェクタ付き携帯電話機 10の相対角 Θを図 1のように 80度に開いた状態 (投影姿勢)で当該側面 lcを下にして平面上に 載置した場合 (横位置載置）に、折り畳みヒンジ部 3、および表示部 2に配設されてい る小型脚部 21とともに 3点で安定して載置されるように構成されている。
[0010] 表示部 2の操作部 1側の面 2bには、後述するメイン液晶表示器 204が配設され、表 示部 2の外側の面 2aには、サブ液晶表示器 4が配設されている。表示部 2の面 2a〖こ はさらに、カメラ部 200およびプロジェクタモジュール 6がそれぞれ配設される。プロジ ェクタモジュール 6は、筐体外に設けられた投射面に像を投射する。プロジェクタモジ ユール 6は円筒形状に構成され、表示部 2の面 2aに設けられている丸穴 Mに回転自 在に嵌入され、図 1に示す正位置 (0度とする）と、正位置を基準に左右それぞれの 向きにプロジェクタモジュール 6を 90度回転させた 2つの位置との計 3箇所にクリック 機構 (不図示)が設けられて 、る。
[0011] 表示部 2にはカメラ部 200が配設されている。カメラ部 200には、撮影レンズ 5の向 きを表示部 2の外側面 2aへ向けたり、操作部 1側の面 2bへ向けたりすることが可能な ように回動機構が備えられ、撮影する向きが筐体に対して変更自在に構成されて 、 る。
[0012] 図 2は、図 1のプロジェクタ付き携帯電話機 10の構成を説明するブロック図である。
図 2において、操作部 1側には CPU101と、メモリ 102と、姿勢センサ 103と、近距離 通信部（回路） 104と、 TVチューナー 106と、マイク 107と、外部インターフェイス（iZ F) 108と、電源 109と、通信 ff¾御咅 (回路） 110と、アンテナ 7と、 GPSアンテナ 111と 、第 1操作部材 112と、スピーカー 113と、開閉角度スィッチ（SW) 114とが備えられ 、着脱可能なメモリカード 105が実装されている。
[0013] 表示部 2にはカメラ部 200と、プロジェクタモジュール 6 (プロジェクタ部）と、第 2操作 部材 205と、スピーカー 206と、メイン液晶表示器 204と、サブ液晶表示器 4とが備え られている。 [0014] コントローラである CPU101は、制御プログラムに基づいて、プロジェクタ付き携帯 電話機 10を構成する各部力も入力される信号を用いて所定の演算を行うなどして、 プロジェクタ付き携帯電話機 10の各部に対する制御信号を送出することにより、電話 機動作、カメラ動作、プロジェクタ動作をそれぞれ制御する。なお、制御プログラムは
CPU101内の不図示の不揮発性メモリに格納されて 、る。
[0015] メモリ 102は CPU101の作業用メモリとして使用される。姿勢センサ 103は、プロジ クタ付き携帯電話機 10の姿勢を検出し、検出信号を CPU101へ送出する。これに より CPU101は、撮影時には画像の天地を示す天地情報 (縦位置撮影および横位 置撮影の識別のための情報を含む）を取得し、プロジェクタ使用時には図 1に示すよ うな縦位置で載置されている力、小型脚部 11、 21および折り畳みヒンジ部 3を下にし た横位置に載置されてヽるかを判定する。
[0016] 近距離通信部 104は、たとえば、赤外線通信回路によって構成され、 CPU101の 指令により外部機器との間でデータを送受信する。 TVチューナー 106は、 CPU101 の指令によりテレビ放送を受信する。 CPU101は、受信画像をメイン液晶表示器 20 4に表示させ、受信音声をスピーカー 206で再生させる。メモリカード 105は不揮発 性メモリによって構成され、 CPU101の指令により、例えばカメラ部 200より出力され る画像データ、 TVチューナー 106より出力される映像'音声データなどのデータの 書き込み、保存および読み出しが可能である。
[0017] マイク 107は、集音した音声を電気信号に変換して音声信号として CPU101へ送 出する。音声信号は、録音時にはメモリカード 105に記録され、通話時には通信制御 部 110へ送られる。外部インターフェイス 108は、 CPU101の指令により不図示のケ 一ブルまたはクレードルを介して外部機器との間でデータを送受信する。
[0018] スピーカー 113は、 CPU101から出力された音声信号による音声を再生する。第 1 操作部材 112は、電話機のダイヤルボタンなどを含み、押下されたボタンに対応する 操作信号を CPU101へ送出する。 GPSアンテナ 111は GPS衛星力ゝらの信号を受信 し、受信データを CPU101へ送出する。 CPU101は、 GPSアンテナ 111からの受信 データを用いて位置情報を演算可能に構成されて 、る。通信制御部 110は無線送 受信回路を含み、 CPU101の指令により不図示の基地局を介して他の電話機との 間で通信を行う。通信制御部 110は、電話音声の他にもカメラ部 200で撮影された 画像データや、プロジェクタモジュール 6で投射するための画像データなどを送受信 可能に構成されている。アンテナ 7は通信制御部 110の送受信アンテナである。
[0019] 電源 109は、たとえば、着脱可能な電池パックおよび DCZDC変換回路などで構 成され、プロジェクタ付き携帯電話機 10内の各部に必要な電力を供給する。開閉角 度 SW114は、折り畳みヒンジ部 3の回動角を検出し、操作部 1および表示部 2間の 相対角 Θがたとえば 80度 (投影姿勢）にされたことを検出するとオン信号 (Hレベル） を CPU101へ送出し、上記角度以外ではオフ信号 (Lレベル)を送出する。
[0020] メイン液晶表示器 204は、 CPU101の指令により画像やテキストなどの情報を表示 する。サブ液晶表示器 4は、 CPU101の指令により画像やテキストなどの情報を表示 する。テキスト情報として表示される内容は、例えばプロジェクタ付き携帯電話機 10 の動作状態、操作メニュー、送受信メールの内容などである。さらに、メイン液晶表示 器 204は、プロジェクタモジュール 6で投射される画像と同じ内容の画像を表示する ことが可能な構成とされている。第 2操作部材 205は、メイン液晶表示器 204の表示 内容に関連づけられたボタンなどを含み、押下されたボタンに対応する操作信号を C PU101へ送出する。スピーカー 206は、相対角 Θが 150度である通話姿勢時に CP U101から出力された音声信号による音声を再生する。
[0021] カメラ部 200は、撮影レンズ 5と、イメージセンサ 201と、レンズ駆動部（回路） 202と 、コントローラである撮像部制御 CPU203と、画像処理回路 207とを有する。イメージ センサ 201としては、 CCDや CMOS撮像素子などが用いられる。撮像部制御 CPU 203は、 CPU101の指令によりイメージセンサ 201およびレンズ駆動部 202を駆動 制御するとともに、画像処理回路 207に所定の画像処理を行わせる。画像処理回路 207は揺れ演算補正回路 208を含み、イメージセンサ 201から出力される蓄積電荷 信号に対するホワイトバランス処理、ガンマ処理、シェーディング補正処理などを行う 他、揺れ演算補正回路 208で揺れ補正処理も行う。揺れ補正は、プロジェクタ付き携 帯電話機 10を手持ちしてカメラ部 200で撮影を行う場合に生じる撮影画像の揺動（ 手ぶれ)を補正したり、プロジェクタ付き携帯電話機 10を手持ちしてプロジェクタモジ ユール 6で投射する場合に生じる投射画像の揺動を補正したりするためのものである [0022] レンズ駆動部 202は、撮像部制御 CPU203からズーム制御信号を受けると、制御 信号に応じて撮影レンズ 5を構成するズームレンズ (不図示）をテレ側もしくはワイド側 へ駆動する。撮影レンズ 5は、イメージセンサ 201の撮像面上に被写体像を結像させ る。撮像部制御 CPU203はイメージセンサ 201に撮像を開始させ、撮像終了後にィ メージセンサ 201から蓄積電荷信号を読み出して画像処理回路 207へ送出し、画像 処理回路 207で画像処理された画像データを CPU101へ送出する。なお、カメラ部 200で撮影した画像データを他の機器へ送信する場合には CPU101から通信制御 部 110へ画像データが送出される。また、撮影画像をスクリーンなどへ投射する場合 には撮像部制御 CPU203から CPU 101を経由してプロジェクタモジュール 6へ画像 データが送出される。画像処理回路である CPU101では、プロジェクタモジュール 6 で投射される画像データに対して台形歪み補正処理が施される。
[0023] プロジェクタモジュール 6は、投影レンズ 61と、液晶ノ ネル 62と、 LED光源 63と、 L ED駆動部（回路) 64と、液晶駆動部（回路) 65と、レンズ駆動部（回路) 66とを含む。 LED駆動部 64は、 CPU101から出力される LED駆動信号に応じて LED光源 63に 電流を供給する。 LED光源 63は、供給電流に応じた明るさで液晶パネル 62を照明 する。
[0024] 液晶駆動部 65は、画像データに応じて液晶パネル駆動信号を生成し、生成した駆 動信号で液晶パネル 62を駆動する。具体的には、液晶層に対して画像信号に応じ た電圧を画素ごとに印加する。電圧が印加された液晶層は液晶分子の配列が変わり 、当該液晶層の光の透過率が変化する。このように、画像信号に応じて LED光源 63 力もの光を変調することにより、液晶パネル 62が光像を生成する。
[0025] レンズ駆動部 66は、 CPU101から出力される制御信号に基づいて、投影レンズ 61 を光軸に対して直交する方向へ進退駆動する。投影レンズ 61は、液晶パネル 62か ら射出される光像をスクリーンなどへ向けて投射する。
[0026] プロジェクタモジュール 6による投射像について詳細に説明する。プロジェクタ付き 携帯電話機 10は、操作部 1および表示部 2間の相対角が 80度の投影姿勢に設定さ れ、所定時間（たとえば 3秒）が経過すると自動的に投射を開始する。図 3は、平面 P 上に上記縦位置で載置されたプロジェクタ付き携帯電話機 10から離間したスクリー ン Sに投射された像 Ivを説明する図である。図 3(a)はスクリーン Sを正対する向きに見 た図であり、図 3(b)はスクリーン Sを右側方から見た図である。
[0027] プロジェクタモジュール 6は投射像 Ivの形状を以下のように補正する機能を有して いる。すなわち、レンズ駆動部 66によって投射レンズ 61を光軸に対して直交する方 向へシフトさせてあおり効果を得て、あおり効果に応じて投影する表示データに対す るキーストン補正 (台形歪み補正)を施す。これにより、投射像 Ivを方形状に補正する
[0028] 上述した揺れ演算補正回路 208が行う揺れ補正処理の詳細について説明する。揺 れ補正処理を行うように設定されている状態でイメージセンサ 201から出力され、画 像処理回路 207で信号処理された 1フレームごとの画像データは、揺れ演算補正回 路 208へ逐次入力される。揺れ演算補正回路 208は、入力された 1フレーム画像の 中のあら力じめ定められている所定領域力も複数ブロック（たとえば、 6ブロック）を抽 出する。なお、揺れ補正処理を行うための設定は、メニュー設定もしくは第 2操作部 材 205による操作などによって行われる。
[0029] 揺れ演算補正回路 208は、抽出した 6ブロックの画像のそれぞれについて、ブロッ クマッチング処理を行うことで、前フレーム画像から 6ブロック画像のそれぞれに対応 する領域を求め、各ブロック位置、各領域位置とから公知の動きベクトル算出処理に よって 6つの動きベクトルを算出する。揺れ演算補正回路 208はさらに、 6つの動きべ タトルを用いて、例えば各々の動きベクトルの大きさ、向きについて平均化処理を施 して 6ブロックの画像の全体を代表する代表ベクトルを算出する。
[0030] 揺れ演算補正回路 208は、算出した 6つの動きベクトルの大きさおよび方向をそれ ぞれ比較し、各ベクトルの大きさおよび方向が合致しているか否かを判定する。揺れ 演算補正回路 208は、各ベクトル間の大きさの差、および各ベクトル間の方向差があ らカじめ定められる所定範囲内である場合、フレーム間の画像の動き（画像の時間的 、位置的な変化）が「手ぶれ」によって生じたとみなし、各ベクトル間の大きさの差およ び各ベクトル間の方向差の少なくとも一方が所定範囲を超えている場合には、フレー ム間の画像の動きが「被写体の動き」によるものとみなす。 [0031] 揺れ演算補正回路 208は、上記「手ぶれ」を判定した場合に、上記代表ベクトルに よる像の動きを打ち消すように画像をシフトさせるための画像シフト情報を生成する。 画像のシフト方向は代表ベクトルの向きと逆向きであり、画像のシフト量は代表べタト ルの大きさと同じである。
[0032] 画像シフト情報は、カメラ部 200による撮影時には、撮影画像に生じる「手ぶれ」を 抑えるために使用できる。具体的には、イメージセンサ 201から出力される 1フレーム の画像のデータを、画像シフト情報が示すシフト方向、シフト量に基づいてメモリ空間 上でシフトさせる。この結果、「手ぶれ」による被写体像の揺動を抑えるように、メモリ 空間上にぉ 、てフレーム間の画像の動きが抑制された画像データ (補正された画像 データ）が得られる。このように、動きが抑制された画像データは、撮影画像データと して記録手段であるメモリカード 105に記録したり、アンテナ 7、外部 IZF108を介し て送信することもできる。
[0033] また、プロジェクタモジュール 6による投射時には、投射像に含まれる画像や文字な ど (投射内容と呼ぶ）に生じる揺動を抑えるために画像シフト情報を使用できる。具体 的には、液晶パネル 62を駆動する液晶パネル駆動信号を、画像シフト情報が示すシ フト方向、シフト量に基づいて変化させる。つまり、投射時にプロジェクタ付き携帯電 話機 10が「手ぶれ」に起因して平行移動したことで生じるスクリーン S上の投射内容 の揺動を抑えるように、液晶パネル 62上に形成される光像をシフトさせる。このように 、液晶パネル 62上で光像がシフトされる（補正される）結果、観察者にとってスクリー ン S上に投射されている画像や文字などが静止して見える。
[0034] 本発明は、画像シフト情報を使用してプロジェクタモジュール 6による投射内容の揺 動を抑えることに特徴を有するので、この点を中心にさらに説明する。プロジェクタ付 き携帯電話機 10の CPU101は、上述したように投影姿勢に設定されて所定時間が 経過すると、プロジェクタモジュール 6に対して投射開始を指示する。このとき、揺れ 補正処理を行うように設定されて 、れば、カメラ部 200に対して連続するフレーム画 像の撮像開始を指示する。
[0035] 図 4は、プロジェクタ付き携帯電話機 10で投射内容の揺動を抑える場合のスクリー ン S側の構成を説明する図である。図 4において、机 100の上にスクリーン Sが配設さ れ、スクリーン sに隣接して植木鉢 uが配設されている。プロジェクタ付き携帯電話機 10は、図 1のような投射姿勢の状態で操作者の手に把持され、表示部 2の面 2a (す なわち、プロジェクタモジュール 6の投射方向）およびカメラ部 200の撮影レンズ 5が スクリーン Sに向けられている。机 100、植木鉢 Uおよびスクリーン Sは静止物である。
[0036] 図 5はカメラ部 200で撮影しながらプロジェクタモジュール 6で画像を投射する例を 示す図であり、図 5(a)は時刻 txにおける撮像範囲 51を説明する図、図 5(b)は時刻 (t x+1)における撮像範囲 51を説明する図である。図 5(a)、（b)において、カメラ部 200は 撮像範囲 51に机 100および机 100上のスクリーン S、植木鉢 Uを含むように撮影し、 プロジェクタモジュール 6はスクリーン Sに向けて投射画像 Pを投射する。カメラ部 200 による撮像範囲 51がプロジェクタモジュール 6による投射範囲より広くなるように、撮 影レンズ 5がズーム調節され、撮影画角が調節されて!、る。
[0037] 時刻 txである図 5(a)において、机 100の右前脚 101aと撮像範囲 51の端との間隔 は Yであり、時刻 (tx+1)である図 5(b)において、机 100の右前脚 101aと撮像範囲 51 の端との間隔は Xである。揺れ演算補正回路 208は、図 6に示すように、 1フレーム画 像に対応する撮像範囲 51の画像の中からスクリーン S上の投射範囲を含まない例え ば、 6つのブロック 51a〜51fを抽出し、これらのブロック内の画像データに基づいて 上述した画像シフト情報を得る。ブロック 51a〜51fは、撮像範囲 51内の、例えば周 縁近傍にあらカゝじめ定められている。
[0038] 図 5(a)の撮像範囲 51内の画像が前フレーム撮像画像に相当し、図 5(b)の撮像範 囲 51内の画像が現フレーム撮像画像に相当する。図 5(b)によれば、上下方向の手 ぶれによってプロジェクタ付き携帯電話機 10の表示部 2の面 2aが図 5(a)の場合に比 ベて下方向に平行移動したので、机 100、スクリーン Sおよび植木鉢 Uが上方向に移 動し、スクリーン Sに投射される画像 Pの人物 Hは下方向に移動する。スクリーン S上 の投射画像 Pを観察する人は、人物 Hが移動して見えるので不快に感じる。
[0039] そこで、 CPU101はプロジェクタモジュール 6の液晶駆動部 65へ指令を送り、画像 シフト情報に応じて液晶パネル 62上の光像をシフトさせる。この結果、図 7に示すよう に、スクリーン S上の投射画像 Pの人物 Hが図 5(a)の場合と同様にスクリーン Sの中央 部に投射され、スクリーン S上の投射画像 Pを観察する人にとって人物 Hが静止して いるかのように見える。
[0040] 上述の例では、図 5(b)に示される時刻 t (x+ l)の投射画像中の人物 Hの像の位置 は、図 5(a)の投射画像中の人物 Hの像の位置に比較して、下方向に移動している。 したがって、この移動を打ち消すように、投射画像中の人物 Hの像のスクリーン S上の 位置が上方向に移動するように（投射画像の移動方向、すなわち「手ぶれ」の方向と は逆方向に像の位置が移動するように)制御が行われる。ここで、上記の例で、撮像 画像の手ぶれの補正に適用する場合について説明する。図 5(b)に示される時刻 t (x + 1)の撮像画像は、図 5(a)の撮像画像に比較して上方向に移動している。したがつ て、この移動を打ち消すように、前述の撮像されたフレーム画像データのメモリ空間 からの読み出し開始位置を変更する。これにより、例えば、液晶モニタ 20に表示する 画像が時刻 t (X)の画像（図 5(a)の撮像範囲 51に対応する画像）に近づくように補正 が行われる。したがって、上記の図 5の例においては、撮像画像の手ぶれの補正の ための画像の移動方向は下向きとなる。すなわち、操作者の手ぶれを補正する対象 の画像が、投射画像力ゝ撮像画像かによつて、手ぶれによる画像の移動 (補正)方向 が逆になる。本プロジェクタ付き携帯電話機 10は、手ぶれによる画像の揺動を補正 した画像を投射しつつ、撮像画像の揺動を補正し、揺動の補正された撮像画像デー タをメモリカード 105に記録することができる。この際には、投射画像の揺動の補正方 向と、撮像画像の揺動の補正方向とを逆にする。また、投射画像の揺動の補正と、撮 像画像の揺動の補正とを、例えば第 1操作部材 112の操作によって切り替えて行う 場合 (すなわち、画像投射を行う投射モードと、撮像記録を行う撮像モードとを切り替 えて行う場合）についても同様である。さらにまた、ジャイロ等のセンサによって手ぶ れを検出する場合についても、同様に、投射画像の揺動の補正方向（画像シフト方 向）と、撮像画像の揺動の補正方向（画像シフト方向）とを逆にする。
[0041] 一般に、「手ぶれ」はプロジェクタ付き携帯電話機 10を持つ操作者の腕などの関節 を支点に回動する回転運動に起因するため、プロジェクタ付き携帯電話機 10に生じ る運動は、ほぼ平行運動と考えられる。したがって、ここでは「手ぶれ」を判定した場 合にプロジェクタ付き携帯電話機 10が平行移動したものとして取り扱う。
[0042] 動きベクトルを算出するために用いる 6つのブロック 51a〜51fを含む撮影画像は、 その撮像範囲 51に必ずしもスクリーン Sを含まなくてもよい。つまり、カメラ部 200によ る撮影方向と、プロジェクタモジュール 6による投射方向とが同一でなくてもよい。図 8 (a)〜(c)は、カメラ部 200による撮影方向と、プロジェクタモジュール 6による投射方向 との関係について説明する図である。上面視図である図 8(a)は、撮影方向および投 射方向が同一の場合を示す図である。カメラ部 200の光軸を LCで表し、プロジェクタ モジュール 6の光軸を LPで表して 、る。揺れ演算補正回路 208が矢印 B (撮影右方 向）で示す代表ベクトルを算出した場合、 CPU101は矢印 Bの動きを打ち消す方向 に投射画像を変位させるようにプロジェクタモジュール 6を制御する。
[0043] 上面視図である図 8(b)は、撮影方向および投射方向が 180度異なる場合を示す図 である。カメラ部 200の光軸を LCで表し、プロジェクタモジュール 6の光軸を LPで表 している。揺れ演算補正回路 208が矢印 A (撮影左方向）で示す代表ベクトルを算出 した場合、投射画像は図 5(a)の場合と同様に矢印 B (図 5(a)の場合の撮影右方向に 相当する）で示す代表ベクトルが算出される場合と同様に移動する。そこで、 CPU10 1は矢印 Bの動きを打ち消す方向に投射画像を変位させるようにプロジェクタモジュ ール 6を制御する。
[0044] 側面視図である図 8(c)は、撮影方向および投射方向が 90度異なる場合を示す図 である。カメラ部 200の光軸を LCで表し、プロジェクタモジュール 6の光軸を LPで表 している。揺れ演算補正回路 208が矢印 A (撮影右方向）で示す代表べ外ルを算出 した場合、投射画像は移動しないものの、プロジェクタ付き携帯電話機 10からスクリ ーン Sまでの距離が変化すること力 投射画像のフォーカスがずれる。そこで、 CPU 101は投射像のフォーカス調節を行うようにプロジェクタモジュール 6を制御する。具 体的には、レンズ駆動部 66が CPU101から出力される制御信号に基づいて投影レ ンズ 61を構成するフォーカスレンズ (不図示）を光軸方向へ進退駆動させ、投射像の フォーカスを調節する。
[0045] 図 8(a)〜(c)は、代表ベクトルの向きが撮影方向に対して左右の方向に算出された 場合を示す図であるが、撮影方向に対して上下の方向に算出された場合も同様であ る。上述した図 5(a)、（b)は、撮影方向および投射方向が同一であって、揺れ演算補 正回路 208が撮影上下方向の代表ベクトルを算出した場合に相当する。 [0046] 代表ベクトルが斜め方向に算出された場合には、斜め方向の動きを打ち消す方向 に投射画像を変位させるようにプロジェクタモジュール 6を制御する。
[0047] 揺れ演算補正回路 208が抽出したブロックの画像力も動きベクトルを検出できない 場合の処理について説明する。動きベクトルを検出できない場合とは、画像データに 輪郭などのコントラスト情報を含む特徴部が存在しないため、動きベクトルを算出でき ない状態をいう。揺れ演算補正回路 208は、動きベクトルを算出するために抽出した 6ブロックに動きベクトルを算出できないブロックが存在する場合は、当該非検出のブ ロックを除外して動きベクトルが算出されたブロックのみを用いて代表ベクトルを算出 する。
[0048] 揺れ演算補正回路 208は、図 8(a)に示す撮影方向および投射方向が同一の場合 において、抽出した 6ブロックのいずれからも動きベクトルを検出できな力つた場合に は、撮像部制御 CPU203を介して CPU101へ動きベクトル非検出を示す信号を送 る。動きベクトル非検出信号を受けた CPU101は、投射像のズーム調節を行うように プロジェクタモジュール 6を制御する。具体的には、レンズ駆動部 66が CPU101から 出力される制御信号に基づいて投影レンズ 61を構成するズームレンズ (不図示)光 軸方向へ進退駆動させ、スクリーン S上の投射範囲を小さくするようにズーム調節す る。
[0049] スクリーン S上で投射範囲が小さくなると、スクリーン S上で投射範囲以外の面積が 広くなる。揺れ演算補正回路 208は、プロジェクタモジュール 6による投射範囲の縮 小に反比例させて抽出ブロック 51a〜51fの大きさを拡大する。この結果、広げた抽 出ブロック 51a〜51fにスクリーン Sの枠、スクリーン Sに印刷されているマーク、スクリ ーン S上に付着するゴミもしくは汚れなどの静止物が存在する可能性が高くなり、これ らに基づいて動きベクトルが検出されるようになる。なお、 CPU101および撮像部制 御 CPU203を経由してプロジェクタモジュール 6のズーム倍率を示す情報を入手す ることにより、プロジェクタモジュール 6による投射範囲を含まないように抽出ブロック の大きさを拡げることが可能である。このように、スクリーンの近傍に静止物が存在せ ず、これら静止物によるコントラスト情報が得られない場合でも、抽出ブロック 51a〜5 Ifを広げて動きベクトルを検出しやすくすることが可能になる。上述とは逆に、撮影レ ンズ 5を駆動させてカメラ部 200による撮像範囲を広げ、これとともに抽出ブロック 51a 〜5 Ifの大きさを拡大する構成としても同様の効果が得られる。
[0050] 以上説明した実施形態についてまとめる。
(1)プロジェクタ付き携帯電話機 10は、相対角 Θ =80度の投影姿勢に設定されて 3 秒経過すると、プロジェクタモジュール 6の投射を開始させる。このとき、揺れ補正処 理を行う設定がなされていれば、カメラ部 200に連続するフレーム画像の撮像開始を 指示する。投射開始および撮像開始が自動的に行われるので、操作が簡略化され 使い勝手が向上する。
[0051] (2)プロジェクタ付き携帯電話機 10は、イメージセンサ 201によって撮像された、投 射領域より大きい連続するフレーム間の画像を比較して 6つの動きベクトルを算出す る。算出した動きベクトルに基づいて「手ぶれ」判定を行うとともに、 6つの動きベクトル を平均化して代表ベクトルをさらに算出する。プロジェクタ付き携帯電話機 10はさら に、代表ベクトルをキャンセルするための画像シフト情報を生成し、「手ぶれ」を判定 した場合にはプロジェクタモジュール 6による投射内容の揺動を抑えるように、画像シ フト情報を用いて投射像を補正する。この結果、ハンドホールドされているプロジェク タ付き携帯電話機 10に「手ぶれ」が生じてもスクリーン S上に投射されている画像や 文字などの揺動が抑えられ、観察者にとって静止しているかのように見えるので、観 察者が感じる不快感を軽減できる。
[0052] (3)「手ぶれ」判定は、イメージセンサ 201によって撮像された連続するフレーム間の 画像を比較して行うようにしたので、ジャイロなどを用いる場合に比べてコストや消費 電力を抑えることができる。
[0053] (4)上記（2)の 6つの動きベクトルは、撮像範囲 51の画像の中力もスクリーン S上の 投射範囲を含まない 6つのブロック 51a〜51fから算出する。カメラ部 200による撮影 方向と、プロジェクタモジュール 6による投射方向とがー致しないように両方向の関係 を変更可能に構成したので、投射範囲以外の領域を撮像する (すなわち、撮像範囲 51から投射範囲を外す)ことが容易である。
[0054] (5)また、カメラ部 200による撮像範囲 51がプロジェクタモジュール 6による投射範囲 より広くなるように撮影画角を調節可能に構成したので、撮影方向および投射方向が 同一の場合においても投射範囲以外の領域を撮像することが容易である。
[0055] (6)図 8(a)に示す撮影方向および投射方向が同一の場合において、 6ブロック 51a 〜51fのいずれ力らも動きベクトルを算出できなかった場合には、プロジェクタモジュ ール 6に投射像のズーム調節を行わせ、スクリーン S上で投射範囲を小さくするように する。一方、投射範囲の縮小に反比例して上記 6つのブロックの大きさを拡大する。 この結果、広げたブロック 5 la〜5 Ifにスクリーン Sの枠、マーク、ゴミ、もしくは汚れな どが存在する可能性が高くなり、これらのコントラスト情報に基づいて動きベクトルを 算出しやすくすることができる。
[0056] (変形例 1)
以上の説明では、「手ぶれ」したことで生じるスクリーン S上の投射内容の揺動を抑 えるために、液晶パネル 62上の光像をシフトさせる電気的な補正を行った。この代わ りに、代表ベクトルをうち消すように液晶パネル 62と投射レンズ 61との相対的な位置 関係を投影レンズ 61の光軸に垂直な面内で機械的に移動させる構成にしてもよい。 また、可変頂角プリズムを用いて光学的な補正を行って投射する画像の揺れを補正 する構成にしてちよい。
[0057] (変形例 2)
上述した説明では、揺れ補正処理を行うように設定された場合において、プロジェ クタモジュール 6が投射画像 Pとして静止画像を投射する例を説明したが、画像の代 わりに文字や記号、ポインタを投射させてもよい。また、投射画像 Pとして静止画像を 投射している場合には、ブロック 5 la〜5 Ifが投射範囲を含むものであってもよい。
[0058] (変形例 3)
また、揺れ補正処理を行うように設定された場合において、プロジェクタモジュール 6が投射画像 Pとして動画像を投射してもよい。静止画像を投射する場合と同様に、 算出される代表ベクトルを打ち消すように投射画像を変位させるベぐプロジェクタモ ジュール 6を制御する。なお、動画像は TVチューナー 106で受信された映像、通信 制御部 110で受信された映像、もしくはメモリカード 105に記録されているデータによ る再生画像である。カメラ部 200による撮影範囲内にプロジェクタモジュール 6による 投射領域が存在し、揺れ補正処理を行う場合には、 CPU101は、カメラ部 200によ つてリアルタイムに撮像される連続したフレーム画像を動画像して投射することを禁 止する。投射内容の揺動を抑えるようにシフトさせた画像がスクリーン sに投射され、 そのスクリーン Sを含むようにカメラ部 200で撮像を行うことは、投射内容と撮像内容と の無限の連鎖状態を引きおこしてしまい、スクリーン Sを観察する人に不快感を与え てしまうからである。また、 6つのブロック 5 la〜5 Ifが投射範囲を除いた領域に設定 されているため、投射動画像内の像の動きを検出し、誤って「手ぶれ」と判断してしま うことが防止される。
[0059] (変形例 4)
揺れ補正処理を行うように設定された場合、プロジェクタモジュール 6による投射範 囲を揺れ補正処理を行わない場合の投射範囲に比べて小さくするようにズーム調節 するとよい。これにより、スクリーン S上で投射範囲の周囲に移動代を確保できるので 、「手ぶれ」によって投射像が揺動したとしても、投射像の端部がただちにスクリーン S の外側へ逸脱することを防止できる。
[0060] (変形例 5)
また、揺れ補正処理を行うように設定された場合、プロジェクタモジュール 6による投 射範囲内の周縁近傍の所定領域に、画像やテキストなどの情報を含まない照明光の みを投影してもよい。すなわち、液晶パネル 62の投射範囲内の周縁近傍の所定領 域には、投射コンテンツは表示されず、この領域の投射光が上記の照明光として用 いられる。動きベクトルをスクリーン Sの枠、マーク、ゴミ、もしくは汚れなどに基づいて 算出する場合には、当該抽出ブロックの画像の輝度が高くなるので、撮像画像のノィ ズを抑えることができ、動きベクトルの算出精度を高めることができる。
[0061] (変形例 6)
上記の例では、カメラ部 200で撮像範囲 51に机 100および机 100上のスクリーン S 、植木鉢 Uを含むように撮影し、揺れ演算補正回路 208が撮像範囲 51の画像の中 力 スクリーン S上の投射範囲を含まない 6つのブロック 51a〜51fを抽出し、これらの ブロック内の画像データに基づ 、て画像シフト情報を得るようにした。この代わりに、 スクリーン S上の投射範囲を含まずに静止物（たとえば、机 100、植木鉢 U、またはス クリーン Sの枠部分)を含む領域のみを撮影し、この画像データ力も画像シフト情報を 得てもよい。この場合には、プロジェクタ付き携帯電話機 10からスクリーン Sまでの距 離、およびプロジェクタ付き携帯電話機 10から静止物までの距離を算出可能に構成 することにより、より正確にプロジェクタモジュール 6による投射画像の変位を制御でき る。スクリーン Sや静止物までの距離は、たとえば、カメラ部 200用の測距装置やプロ ジェクタモジュール 6用の測距装置などによって算出させるとよい。
[0062] (変形例 7)
また、上記の例では、イメージセンサ 201の出力する信号をもとに撮影画像、投射 画像の揺れを補正する構成について説明した。この例でイメージセンサ 201は、撮 影画像、投射画像の揺れを補正する際の揺れを検出する揺れ検出センサとしての機 能をつ力さどる。イメージセンサ 201の出力信号をもとに、揺れ演算補正回路 208で 揺れの検出が行われ、揺れ検出信号が出力される。撮影画像、投射画像の揺れを 補正する際に用いられる揺れ検出センサとして、ジャイロ、角速度センサ、加速度セ ンサを用いる構成としてもよい。この場合には、プロジェクタモジュール 6の投射面は 、筐体の表面もしくは内部であっても構わない。このような構成とすれば、撮影画像の 揺れ補正、投射画像の揺れを補正する際に個別に揺れ検出センサを用いることなく 、単一のセンサを用いて揺れ補正を行うことができ、装置の小型化、低消費電力化が 実現できる。
[0063] (変形例 8)
プロジェクタモジュール 6の構成例として、液晶パネル 62を用いて光像形成素子を 構成し、液晶パネル 62による像を LED光源 63の光で照明して光像を得る場合を説 明したが、自発光式の光像形成素子を用いて構成してもよい。この場合には、画素 に対応する点光源を配列して光像形成素子を構成し、画像信号に応じた輝度の光 を画素ごとに発光させることにより、光像形成素子が光像を生成する。自発光式の光 像形成素子を用いる場合は LED光源 63を省略できる。また、光源は LED光源に限 定されず、他の光源であってもよい。
[0064] (変形例 9)
光像形成素子は、画素に対応してマイクロミラーが配列されているマイクロミラー素 子を用いて構成してもよ ヽ。マイクロミラー素子を用いて光像形成素子を構成する場 合は、 LED光源 63の光でマイクロミラー素子を照明する。
[0065] (変形例 10)
カメラ部 200を回動する回動機構を備えることによって、カメラ部 200による撮影方 向とプロジェクタモジュール 6による投射方向との関係を変更自在に構成したが、カメ ラ部 200の代わりにプロジェクタモジュール 6を回動可能にするなどして、投射方向を 変更可能に構成してもよい。また、カメラ部 200およびプロジェクタモジュール 6の双 方を回動可能に構成してもよ 、。
[0066] (変形例 11)
図 8(a)に示す撮影方向および投射方向が同一の場合において、動きベクトルを算 出できな力つた場合にプロジェクタモジュール 6側でズーム調節して投射範囲を小さ くするようにした。この代わりに、カメラ部 200側でズーム調節して撮影範囲を広げる ようにしてもよい。
[0067] (変形例 12)
プロジェクタモジュール 6によって画像を投影しながらカメラ部 200が撮影を行う際 に、撮像範囲 51のうち動きベクトル抽出のためのブロックを含み、スクリーン S上の投 影範囲を含まな 、領域の明るさに基づ 、て撮影時の露出を決定するとよ 、。図 9は、 この場合の測光エリアを説明する図である。図 6において、 1フレーム画像に対応す る撮像範囲 51から少なくともスクリーン S上の投影範囲 Pを除いた斜線領域 Kは、投 影範囲 Pに比べて輝度が低くなる。このため、輝度が高い投影範囲 Pを含む画像デ ータに基づいて算出した被写体輝度に応じて露出を決定する（たとえば、撮像範囲 5
1全域の輝度を平均して露出を決定する平均測光を行う場合など)と、領域 Kが暗く 撮影されてしまう。上述したブロック 5 la〜5 Ifは領域 Kに含まれるので、 B音く撮影さ れたデータ力 はコントラスト情報を含む特徴部の検出が困難になり、正確な動きべ タトルの算出が難しくなる。
[0068] そこで CPU101は、動きベクトル抽出のためのブロックを含み、投影範囲 Pを除外 した領域 Kの画像データの信号値に基づいて算出した被写体の明るさに応じて露出 を決定することにより、上記ブロック 51a〜51fについて適正露出が得られるようにす る。これによつて動きベクトルが算出し易くなり、より正確にプロジェクタモジュール 6に よる投射画像の変位を制御できる。
[0069] (変形例 13)
また、 CPU101は、カメラ部 200による撮影時に領域 Kについての被写体輝度が 不足する場合、撮像された領域 Kの画像データに対して例えばゲインアップを施す。 これにより、上記ブロック 5 la〜5 Ifについて適正な信号レベルのデータが得られるよ うになり、動きベクトルを算出し易くなるので、より正確にプロジェクタモジュール 6によ る投射画像の変位を制御できる。なお、変形例 12および変形例 13の処理を組み合 わせて行ってもよい。また、上記のゲインアップ処理に代えて、撮像素子 201のシャツ タ速度を大きくする、あるいは、撮像素子 201に入射する光量が大きくなるように、絞 りを広くする構成としてもよい。これらのゲインアップ処理、シャツタ速度の変更、ある いは絞りの変更処理は、レベル増大処理部（撮像部制御 CPU203、あるいは画像処 理回路 207)によってなされる。
[0070] (第 2の実施形態）
プロジェクタモジュール 6によって画像を投影しながらカメラ部 200が撮影を行うの ではなぐプロジェクタモジュール 6による投影とカメラ部 200による撮影とを時分割で 行うようにしてもよい。
[0071] 図 10は、投影タイミングおよび撮影 (撮像)タイミングを説明するタイミングチャート である。プロジェクタモジュール 6の LED駆動部 64は、 CPU101からの LED駆動信 号に応じて、 lZ60secごとに点灯と消灯とを繰り返すように LED光源 63を点滅発光 させる。点滅光によって液晶パネル 62が照明されることにより、スクリーン上の投射像 力 S lZ30sec周期で点滅する。
[0072] 一方、カメラ部 200の撮像部制御 CPU203は、 CPU101からの撮影指示に応じて フレーム画像の撮像を開始する。ここで、フレーム間の撮影間隔 (撮影画像の取り込 み間隔）を lZ30secにするとともに、 LED光源 63がオフ（消灯）して 、る間（すなわち 、スクリーン S (図 6)上の投射像がオフ（非表示状態）されている lZ60secの間）に撮 像 (撮像素子 201への撮像電荷の蓄積)を行わせる。
[0073] CPU101は、上記タイミングで撮影された画像を用いて画像シフト情報を得る。す なわち、 1フレーム画像に対応する撮像範囲 51 (図 6)の画像の中力も所定のブロック (図 6の例ではブロック 51a〜51f)を抽出し、これらのブロック内の画像データに基づ いて画像シフト情報を得る。なお、第 2の実施形態ではスクリーン S上の投射像がオフ されているため、ブロック 51a〜51fにスクリーン Sが含まれるようにブロック位置を設 定しても構わない。
[0074] CPU101は、プロジェクタモジュール 6の液晶駆動部 65へ指令を送り、得られた画 像シフト情報に応じて、次に投影される液晶パネル 62上の光像をシフトさせる。この 結果、図 7に示すように、スクリーン S上の投射画像 Pの人物 Hがスクリーン Sの中央 部に投射され、スクリーン S上の投射画像 Pを観察する人にとって人物 Hが静止して いるかのように見える。
[0075] 以上説明した第二の実施形態によれば、以下の作用効果が得られる。
(1)プロジェクタモジュール 6による投影とカメラ部 200による撮影とを交互に行い、プ ロジェクタ付き携帯電話機 10に生じた「手ぶれ」に起因する投射像の揺動をキャンセ ルするために行う投射像の補正に必要な画像シフト情報を、投射像がオフされて ヽ る間の撮影画像を用いて得るようにした。これにより、カメラ部 200による撮像範囲 51 をプロジェクタモジュール 6による投影範囲より広くしなくてもよい（すなわち、第 1の実 施形態と異なり、ブロック 51a〜51fにスクリーン Sが含まれていてもよい）から、撮影 画角を調節する手間を省くことができる。
[0076] (2)上記（1)にカ卩えて、カメラ部 200による撮影時に投射像がオフされており、投射 像がオフの状態での測光結果に基づいて、カメラ部 200の露出が制御されているの で、投影光が撮影時の露出に影響を与えるおそれを排除できる。すなわち、ブロック 51a〜51fの領域が暗く撮影されるおそれがなぐ動きベクトルの算出がし易いから、 より正確にプロジェクタモジュール 6による投射画像の変位を制御できる。
[0077] (3)プロジェクタモジュール 6による投影は、点灯 (オン）と消灯 (オフ）とをそれぞれ 1 Z60secで繰り返すようにしたので、スクリーン S上の投影像を観察する人にとって投 影像が常時オンしているように見え、ちらつきによる不快感を感じることがない。
[0078] (変形例 14)
LED光源 63のオン Zオフ駆動は、上記 lZ60sec間隔に限らず、さらに間隔を短く してちよい。 [0079] (変形例 15)
LED光源 63の発光制御を PWM方式で行う場合や、 RGB各色の光をシーケンシャ ルに発光させるように駆動する場合には、それぞれ光源を消灯 (オフ）して 、る状態 でカメラ部 200による撮影を行うように構成すればよ!、。
[0080] (変形例 16)
カメラ部 200による撮影時の被写体輝度が不足する場合、 LED光源 63をオフさせ る代わりに、画像やテキストなどの情報を含まな 、照明光のみを低輝度で発光 (例え ば白色投影）させてもよい。これにより、上記所定ブロックの画像の輝度が高くなるの で、動きベクトルの算出精度を高めることができる。
[0081] (変形例 17)
また、 CPU101は、カメラ部 200による撮影時の被写体輝度が不足する場合、撮像 された画像データに対して例えばゲインアップを施す。これによつて、上記ブロック 51 a〜5 Ifについて適正な信号レベルのデータが得られるようになり、動きベクトルを算 出し易くなるので、より正確にプロジェクタモジュール 6による投射画像の変位を制御 できる。なお、変形例 16および変形例 17の処理は組み合わせて行ってもよい。また 、上記のゲインアップ処理に代えて、撮像素子 201のシャツタ速度を大きくする、ある いは、撮像素子 201に入射する光量が大きくなるように、絞りを広くする構成としても よい。これらのゲインアップ処理、シャツタ速度の変更、あるいは絞りの変更処理は、 レベル増大処理部 (撮像部制御 CPU203、あるいは画像処理回路 207)によってな される。
[0082] 以上の説明では、プロジェクタモジュール 6およびカメラ部 200を携帯電話機 10に 搭載する例を説明した力 プロジェクタおよびカメラ付きノート型パソコン、プロジェク タおよびカメラ付き PDA、プロジェクタ付き電子カメラなどの電子機器にも本発明を 適用できる。
[0083] 上記実施形態では、プロジェクタモジュール 6の投射を開始した時点で揺れ補正処 理を行う設定がなされていれば、自動的にカメラ部 200の撮像開始を指示するように したが、撮像開始を手動で指示するように構成してもよい。また、上記実施の形態で は、プロジェクタ付き携帯電話機 10をノヽンドホールドで用いる場合の例にっ 、て説 明したが、本発明は、プロジェクタ付き携帯電話機 10の保持、または載置形態と投射 面との相対的な位置関係が時間とともに変化する場合にも適用することができる。
[0084] 以上の説明では種々の実施形態および変形例を説明したが、本発明はこれらの内 容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の 態様も、本発明の範囲内に含まれる。
[0085] 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願 2004年第 273416号（2004年 9月 21日出願）

Claims

請求の範囲
[1] 被写体像を撮像して画像信号を出力する撮像装置と、
光像形成素子に形成された像を投射するプロジェクタ装置とを筐体内に一体に備 え、
前記画像信号の時間的な変化量を演算する演算部と、
前記演算された変化量に応じて前記プロジェクタ装置が前記筐体と離間したスクリ ーンに投射する像の位置を補正する補正部とを備える電子機器。
[2] 請求項 1に記載の電子機器において、
前記撮像装置による撮影範囲と前記プロジェクタ装置による投射範囲とがー致しな V、ように、前記撮像装置が撮像する向きおよび前記プロジェクタ装置が像を投射する 向きの少なくとも一方の向きを変更するための変更部をさらに備え、
前記演算部は前記プロジェクタ装置による投射範囲を除く被写体像に対応する画 像信号を用いて前記変化量を演算する電子機器。
[3] 請求項 1に記載の電子機器において、
前記撮像装置による撮影範囲と前記プロジェクタ装置による投射範囲とがー致しな いように、前記撮影範囲および前記投射範囲の少なくとも一方の大きさを変更する範 囲変更部をさらに備え、
前記演算部は前記プロジェクタ装置による投射範囲を除く被写体像に対応する画 像信号を用いて前記変化量を演算する電子機器。
[4] 請求項 3に記載の電子機器において、
前記範囲変更部は、前記撮影範囲が前記投射範囲より大きくなるように、前記撮影 範囲もしくは前記投射範囲を変更する電子機器。
[5] 請求項 3または 4に記載の電子機器にぉ 、て、
前記演算部によって前記変化量が演算不能の場合、前記プロジェクタ装置が前記 投射範囲を狭くするとともに、前記演算部が前記変化量の演算に用いる画像信号の 抽出範囲を広げる電子機器。
[6] 請求項 3または 4に記載の電子機器にぉ 、て、
前記演算部によって前記変化量が演算不能の場合、前記撮像装置が前記撮影範 囲を広くするとともに、前記演算部が前記変化量の演算に用いる画像信号の抽出範 囲を広げる電子機器。
[7] 請求項 5または 6に記載の電子機器において、
前記プロジェクタ装置は、前記投射範囲内の周囲に照明光を照射する電子機器。
[8] 被写体像を撮像して画像信号を出力する撮像装置と、
光像形成素子に形成された像を投射するプロジェクタ装置とを一体に備え、 揺れを検出して揺れ検出信号を出力する揺れ検出部と、
前記揺れ検出信号に基づいて、前記撮像装置の出力する画像信号に対応する画 像、および前記プロジェクタ装置が投射する像を補正する補正部とを備える電子機
[9] 請求項 8に記載の電子機器において、
前記補正部は、前記揺れ検出部で揺れが検出された際に、前記撮像装置の出力 する画像信号に対応する画像を補正するときと、前記プロジェクタ装置が投射する像 を補正するときとで、前記画像、および前記像のシフト方向を逆にして補正する電子 機器。
[10] 請求項 1〜9の 、ずれか一項に記載の電子機器にぉ 、て、
前記撮像装置は、前記プロジヱクタ装置の投射を開始させる指示に応じて撮像を 開始する電子機器。
[11] 請求項 1〜： LOの 、ずれか一項に記載の電子機器にぉ 、て、
前記プロジェクタ装置は、前記補正部が前記補正を行う場合に前記撮像装置から 出力される画像信号を用いて形成された像を投射することが禁止されている電子機
[12] 請求項 1〜7の 、ずれか一項に記載の電子機器にぉ 、て、
被写体輝度に基づいて前記撮像装置による撮影時の露出を決定する露出演算部 をさらに備え、
前記露出演算部は、前記プロジェクタ装置による投射範囲を除く被写体像に対応 する画像信号を用いて前記被写体輝度を算出する電子機器。
[13] 被写体像を撮像して画像信号を出力する撮像装置と、 光像形成素子に形成された像を投射するプロジェクタ装置とを一体に備え、 前記プロジェクタ装置による非投射時に撮像するとともに、前記撮像装置による非 撮影時に投射するように、前記撮像装置と前記プロジェクタ装置とを時分割で制御す る制御部と、
前記画像信号の時間的な変化量を演算する演算部と、
前記演算された変化量に応じて前記プロジェクタ装置が投射する像の位置を補正 する補正部とを備える電子機器。
[14] 請求項 13に記載の電子機器において、
前記制御部は、前記プロジェクタ装置による投射周期を 1Z30秒以下にするように 制御する電子機器。
[15] 請求項 12〜 14のいずれか一項に記載の電子機器において、
前記プロジェクタ装置による投射範囲を除く被写体像に対応する画像信号のレべ ルを大きくするレベル増大処理部をさらに備え、
前記演算部は、前記レベル増大処理された画像信号を用いて前記変化量を演算 する電子機器。
PCT/JP2005/016628 2004-09-21 2005-09-09 電子機器 WO2006033245A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP05781973.2A EP1793599B1 (en) 2004-09-21 2005-09-09 Electronic device
JP2006536341A JP5029012B2 (ja) 2004-09-21 2005-09-09 電子機器
US11/658,876 US8159594B2 (en) 2004-09-21 2005-09-09 Electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004273416 2004-09-21
JP2004-273416 2004-09-21

Publications (1)

Publication Number Publication Date
WO2006033245A1 true WO2006033245A1 (ja) 2006-03-30

Family

ID=36090008

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/016628 WO2006033245A1 (ja) 2004-09-21 2005-09-09 電子機器

Country Status (5)

Country Link
US (1) US8159594B2 (ja)
EP (1) EP1793599B1 (ja)
JP (1) JP5029012B2 (ja)
CN (1) CN100505852C (ja)
WO (1) WO2006033245A1 (ja)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008046216A (ja) * 2006-08-11 2008-02-28 Canon Inc 携帯型画像投射装置
JP2008176139A (ja) * 2007-01-19 2008-07-31 Seiko Epson Corp プロジェクタ、プログラムおよび情報記憶媒体
JP2008176042A (ja) * 2007-01-18 2008-07-31 Matsushita Electric Ind Co Ltd 画像投影装置及び画像投影方法
JP2008275896A (ja) * 2007-04-27 2008-11-13 Ricoh Co Ltd 画像投影装置
JP2009008905A (ja) * 2007-06-28 2009-01-15 Ricoh Co Ltd 情報表示装置および情報表示システム
JP2009186646A (ja) * 2008-02-05 2009-08-20 Nikon Corp プロジェクタ、およびカメラ
JP2009237197A (ja) * 2008-03-27 2009-10-15 Sanyo Electric Co Ltd 携帯プロジェクタ装置
JP2009294557A (ja) * 2008-06-09 2009-12-17 Nikon Corp プロジェクタ
US7717599B2 (en) 2006-07-31 2010-05-18 3M Innovative Properties Company Integrating light source module
JP2010169966A (ja) * 2009-01-23 2010-08-05 Toshiba Corp プロジェクタ装置及び携帯電話
JP2010258753A (ja) * 2009-04-24 2010-11-11 Kyocera Corp 携帯端末および投影プログラム
CN101917599A (zh) * 2010-07-23 2010-12-15 深圳中兴力维技术有限公司 一种云台故障检测方法及装置
US7901083B2 (en) 2006-07-31 2011-03-08 3M Innovative Properties Company Optical projection subsystem
WO2011105502A1 (ja) * 2010-02-24 2011-09-01 京セラ株式会社 携帯電子機器および投影システム
JP2012138673A (ja) * 2010-12-24 2012-07-19 Kyocera Corp 携帯電子機器
WO2012157546A1 (ja) * 2011-05-13 2012-11-22 ローム株式会社 プロジェクタ
JP2013162208A (ja) * 2012-02-02 2013-08-19 Aiptek International Inc 無線ビデオ出力装置を介して動作する映写用装置とそのビデオ出力制御ユニット
US8766952B2 (en) 2010-12-23 2014-07-01 Electronics And Telecommunications Research Institute Method and apparatus for user interaction using pattern image
CN104182128A (zh) * 2014-09-09 2014-12-03 联想(北京)有限公司 信息处理方法、装置及电子设备
KR101531507B1 (ko) * 2008-10-21 2015-06-25 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP2016193717A (ja) * 2015-02-27 2016-11-17 ジーイー・アビエイション・システムズ・エルエルシー 相対ナビゲーションシステムの状況認識情報を提供するためのシステムおよび方法
CN106559629A (zh) * 2015-09-29 2017-04-05 中兴通讯股份有限公司 一种投影的方法、装置和设备
JP2019032516A (ja) * 2011-06-15 2019-02-28 スケーラブル ディスプレイ テクノロジーズ インコーポレイテッド 実用のための、ディスプレイシステムの色及び彩度を較正するためのシステム及び方法
JP7349625B2 (ja) 2019-12-10 2023-09-25 パナソニックＩｐマネジメント株式会社 プロジェクター
US11924587B2 (en) 2021-07-30 2024-03-05 Seiko Epson Corporation Display method, projector, and projection system

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7653304B2 (en) * 2005-02-08 2010-01-26 Nikon Corporation Digital camera with projector and digital camera system
US8174555B2 (en) * 2007-05-30 2012-05-08 Eastman Kodak Company Portable video communication system
WO2008155771A2 (en) * 2007-06-21 2008-12-24 Maradin Technologies Ltd. Image projection system with feedback
US8175639B2 (en) * 2007-11-26 2012-05-08 Nasrin Chaparian Amirmokri NanoPC mobile personal computing and communication device
JP4956401B2 (ja) * 2007-12-18 2012-06-20 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
CN101515109B (zh) * 2008-02-21 2012-01-11 仁宝电脑工业股份有限公司 具有投影功能的便携式电子装置
DE102008028553A1 (de) * 2008-06-16 2009-12-17 Osram Opto Semiconductors Gmbh Handprojektor und Verfahren zum Betrieb eines Handprojektors
JP5231119B2 (ja) * 2008-07-31 2013-07-10 オリンパス株式会社 表示装置
CN101650520A (zh) 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法
CA2735803C (en) * 2008-10-10 2011-12-13 Institut National D'optique Selective and adaptive illumination of a target
JP5481833B2 (ja) * 2008-10-29 2014-04-23 セイコーエプソン株式会社 プロジェクタおよびプロジェクタの制御方法
US8297757B2 (en) * 2008-10-29 2012-10-30 Seiko Epson Corporation Projector and projector control method
KR101527014B1 (ko) * 2008-12-02 2015-06-09 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US8388151B2 (en) * 2009-07-23 2013-03-05 Kenneth J. Huebner Object aware, transformable projection system
JP5556193B2 (ja) * 2010-01-26 2014-07-23 セイコーエプソン株式会社 投写装置および投写装置の画像ブレ防止制御方法
JP5740822B2 (ja) 2010-03-04 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN102075625B (zh) * 2010-12-31 2013-01-09 惠州Tcl移动通信有限公司 一种拨号方法、装置、手机及遥控器
CN103116451B (zh) * 2013-01-25 2018-10-26 腾讯科技（深圳）有限公司 一种智能终端的虚拟角色交互方法、装置和系统
JP2014179698A (ja) * 2013-03-13 2014-09-25 Ricoh Co Ltd プロジェクタ及びプロジェクタの制御方法、並びに、その制御方法のプログラム及びそのプログラムを記録した記録媒体
JP6289003B2 (ja) 2013-09-26 2018-03-07 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
TW201531104A (zh) * 2014-01-24 2015-08-01 Sintai Optical Shenzhen Co Ltd 電子裝置
CN104866258B (zh) * 2014-02-20 2018-10-12 联想(北京)有限公司 一种信息处理方法及电子设备
CN105049694B (zh) * 2015-07-03 2018-01-19 广东欧珀移动通信有限公司 拍摄装置及终端
CN107995406B (zh) * 2015-07-03 2020-03-03 Oppo广东移动通信有限公司 拍摄装置及终端
CN105007087B (zh) * 2015-07-03 2018-01-23 广东欧珀移动通信有限公司 一种终端
CN105024718B (zh) * 2015-07-03 2016-10-19 广东欧珀移动通信有限公司 移动终端
CN105007402B (zh) * 2015-07-03 2018-01-23 广东欧珀移动通信有限公司 移动终端
US10142546B2 (en) * 2016-03-16 2018-11-27 Ricoh Imaging Company, Ltd. Shake-correction device and shake-correction method for photographing apparatus
JP6844171B2 (ja) * 2016-09-23 2021-03-17 カシオ計算機株式会社 投影装置、投影方法及びプログラム
CN107995478B (zh) * 2017-12-13 2019-08-27 歌尔股份有限公司 投影方法及投影设备
JP1641986S (ja) * 2019-04-15 2019-09-24
CN111988589B (zh) 2019-05-23 2022-08-09 中强光电股份有限公司 投影设备、投影方法以及投影系统
EP3742726A1 (en) * 2019-05-23 2020-11-25 Coretronic Corporation Projection device, projection method and projection system
KR20220044940A (ko) * 2019-06-14 2022-04-12 가부시키가이샤 로보 가레지 박형 휴대 통신 단말과 그 제어 방법 및 제어 프로그램
CN114077133B (zh) * 2020-08-12 2023-05-26 中强光电股份有限公司 投影装置及其控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164291A (ja) * 1997-09-26 1999-06-18 Denso Corp 映像情報表示システム
JP2001024926A (ja) * 1999-07-09 2001-01-26 C Media:Kk 携帯型カメラ、及び画像通信方法
JP2001251476A (ja) 1999-12-27 2001-09-14 Nikon Corp 画像入出力装置および資料提示装置
JP2003283964A (ja) 2002-03-26 2003-10-03 Olympus Optical Co Ltd 映像表示装置
US6750832B1 (en) 1996-12-20 2004-06-15 Siemens Aktiengesellschaft Information display system for at least one person
WO2004070485A1 (de) 2003-02-03 2004-08-19 Siemens Aktiengesellschaft Projektion von synthetischer information
JP2006269002A (ja) 2005-03-25 2006-10-05 Sanyo Epson Imaging Devices Corp シフトレジスタ回路

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0580925A (ja) 1991-09-19 1993-04-02 Hitachi Ltd 大画面デイスプレイ用ポインテイング装置
JPH05137039A (ja) 1991-11-14 1993-06-01 Asahi Optical Co Ltd 電子カメラ
US5345264A (en) * 1992-02-27 1994-09-06 Sanyo Electric Co., Ltd. Video signal processing circuit for a video camera using a luminance signal
JPH06118342A (ja) 1992-09-30 1994-04-28 Sony Corp 光ビームポインタ
JPH06269002A (ja) 1993-03-10 1994-09-22 Nippon Telegr & Teleph Corp <Ntt> 表示撮像装置
DE19843902A1 (de) * 1997-09-26 1999-04-01 Denso Corp Bildinformations-Anzeigesystem und Hologramm-Anzeigevorrichtung
JP2003029927A (ja) 2001-07-12 2003-01-31 Fuji Photo Optical Co Ltd プレゼンテーションシステム
JP2003029204A (ja) 2001-07-16 2003-01-29 Fuji Photo Optical Co Ltd レーザポインタ
US20030038927A1 (en) * 2001-08-27 2003-02-27 Alden Ray M. Image projector with integrated image stabilization for handheld devices and portable hardware
JP2003233126A (ja) 2002-02-08 2003-08-22 Canon Inc 撮影光学手段付携帯機器
US6840627B2 (en) * 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device
US7184054B2 (en) * 2003-01-21 2007-02-27 Hewlett-Packard Development Company, L.P. Correction of a projected image based on a reflected image
JP4371713B2 (ja) * 2003-06-16 2009-11-25 シャープ株式会社 カメラ付折畳み式携帯機器
US7175285B2 (en) * 2003-07-29 2007-02-13 Sharp Laboratories Of America, Inc. Projection system that adjusts for keystoning
JP2005128506A (ja) * 2003-09-30 2005-05-19 Sanyo Electric Co Ltd 手持ち式プロジェクタ

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6750832B1 (en) 1996-12-20 2004-06-15 Siemens Aktiengesellschaft Information display system for at least one person
JPH11164291A (ja) * 1997-09-26 1999-06-18 Denso Corp 映像情報表示システム
JP2001024926A (ja) * 1999-07-09 2001-01-26 C Media:Kk 携帯型カメラ、及び画像通信方法
JP2001251476A (ja) 1999-12-27 2001-09-14 Nikon Corp 画像入出力装置および資料提示装置
JP2003283964A (ja) 2002-03-26 2003-10-03 Olympus Optical Co Ltd 映像表示装置
WO2004070485A1 (de) 2003-02-03 2004-08-19 Siemens Aktiengesellschaft Projektion von synthetischer information
JP2006269002A (ja) 2005-03-25 2006-10-05 Sanyo Epson Imaging Devices Corp シフトレジスタ回路

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1793599A4 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7717599B2 (en) 2006-07-31 2010-05-18 3M Innovative Properties Company Integrating light source module
US7901083B2 (en) 2006-07-31 2011-03-08 3M Innovative Properties Company Optical projection subsystem
JP2008046216A (ja) * 2006-08-11 2008-02-28 Canon Inc 携帯型画像投射装置
JP2008176042A (ja) * 2007-01-18 2008-07-31 Matsushita Electric Ind Co Ltd 画像投影装置及び画像投影方法
JP2008176139A (ja) * 2007-01-19 2008-07-31 Seiko Epson Corp プロジェクタ、プログラムおよび情報記憶媒体
JP2008275896A (ja) * 2007-04-27 2008-11-13 Ricoh Co Ltd 画像投影装置
JP2009008905A (ja) * 2007-06-28 2009-01-15 Ricoh Co Ltd 情報表示装置および情報表示システム
JP2009186646A (ja) * 2008-02-05 2009-08-20 Nikon Corp プロジェクタ、およびカメラ
JP2009237197A (ja) * 2008-03-27 2009-10-15 Sanyo Electric Co Ltd 携帯プロジェクタ装置
JP2009294557A (ja) * 2008-06-09 2009-12-17 Nikon Corp プロジェクタ
KR101531507B1 (ko) * 2008-10-21 2015-06-25 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP2010169966A (ja) * 2009-01-23 2010-08-05 Toshiba Corp プロジェクタ装置及び携帯電話
JP2010258753A (ja) * 2009-04-24 2010-11-11 Kyocera Corp 携帯端末および投影プログラム
US9319502B2 (en) 2010-02-24 2016-04-19 Kyocera Corporation Mobile electronic device, image projecting method and projection system
WO2011105502A1 (ja) * 2010-02-24 2011-09-01 京セラ株式会社 携帯電子機器および投影システム
JP5259010B2 (ja) * 2010-02-24 2013-08-07 京セラ株式会社 携帯電子機器および投影システム
CN101917599A (zh) * 2010-07-23 2010-12-15 深圳中兴力维技术有限公司 一种云台故障检测方法及装置
US8766952B2 (en) 2010-12-23 2014-07-01 Electronics And Telecommunications Research Institute Method and apparatus for user interaction using pattern image
JP2012138673A (ja) * 2010-12-24 2012-07-19 Kyocera Corp 携帯電子機器
US9942368B2 (en) 2011-05-13 2018-04-10 Rohm Co., Ltd. Projector
US9686388B2 (en) 2011-05-13 2017-06-20 Rohm Co., Ltd. Projector
WO2012157546A1 (ja) * 2011-05-13 2012-11-22 ローム株式会社 プロジェクタ
JP2019032516A (ja) * 2011-06-15 2019-02-28 スケーラブル ディスプレイ テクノロジーズ インコーポレイテッド 実用のための、ディスプレイシステムの色及び彩度を較正するためのシステム及び方法
JP2013162208A (ja) * 2012-02-02 2013-08-19 Aiptek International Inc 無線ビデオ出力装置を介して動作する映写用装置とそのビデオ出力制御ユニット
CN104182128A (zh) * 2014-09-09 2014-12-03 联想(北京)有限公司 信息处理方法、装置及电子设备
CN104182128B (zh) * 2014-09-09 2017-08-29 联想(北京)有限公司 信息处理方法、装置及电子设备
JP2016193717A (ja) * 2015-02-27 2016-11-17 ジーイー・アビエイション・システムズ・エルエルシー 相対ナビゲーションシステムの状況認識情報を提供するためのシステムおよび方法
CN106559629A (zh) * 2015-09-29 2017-04-05 中兴通讯股份有限公司 一种投影的方法、装置和设备
JP7349625B2 (ja) 2019-12-10 2023-09-25 パナソニックＩｐマネジメント株式会社 プロジェクター
US11924587B2 (en) 2021-07-30 2024-03-05 Seiko Epson Corporation Display method, projector, and projection system

Also Published As

Publication number Publication date
EP1793599A4 (en) 2009-12-09
JP5029012B2 (ja) 2012-09-19
US8159594B2 (en) 2012-04-17
US20070249396A1 (en) 2007-10-25
CN100505852C (zh) 2009-06-24
EP1793599B1 (en) 2015-10-28
EP1793599A1 (en) 2007-06-06
JPWO2006033245A1 (ja) 2008-05-15
CN101006720A (zh) 2007-07-25

Similar Documents

Publication Publication Date Title
JP5029012B2 (ja) 電子機器
KR100758632B1 (ko) 파노라마 사진촬영 장치 및 방법
US7957632B2 (en) Mobile device
WO2006030862A1 (ja) 電子機器
WO2006027901A1 (ja) プロジェクタ装置を備える電子機器
WO2006038577A1 (ja) プロジェクタ装置を有する電子機器
WO2006033255A1 (ja) プロジェクタ装置、携帯電話、カメラ
WO2006054633A1 (ja) プロジェクタ装置および携帯電話
JP2007093953A (ja) カメラの手振れ補正装置
US20180007183A1 (en) Projector
JP4371016B2 (ja) 電子機器
WO2015194084A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
JP2004254185A (ja) デジタルカメラ
JP2006115485A (ja) 電子機器
KR20090045117A (ko) 휴대용 장치 및 촬상 장치
CN101006708A (zh) 电子设备
JP4961662B2 (ja) プロジェクタ装置、携帯電話、カメラ
CN109417599B (zh) 便携终端
JP4834973B2 (ja) プロジェクタ装置、携帯電話、カメラ
JP2006115486A (ja) 電子機器
JP4257508B2 (ja) 電子カメラ
JP2004159014A (ja) デジタルカメラ付き携帯通信端末
JP2007036843A (ja) 投影表示機能付き撮像装置及び携帯電子機器
JP4655565B2 (ja) プロジェクタ装置、携帯電話、カメラ
JP5126701B2 (ja) 撮像装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006536341

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 200580027858.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2005781973

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11658876

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2005781973

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11658876

Country of ref document: US