WO2005117304A1 - 情報受信装置、情報伝送システム及び情報受信方法 - Google Patents

情報受信装置、情報伝送システム及び情報受信方法 Download PDF

Info

Publication number
WO2005117304A1
WO2005117304A1 PCT/JP2005/010290 JP2005010290W WO2005117304A1 WO 2005117304 A1 WO2005117304 A1 WO 2005117304A1 JP 2005010290 W JP2005010290 W JP 2005010290W WO 2005117304 A1 WO2005117304 A1 WO 2005117304A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
light
image
luminance
light receiving
Prior art date
Application number
PCT/JP2005/010290
Other languages
English (en)
French (fr)
Inventor
Nobuo Iizuka
Shoichi Nagatomo
Original Assignee
Casio Computer Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co., Ltd. filed Critical Casio Computer Co., Ltd.
Priority to EP05745839.0A priority Critical patent/EP1744475B1/en
Publication of WO2005117304A1 publication Critical patent/WO2005117304A1/ja
Priority to US11/435,229 priority patent/US7308194B2/en
Priority to HK07102656.4A priority patent/HK1095219A1/xx

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/112Line-of-sight transmission over an extended range
    • H04B10/1123Bidirectional transmission
    • H04B10/1125Bidirectional transmission using a single common optical path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/60Receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/21Combinations with auxiliary equipment, e.g. with clocks or memoranda pads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/26Devices for calling a subscriber
    • H04M1/27Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/2753Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips providing data content
    • H04M1/2755Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips providing data content by optical scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145Handheld terminals

Definitions

  • the present invention relates to, for example, building architecture
  • this prior art 1 uses an electronic still-powered camera to photograph and record an optical tag device attached near a product arranged on a display shelf in chronological order.
  • the light source for example, disturbing light such as the flickering force of a fluorescent light
  • the information receiving apparatus information is designed to always extract information correctly while avoiding the adverse effects of disturbance light. Transmission systems and m-report transmission methods are being considered.
  • m is a light emitting unit existing in the field of view of the image sensor using a light receiving unit having an image sensor such as a CCD (equivalent to the optical tag device in the prior art 1). ), The degree of change in the luminance is detected, the degree of change in the luminance is binarized into a bit pattern sequence as modulation information, and a bit pattern sequence that has been digitized is prepared in advance. It is determined whether or not the bit pattern matches any of the bit pattern sequences that are not correlated with each other.
  • the transmission information from the light emitting unit is reproduced by generating (1/0), and the light emitting pattern of the light emitting unit is made to be a unique one. And reduce the influence of disturbance light.
  • the present invention aims at speeding up the information restoration process by acquiring an area necessary for detecting the luminance A section of the shooting angle of view.
  • the purpose is to facilitate position adjustment of the luminance modulation area. Disclosure of the invention
  • the invention described in claim 1 includes an image pickup unit, and any information whose luminance is modulated.
  • the invention according to claim 2 further comprises: a display means for displaying the content of the image captured by the image capturing means, specifically, a finger; and a moving means for moving an index displayed on the display means to a sound.
  • the worm is characterized in that the moving means moves the ⁇ target by the moving means to specify the luminance modulation area.
  • the invention according to claim 3 is characterized in that, when light reception is instructed by the light reception instruction means for instructing light reception in the luminance modulation area designated by the mBS designating means, the luminance change B A control means for controlling the light receiving means so that the optical axis is aligned with the peripheral region.
  • the light receiving means includes a light receiving element, and an optical system that collects light incident on the light receiving element, according to any one of claims 1 to 3, An information receiving device according to (1).
  • the invention of claim 5 is characterized in that the sd light receiving means includes a two-dimensional image sensor and an optical system for condensing light incident on the image sensor. Is an information receiving device listed in one of the
  • the invention according to claim 6 is a fixing means for attaching an image filter captured by the eye IJB self-imaging means and arbitrary information restored by the eye IJB self-recovery means. Attached image gi — Evening and ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • the information receiving apparatus according to any one of claims 1 to 3, further comprising a storage means for storing
  • the invention described in the claim 7 is further provided with a first determining means for determining whether or not the light receiving means has received the light in the luminance modulation area, and the H'J ⁇ 1.
  • the linking means outputs the image data captured by the eye J self-imaging means and the recovery means.
  • the invention described in the scope of claim 8 is a means for informing when the first judging means in the description J indicates that light reception in the luminance modulation area has failed, and a method after the informing by the notifying means. 'J recording The second judgment means for judging whether or not re-light reception in the modulation area has been instructed, and when the second judgment means judges that re-light reception has been instructed, the image is picked up by the imaging means. Claims characterized in that the apparatus further comprises a light receiving control means for starting light reception in the five-circumference region by the light receiving means while holding the captured image.
  • the luminance in m and the B-period are the repetition of turning on and off the specific wavelength light.
  • the information receiving apparatus according to any one of claims 6 and 7, further comprising an imaging control means for controlling the imaging means.
  • the brightness of the light received by the IJ light receiving means changes the contents of the changes in the five-period area to less ⁇ and two types of bit patterns that are relatively incompatible with each other.
  • Blffl logic ih corresponding to two types of bi-pattern sequences with low phase difference, which are converted by the conversion means, and the conversion means which are converted by the conversion means.
  • the information receiving apparatus characterized in that the output by the processing signal output means ('
  • An information output device comprising: output means for outputting information on the sound that has been subjected to the luminance change five times; imaging means; light receiving means for receiving arbitrary luminance-modulated information; and the imaging means Specifying means for specifying a luminance modulation area included in the shooting angle of view of the camera;
  • the light receiving control means for controlling the light receiving means so as to receive the brightness modulation area, and the variation B circumference of the brightness modulation area received by the light receiving control means are at least mutually compatible.
  • Conversion means for converting into two types of bit-pattern sequences having only low bit rates, and two types of bit-pattern sequences having low degrees of mutual change converted by the conversion means. Output the e-symbol
  • the invention according to claim 12 which is an information transmission system characterized by including an information receiving apparatus including: a luminance variation B included in an angle of view captured by an imaging unit; A step for designating a surrounding area; a light receiving control step for controlling a light receiving section to receive a luminance change 5 area designated by the designated step; and a light receiving control step.
  • the two types of bit-pass series that have a small ⁇ and a low degree of relevance to each other
  • a logic signal output step for outputting a logical signal corresponding to two types of bipartite sequences that have low correlation with each other and are converted by the conversion step.
  • the designating means designates a luminance change area included in the imaging angle of view of the imaging means, and restores the information. Controls the light receiving means so as to receive the luminance modulation area designated by the designation means and restores any information from the luminance circumference content included in the area, and the reproducing means performs the restoration. Regenerate any information restored by means
  • the actual processing is performed by changing the brightness included in the angle of view of the imaging means.
  • a display means for displaying the content of the image picked up by the image pickup means, in particular, a finger, and a moving means for arbitrarily moving the mark displayed on the display means are further provided.
  • a moving means for arbitrarily moving the mark displayed on the display means are further provided.
  • light receiving instruction means for instructing light reception in the luminance modulation area designated by the designation means, and when light reception is instructed by the light reception instruction means, the optical axis is aligned with the luminance modulation area.
  • Control means for controlling the light receiving means And may be further provided. This makes it easier to align the region o
  • the light receiving means may include a light receiving element and an optical system for condensing light incident on the light receiving element, or the light receiving means may be a one-dimensional image sensor. And an optical system for condensing the light incident on the image sensor.
  • the point is, ⁇ It is sufficient if the light receiving means has an arbitrary angle of view that receives the light in the brightness modulation area J included in the angle of view of the image capturing means. It is desirable that the image includes a one-dimensional image sensor, as long as the imaging position of the intensity-modulated light is within the light-receiving surface of the two-dimensional image sensor. This is because they can be corrected by the processing, and do not require a mechanical camera shake mechanism such as that performed by Actu Yue.
  • An associating means for associating the image data picked up by the image pickup means with the arbitrary information restored by the restoring means; and a storage for storing the associated image data and the arbitrary information. Means may be further provided. In this way, it can be applied to various usage styles, for example, management of the number of times of printing of an image, copyright management, and the like.
  • a first judging means for judging whether or not the light receiving of the luminance modulation area is completed by the first judging means. Then, the image data captured may be associated with arbitrary information based on the luminance modulation area restored by the restoration means.
  • a notifying means for notifying the completion, and after the notifying by the notifying means, 3 [: A second determination means for determining whether re-light reception in the brightness variation ah area has been instructed, and when the second determination means determines that re-light reception has been instructed, Light receiving control means for starting reception of the luminance modulation area by the light receiving means while holding the image taken by the camera.
  • FIG. 1 is a use state diagram of the information transmission system in the first embodiment.
  • FIG. 2 is a front view and a rear view of the camera-equipped portable electronic device 22 corresponding to the information transmission system in the first embodiment.
  • FIG. 3 is a sequence diagram showing a relationship between a user operation on the camera-equipped telephone 22 and the internal operation of the camera-equipped mobile device 22.
  • FIG. 4 is a view showing a display example of the display unit 27 and a display example of the display unit 27 when the sighting frame 40 is superimposed on the lighting device 18.
  • FIG. 5 shows the display unit when the information acquisition from the optical tag device 18 has failed.
  • FIG. 27 is a diagram showing a display example of 27 and a diagram showing a display example of the display unit 27 when information from the optical tag device 18 is successfully acquired.
  • the sixth zozo is a diagram showing a display example of the display unit 27 when the coupon image file is downloaded, and a diagram showing a coupon image.
  • FIG. 7 shows the power camera with the first embodiment.
  • AT Phone 2 2 It is a block diagram.
  • FIG. 8 is a conceptual diagram of the hand press correction in the mobile phone with a force camera 22 of the first embodiment.
  • FIG. 9 is a conceptual diagram of camera shake correction in the mobile phone 22 with the power of the first embodiment.
  • Figure 10 shows the angle of view of the camera optical system (for example, 32 degrees X 32 degrees)
  • FIG. 1 A first figure.
  • Figure 11 shows the angle of view of the optical system of the photodetector system (for example, 2 degrees).
  • FIG. 12 is a block diagram of an internal block of the optical tag device 18.
  • the 13th country is a diagram showing the front h77 and the reflective LCD shutter 78.
  • FIG. 14 is a graph showing the results of calculating the luminance of an optical tag.
  • Fig. 15 is a conceptual diagram of the detection of photodetection 61.
  • Fig. 16 is a format diagram of the data format.
  • FIG. 17 is a diagram showing the storage codes of the command part 87 and the meanings of the codes.
  • FIG. 18 is a diagram showing an example of data.
  • FIG. 19 is a process diagram of the optical tag device 18.
  • FIG. 20 is an explanatory diagram of the pattern diffusion method.
  • FIG. 21 is a structural diagram of the photodetector section 56 of the camera-attached ⁇ machine 22.
  • FIG. 23 is a state diagram when the detected phases match.
  • FIG. 24 is a flowchart showing a process from the time when the FIF is 0 to the time when the CPU determines a 0/1 bit and stores the bit in the decoded bit notch 50.
  • FIG. 25 is a block diagram showing the internal packing of the camera-equipped mobile phone 22 ′ according to the second embodiment.
  • FIG. 26 shows the imaging angle of view (wide angle of view of about 26 degrees X 39 degrees) of the communication image sensor 57 in the camera-equipped mobile phone 220 of the second embodiment. It is a figure.
  • the 27th country is a diagram showing the detection angle of view (a narrow angle of view of about 6 degrees X 6 degrees) of the communication image sensor 610 in the camera-equipped mobile phone 220 of the second embodiment. I can do it.
  • FIG. 28 is a diagram showing the apparent dot size at each distance of the area (lOcmXIO.cm) of the illumination part of the optical tag device 1.8.
  • FIG. 29 is a conceptual diagram of the second embodiment that does not require a camera shake mechanism.
  • FIG. 30 is a schematic diagram of a corresponding limit of a movement that can capture a pattern.
  • the third country is a diagram (1/3) showing a flow chart of a preferred control program (photographing mode program) applied to the camera-equipped cellular phone 220 of the second embodiment. You.
  • FIG. 32 is a diagram (23) showing a flow chart of a preferred control program (photographing mode program) applied to the camera-equipped cellular phone 220 of the second embodiment. .
  • FIG. 33 shows the mobile phone with a camera 22 of the second embodiment.
  • FIG. 3 (3/3). BEST MODE FOR CARRYING OUT THE INVENTION
  • various examples without specifying details and examples of numerical values, character strings, and other symbols are merely for reference to clarify the idea of the present invention and are not limited thereto. It is clear that the idea of the present invention is not limited by all or parts of the present invention.
  • well-known methods, well-known procedures, well-known architectures, and well-known circuit configurations (hereinafter, “well-known matters”) will not be described in detail, but are also intended to simplify the description. Such well-known matters are not intended to exclude all or part of the well-known matters. Such well-known matters can be known by those skilled in the art at the time of filing the present invention, and therefore, are naturally included in the following description. I have.
  • the first country is a use state diagram of the information transmission system in the first embodiment.
  • (a.) Will be described.
  • a plaque 15 is installed on the roof of a dyeing material 14 such as a building.
  • this advertising signboard 15 has an arbitrary description string (in the figure,
  • X-department special cell in progress! A signboard that draws an electronic coupon that can be used when you visit the store.
  • the optical tag device 18 is installed at the position (approximately the center in the example shown).
  • the optical tag device 18 flashes in a series of two patterns, and the light source By simply looking at the evening device 18, it can be seen only as a flashing light.
  • the flashing light of 18 is received, the information on the location of the site (for example, the electronic Information) can be played back and displayed on the information receiving device.
  • the target object of the optical tag device 18 is, for example, “Incentives are given to a user who comes to a certain (relatively large) area to attract customers to that area. "I want to give users incentives when I see certain advertisements on the spot” and “I want to give more detailed information (or resources there) than information such as signboards. , Etc., to the user at the end of the website automatically. ”For those who have come to a certain nearby area (a few to several hundred meters), the physical entity (illustration Sign in the example
  • FIG. 2 is a front view and a rear view of the force-measureable opening device 22 corresponding to the information transmission system in the first embodiment.
  • the charging telephone 22 with this force mail has a small disk 23 composed of a foldable lid 23 1 and a main body 23 2, and the main body 23 2 has an antenna 24.
  • 2 3 1 is a status display such as a status indicator 25, speaker 26, liquid crystal display
  • a photographing lens 34 and a condenser lens 35 are provided.
  • the lens 34 and the condenser lens 35 are arranged as close as possible to the distance L in order to eliminate parallax.
  • Fig. 3 is a sequence diagram showing the relationship between the user's operation on the force-measurement device 2 and the internal operation of the lightning device with the force-measurement device.
  • the code tag of the optical tag device 18 is assumed to have been input in advance by the provider as desired.
  • a media such as a television commercial or a loudspeaker or the mobile phone with the camera 22 may be provided in advance. Attention to outdoor signage at XXX! A variety of services are being provided by light tags.
  • X is any letter or any number or ⁇ is any symbol.
  • an access ⁇ 1 that can be used by anyone may be input instead of a method of inputting an individual access code.
  • step S 11 when the user of the mobile phone 22 with a force mail finds the signboard 16 having the optical tag clothing 18, he enters an access code (step S 11), and enters the power code. Press the camera 1 2 8 on the mobile phone 2 (step S 12).
  • the telephone switches from the normal equipment usage state (standby state or call state) to the optical tag detection and reception state ( Step S 13, step S 14), the image taken with the force camera is displayed on the display unit 27, and a small index (fourth zono (a )) (See step S)
  • the fourth country (a) is a diagram showing a display example of the display unit 27.
  • a reception status indicator 36 of the mobile phone ⁇ occupancy, a current time indicator 37, and a battery remaining amount indicator 38 are displayed.
  • an operation guide message 39 is displayed at the lower end of the display section 27.
  • a through image (a video of several tens of frames per second) of the camera of the cellular phone with a camera 22 is displayed.
  • a through-image including the signboard 16 in FIG. 1 (a) is displayed.
  • the star symbol in the image is the first country
  • FIG. 1 (a) schematically shows the optical tag device 18, and the blinking of the light of the optical tag device 18 is information to be acquired.
  • the contents of the information just by watching the flashing light.
  • a predetermined terminal powered telephone 22
  • the content of the information is reproduced inside the powered telephone 22 and the content is reproduced. It is displayed on the display section 27 of the cellular phone 22 with a camera.
  • the camera-equipped mobile phone 22 in the first embodiment processes the entire through image displayed on the display unit 27 to reproduce the above information.
  • the above-mentioned information is reproduced by processing only a specific part surrounded by a simple aiming frame 40, thereby avoiding unnecessary processing and responding to information reproduction. It is trying to improve the quality. That is, unlike the above-mentioned prior art 2, the specific range in the through image is different. And the information of the optical tag device 18 is reproduced.
  • the aiming frame 40 is not on the light-glowing device 18 indicated by the star symbol.
  • the outline arrow 4 1 and the broken line frame 42 indicate the direction of movement of the camera-equipped mobile phone 22 necessary to superimpose the aiming frame 40 on the optical tag device 18 and the camera after the movement.
  • the shooting range is shown for convenience.
  • FIG. 4 (b) is a diagram showing a display example of the display unit 27 when the aiming frame 40 is overlaid on the optical tag device 18.
  • FIG. 4 (b) is a diagram showing a display example of the display unit 27 when the aiming frame 40 is overlaid on the optical tag device 18.
  • the user operates the force-solki 31 to superimpose the aiming frame 40 on the optical tag device 18 (step S16), and the camera-equipped mobile phone 22
  • the status indicator 25 is turned on or blinks, or the center part of the cursor key 31 is detected to be pressed, and the information detection process of the optical tag device 18 is started (step S 17).
  • FIG. 5 (a) is a diagram showing a display example of the display unit 27 when information acquisition from the optical tag device 18 has failed. For example, there is a case where information cannot be obtained after a predetermined time has elapsed, or a case where correct information cannot be obtained due to the influence of disturbance light or camera shake. In such a case, as shown in the figure, together with the information acquisition failure message 43, balloon messages 44 and 45 for each failure cause are generated and displayed on the display unit 27.
  • FIG. 5 (b) is a diagram showing a display example of the display section 27 when information acquisition from the optical tag device 18 is successful.
  • an information acquisition success message Along with 46, a balloon message 47 containing the character information obtained from the optical tag device 18 is generated and displayed on the display unit 27.
  • the camera-equipped mobile phone 22 displays the detection result (step S18), and displays an error such as garbled characters in the detection result. Is determined (step S22).
  • the detection result is an error, that is, when No is found in the step V 22, the camera is attached j3 ⁇ 4-3 ⁇ 4 as-d3 ⁇ 4 fl? ⁇ occupancy 22 is a standby state after performing this processing.
  • step S20 the processing in step S20 described later is performed to confirm the start of the action and perform the operation of the execution instruction according to the result in step S18 (step S19 and step S19). If the information acquisition is successful, for example, execute the specified command, log in to the web service, and display the execution result of the command such as the information download.
  • Step S20 The user uses the acquired information (for example, using a coupon) (Step S21) .
  • Figure 6 (a) shows the image file of the cup.
  • FIG. 6 is a diagram showing a display example of the display unit 27 when downloading is performed
  • FIG. 6 (a) is a diagram showing an image of a coubon; FIG. Show the screen of (a) to the clerk at X department and use the coupon.
  • FIG. 7 is a block diagram showing the internal block of the cellular phone with a camera 22 in the first embodiment (in the figure), the cellular phone with a cellular phone 22 has an antenna 24.
  • Operation button section 51 including buttons such as data communication section 48, data buffer 49, decoding bit buffer 50, force key 28, etc.
  • Voice input / output unit including peak power 26 and microphone 33 3
  • Display unit 2 7 CPU 5 3 Acceleration sensor 54, Image stabilization function 55, Photodetector unit 56 , Shooting lens 3 4 C
  • the light tech evening section 56 consists of a condenser lens 35, a photo detector 6 1, Amplification and A / D conversion is 62, Timing generator 63, Matching, Filter 64, Filter buffer 65.
  • the camera section including the imaging lens 34 and the imaging image sensor 57.
  • a finder-like device that allows the user to aim at an optical tag intended by the user.
  • a function and a function to display the position of the information light source in the actual image are sufficient. Therefore, even if the frame rate of the camera part is, for example, several tens of bits Z seconds or several hundred bits seconds, there is no problem in aiming confirmation. For example,
  • An image acquisition capacity of about 10 ⁇ m / sec is sufficient.
  • information such as gain control of the camera section is used for setting the gain control port of the photodetector section 56 without closing the camera inside the power camera section. It may be diverted.
  • Fore-eye technology evening section 5 6. This is a block that digitizes the luminance fluctuation signal of the optical tag and performs the correlation evaluation. Details will be described later.
  • FIGS. 8 and 9 show the camera-equipped mobile phone 22 of the first embodiment.
  • 'It is a conceptual diagram of the camera shake correction. As shown in Fig. 8 (a), the photo
  • the lens 61 is located on the optical axis of the condenser lens 35.
  • the position of the photo-detector 61 is changed by the actuator 55 attached to the photo-detector 61 to change the position of the optical tag device 1.
  • the photodetector 61 is arranged so that the light A of 8 and the detection point B are aligned on the optical axis a.
  • the photodetector 61 when the actuator 55 is not provided, as shown in FIG. 8 (b), the optical axis shifts due to camera shake, and the photodetector 61 is not located at the detection point B.
  • a photo detector 61 is provided with a photo detector 55 to change the position of the photo detector 61. If this is done, the photo-detector 61 can be moved in the C direction, and the optical axis deviation can be corrected. Therefore, the photodetector 61 can reliably capture the light A from the optical tag device 18 even if slight camera shake is detected by the user ⁇
  • the acceleration sensor 54 detects camera shake caused by a user's operation in two axial directions.
  • the CPU 53 generates a camera shake correction control signal of a magnitude corresponding to the detection signal of the acceleration sensor 54, and drives the actuator 55 with the camera shake correction control signal. In this way, by detecting the acceleration of the two axes, it is possible to perform the correction for the camera shake while aiming at the optical tag.
  • the detection angle of the photodetector 61 will be described as a narrow angle of view of 2 degrees X 2 degrees, and the capturing range will be set to 1 degree for convenience. It is said that beginners who are not very familiar with the operation of a power camera can experience camera shake at a camera angular speed of about 5 degrees / second and within about 1 degree. Normally, this level of image stabilization function is provided in general digital cameras and binoculars, etc., so that it can be illuminated with the narrow angle of view (2 degrees X 2 degrees) of the photo detector 61. It is considered sufficient to match. As will be described later, this camera shake correction can be omitted depending on the standard of the sensitivity detection angle of view, the distance to the optical tag, and the size.
  • the configuration of the photographing lens 34 (photographing image sensor 57) and the photodetector unit 56 in the camera-equipped mobile phone 22 specifically realizes the operation of the present invention.
  • FIG. 10 is a diagram showing the angle of view of the imaging lens 34 (image sensor 57 for imaging) of the cellular phone 22 with a force camera (elevation angle-wide angle of depression of about 32 degrees).
  • FIG. 11 is a diagram showing a detection angle of view (a narrow angle of view of about 1 degree of elevation and 1 degree of depression) of the photodetector unit 56 in the camera-equipped mobile phone 22.
  • FIG. Typical usage distance is several meters to 100 meters
  • the deviation of the angle of view due to the arrangement of the optical systems is not considered to have an effect and is ignored, and the optical axes of 2 are assumed to be parallel.
  • the angles of the optical axes of the two optical systems may be appropriately adjusted by biasing the camera shake correction.
  • the photographic lenses 34 and the like are designed to make it easier for the user to aim from the image range hand-held and to operate in normal camera mode.
  • the normal camera angle of view is used. In this case, specifically, an elevation angle, a depression angle of 32 degrees, a right and left angle of 32 degrees, and 480 dots X 4
  • the angle of view is set to an elevation angle, a depression angle of 2 degrees, and a left and right angle of 2 degrees. This angle of view corresponds to the size of the aiming frame 40
  • the aiming frame 40 is displayed at a position slightly above the center of the camera image at the angle of view of the camera image in consideration of the usability of the user, and the optical system is adapted to the aiming frame.
  • the photodetector 61 is disposed at a position slightly shifted from the center of the optical axis.
  • FIG. 10 and FIG. 1 ⁇ have a “collimated lens” configuration, but this is, for example, for the purpose of explaining clearly that the object is telephoto.
  • the optical system for example, a single lens
  • the optical lens requires a complex lens group to secure the image quality.
  • details thereof are omitted because they are known for various purposes.
  • the optical system of the photodetector 61 does not accurately form an image of the area to be aimed, but simply sets the corresponding angle-of-view area to the photodetector 61 (necessary brightness).
  • the lens should be focused, and aberrations, depth of field, and required degree can be made low. Therefore, materials and materials are very simple and low cost. 7 ⁇ ⁇ For pans, pan-focus considering the usage distance is sufficient.
  • Fig. 12 (a (b) is a block diagram of the internal structure of the optical tag device 18; the optical tag device 18 is used for the evening generator 6 6 1 ZN divider 6 7 , A transmission memory 68, a pattern data generation unit 69, a first control Z drive unit 70, and a second control drive unit 71.
  • the second control / drive unit 71 is composed of a front panel 77, a reflective liquid crystal shutter 78, and a power unit. Become.
  • FIG. 13 (a) shows a phantom 77 and a reflective liquid crystal shutter 78.
  • FIG. It is only necessary that the D-light 7.7 illuminates the reflective liquid crystal shutter 78.
  • the light source of the optical tag device 18 is not limited to the example shown in FIG.
  • a configuration including a light source 80 that emits light directly and a hood 81 that ensures the lowest possible brightness when ambient light is turned on and off is provided.
  • the connection shown in Fig. 13 (a) can be configured more sparsely. It is desirable because it has potential.
  • the optical tag device 18 is composed of a front light 77 and a reflective panel 78 as shown in FIG. 13, and as an environment, It can be used from outdoors on a sunny day to outdoors at night.
  • the size of the reflective panel 78 is 1 square meter and the front light
  • the reflection coefficient when 77 is in the light emitting state is 30%, and the reflection coefficient when the front light 77 is not emitting light is 2%. Also, the front light 77 can uniformly irradiate the light of 1000 lumens (about one household bulb) to the entire surface (one square mail) of the reflection panel 78.
  • luminance reflection coefficient X illuminance / ⁇
  • Luminance is XA (Ambient environment: sunny outdoor)
  • Luminance is XB (Ambient environment: under night street light)
  • Fig. 14 shows the case where the brightness of the light tag was calculated under both extreme conditions.
  • the 14th country is a graph showing the results of calculating the brightness of optical tags.
  • a-2 Luminance when the irradiation of front light 77 is added (B (Point) It is assumed that the light of 1000 lumens irradiated by spotlight 77 on a square meter is 100lux. In this case, the flow The brightness increase due to the light 7 7
  • the present embodiment is a method that can configure a terminal at low cost even with the current printing path by controlling the gain (and, in some cases, the lens aperture) of the printer as well. As shown by the trapezoidal figure frame 81 in Fig. 4, the following gain adjustment is performed.
  • the gain In the darkness, where the movement is small at night, etc., the gain can be increased by increasing the gain depending on the environmental lighting conditions, so that the dynamic range of about 20 db is about 8 bits.
  • a / D control can be used for control.Information for controlling the gain of the camera is obtained by the force camera system, but it is possible to shoot normally with a much smaller dynamic range. It is possible to control the gain detection system by diverting the gain so that the gain control is performed finely.
  • the brightness of the light source device 18 is far away (the mobile phone 22 with a power camera). Evening 61 is a single unit, so it is usually smaller than the image diode used in the image sensor (image sensor 57 for shooting).
  • the light-receiving device 18 is capable of ensuring that the size of the light-receiving sensor can be sufficiently large, several times to several tens of times, and that sufficient sensitivity can be ensured even at high speed operation.
  • the first 5 zozo is a schematic diagram of the detection of the photo: r tech 61. As shown in the figure, even if the angle of view at evening 6 1 'is 2 degrees X 2 degrees, at short distances (approximately within 30 meters), the variation in angle of view is detected. You can do this. Further, if the distance is longer than, for example, a distance of 60 meters, a panel having a size of 1 square meter will have a variation in luminance of 1/4 because the surrounding luminance and the panel are averaged. More distance, for example,
  • the 90 meter In the 90 meter, it becomes 1 ⁇ 9. In practice, it depends on the gain control and the degree of AZD. However, when viewed under the condition where the change ft of the original optical tag device 18 itself is ⁇ 15: 1 ”And“ 32: 1J ”, so it is possible to set it to about 100 meters even with a panel of 1 square meter in size. For example, even at the level of a T-camera, if the exposure is set properly, it is possible to distinguish white and black paper even at very long distances if the target has an area larger than the number of pixels. In addition, stable detection is possible at a longer distance.
  • Source—Evening block 82 is a fixed-length head block 83 followed by a variable-length parameter block following the head block D (the first block in the figure). 3rd to 3rd parameter D-blocks, the number of which is an example.) 8 4 to 8
  • the top block 83 is the command code F section 8
  • the block length storage unit 89 consisting of the third parameter block length storage unit 90, is stored in the first to third parameter tab length storage units 88 to 90. Stores the actual length (byte length) of the first to third parameter tab blocks 84 to 8.
  • FIG. 17 is a diagram showing a command code stored in a command code, a part 87, and the meaning of the code.
  • the command code unit 87 can store, for example, a code of “0” 6, and these codes are stored in the terminal and the mobile phone.
  • a command for instructing the operation of the phone e.g., a W U access mail or scheduler for an m W telephone, such as a W e-mail or scheduler, is obtained.
  • a W U access mail or scheduler for an m W telephone such as a W e-mail or scheduler
  • FIG. 18 is a diagram showing an example of an evening.
  • the code is set in the F section 87.
  • the first and third parameters are stored in the block length storage section 8890, respectively.
  • the display information (“Information 'Can I connect?')” In FIG. 5 (b) above and the access / sw C) is stored. In the example shown, evening block 86 is not used.
  • FIG. 199 is a process diagram of the optical tag device 18.
  • the optical tag device 18 Upon receiving the software block D 2, the optical tag device 18 performs data compression, error correction, and addition of a flag sequence, and performs data block processing.
  • the terminal is a cellular phone with a camera, and the terminal has a communication IP5 function. It is easy to ensure independent synchronization with the required accuracy or more, or at the terminal side in a fixed phase step until detection is successful. It is also possible to shift the detection tyng by
  • V-field filter is used as a suitable period and detection method. It is assumed that the start evening of one cycle of the pattern is obtained by using a pictogram. This is, for example, CDMA ('Code ⁇ Division
  • Fig. 21 shows the force measurement
  • the luminance value within the target angle of view observed by gain control is equal to 4.times.
  • the period of the pattern code time slot that is, 4 kHz.
  • the phase of the sample clock of the / D sampled and put into the FIF buffer may be asynchronous with the light source (lighting device 18), but the period error is kept constant. O
  • the length of the buffer is such that 60 samples are sequentially stored in the FIF ⁇ because 15 bits, which are the code pattern, are sampled at 4 times the period.
  • the specific address of the FIF ⁇ is extracted as 4 and the group of codes corresponding to code bit 1 and the group of data corresponding to code bit h0 are weighted and summed. Make a match H file. Note that the sampled F
  • the CPU may take in IF 0 data one after the other, so that it can be softly measured.
  • the value range in this field indicates the correlation value of the input signal
  • the graph in the figure shows the time-series change of the data sample value stored in FIFO.
  • Actual observations show small signal fluctuations as compared to the actual detection scale (MAX 255) as shown in the figure. In actuality, noise appears in the observation data overnight as shown in the figure.
  • MAX 255 the actual detection scale
  • noise appears in the observation data overnight as shown in the figure.
  • the output of the filter that assumes that the level is "140" at one level and "120" at two levels is about 1.
  • FIG. 23 is a state diagram when the detection phases match.
  • the output force outputs the fluctuation width "2.0" of the applied pattern.
  • this peak is almost maintained, and the output sharply decreases.
  • the observed signal can be detected as “140” in a bright state and “120” in a dark state, for example, if the output at each sample time is calculated, the phases match. Only four sample times indicate the peak "20", after which it becomes "1.4". In this way, peaks can be detected very easily, and subsequent detections can be easily adjusted.
  • the filter output is stored in the FIFO for four samples as shown in Fig. 21.
  • FIG. 24 is a flow chart showing the process from the FIF 0 to the CPU judging the 0/1 bit and storing it in the decoding bit buffer 50.
  • the frame detection is performed in the data processing for the normal bit string. (In this embodiment, the data frame starts and ends with 1s consecutively.) Then, the error correction is performed, the transmitted source data block is restored, and processing is performed according to the restored data block.
  • step S31 the data of the filter buffer 65 is read (step S31), and in order to perform stable extraction of "1", four consecutive sample times are performed. Determine whether the threshold has been exceeded (step S32)
  • Step S33 Take out the data (the middle of the evening sampling, which is stable from the sampled data). (Can be 12) (Step S33), and output the filter. It is determined whether or not the value exceeds the threshold (step S34). If the filter output value exceeds the threshold, the decoding bit buffer 5 is output. "1" is stored in 0 (step S35), and if the filter output value has not reached the threshold value, the filter output value has reached the threshold value X (-1). It is determined whether or not it is (Step S36).
  • the light modulation process is a buffering / arithmetic process for one data, so that a very simple processing configuration can be achieved.
  • the method of transmitting a bit at a high S / N ratio from a discrete and complete image data on the final B-cycle of the light source is as follows.
  • a spread modulation method can be performed, in the present embodiment, a method using the photodetector 61 enables high-speed and continuous measurement, so that if the characteristics of the detection filter can be secured, a simple modulation method, for example, , Pulse modulation at the frequency of a specific carrier (10 KHZ), etc.o Others, the same applies to pulse frequency switching modulation
  • the photodetector 61 is used as the light receiving means for receiving the bright spot of the optical tag device 18.
  • the present invention is not limited to this. Any device having an angle of view corresponding to the size of the (optical device 18) may be used.
  • it may be an image sensor such as CCD or cM ⁇ S, or may be one in which a plurality of image sensors are arranged on a plane.
  • FIG. 25 is an internal block diagram of the camera-equipped mobile phone 220 in the second embodiment. In this figure, the camera-equipped mobile phone 22 is shown.
  • 0 is an image sensor (hereinafter referred to as a “communication image sensor 61 0” in order to distinguish it from the imaging image sensor 57) instead of the photodetector 61 of the above embodiment. It is characterized by the fact that 0 ) is used.
  • the camera-equipped mobile phone 220 in the first embodiment has a data communication unit 48 including an antenna 24, a data buffer 49, and a decoding bit buffer 50 camera.
  • Operation buttons 5 1 (2 8 3 2) including various buttons such as 2 8, and audio input / output sections including speech force 26 and microphone 33
  • imaging sensor 57 such as CCD and CM ⁇ S
  • image buffer 58 display buffer 59, storage unit 60, etc.
  • Power supply but omitted to avoid surface congestion
  • the communication image sensor section 560 is a condensing lens 35, the communication image sensor 610 Amplification and A / D conversion 62
  • the shooting lens 34 and the shadow image sensor are used.
  • the configuration of the camera part including 57. It would be nice if there was a finder-like function that allows the user to aim at the light intended by the user and a function that displays the position of the information light source in the actual image. For this reason, the frame rate of the force camera section is aimed even if the signal speed of the transmission is, for example, several tens of bits per second to several hundreds of hits / second. There is no problem in confirmation, for example, an image acquisition capability of about 10 frames / second is sufficient.
  • the information such as the gain control center of the force-measuring section is not closed inside the force-measuring section, and the information of the gain-generating section of the general-purpose image sensor section 560 is maintained.
  • the communication image sensor unit 560 blocks the brightness fluctuation signal of the optical tag device 18 and performs the evaluation up to the 1st phase evaluation. Basically, the function is the same as that of the fifth embodiment (see FIG. 7) of the first embodiment, but the same operation as that of the fifth embodiment is performed.
  • the communication sensor section 560 of the present embodiment is a CCD or C ⁇ 0S or the like.
  • a two-dimensional sensor consisting of a plurality of photoelectric conversion elements (pixels)
  • Both the photo technology 61 and the communication image sensor 610 are both
  • the communication image sensor 610 is composed of a plurality of photoelectric conversion elements (a plurality of pixels). O However, the number of pixels of the communication image sensor 610 may be smaller than the number of pixels of the photographing image sensor 57. In other words, the M-trusted image sensor 610, which only needs to detect a bright spot within a narrow angle of view, compared to the photographic image sensor 5.7 which requires photographic image quality, Low-resolution (for example, 30 dots X 30 dots, dots) may be used.o
  • the light source (optical tag device 18) that emits information is the same as in the above-described embodiment.
  • the sampling frequency of the 1 kHz base span signal shall be quadrupled.o Therefore, the frame rate of the communication image sensor 61 'is
  • the distance between the optical tag device 18 and the terminal (portable electronic device with camera 222) is 50 m, and the size of the light source of the optical tag device 18 is 10 cm X 10 cm rectangle. (10 cm square).
  • the second 6 zozo is an image-taking angle of view (approximately 26 degrees X 39 degrees) of the photographing lens 34 (the photographing image sensor 57) in the camera-equipped mobile phone 220 of the second embodiment.
  • FIG. 21 is a diagram illustrating a detection image (a narrow angle of view of 6 degrees X 6 degrees individuality) of the communication image sensor 610 in 220.
  • the range of 5 m ahead of 50 m is set as the sensor angle of view (angle of view of communication image sensor 610 • 6 degrees X 6 degrees).
  • I do. 6 degrees is a tangent (5 m / 50 m) given by an angle of view 6 degrees square and a 30 x 30 dot communication image sensor.
  • FIGS. 28 (a) to (d) are diagrams showing apparent dot sizes G at respective distances of the area (10 cm ⁇ 10 cm) of the illumination portion of the optical tag device 18. .
  • the optical tag device 18 when the optical tag device 18 is 5 m away from the camera-equipped cellular phone 220, that is, at lOcm ⁇ l.
  • the optical tag device 18 is a mobile phone equipped with a camera.
  • the power becomes 14 ⁇ : L / about 16.
  • the signal strength is less than 14 at a location 50 m away from the optical tag device 18 (the location of the camera-equipped mobile phone 220), but this degree of signal reduction is inconvenient. Do not invite.
  • the dynamic range per dot is about 30 to 50 dB, so the 0 N light source with one dot covered If the detection level is 50% of the dynamic range to the saturation level, there is no inconvenience even if the detection voltage drops by 1/4 (that is, -6 dB).
  • the shutter speed is 0.25 milliseconds.
  • the absolute luminance of the light source is generally almost constant and is extremely high with respect to the surroundings due to visibility requirements.
  • Operate the communication image sensor 610 at the above-mentioned 400 frame seconds (about 0.25 milliseconds shutter time) Even if this is done, it is possible to easily cope with the lens diameter and the gain, so that it is possible to sufficiently acquire the blinking information of the light source.
  • the angle of view of the communication main sensor 610 is set to "6 degrees 6 degrees", but this is only an example. In view of camera shake resistance, a larger angle of view can be used.
  • FIG. 29 is a conceptual view of the second embodiment, which does not require a camera shake mechanism. As shown in FIG. 1 0 is the condenser lens 3
  • the image of the light spot A forms an image on the light receiving surface of the communication image sensor 610 through the condenser lens 35.
  • the image of the light spot A is almost equal to the light receiving surface of the communication image sensor 610.
  • Image at center position B when the light point ⁇ is positioned off the optical axis of the optical lens 35 as shown in (b), the image of the light point A is also not located on the optical axis of the condenser lens 35.
  • the image at the position A is of course included if it is large enough to include the pinch position B.
  • the image at position B and the image at position B are also taken and aligned (overlaid on the image at position A ').
  • Image stabilization can now be performed by image processing. O It is not necessary to have a mechanism
  • the following method can be used as an image processing method for camera shake correction.
  • the 30th country is a schematic diagram of the corresponding limit of the movement that can capture the pattern.
  • Each domain of the sensor 610 is processed in parallel. As shown in [3 ⁇ 41] of 3 ⁇ 4, multiple frames in two series of sequences (for example,
  • Equation (1) is a general equation of the corresponding limit of the movement that can capture the pattern.o
  • n Spreading code length (or one block length)
  • the resolution of the communication image sensor 610 should be increased to allow camera shake.
  • the angle of view of the communication image sensor 610 can be reduced to make it possible to cope with a smaller area. You may want to raise the frame rate even further to respond to severe shake. By the way, raising the frame rate does not mean that the communication speed will increase.
  • the communication image can reveal the characteristics of two-dimensional communication.
  • the communication image can reveal the characteristics of two-dimensional communication.
  • a plurality of signals can be received simultaneously by the sensor 610, and each signal can be discriminated in position (discrimination based on the pixel position of the communication image sensor 610).
  • the range of the detection sight is set to 6 ⁇ 6 degrees. Therefore, the area of the detection sight is expanded to 9 times the same range (2 degrees ⁇ 2 degrees) of the above embodiment, and the minimum The light source area can be reduced to less than 0.2 degrees and 9 times. Therefore, if the same light source is used, detection can be performed even at a distance three times that of the above-described embodiment, or if the same light source is used, a light source having a small size of 1Z9 of the above-described embodiment can be used.
  • the range of the aiming area performed by the user can be maintained at the detection limit angle. Can be larger. Therefore, rough aiming can be performed, and operability at the time of acquiring information can be improved.
  • the mechanism can be simplified. That is, when aiming for a narrow limit detection angle, the camera shake correction mechanism (actuator 55) as shown in the above embodiment can be dispensed with.
  • the number of pixels of the communication image sensor 610 is smaller than that of the photographing image sensor 57, and a low-resolution (low-priced) one can be used.
  • the cost can be reduced because the precision of the optical system is not required.
  • the adjustment and design of the sensor sensitivity are extremely simple.
  • the general scenery has a dynamic range with extremely high illuminance from night to clear daytime, so the camera that captures the scenery is a sunset Combining speed, lens aperture, gain, etc., must cover the real world illuminance and brightness range of several tens to 100 d ⁇ .
  • an image sensor dedicated to communication (communication image sensor 610) is used as in the second embodiment, it becomes a sensor only for optical communication. It is not necessary to consider processing such as monitor image acquisition at all.On the other hand, since the information light source side has a certain absolute luminance, the gain can only be performed for the target signal. Adjustment and design are extremely simple.
  • Fig. 31 to Fig. 33 zo are the camera with the camera of the second embodiment.
  • Control program (shooting mode program) that is preferable to apply to 0
  • step S.5 the camera unit such as the image sensor 5.7 for photographing is started.
  • the user instructs to display a predetermined submenu.
  • Step S53 is a menu for receiving information from the optical device 18 and a button for selecting the menu is provided in the operation unit 51 in advance.
  • step S54 the normal processing for the shooting mode is executed (step S54), while if the sub-menu display instruction has been issued, the following processing is performed. Execute.
  • the predetermined sub-menu is displayed on the display unit 27 (step S55), the information from the optical tag device 18 is received in the sub-menu, and the information is displayed as a photographed image. Ask the user whether or not to memorize them together (step S56) If the user makes a negative (does not store information) selection, the process returns to the above-described normal processing (step S55) and selects a positive (stores information). Is performed, a predetermined "grid" is displayed in the through image being displayed on the display section 27 (step S57).
  • the “grid” is a rectangular frame line representing the angle of view (6 degrees ⁇ 6 degrees) of the communication image sensor 61, and is the aiming frame 40 of the above embodiment.
  • step S58 If no bright spot is detected in the grid (when the result of the determination in step S58 is "N0"), the shutter button (not shown) of the operation unit 51 is pressed. The lowering operation is determined (step S59), and if the shutter operation is not performed, the process returns to step S57 again. When the shutter operation was performed, the image captured by the image sensor 57 at that time was captured.
  • step S60 a predetermined message for warning that the information from the optical tag device 18 has not been received is displayed on the display unit 27 (step S6). 1), an image save instruction from the user is detected (step S62), and if there is no save instruction, the captured image is discarded (step S62).
  • step S58 when a bright spot is detected in the grid (when the determination result of step S58 is “YES”), the bright spot portion in the group F is differentiated and displayed (step S58).
  • Step S66 The user checks the illuminated area that has been differentiated and displays the illuminated area within the grid. Fine-tune the orientation (shooting direction) of the mobile phone 2
  • Step S67 it is determined whether the shutter button (not shown) of the operation section 51 is pressed down. If the shutter operation is not performed, the process returns to step S66 again. If the shutter operation is performed, the captured image of the image sensor 57 for capturing at that time is captured. (Step S 6
  • the photographing image sensor 57 continuously generates and outputs several tens of frames of images per second, but the bright spots in the grid (the occupancy of the light-glowing device 18) are also reduced by the number of frames per second. Since the rotation is light that blinks several tens of times, the imaging image sensor 57 generates and outputs two types of images, one with and without a bright spot. Become . It is desirable to use an image that does not include a bright point as a captured image for storage and storage. When an image that includes a bright point is saved, the bright point interferes with the appearance of the image. For this reason, in the second embodiment, when capturing an image for storage in step S68, an image that does not include a bright point is selected.
  • Step S69 it is determined whether the information reception from the optical tag device 18 has been completed. If not finished, an icon or symbol or a message such as an hourglass indicating that information is being received is displayed on the display unit 27 (Step S70), and Step S70 is performed. Repeat 6 9
  • step S68 the image not including the bright spot
  • step S71 association means
  • step S7 display means
  • step S74 operation receiving means, re-receiving executing means. If there is a request to re-receive information, it is considered that an error has been found in the information displayed on the display unit 27, and the process from step S69 is repeated.
  • the image is not taken in (step S68). This is because there is no inconvenience in the image captured in step S68, and there is no problem in receiving information from the optical tag device 18 simply. ) Can reduce the processing load and reduce the processing time when information is re-received.
  • step S74 discards the image file generated in step S71 (step S74) and ends the flow chart (main (If the reception of the blue report is normal and an instruction to save the image is detected. ⁇ (“YES” in step S73)), the program returns to the program.
  • the image file generated in step S71 that is, the image file containing the image (the image not including the bright spots) captured in step S68 and the reception information Save the file in the storage section 60 and end the game (U-go to the main program)
  • the file name Exif (Exchangeable image file format), which is a general-purpose image file of the camera.
  • a general-purpose file format that allows various auxiliary information and other optional information at the time of shooting to be stored along with the main image data. You can use any of the image files in the MTF ( tf ) file.
  • Exif file an optional storage space for the text information is defined, and the received information from the optical device 18 is written to the stored X-ray. With this, it is possible to put the image data and received information in one image file.
  • information received from the optical tag device 18 can be stored and stored in one image file together with the photographed image. Accordingly, various services are realized by finding out the information at the time of reproducing the image file, for example, using a coupon such as an application example in the above embodiment. It becomes possible.
  • the image data contained in the image file is a ghost image that does not include the bright spot of the optical tag device 18, the appearance during image reproduction may be degraded.
  • the image acquisition (step S68) is passed, so that useless image acquisition processing is not performed.
  • the processing load can be reduced and the processing time can be shortened.
  • the images captured in step S68 are not limited to still images. It may be a simple video.
  • the image generated and output from the image sensor for shooting 57 is an image of several tens of frames per second, and the images are still images.
  • a movie is played back automatically, it looks like a moving image, so frame images taken during an arbitrary period of time may be captured continuously as simple movie data.
  • images containing bright spots are removed from the pair in order to avoid deterioration in the appearance of the playback video.
  • the information receiving apparatus of the present invention performs the actual processing in a limited manner on the “luminance modulation area included in the imaging angle of view of the imaging unit”. By obtaining an area necessary for detecting the information, it is possible to speed up the information restoration processing.
  • the information receiving apparatus, the information transmitting system, and the information receiving method of the present invention include, for example, landmark display of buildings, advertisement display, guidance of amusement facilities such as amusement parks, and congestion.
  • Status display store quotient It is suitable for various uses such as product explanations, exhibition descriptions in museums and exhibitions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Optical Communication System (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

輝度変調の検出に必要な領域を取得することにより、情報復元処理の高速化を図る。また、輝度変調領域の位置調整を容易とする。情報受信装置(22)は、撮像手段(34、57)と、輝度変調された任意の情報を受光する受光手段(35、61)と、前記撮像手段の撮影画角に含まれる輝度変調領域を指定する指定手段(31、53)と、該指定手段により指定された輝度変調領域を受光するよう前記受光手段を制御し、該領域に含まれる輝度変調内容から任意の情報を復元する復元手段(50、53)と、該復元手段により復元された任意の情報を再生する再生手段(47)とを備える。

Description

明 細 書 情報受信装置、 情報伝送システム及び情報受信方法 技術分野
本発明は、 たと ば 建築 の ラ ン マ ク 不 、 広 i nt丰
衣小 遊 園地等の遊技施設案内や混雑状況表示 店頭における Ρ¾品説明、 博物 館や展覧会に ける展示品説明など 様々な用途に利用できる情報受 信装置、 情報伝送システム及び情報受信方法に 1关]する ο 背景技術
従来よ り 、 建築物等のラ ン ドマーク表示、 広告表示、 遊園地等の遊 技施設案内や混雑状況表 、 店頭における商品説明 博物館や に 45ける展示品説明は 、 紙、 垂れ幕 看板またはプレ ト等の 「情報
Ι Ε 小物 J の上に書かれた文字や図形 の 厂視覚情報 J を用いて行われ 等
ている
しかし 情報提示物の数が多い環境下において、 特定の情報掲示物 を探したい場合には、 所望する情報掲示物が周囲の情報提示物によつ て目立たな < なる問題が発生する たとえば 、 店頭において商品 Aと 商品 Β とが隣接して展示されていた場合 商品 Aの商品説明を商品 B の商品説明 と誤認してしま う こ とがある
そ で 従来技術 1 (特開 2 0 0 3 1 7 9 5 5 6 号公報/第 7 頁
〜第 8 M 図 7 〜図 1 0 参照) と して 光空間伝送による情報 fe送を 利用する とによって 、 情報提示対象 とその提示情報.との対応関係 を明確.に して情報把握の誤認をなく すよ う にし、 さ ら に 、 情報の保全 性にも配慮した情報受信装置が考え られている。 詳細には こ の従来技術 1 は 陳列棚に並べ られた商品の近く に取 り 付けられた光タグ装置を電子スチル力メ ラで時系列的に撮影 して記 憶し、 その記憶画像の中に存在する光夕グ装置の時系列的な輝度の変 化力 ^ ら輝度変調された情報である とをき § ^ せ、 こ の輝度変調され た情報か らその商品に閧 "! る情報を抽出 し、 その抽出情報を wi記撮 I? 画像に重畳表示するとい う ものである しかしなが ら 、 この従来技術
1 では、 たとえば、 点滅する光タグ装置の輝度変化パターンと同 じパ ターンで輝度変化するよ う な光源 (たとえば、 蛍光灯のフ リ ッ力など の外乱光 ) が近く にあっ た場 には 光タ グ装匱の情報の抽出が正し く 行われない とい う技術課題があ Ό た
こ のよ Ό な問題点に鑑み、 従来技術 2 (特開 2 0 0 3 - 1 7 9 5 5
6 号公報 /第 7 頁〜第 8 頁、 第 7 図 第 1 0 図参照) と して 、 外乱光 によ 悪影響を回避して常に情報の抽出を正し く 行う よう に した情報 受信装置 情報伝送システム及び m報伝送方法が考え られている。
m は こ の従来技術 2 は C C D等のィ メージセンサを有する 受光ュ二ッ 卜 を用いて、 そのィ メ ンセンサの撮影画角内に存在する 発光ュニッ 卜 (従来技術 1 における光タグ装置に相当する) か らの輝 度変化を検出し、 その輝度変化の変化度合いを変調情報と してビッ ト パターン系列に二値化する と と もに 値化されたビッ 卜パターン系 列を予め用意された互いに相関 しないビッ 卜パターン系列のいずれか に一致するか否かを判定し、 その判定糸口果に基づいて 、 二値論理信号
( 1 / 0 ) を発生する こ と によ て 発光ュニッ 卜か らの送信情報を 再生する とい う も のであ り 、 この発光ュ ッ 卜 の発光パタ ンをュ二 ク なものにする こ とで、 外乱光の影響を少な く している
しかしながら、 従来技術 2 では 、 外乱光による悪影響を回避できる も のの、 画像の処理に無駄がある という 問題占がある。 つ ま り 、 従来技術 2 においては ィ メ ー ジセ ンサの撮影画角 内の画 像か ら 厂部分読み出 し」 を行い その 冗み tiu しェ U ァ を 1 周期 と に ずら しなが ら 、 上記の二値化処理や 二値化処理後の ビッ 卜パ夕 ―ン 系列の 理処理な どを実行 した と しても 、 それ ら の処理は、 ィ メ ン セ ンサか ら 出力 される画像フ レ ムの全ての画素を対象に してい る と に変わ り な く 、 言い換えれば ィ メージセ ンサの撮影画角 内の画像 の全領域について点光源の検出 と捕捉を行っ ている と に他な らない。 したがつ て、 以下に説明する よ に 無駄な処理を否めない。
ィ メ ―ジセ ンサの撮影画角内の全画素 (フル ド、 ッ 卜 ) を 1 2 8 0 X
9 6 0 ッ 卜 と仮定 し、 また、 のィ メ ージセ ンサは 3 2 0 X 2 4 0 ド、 ッ 卜 の部分読み出 しが可能である と仮定する と 上記の従来技術 2 にお いては、 1 2 8 0 X 9 6 0 ド、 ッ 卜 の画像を 4 X 4 分割 した各ェ U ァ毎に上記の二値化処理や、 二値化処理後の ビッ 卜パター ン系列の論 理処理な どを行う こ と になる。 の場合、 一回の処理は、 1 ェ U ァ分 の 3 2 0 X 2 4 0 ド ッ 卜 の画素を対象と して行われる ので、 1 回の処 理だけに注目すれば、 処理負担は確かに少ない しか し、 発光ュ ッ 卜 の 占光源、 と り わけ、 遠方に位置する点光源の視 サイ ズは相当 に 小さ < 多 く の場合、 一つの分割ェ ァ に充分に収ま る程度であるか ら のよ う な場合、 点光源を含まない他の分割ェ U ァに対する処理 は 駄である
そ で 、 本発明は、 撮影画角 の う ち 、 輝度 A §周の検出 に必要な領域 を取得する と によ り 、 情報復元処理の高速化を図る こ と を 目 的 とす る また 、 輝度変調領域の位置調整を容易 とする と を 目 的 とする。 発明の開示
請求の範囲 1 記載の発明は、 撮像手段と、 輝度変調された任意の情 報を受光する受光手 と 刖 Sti 像手段の 影画角に含まれる輝度 調領域を指定する指定手段と、. 該指定手 によ り指定された輝度変 周 領域を受光するよ 刖記受光手段を制御し 該領域に含まれる輝度 賙内容か ら任意の情報を復元する復元手段と 該復元手段によ り復兀 された任音の情報を再生する再生手段とを備えた こ とを特徵とする情 報受信装置である
請求の範囲 2 記載の発明は、 刖記撮像手段による撮像内容と と ち に 指 を表示する表示手段と、 該表示手段に表示されている指標を任音 に移動させる移動手段と をさ ら に備え m記 is定手段は 該移動手段 によ て刖 α¾標を移動させる とによ り 記輝度変調頜域を指定す る とを特徵とするミ虫
m求の範囲 1 記載の情報受信装置である
求の範囲 3 記載の発明は、 m BS 曰定手段によつ て指定された輝度 変調領域の受光を指示する受光指示手 と の受光指示手段によ り 受光が指示される と 該輝度変 B周領域に光軸が合う よ う に目 IJ記受光手 段を制御する制御手 とをさ ら に備える とを特徴とする請求の範囲
1 乃至 3 のいずれかに記載の情 受信 3¾ である
請求の範囲 4記載の発明は、 前記受光手段は、 受光素子と、 該受光 素子への入射光を集光する光学系とを含むこ とを特徴とする請求の範 囲 1 乃至 3 のいずれかに記載の情報受信装置である。
請求の範囲 5 記 の 明は 目 u sd受光手段は 二次元のィ メージセ ンサと 該ィ メ ジセンサへの入射光を集光する光学系とを含むこ と を特徴とする 求の範囲 1 乃 3 のいずれかに οΰ載の情報受信装置で ある
請求の範囲 6 記載の発明は 目 IJ B己撮像手段によつ て撮像された画像 丁 タ と目 IJ B己復元手 によ て復元された任意の情報とを 付けす る闋 付け手段と 該 付けされた画像ギ —夕 と刖記任音の情報と を記悟する記憶手段と を さ ら に備える こ と を特徴とする請求の範囲 1 乃至 3 のいずれかに記載の情報受信装置であ る
Θ罔求の範 7 記載の発明は 記受光手段によ る輝度変調頜域の受 光が兀了 したか否かを判断する第 1 の判断手段をさ ら に備え、 H'J §己 1¾ 連付け手段は 該第 1 の判断手段によ つ て目 IJ記輝 変調領域の受光が 完了 した と判断する と 目 'J 己撮像手段に て撮像された画像デ一夕 と前記復兀手段によ つ て復元された該輝度久 5周領域に基づく 任意の情 報と の y 付けを行う と を特徵とする請求の範囲 6 記載の情報受信 衣 Bである o
m求の範囲 8 記載の発明は 目 'J記第 1 の判断手段によ り 輝度変調領 域の受光が兀了する と その 曰 を報知する報知手段と 、 該報知手段に よる報知の後 目 'J記輝 変調領域の再受光が指示さ れたか否かを判断 する第 2 の判断手段と 該第 2 の判断手段によ り 再受光が指示された と判断する と 刖記撮像手段に 撮像さ れた画像丁一夕 を保持した 状態で 刖記受光手段によ る 目 'J記輝度変 5周領域の受光を開始する受光 制御手 と をさ ら に備える と を特徴とする請求の範囲 6 または 7 記 載の情報受 衣置である ο
求の範囲 9 記載の発明は m記輝度 、 B周 とは特定波長光の点灯 と 消灯 との繰 り 返しであ り m記特定波長光の消灯夕ィ ミ ングの撮像画 角 撮像するよ う 目 'J記撮像手段を制御する撮像制御手段を さ ら に備え と を特徴とする ah求の範囲 6 または 7 に記 の情報受信装置であ る。
求の範囲 1 0 記 の 明は 目 IJ記受光手段によ つ て受光された輝 度変 5周頜域の変 Β周内容を少な < と 互い に相 ¾度の低い 2 種類の ビ ッ hパタ ン系列に 、換する変換手段と 該変換手段によつ て変換され た互いに相 1关]度の低い 2 種類の ビ ッ パタ ―ン系列に対応 して Blffl理 ih 号を出力する 号出力手 と を に傭 、 刖 ΒΞ復元手段は、 B¾ era
、/- 理信号出力手段によ る 出力 '|(口果に基づいて 記任意の情報を復兀する こ と を特徴とする請求の範囲 1 乃至 9 の何れかに記載の情報受信装置 であ る。 請求の範囲 1 1 記 の 明は 、 任音の情報を構成する ビ ッ 卜列を論 理判定する判定 し 、 該判定枯果に基づいて予め用 、された互い に相関 度の低い 2 種類の ビ ッ 卜 夕 ン系列か ら いずれかを選択する選択手 段と、 該選択手段によ る選択 to果に従つ て 記任意の情報を輝度変調 する変調手段と 、 該 δ周手段によつ て輝度変 5周された任音の情報を出 力する出力手段と を備えた情報出力装置 と 、 撮像手段と 、 輝度変調さ れた任意の情報を受光する受光手段と 、 該撮像手段の撮影画角 に含ま れる輝度変調領域を指定する指定手段と 、 該指定手段に Ό 指定さ れ
た輝度変調頜域を受光する よ う m記受光手 を制御する受光制御手段 と、 該受光制御手 によ つ て受光された輝度変調領域の変 B周内容を少 な く と も互い に相 の低 2 種 只の ビ 卜パ夕一ン系列に変換する 変換手段と、 該変換手段によつ て変 さ れた互いに相 ¾)度の低い 2 種 類の ビッ トパタ一ン系列に対応 して e 理 号を出力する m理信号出力
手段と該論理信号出力手段によ る出力ポロ果に基づいて、 目 'J記任意の情 報を復元する復元手段と 、 該復兀手段によ り 復元された任意の情報を 再生する再玍手段と を備えた情報受信装置を含む こ と を特徵とする情 報伝送システムであ る 請求の範囲 1 2 記載の発明は 、 撮像部によ Ό 撮像される撮影画角 に 含まれる輝度変 B周領域を指定する指定ステ ッ プと、 該指定ステ ッ プに よ り 指定された輝度変 5周領域を受光する よ う 受光部を制御する受光制 御ステッ プと 、 該受光制御ステ ッ プにて受光された輝度変 5周領域の変 調内容を少な < と も互い に相閧度の低い 2 種類の ビッ 卜パ夕一ン系列 に変換する変換ステ ッ プと 該 換ステ ッ プにて変換された互い に相 関度の低い 2 類の ビ ッ パ夕 ン系列に対応 して 理信号を出力す る論理信号出力ステ ッ プと該 理信号出力ステ ッ プによ る 出力 ロ果に 基づいて 記輝度変調領域の変調内容に基づいた任意の情報を復元 する復 ステッ プと 、 該復兀ステッ プによ Ό 復元された任意の情報を 再生する再生ステ ッ プとか らなる と を特徵とする情報受信方法であ ス 本発明に れば、 指定手段が撮像手段の撮影画角 に含まれる輝度変 領域を指定 し 、 復元手段が該指定手段によ り 指定された輝度変調領 域を受光する よ う 受光手段を制御 して該領域に含まれる輝度 周内容 か ら任意の情報を復元する と と に 、 再生手段が該復元手段によ り 復 元された任意の情報を再生する
したが て 実際の処理を Γ撮像手段の撮影画角 に含まれる輝度変
、'- δ周領域 J に限定 して行う とがでさ 、 刖記の 目 的 すなわち 、 輝度変
Β周の検出 に必要な頜域を取得する と によ り 、 情報復元処理の髙速化 を図る とがでさる
また 記撮像手段によ る撮像内容と と ち に指 を表示する表示手 段と、 該表示手段に表示さ れている を任意に移動させる移動手段 と を さ ら に備え BU 定手段は 該移動手段によ て前 BC JB feを移 動させる と によ り m 己輝度 6周領域を指定する のであつ てあよい こ のよ う にする と、 「輝度変調の検出 に必要な領域」を指標によっ て明 示する こ とができ、 かつ、 移動手段によ っ て微妙な領域の位置合わせ を行う こ とができる。
また、 前記指定手段によ っ て指定された輝度変調領域の受光を指示 する受光指示手段と、 こ の受光指示手段によ り 受光が指示される と、 該輝度変調領域に光軸が合う よ う に前記受光手段を制御する制御手段 とをさ ら に備える う に してもよい。 このよ う にする と、 領域の位置 合わせをよ り 簡単にする こ とができる o
また、 刖記受光手段は、 受光素子と、 該受光素子への入射光を集光 する光学系とを含むものであってもよ く 、ある いは、前記受光手段は、 一次元のィ メージセンサと、 該ィ メ —ジセンサへの入射光を集光する 光学系と を含むものであってもよい 。要は、 「撮像手段の撮影画角に含 まれる輝度変調領域 J の光を受光する任意画角の受光手段であればよ い o Λ_ ノ し 、 手ブレ機構を不要にできる点で、 後者のもの、 すなわち、 一次元のィ メージセンサを含む態様が望ま しい。 発輝度変調光の結像 位置が二次元のィ メージセンサの受光面内に入ってさえいれば、 多少 の位置ブレ あつても画像処理で修正が可能であるカゝ らであ り 、 ァク チユエ一夕等による機械的な手ブレ機構を必要と しないか らである。
また、 撮像手段によって撮像された画像データ と前記復元手段によ て復元された任意の情報とを関連付けする関連付け手段と、 該関連 付けされた画像デ ―夕 と前記任意の情報とを記憶する記憶手段とをさ ら に備えるよ う にしてもよい。 このよ う にする と、 様々な利用スタイ ル 、 たとえば、 画像の印刷回数管理や著作権管理などに応用する こ と ができる また、 m記受光手段による輝度変調領域の受光が完了 したか否かを 判断する第 1 の判断手段をさ ら に備え、 前記関連付け手段は、 該第 1 の判断手段によつて前記輝度変調頜域'の受光が完了 したと判断する と 言 IJ記撮像手段によつて撮像された画像データ と前記復元手段によっ て 復元された該輝度変調領域に基づく 任意の情報との関連付けを行う よ う に して よい。
あるいは 、 刖 sd第 1 の判断手段によ り輝度変調領域の受光が完了す る と、 その旨を報知する報知手段と 、 該報知手段による報知の後、 前 3 [:輝度変 ah領域の再受光が指示されたか否かを判断する第 2 の判断手 段と、 該第 2 の判断手段によ り再受光が指示されたと判断する と、 刖 記撮像手段によ り撮像された画像丁一夕 を保持した状態で 、 前記受光 手段による刖記輝度変調頜域の受光を開始する受光制御手段とをさ ら に備えるよ に しても い
これらのよ う にする と、 画像の取得と情報の再生とを時間を分けて 行う こ とができ、 処理の効率化を図る とがでさる 。 さ ら に 、 このよ に して < と、 情報の取得に失敗した ときには、 画像の取得を行わ ずに、 情報の再取得だけを行う こ とができるよ う にな り 、 ハゝヽ駄な画像 取得を回避して効率ァ ッ プを図る し とができる □ 図面の簡単な説明.
第 1 図は 、 第一実施形態における情報伝送システムの利用状態図で ある。
第 2 図は 、 第一実施形態における情報伝送システムに対応したカ メ ラ付携帯電 機 2 2 の正面図及び背面図である
第 3 図は 、 カ メ ラ付 電話機 2 2 に対するュ一ザ操作と当該カ メ ラ付携帯電 機 2 2 の内部動作との関係 示すシ一ケンス図である。
第 4 図は 、 表示部 2 7 の表示例を示す図及び光夕 グ装置 1 8 の上に 照準枠 4 0 を重ね合わせたとさの表示部 2 7 の表示例を示す図である。
第 5 図は 、 光タグ装置 1 8 力 ^ ら の情報取得を失敗したときの表示部
2 7 の表示例を示す図及び光タグ装置 1 8 か ら の情 ¾取得に成功した ときの表示部 2 7 の表示例を示す図であ ό 。
第 6 囿は 、 クーポンの画像フ ァィ ルをダゥ ン D― ド したときの表示 部 2 7 の表示例を示す図及びクーポンの画像を示す図である 0
第 7 図は 、 第一実施形態における力メ ラ付携 ¾ at
AT ¾話機 2 2 の内部ブ Π ッ ク構成図である。
第 8 図は、 第一実施形食 の力 メ ラ付携帯電話機 2 2 における手プレ 補正の概念図である。
第 9 図は、 第一実施形能メ の力 メ ラ付携帯電話機 2 2 における手ブレ 補正の概念図であ る。
第 1 0 図は、 カ メ ラ系の光学系の画角 (た とえば、 3 2 度 X 3 2 度)
¾示す図であ る。
第 1 1 図は、 フォ トディ テク 夕系の光学系の画角 (た とえば、 2 度
X 2 度) を示す図である
第 1 2 図は、 光タ グ装置 1 8 の内部ブロ ッ ク構成図であ る。
第 1 3 國は、 フ ロ ン ト ラィ h 7 7 と反射型液晶シャ ッ 夕 7 8 を示す 図で
第 1 4 図は、 光タ グの輝度計算結果を示すグラ フ 図である。
1 5 図は、 フ ォ トディ テク 夕 6 1 の検出概念図である。
第 1 6 図は、 データ形式の フ ォ一マ ツ ト構造図である
第 1 7 図は、 コマン ド 一ド部 8 7 の格納コー ド と 、 そのコー ドの 意味を示す図である。
第 1 8 図は、 データ の一例を示す図であ る。
第 1 9 図は、 光タ グ装置 1 8 のプロセス 図である。
第 2 0 図は、 パターン拡散方式の説明図であ る。
第 2 1 図は、 カ メ ラ付 帯 ΐ νά機 2 2 のフォ トディ テク タ部 5 6 の 構造図であ る。
第 2 2 図は、 目的パタ一ン信号は入力 さ れているが 、 まだ位相が合 つ ていない時刻 ( 4 符合ビ V 卜分 = 1 6 サンプル分ずれている) での 状態図であ る。
第 2 3 図は、 検出位相が合つ た ときの状態図であ る 第 2 4 図は、 F I F 0力、 ら C P Uが 0 / 1 の ビ ッ ト を判定 し、 復号 ビッ トノ ツ フ ァ 5 0 に格納する までの処理を示すフ ローチャー ト 図で ある。
第 2 5 図は、 第二実施形態におけるカ メ ラ付携帯電話機 2 2 ' の内 部プ口 ッ ク構成図であ る。
第 2 6 図は、 第二実施形態のカ メ ラ付携帯電話 2 2 0 における通信 用ィ メ一ジセ ンサ 5 7 の撮像画角 ( 2 6 度 X 3 9 度程度の広画角) を 示す図であ る。
第 2 7 國は、 第二実施形態のカ メ ラ付携帯電話 2 2 0 における通信 用ィ メ一ジセンサ 6 1 0 の検出画角 ( 6 度 X 6 度程度の狭画角) を示 す図でめる。
第 2 8 図は、 光タ グ装置 1.8 の照明部分の面積 ( l O c m X I O .c m )のそれぞれの距離における見かけの ド ッ トサイ ズを示す図であ る。
第 2 9 図は、 第二実施形態における手ブレ機構不要の概念図であ る 第 3 0 図は、 パター ン を捕捉可能な動き の対応限界模式図であ る。 第 3 1 國は、 第二実施形態のカ メ ラ付携帯電話機 2 2 0 に適用 して 好ま しい制御プロ グラム (撮影モー ド プロ グラム) のフ ローチャー ト を示す図 ( 1 / 3 ) であ る。
第 3 2 図は、 第二実施形態のカ メ ラ付携帯電話機 2 2 0 に適用 して 好ま しい制御プロ グラム (撮影モー ド プロ グラム) の フ ローチャー ト を示す図 ( 2 3 ) であ る。
第 3 3 図は、 第二実施形態のカ メ ラ付携帯電話機 2 2 Ο ί
好ま し い制御プロ グラム (撮影モー ド プロ グラム) の フ ロ
を示す図 ( 3 / 3 ) であ る。 発明を実施するための最良の形態 以下、 本 明の実施形態を、 図面を参昭 しながら説明する。 /S.お、 以下の説明に ける様々な細部の特定ない し実例および数値や文字列 その他の記号の例示は、 本発明の思想を明瞭にするための、 あ く まで も参考であつて それら のすべてまたは 部によつ て本発明の思想が 限定されない とは明 らかである。 また、 周知の手法、 周知の手順、 周知のァ ―キテクチヤおよび周知の回路構成等 (以下 「周知事項」) に ついてはその細部にわたる説明を避けるが 、 これも説明を簡潔にする ためであ て れら周知事項のすベてまたは 部を意図的に排除す る ものではない かかる周知事項は本発明の出願時点で当業者の知 り 得る と こ ろであるので、 以下の説明に当然含まれている。
<第一実施形能 >
第 1 國は 第一実施形態におけ.る情報伝送システムの利用状態図で ある 。 まず ( a . ) を説明する と 、 ビル等の ®染物 1 4 の屋上には、 広 ¾衣示板 1 5 が設置されている 。 こ の広告表示板 1 5 は、 ( b ) にその 正面図、 ( c ) にその側面図を示すよ う に、 任意の説明文字列 (図では
Xデパ 卜特別セ ル実施中 !— の の光夕グ情報で、 来店 時に使える電子ク ―ポンが取得でさます ) を大き < 描き出 した看板
1 6 と、 その看板 1 6 を後ろか ら支える背面固定足 1 7 とを有してお り 、遠く 力 ら、その説明文字列を 視で確 できるよ Ό にな ている 看板 1 6 の任意位置 (図示の例ではほぼ中央部分) には 光タグ装 置 1 8 が取 り 付けられている の光タグ装置 1 8 は つのパ夕 ン系列で点滅するハ占、、光源であ り の光夕 グ装置 1 8 を 目視しただけ では 、 単に光の点滅に しか見えない 第 実施形態における情報伝运 システムに対応した情報受信衣置 ( では、 力メ ラ付携帯電話機と する ) を通して光タグ装置 1 8 の点滅光を受光する と によ り 、 所 の丁ジ夕ル情報 (たとえば、 Xァパ で使用できる電子ク —ポンの 情報 ) を再生 し、 当該情報受信装置上に表示する こ とができる よ う に な てい る
図示の例では、 看板 1 6 が見える位置に複数の人物 1 9 2 1 が存 在してお り 、 その う ち の何人か (図では便宜的に二人) の人物 1 9
2 0 だけが 、 第一実施形態における情報伝送システム に対応したカ メ ラ付携帯電話機 2 2 (情報受信装置) を所持 している ため、 こ の二人 の人物 1 9 2 0 だけが、 Xデパー トで使用できる電子ク ーポンを取 得する こ とができ、 残 り の人物 2 1 は、 カ メ ラ付携帯電話機 2 2 を所 持していないため、 その電子クーポンを取得できない。
なお、 光タ グ装置 1 8 は、 必ずし も、 看板 1 6 のよ う な大きな も の に取 り 付ける必要はな く 、 商品タ グのよ う な非常に小さ な もの に取 り 付ける と も もち ろ ん可能である。 光タ グ装置 1 8 の設置対象は、 た とえば、 「ある (比較的広い) エ リ ァ に来たュ一ザにィ ンセ ンティ ブを 与える とで、そのエ リ ア に対する集客を図 り たい」、 「ある広告.を"確 実にその場で見た " ユーザにイ ンセ ンティ ブを与えたい」、 「看板等の 情報よ り も 、 さ ら に詳細な情報 (またはそ こへの リ ンク) を 自動的に ュ ザ顺末に提供したい」 な ど、 ある程度近傍 (数 mか ら百 m程度の) のェ リ ァ に来て く れた人々 に対 して、 物理的実体 (図示の例では看板
1 6 ) に 1謁連させつつ、 様々 な情報を提供 した り 、 特定のサー ビス (図 示の例では電子クーポン) を提供した り する も のであれば、 図示の例 に限 らず どのよ う な態様であ っ ても構わない。
こでは 、 看板 1 6 に光タ グ装置 1 8 を配置 して、 その看板 1 6 の 広 口 を見て く れたユーザにイ ンセ ンティ ブと して、 電子的クーポンを 配布する と い う 応用 を例にする。 なお、 こ の場合の "クーポン " は電 子的な画像フ ァ イ ルであ り 、 別途に リ ンク先を指定 して、 そ こか ら ダ ゥ ン π ド、 させる もの とする。 第 2 図は、 第一実施形態における情報伝送システム に対応 した力 メ ラ付 帯 ¾口 機 2 2 の正面図及び背面図である。 こ の力 メ ラ付 帯電 話機 2 2 は、 折 り 畳み可能な蓋部 2 3 1 と本体部 2 3 2 とか ら なる 小 ディ 2 3 を有 し 、 本体部 2 3 2 はァ ンテナ 2 4 を備える と共に 、 蓋部
2 3 1 は状態表示灯 2 5 、 ス ピーカ 2 6 、 液晶表示 ηネル等の表示部
2 7 、 力 メ ラキ - 2 8 、 オンフ ッ ク ポタ ン 2 9 、 ォフ フ ッ ク ポ夕 ン 3
0 、 力一ソルキ一 (中央部押圧検出で決定指示) 3 1 、 テンキ ―ボ夕 ン群 3 2 、 マイ :ク 3 3 等を備えてお り 、 さ ら に、 蓋部 2 3 1 の背面に、 撮影 レンズ 3 4 、 集光 レ ンズ 3 5 等を備えている。 な 、 撮影 レ ンズ
3 4 と集光レ ンズ 3 5 は、 視差を無 く すために、 でさ るだけ距離 L を 近づけて配置さ れている。
第 3 図は、 力 メ ラ付 ¾Τ ^ ø¾ ム 2 に対するュ一ザ操作 と当該力 メ ラ付 帯雷 ¾ ¾口 α機 2 2 の内部動作との関係を示すシ一ケンス 図でめる なお 、 光タ グ装置 1 8 の符号パ夕一ンは、 あ らか じめ 、 提供情報者側 で所望する ものが入力 されている もの とする。 また 、 た と えば 、 め か じめキャ ンぺーンの告知 と して、 事前に、 テ レ ビ マ一シャルや雑 口 'じ、等の媒体や当該カ メ ラ付携帯電話機 2 2 にメ ールマガジンのよ う な 形式で 、 「 X X X の屋外看板に注 目 ! 光タ グで各種のサ一 ビス を提供 中 ァクセス ― ド は X X X X X X 」 な ど と いつ た '|
m報を取得させて 広 < 知 らせてお < こ とが好ま しい。 " X "は任意の文字又は任意の数字 若し < は任意の記号である。 ただし 、 情報提供に対 して 、 個別のァ ク セス 一 ド を入力 させる方法でな く 、 誰でも使用できる ァ クセス α 一 を入力 させる よ う に しても よい。
まず 、 力 メ ラ付携帯電話機 2 2 のユーザは、 光タ グ衣置 1 8 を有す る看板 1 6 を見つける と、アクセス コー ド を入力 し(ステ ッ プ S 1 1 ) 、 力 メ ラ付携 ¾ 電話機 2 2 のカ メ ラキ一 2 8 を押す (ステッ プ S 1 2 ) 。 力 メ ラ付 帯電話機 2 2 は、 し のボ夕 ン操作に応答 して、 通常の 機利用状 (待ち受け状態又は通話状態) か ら光タ グの検出及び受信 状態へと切 り 替わ り (ステ ッ プ S 1 3 、 ステ ッ プ S 1 4 )、 力 メ ラで撮 影 した画像を表示部 2 7 に表示する と と も に、 その画像内に小さ な指 標 (第 4 囿 ( a ) の照準枠 4 0 を参照 ) を重.畳表示する (ステ ッ プ S
1 5
第 4 國 ( a ) は、 表示部 2 7 の表示例を示す図であ る。 こ の図にお いて 、 表示部 2 7 の上端部には携帯電 β占の受信状態指標 3 6 や、 現在 時刻指 3 7 及びバ ッ テ リ 残量指標 3 8 な どが表示されてお り 、また、 表示部 2 7 の下端部には操作案内メ ッセ —ジ 3 9 が表示されている。 表示部 2 7 の上端部 と下端部以外の広い範囲には、 このカ メ ラ付携帯 電話機 2 2 .のカ メ ラ のスルー画像 (毎秒数十フ レ.一ムの動画 ) が表示 さ れてね り 、 た とえば、 図示の例では 、 第 1 図 ( a ) の看板 1 6 を含 むスル ―画像が表示されている。 スル一画像中の星印記号は 、 第 1 國
( a ) の光タ グ装置 1 8 を模式的に示した ものであ り 、 こ の光タ グ装 置 1 8 の光の点滅が、 取得したい情報であ る。 ただし、 光の点滅を見 ただけでは、 その情報の 中身を知る こ と はできない。 所定の端末 (力 メ ラ付 乃帯電話機 2 2 ) を用 いて、 その光を受光する こ と によ り 、 力 メ ラ付 帯電話機 2 2 の内部で情報の中.身が再生され、 カ メ ラ付携帯 電話機 2 2 の表示部 2 7 に表示される よ う になつ てレ る。
第一実施形態におけるカ メ ラ付携帯電話機 2 2 は、 表示部 2 7 に表 示されているスルー画像の全体を処理 して、 上記の情報を再生する の ではな < 、 スルー画像内の小さ な照準枠 4 0 に囲まれた特定の部分だ けを限定的に処理して、 上記の情報を再生する よ う に してい し れ によ り 、無駄な処理を回避して情報再生の応答性の改善を図っ ている。 つま り 、 前記の従来技術 2 とは異な り 、 スルー画像中の特定範囲内の みを処理して、 光タ グ装置 1 8 の情報の再生を行う よ う に している。 さて、 第 4 図 ( a ) の例においては、 星印記号で示されている光夕 グ装置 1 8 の上に照準枠 4 0 が乗っ ていない。 白抜き矢印 4 1 と破線 枠 4 2 は、 光タグ装置 1 8 の上に照準枠 4 0 を重ね合わせるのに必要 な、 カ メ ラ付携帯電話機 2 2 の移動方向 と、 移動後のカ メ ラ撮影範囲 を便宜的に表している。
第 4 図 ( b ) は、 光タグ装置 1 8 の上に照準枠 4 0 を重ね合わせた ときの表示部 2 7 の表示例を示す図である。 このよ う に、 ユーザは力 —ソルキ一 3 1 を操作して、 光タグ装置 1 8 の上に照準枠 4 0 を重ね (ステッ プ S 1 6 )、 カ メ ラ付携帯電話機 2 2 は、 状態表示灯 2 5 を点 灯又は点滅する、 も し く は、 カーソルキー 3 1 の中央部が押圧された こ と を検出 して、 光タグ装置 1 8 の情報検出処理を開始する (ステツ プ S 1 7 )。
第 5 図 ( a ) は、 光タグ装置 1 8 か ら の情報取得を失敗したときの 表示部 2 7 の表示例を示す図である。 た とえば、 所定の時間を経過し ても情報を取得できなかっ た場合や、 外乱光の影響あるいは手ブレ等 によって正しい情報取得ができなかっ た場合などである。 このよ う な 場合は、 図示のよ う に、 情報取得失敗メ ッセージ 4 3 と共に、 失敗原 因別の吹き出 しメ ッセージ 4 4 、 4 5 を生成して表示部 2 7 に表示す る。
第 5 図 ( b ) は、 光タ グ装置 1 8 か ら の情報取得に成功したときの 表示部 2 7 の表示例を示す図であ り 、 た とえば、 情報取得成功メ ッセ ージ 4 6 と共に、 光タグ装置 1 8 か ら取得した文字情報を含む吹き出 しメ ッセージ 4 7 を生成して表示部 2 7 に表示する。
この間、 カ メ ラ付携帯電話機 2 2 は、 検出結果表示を実行する と と もに (ステッ プ S 1 8 )、 その検出結果について、 文字化けなどのエラ —があるか否かを判断する (ステッ プ S 2 2 )。 検出結果がエラ一であ る場合 すなわち 、 ス丁 V プ S 2 2 において N o の場合、 カ メ ラ付き j¾ -¾ as- d¾ fl? β占 2 2 は、 本処理を行う 以刖 の待ち受けの状態に戻るが、 Y e
S の場合 、 後述のステツ プ S 2 0 の処理を テ ッ プ S 1 8 における結果に応 じたァク シ ョ ン の開始確認や実行指示 の操作を行う (ステ ッ プ S 1 9 そ して、 情報取得成功であれば、 た とえば 指定コ マン ドの実行、 W e b サ一ビスへの ロ グイ ン、 情報ダ ゥ ンロ一 ドな どのコ マン ドヽ実行結果の表示を行い (ステ ッ プ S 2 0 ) ユーザは 、 取得した情報を利用 (た とえば 、 クーポン利用) する (ス テ ッ プ S 2 1 )。 第 6 図 ( a ) は 、 ク一ポンの画像フ アイ ルをダウ ンロー ド した とき の表示部 2 7 の表示例を示す図であ り 、 また、 第 6 図 ( a ) . は、 クー ボンの画像を示す図であ る ザ ま、 (-の第 6 図 ( a ) の画面を X デパ一 卜 の店員に見せて当該ク ーポ ンを利用する。
l r
第 7 図は、 第一実施形能( における カ メ ラ付携帯電話機 2 2 の内部ブ 口 ッ ク構成図である 。 の図において、 力 メ ラ付携帯電話機 2 2 は、 ア ンテナ 2 4 を含むデー夕通信部 4 8 、 デ —タノ ッ フ ァ 4 9 、 復号ビ ッ トバッ フ ァ 5 0 、 力 メ ラキー 2 8 な どの各所ボタ ンを含む操作ボタ ン部 5 1 ( 2 8 3 2 ス ピー力 2 6 やマイ ク 3 3 を含む音声入出力 部 5 2 表示部 2 7 C P U 5 3 加速度セ ンサ 5 4 、 手ブレ補正用 ァク チュエー夕 5 5 、 フ ォ ト ディ テク タ部 5 6 、 撮影 レ ンズ 3 4 C
C Dや C M 0 S 等の撮影用ィ メ ーンセ ンサ 5 7 、 画像ノ ッ フ ァ 5 8 表示パッ フ ァ 5 9 及び記憶部 6 0 な どを備え る。 なお、 これ以外に も パッ テ U 等の電源部を備えるが、 図面の輻輳を避けるために省略して いる。 フ 才 卜 ティ テク 夕部 5 6 は、 集光 レンズ 3 5 、 フ ォ ト ディ テク タ 6 1 、 増幅及び A / D 換 is 6 2 、 タイ ミ ングジェネ レータ 6 3 、 マツ チ ド、 フ ィ ルタ 6 4 、 フィ ル夕バッ フ ァ 6 5 を備える。
撮影レンズ 3 4や撮影用ィ メ一ジセンサ 5 7 を含むカ メ ラ部分の構 成に特筆すべきものはない ユーザが意図する光タグに対して照準を 合わせる こ とができる フ ァィ ンダ的な機能や実画像の中での情報光源 の位置を表示するための機能があればよい。 そのため、 カ メ ラ部分の フ レ ―ム レ一 卜は 、 たとえば 、 送出の信号速度が数十ビッ ト Z秒や数 百ビ 卜 秒であ たと しても、照準確認上の問題はない、たとえば、
1 0 Πマ /秒程度の画像取得能力でよい。 なお、 カ メ ラ部分のゲイ ン ン 卜 Πール等の 報は 、 力メ ラ部分の内部で閉 じずにフォ トディ テ ク 夕部 5 6 のゲィ ン ン 卜 口ールの設定に流用 してもよい。
フ ォ hアイ テク 夕部 5 6.は 、光タグの輝度変動信号をデジタイ ズし、 相関度評価までを行う ブ Π ッ クである。 詳し く は後で説明する。
第 8 図及び第 9 図は 、 第一実施形態のカ メ ラ付携帯電話機 2 2 にお
' ける手ブレ捕正の概念図である。 第 8 図 ( a ) に示すよ う に、 フォ ト
Tィ テク 夕 6 1 は 、 集光レンズ 3 5 の光軸上に位置している。 第一実 施形ノ では、 フ才 丁ィ テク 夕 6 1 に併設されたァクチユエ一夕 5 5 によ り 、 フ ォ 卜了ィ テク タ 6 1 の位置を変化させて、 光タ グ装置 1 8 の光 A と検出点 B とを aふ光軸上にフォ トディ テクタ 6 1 が並ぶよ う にしている
たとえば、 ァクチュェ一タ 5 5 を備えない場合には、 第 8 図 ( b ) に示すよ う に、 手ブレによる光軸ずれが生じ、 検出点 B にフォ トディ テク 夕 6 1 が位置しない状能 ;になるが、 第 8 図 ( c ) に示すよ う に、 フ ォ 卜了ィ テク タ 6 1 にァクチユエ一夕 5 5 を併設し、 フ ォ トディ テ ク タ 6 1 の位置を変化させる こ とができるよう に しておけば、 フォ ト 丁ィ テク タ 6 1 を C方向に移動させる こ とができ、 光軸ずれを補正で さる したがつ て、 ュ一ザによるの多少の手ブレを検出 しても光タグ 装置 1 8 力ゝ ら の光 Aをフ ォ トディ テク タ 6 1 が確実に捕ら える こ とが でさる □
加速度センサ 5 4 は、 第 9 図に示すよ う に、 ユーザの操作による手 ブレを 2 軸方向に検出する。 C P U 5 3 は 、 加速度センサ 5 4 の検出 信号に対応した大きさの手ブレ補正制御信号を発生し 、 その手ブレ捕 正制御信号でァクチユエ一夕 5 5 を駆動する。 このよ う に、 2 軸の加 速 検出によ り 、 光タ グに照準を合わせている最中の手ブレに対する 捕正を行う こ とがでさる。
な 、 第一実施形態では、 便宜的にフ ォ 卜ディ テク夕 6 1 の検出画 角を 2 度 X 2 度の狭画角 と し、 捕正の範囲を 1 度と して説明する。 力 メ ラの操作にあま り慣れていない初心者の場合、 約 5 度/秒とぃラ角 速 で且つ 1 度程度の範囲で手ブレを起こすといわれている。 通常こ の レベルの手ブレ補正機能は、 一般的なデジタルカ メ ラゃ双眼鏡等に 衣備されているため 、 フ ォ トディ テク タ 6 1 の狭画角 ( 2 度 X 2 度) で照 を合わせるためには十分と考え られる。なお、後述するよ う に、 感度 検出画角 、 光タグとの距離や大きさ の規格によつては、 この手 ブレ補正を省略する こ と も可能である。
で、 カ メ ラ付携帯電話 2 2 における撮影レンズ 3 4 (撮影用ィ メ ジセンサ 5 7 )、 および、 フ ォ トディ テク タ部 5 6 の配置構成につ いて 具体的に本発明の動作が成立する設計例を示す
第 1 0 図は、 力メ ラ付携帯電話 2 2 における撮影レンズ 3 4 (撮影 用ィ メージセンサ 5 7 ) の撮像画角 (仰角 - -俯角 3 2 度程度の広画角) を示す図であ り 、 第 1 1 図は、 カメ ラ付携帯電話 2 2 における フ オ ト ティ テクタ部 5 6 の検出画角 (仰角 一俯角 2 度程度の狭画角) を示す 図であ 一実施形態では、 典型的な利用距離を数 m〜百 m程度と し、 光学系配置による画角のずれは影響しない もの と して無視し、 2 の光軸は平行である とする。 ただし、 近距離での利用を考えて、 2 つの光学系をできるだけ接近 (第 2 國 ( b ) の距離 L参照) させて実 壮する こ とが望ま しい。また、近距離での利用をメイ ンとする場合は、
2 つの光学系の光軸の角度を、手ブレ補正へのバイ アスを行う こ とで、 適宜調節可能と してもよい。
第 1 0図に示すよ う に、 撮影レンズ 3 4等は、 ユーザが手持ちで撮 影した画像範囲か ら照準を合わせやすいよ う に、 また、 通常のカ メ ラ モ一 ドでの動作を音識して、 通常のカ メ ラ画角 とする。 こ こでは具体 的に 、 仰角 一俯角 3 2 度 X左右角 3 2 度の範囲で、 4 8 0 ド ッ ト X 4
8 0 ド ッ 卜の画像を取得する ものとする。 一方、 第 1 1 図に示すよ う に 、 フ ォ 卜丁ィ テク 夕部 5 6 の フ ォ トディ テク タ 6 1 (集光レ ンズ 3
5 等 ) は 、 m方の信号源を十分集光できるよ うするために、 大きな レ ンズで十分な集光を行う こ とが望ま しい。 第一実施形態では、 その画 角 を仰角 一俯角 2 度 X左右角 2 度とする。 この画角は、 照準枠 4 0 の 大きさ に相当する
第一実施形能 は 、 ュ一ザの使い勝手を考えて、 カメ ラ画像の画角 で中央やや上の位置に照準枠 4 0 を表示し、 それに合わせる光学系 と している のため 、 第 1 1 図に示すよ う に、 フ ォ トディ テク タ 6 1 は光軸中心よ り ややずれた位置に配置される。
なお、 第 1 0 図や第 1 〗 図は、 いずれも 「合わせレンズ」 構成にな つているが、 これは 、 たとえば、 望遠である こ とを明示するための説 明の都合であ り 、 他の構成の光学系 (たとえば、 単レンズなど) を排 除する意図はない 最終的な実装と しては、 むしろ、 光学レンズは画 像の品質確保のため に複雑な レ ンズ群を必要とするが、 その詳細は 様々な目的用途で公知であるので省略する。 方、 フ ォ 卜 ディ テク 夕 6 1 の光学系は、 照準となる領域が正確に 結像するわけでな く 、単に該当画角領域がフ ォ ト ディ テク タ 6 1 に(必 要な明る さ の レ ンズで) 集光されればよ く 、 収差や被写界深度、 ある いは 必要な 度等を低く 作る こ とができ るため、 材料も含めてきわ めて簡易かつ低コ ス ト な構成が可能であ る よ 7 ¾ カス につい ても 利用距離を考慮 したパ ンフォーカスでよい。
第 1 2 図 ( a ( b ) は 、 光タ グ装置 1 8 の内部プロ ッ ク構成図で ある 光タ グ 置 1 8 は、 夕ィ ミ ングジェネ レ一夕 6 6 1 Z N分周 器 6 7 、 送出丁 夕 メ モ リ 6 8 、 パター ンデータ発生部 6 9 、 第一制 御 Z駆動部 7 0 、 第二制御ん駆動部 7 1 を備える。 第一制御 Z駆動部
7 0 は二つのァ ン ドゲ一 卜 7 2 7 3 と、 二つのィ ンパ一夕ゲー ト 7
4 7 5 と つのオアゲ ― 卜 7 6 と力、 ら な り 、 また、 第二制御 /駆 動部 7 1 は フ 口 ン 卜 ライ 卜 7 7 と反射型液晶シャ ッ タ 7 8 と力ゝ ら な る。
第 1 3 図 ( a ) は フ Π ン 卜 ラィ 卜 7 7 と反射型液晶シャ ツ 夕 7 8 を示す図である 。 フ D ン 卜 ライ 卜 7. 7 は 反射型液晶シャ ツ タ 7 8 を 照 らせる も のであればよ い 。 すなわち 、 図のよ う に、 単純に照準の邪 魔にな ら ない と こ ろか ら照 らせれば い なお、 光タ グ装置 1 8 の光 源は の例 に限 らず 、 た とえば、 第 1 3 國 ( b ) のよ う に、 直接発 光する光源 8 0 と、 周囲光の回 り 込みや消灯時のできるだけ低い輝度 を確保する ための フ ド 8 1 と を含み合わせた構成 と して も よ いが、 晴 '天 曰 中の戸外で十分な輝度変動を確保でき る点では 、 第 1 3 図 ( a ) の 接成の方が よ り Π パ ヮ に構成でさ る可能性がある ので望ま し い。
次に、 光源の輝度、 距離、 面積、 フ ォ ト ディ テク タの感度、 ダイ ナ ミ ッ ク レ ンジ、 S Z N等について説明する。 光源や検出素子の実際値 の概算例は、 以下の とお り であ る。 なお、 言う までもな く 、 以下の概 算例は、 光度関連の計算をかな り 簡略化 したモデルに基づく ものであ る。
まず 、 第一実施形態において、 光タ グ装置 1 8 は第 1 3 図 に示され る よ う に フ ロ ン 卜 ライ 卜 7 7 と反射パネル 7 8 とで構成さ れ、 環境と して 、 晴天 日 中の戸外か ら夜間の屋外まで使える もの とする。
反射パネル 7 8 の大きさ は 1 平方メー トルであ り 、 フ ロ ン ト ライ ト
7 7 が発光状態にあ る ときの反射係数を 3 0 %、 フ ロ ン ト ライ ト 7 7 が発光していない状態にあ る ときの反射係数を 2 % とする。 また、 フ 口 ン ライ 卜 7 7 は、 1 0 0 0 ルーメ ン (家庭用電球 1 個程度) の光 を反射パネル 7 8 の全面 ( 1 平方メー ル) に均一に照射でき る も の とする
輝度の算出方法は、 「輝度 =反射係数 X照度 / π」 で一般的に求め ら れる
( a ) 輝度が X A (周囲環境 : 晴天屋外)
( b ) 輝度が X B (周囲環境 : 夜間街灯下)
の両極端の条件での光タ グの輝度を算出 した場合につ いて、 第 1 4 図 に図 する。
第 1 4 國は、 光タ グの輝度計算結果を示すグラ フ 図であ る。
( a ) 環境照度 (対数 X軸) において、 輝度が X A ( 1 0 万ルク ス) にあ る と き
a ― 1 : 反射パネル 7 8 のみの輝度 ( A点)
( 1 0 万 X 0 . 3 ) / T = 9 5 4 3 c d ( 1 平方メ ー トル当た り ) a ― 2 : フ ロ ン 卜 ライ ト 7 7 の照射分を加算した場合の輝度 ( B点) フ D ン 卜 ライ 卜 7 7 が 1 平方メ ー トルにスポ ッ ト照射した 1 0 0 0 ル メ ンの光は、 1 0 0 0 ルク スである と仮定する。 この場合、 フ ロ ン ト ライ ト 7 7 によ る輝度上昇分は
1 0 0 0 X 0 . 3 / T = 1 0 c d ( 1 平方メ ー ト ル当 た り ) であ り 、 a — 1 の輝度に加算する と、
9 5 5 9 c d ( 1 平方メー ト ル当た り ) となる。
a - 3 : フ ロ ン ト ライ ト 7 7 が発光していない状態の反射パネル 7 8 のみの輝度 ( C点)
( 1 0 万 X 0 . 0 2 ) / 7T = 6 3 6 c d ( 1 平方メ ー トル当た り ) こ の結果よ り 、 輝度が X A (周囲環境 : 晴天屋外) であ る と きは、 フ ロ ン ト ライ ト 7 7 が発光してい る時と発光していない と きの輝度の 比率は 1 5 : 1 である。
( b ) 環境照度 (対数 X軸) において、 輝度が X B ( 1 0 0 ルク ス) にあ る と ぎ .
b - 1 : 反射パネル 7 8 のみの輝度 ( D点)
( 1 0 0 X 0 . 3 ) / 7C = 9 . 5 4 c d ( l 平方メ ー ト ル当た り ) b - 2 : フ ロ ン ト ライ ト 7 7 の照射分を加算 した場合の輝度 ( E点) フ ロ ン ト ライ ト 7 7 による輝度上昇分は
1 0 0 0 X 0 . 3 / π = 1 0 c d ( 1 平方メー トル当た り ) であ り 、 b _ l の輝度に加算する と、
1 9 . 5 4 c d ( 1 平方メ ー トル当た り )
b — 3 : フ ロ ン ト ライ ト 7 7 が発光していない状態の反射パネル 7 8 のみの輝度 ( F点)
( 1 0 0 X 0 . 0 2 ) / 7t = 0 . .6 c d ( 1 平方メ ー トル当た り ) こ の結果よ り 、 輝度が X B (周囲環境 : 夜間街灯下) である と きは、 フ ロ ン ト ライ 卜 7 7 が発光してい る時と発光していない と きの輝度の 比率は 3 2 : 1 となる。
以上のよ う に、 晴天昼間戸外等の明る い環境では、 環境光反射によ る 度 で + な変 ¾幅が確保でさ ―方 夜間皿外等の暗い環境で は 、 フ ロ ン 卜 ライ 卜 7 7 による輝度差で十分な変動幅が確保でさる こ とがわかる。
なお、 輝度に注目する と、 近距離で の値をその ま ま観測する に し ても、 9 5 5 9 : 0 . 6 4 2 d b のダィ ナ ッ ク レ ンンが得 られる。 実際、 現状でも 4 5 d b 程度のダィ ナ ッ ク レ ンンの輝 計があ る の で 、 後述する よ う な亦久 B周方式にスぺク ラム拡散な どの ノ ィ ズ耐性の 強い も の を使えば、 の ま ま測定する と も可能であるが 高精度な フ ォ トディ テク 夕 と A / D の ビ ヅ 数も多ビ ッ 卜 ( 8 ビ ッ 卜以上) 必要となるため、 第 実施形 は 現状の丁パィ スでも安価に端末 を構成できる方法と して 、 フ 才 卜 丁ィ テク タのゲィ ン (場合によ つ て は レンズ絞 り.も) を制御 し、 第 1 4 図の台形図形枠 8 1 で示すよ う に、 以下のよ う なゲイ ン調整を している。
( a ) 明る く て変動の幅が大き い晴天屋外環境な どでは、 ゲイ ンを 下げて(それに加えて レ ンズ絞 り 等も併用 し)、飽和 しないよ う にする。
( b ) 暗 < て 動幅が少ない夜間員外な どでは、 ゲィ ンを上げる の う にすれば 環境照 条件に □わせ 2 0 d b 程度のダィ ナ ミ ッ ク レンジで 8 ビッ 卜程 の A / D ンパ 夕 ですむ制御が可能 になる なお フ 才 卜丁ィ テク 夕 のゲィ ンを制御する情報は 力 メ ラ 系が 、 やは り 少ないダィ ナ ッ ク レ ンジで正常に撮影する ため に細か く ゲィ ン制御を行 ている ので れを流用 してフ 才 卜 ディ テク 夕 の 系 も制御 して も よい
さて、 実際には の光夕 グ 置 1 8 の輝度は離れた顺术 (力 メ ラ 付携帯電話機 2 2 ) の フ 才 丁ィ テク 夕 6 1 で観測される 本発明の フ 才 卜ディ テク 夕 6 1 は 単体であ る ので 通常ィ メ ―ジセ ノサ (撮 影用ィ メ ジセ ンサ 5 7 ) 内で使われる フ 才 卜 ダイ ォ ド に比して、 数倍 数十倍も、 受光センサのサイ ズを十分大さ < と る とができ、 高速動作しても、 十分な感度 ダィ ナミ ッ ク レンンを確保できる の光夕 グ装置 1 8 は、 実際には 2 度 X 2 度の視野角の中で観測する ため 1 平方メー トルの大きさの Λネルだと フ ォ 卜ディ テク 夕 6 1 が 2度 X 2度の狭画角であれば 3 0 メ 卜ル以内で画角一杯に輝度 変動の検出ができるので、 非常に良好な検出 となる
第 1 5囿は、 フ ォ ト : rィ テク夕 6 1 の検出概 図である 。 図示の う に フ ォ トディ テク :夕 6 1 'の画角 を 2 度 X 2 度と しても、 近距離 (概 ね 3 0 メ一 トル以内) では、 画角 ―杯に輝度変動の検出を行う こ とが でさる 。 また、 それ以上の距離 たとえば、 6 0 メ ―卜ルの距離とな る と 1 平方メー トルの大きさ のパネルは、 周囲の輝度とパヮ が平 均されて輝度の変動が 1 / 4 とな り 、 さ ら に離れた距離、 たとえば、
9 0 メ トルでは 1 Ζ 9 となる 実用上は、 ゲィ ンの制御や A Z D の 度によるが、 元の光タグ装置 1 8 の変 ft自体が める条件下で見る と Γ 1 5 : 1 」 や 「 3 2 : 1 J などの十分高い比率で変動しているの で 1 平方メー トルの大きさのパネルであつても 1 0 0 メ一 卜ル程 に 定する こ とは可能である れはた とえば Tン丁ルカメ ラの レベルでも、 画素以上の面積がある対象で、 適切に露光設定されてい れば 非常に遠距離であっても 白い紙と黒い紙を区別して撮像でき る とか ら も明 らかである。 また よ り遠距離で 安定した検出を行
Ό ためには、 よ り大きなパネルや光度の高いフ Π ン 卜 ラィ h 7 7 を使
Ό など 、 よ り高精度の手ブレ補正とよ り狭いフ 才 卜 ィ テクタの検出 画角 にするな どの方法で対応可能である た 方 比較的近距離内 であれば、 手ブレ捕正機構を省略して、 余裕を も た検出画角 とする 方法 考え られる。
次に 、 データ形式と光タグの変 s周および復 について説明する 第 1 6 図は 夕形式の フ ォ一マツ ト構造図であ る。 ソ一スつ— 夕ブ Π ッ ク 8 2 は、 固定長の先頭ブロ ッ ク 8 3 と、 その先頭ブ D ッ ク の後に続く 可変長のパ ラ メ一タ ブロ ッ ク (図では第 1 〜第 3 パ ラ メ一 タ ブ D ッ ク の三つであるが、 こ のブロ ッ ク数は一例であ る) 8 4 〜 8
6 とか ら構成されている。 先頭ブロ ッ ク 8 3 は、 コ マン ド コー F部 8
7 、 第 1 パ ラ メ ータ ブロ ッ クバィ ト長格納部 8 8 、 第 2 パ ラ メ タ ブ
Π ッ ク長格納部 8 9 、第 3 パ ラ メ 一夕 ブロ ッ ク長格納部 9 0 か ら な り 、 第 1 〜第 3 パラ メ一タ ブ口 ク長格納部 8 8〜 9 0 に、 第 1 〜第 3 パ ラメ ―タ ブ口 ッ ク 8 4〜 8 の実際の長さ (バイ ト長) を格納する。
第 1 7 図は、 Π マ ン ド コ ド、部 8 7 の格納コー ド と、 その コー ド の 意味を示す図である 。 この 示すよ う に、 コ マン ド コー ド部 8 7 に は 、 た とえば、 " 0 " 6 でのコー ド を格納可能であ り 、 こ れ ら の 一ド は、 ¾末 、携帯電 ) の動作を指令するための マ ン ド、 た とえば 、 m W電話の W e ァクセスゃメ ール又はス ケジュ—ラな どの ァプ U ケ——ン ヨ ンを 、 取得した " ' 々 を元に制御できる う にするも のである。 ちなみに 、 コ一 0 " でパ ラ メ一夕 " 1 " だけのケ―ス は 、 従来技術 2 に相当する
第 1 8図は、 ァ―夕 の一例を示す図であ る。 この例では 、 コ マ ン ド ド " 2
F部 8 7 に コー がセ ッ 卜 さ れてお り 、 第 1 第 3 パ ラ メ 一夕 ブロ ッ ク長格納部 8 8 9 0 に、 それぞれ " 1 0 7 ' " 2 0 "、
0 がセ ッ 卜 されている そ して、 第 1 パ ラ メ一タ ブ ッ ク 8 4 と 第 2 ハ。 ラ メ一タ ブ口 ッ ク 8 に、 それぞれ、 前記の第 5 図 ( b ) の表 示情報 ( "情 ¾ '接続してよいですか ? ") と、 接続に必 要なァクセス / ス ワー ド) が格納されている。 なお、 図 示の例では、 夕 ブロ ッ ク 8 6 は未使用である
第 1 99 図図はは、 光タ グ装置 1 8 のプロセス 図であ る。 こ の図において、 光タ グ装置 1 8 は、 ソ スァ 夕 ブ D ッ ク 8 2 を受け取る と、 データ 圧縮や誤 り 訂正及びフ ラ グシ ケ ンスの付加を行い 、 データ ブロ ッ ク
8 2 0 を生成する。 そ して それ ら を互い に相 度の低い 2 種類の ビ ッ 卜 パター ン系列に変換した丁 ―夕 ブ Π ッ ク 8 2 1 を用 いて発光のォ ン /ォフ制御を行う 。 第 2 0 國は 、 ビッ 卜パタ一 ン系列のパタ ン拡散方式の説明図であ る □ 第一実施形態では ビ ッ トパター ン系列 ( S A S B ) の長さ を 長 < して、 S A = 「 1 1 1 1 0 1 0 1 1 0 0 1 0 0 0 」 S B = 「 0 0
0 0 1 0 1 0 0 1 1 0 1 1 1 」 の各 1 5 ビ ヅ 卜 とする。 今、 光タ グ装 置 1 8 の最小 © O N / 0 F F ス ロ ッ 卜時間 (第 1 0 國のタイ ミ ングジ m
ュネ レ一夕 6 6 の最小周期) を 1 ミ U 秒 とする と 1 ビ ッ ト送る の に 必要な時間は 1 5 ミ リ 秒であ り 、 ぺァの ビ V レ 卜 は約 6 7 ビッ ト
/秒でめる。 ただし、 実質の ビ ッ 卜 レ 卜 は 伝送するデータがテキ ス 卜 が主である ので、 誤 り 訂正によ る冗長化をデ 夕圧縮が上回 り 、 れ以上の ものになる と考え ら れる。 また 検出 に要する時間は、 あ る フ レ ムが最終的に 5 0 バィ 卜 にな た とする と 5 0 X 1 5 = 0 .
7 5 秒であるか ら 、 0 • 7 5 秒で 1 フ レ ム を取得できる。 ただし、 ある時点か ら のデータ取得がフ レームの途中か ら だとする と、 最悪で
1 • 5 X 2 = 3 秒で情報の取得が可能になる 0
f -^f^ st^"
次に 、 顺末 (カ メ ラ付 ^e
J ¾ AT ¾話機 2 2 ) で行 変調処理の詳細につ いて述ベる。 まず、 同期についてであるが のよ う なパター ンによ る符号拡散変調の場合 光タ グ装置 1 8 と 末 (力 メ ラ付携帯電話機
2 2 ) の両方で同期を取る必要があ る 0 第 実施形態では、 端末を力 メ ラ付携帯電話機 2 2 と してお り 端末側で通 IP5機能を持つので、 光 夕 グ装置 1 8 と の間で必要精度以上で独立同期を確保する のは容易で あ る し 、 または、 検出が成功する まで 定の位相ステッ プで端末側 で検出タイ ノグを シフ hさせる と い う 方法も可能である
本発明では フ ォ 卜丁ィ テク タ 6 1 によ る連続量での観測を行 Ό て いる ので、 れに適した 期および検出の方法 と して いわゆ る V チ ド フ ィ ル夕 の ピ ク を利用 して 、 パター ンの 1 周期の開始夕ィ ン グを取得する の とする これは 、 た と えば C D M A (' Code ^ Division
Multiple Access) な どにおける S A W (表面弾性波) マ ッ チ Hフ ィ ルタ によ る 期補足 ( G H z 帯で S A Wデバィ ス利用する fc の ) を 第一実施形態の κ H Z 帯域に応用 したも のでめ る。
第 2 1 図は 力 メ ¾ 考
ラ付 w电 ΰ口:機 2 2 の フ オ トディ テク 夕部 5 6 の 概念構造図 (第 7図の破線部の内部詳細に相当) である 。 ゲィ ン ン ト ロールされて観測された 目的画角内の輝度値は、 第 実施形態では パターン符号の時間ス Π ッ 卜 の 4.倍の周期、 すなわち 4 K H z で A
/ Dサンプ ングされ F I F 〇バッ フ ァ に入れ ら れる のサンプ ルク ロ ッ ク の位相は 光源 (光夕 グ装置 1 8 ) と非同期であつ て よ いが、 周期の誤差は 定に収め ら れている必要があ る o パッ フ ァ の長 さ は、 符号パ夕 ンであ る 1 5 ビッ 卜が 4倍の周期でサンプリ ングさ れる ので、 6 0 サンプル分が F I F 〇 に逐次格納さ れる F I F 〇 の 特定ア ド レスは 4 と に取 り 出され 、 符号ピ ッ 卜 1 に相当する丁一 夕群と、 符号ビ ッ h 0 に相当するつ タ群は 、 重み付けさ れつ つ 和計算を行 Ό マ ッ チ Hフ ィ ル夕 を構成する。 なお、 サンプルされた F
I F 0デー夕 を C P Uが逐次に 取 り 込んでソ フ ト 的に計莨する よ Ό に しても よい o
こ のフ ィ ル夕 の値域は 入力信号の相関値を示し、
取大 : 2 5 5 X 8 / 8 + ( 0 X 7 ) / 7 = 2 5 5
最小 : 0 X 8 / 8 ― ( 2 5 5 X 7 ) / 7 = - 2 5 5
で、 直流入力 の と さ 0 X 8 / 8 - ( 2 5 5 X 7 ) / 7 = 0 であ る。 た だし、目 的パター ンが入力 さ れ始めて、検出同期が取れる までであ る。 巨的パ夕 ン存在しない と き には、 正または負の小さ な値を と る。
第 2 2 図は 、 目 的パター ン信号は入力 さ れているが、 まだ位相が合 ていない時刻 ( 4 符合ビッ ト分 = 1 6 サンプル分ずれている) にお ける状態図 あ る。 図中のグラ フは、 F I F O に格納さ れてい るデー 夕サンプル値の時系列的な変化を示している。 実際の観測は、 図のよ う に 実検出のス ケール ( M A X 2 5 5 ) に比べて微小な信号変動 と なる 実際には、 図のよ う に観測デ一夕 に ノ イ ズが乗るが、 こ こでは 簡単化のために、 1 レベルで " 1 4 0 " 2 レベルで " 1 2 0 " であ る とする と の フ ィ ルタ の出力 は、 約 1 である。
第 2 3 図は 、 検出位相が合っ た と きの状態図である。 こ の状態では、 出.力は加え られたパター ンの変動幅 " 2. 0 " を出力する。 そ して、 こ か ら 4 サンプルの時間の間 (グラ フ上破線の状態まで) ほぼこ の ピ クが持続し 、 急激に出力が低下する。 実際、 観測信号を、 た とえば、 明状 で " 1 4 0 "、 暗状態で " 1 2 0 " と して検出できている場合、 各サンプル時刻での出力 を計算する と、 位相が合っ ている 4 サンプル 時間だけがピ —ク の " 2 0 " を示し、 あ と は、 " 1 . 4 " となる。 こ のよ う に 、 ピーク をきわめて簡単に検出できる ので、 それ以後の検出 夕ィ ングを合わせやすい。 フ ィ ルタ 出力は、 第 2 1 図で示したよ う に 4 サンプル分の F I F O に格納される。
第 2 4 図は F I F 0か ら C P Uが 0 / 1 の ビッ ト を判定し、 復号 ビ ッ hパッ フ ァ 5 0 に格納する までの処理を示すフ ロ一チヤ 一 ト 図で ある の処理では、 復号ビッ トバッ フ ァ 5 0 には一部の誤 り を含み つつ ビ ッ 卜列がデコー ド されて格納される ので、 あ と は、 通常の ビ ッ ト列に対するデータ処理で、 フ レーム検出 ( この実施形態では、 デ タ フ レ ムの最初 と最後に 1 の連続) や、 誤 り 訂正プロ ッ ク を取 り 出 して誤 り 訂正を行い、 送出 されたソースデータ ブロ ッ ク を復元して それに従 た処理を行う 。
具体的には 、 まず、 フ ィ ルタノ ッ フ ァ 6 5 のデータ を読み取 り (ス テッ プ S 3 1 )、 安定 した " 1 " の取 り 出 し を行う ため に、 4 サンプル 時刻連続してス レ ッ シュ を超えたか否かを判定する(ステッ プ S 3 2 )
4 サンプル時刻連続してス レ ッ シュ を超えた場合は、 t = - 1 のデ
―タ (ォ ―バ一サンプリ ングしたデータ の 中か ら安定 している 夕イ ミ ングの中頃 • 一 2 でも よ い) を取 り 出 し (ステ ッ プ S 3 3 )、 フ ィ ルタ 出力値がス レ ッ シュ を超えているか否かを判定する(ステッ プ S 3 4 ) そ して、 フ ィ ルタ出力値がス レ ッ シュ を超えていれば、 復号ビ ッ トパ ヅ フ ァ 5 0 に " 1 " を格納 し (ステッ プ S 3 5 )、 フ ィ ルタ 出力値がス レ ッ シュ を えていなければ、 フ ィ ルタ 出力値がス レ ッ シュ X ( ― 1 ) を えてい るか否かを判定する (ステッ プ S 3 6 )。
そ して 、 フ ィ ルタ 出力値がス レ ッ シュ X ( - 1 ) を超えていれば、 復号ヒ ッ バッ フ ァ 5 0 に " 0 " を格納し (ステッ プ S 3 7 )、 フ ィ ル 夕 出力値がス レ ッ シュ X ( — 1 ) を超えていなければ、 復号ビ ッ トバ ッ フ ァ 5 0 に " 0 "を ラ ンダム に格納する (ステ ッ プ S 3 8 )。次いで、 上位シ一ケ ンスか ら の検出停止の有無を判定 し (ステ ッ プ S 3 9 )、 検 出停止があれば、 処理を終了する一方、 検出停止がなければ、 4 サン プル時間を待つ てか ら (ステ ッ プ S 4 0 )、 再び t =— 1 データ の取 り 出 し を行い (ステッ プ S 4 1 )、 以上のステ ッ プ S 3 4 以降の処理を繰 り 返す。
以上の とお り であ るか ら 、 第一実施形態によれば、 以下の効果が得 られる'。
(ァ ) テ一夕通信の受信を専用 のセ ンサ ( フ ォ ト ディ テク タ 6 1 ) で行う ので 、 実際のカ メ ラ画角画像とその中の位置 と情報を取る と い う従来技術 2 の利便性をその ま ま に、 データ の転送速度、 つま り 、 情 報の取得までのディ レイ時間や伝送速度を速める こ とができる。
(ィ ) 光の変調の処理については、 1 データ に対するバッ フ ァ リ ン グゃ演算処理となるので、非常に簡便な処理構成とする こ とができる。
(ゥ) フ ォ トディ テクタ 6 1 の光学系に手ブレ補正を加えたため、 狭い検出画角で手持ち撮影する端末であっ ても、 安定した検出を可能 にする こ とができる。
(ェ ) 屋外広告と 帯電話とを併用する利用スタイルに適用 したの で れによ り 、 広口主は 限定サ ビス的なプロモ ——ンョ ンが可能 になる し 、 屋外広告に対する広 効果の定量的計測も可能になる 方 ザも、 特別な情報提供を伴 看板とい ■5 こ とで、 広口への 知 が自然に向上する効果がある
(ォ ) よ たとえば I C 夕グや力 メ ラによる 2 次元コ によ る情報提供などと比較して さわめて広いェ リ ァを対象とする とが でさ しかも、 看板等 の物理実体と組み合わせた情報提供が可能に なるので 、 独特の広 効果をもた らす とができる。
(力 ) また、 ΊΊ 送丁 ―タ に様 な通信連携コマン ドを組み込めるよ う に したので、 やはり非常に効果的な情報提供が可能となる
(キ ) 符号拡散した ルス変調と したので、 微弱な婶度 1目号でも安 定して検出できる。
(ク ) ォ パ サンプ U ングした連 丁 夕 に対して、 マッチ ドヽ フ ィ ル夕 を構成したので 光夕 グ装置側と端末側の位相同期合わせが簡 単にでさる。
(ケ ) 光タ グ装置 1 8 をフ Π ン ラィ 卜 7 7 と反射型液晶シャ ッ 夕
7 8 とを組み合わせた構成に したので 室内のみな らず、 晴天曰 中屋 外か ら夜間屋外までの様 な状況において 安定した輝度変動をも 2 た らすこ とがでさる o
( 3 ) 看扳 1 6 と光タグ装置 1 8 とい う配置手段と したので 、 ュ ザが認知 しやす < 、しかも、独特の広口効果をもた らすこ とがでさる。
(サ ) 力メ ラの露光制御データか ら フ ォ 卜丁ィ テク夕 6 1 のゲイ ン 制御等を行う ので 利用状況に合わせた最適なダィ ナミ ッ ク レンジゃ 感度を確保でさる o
なお 、 従来技術 2 では、 最終的な光源の変 B周に関して 離散的、 完 結的な画像デ 夕か ら高い S / N比で伝送でさる方法と して、 ビッ 卜 をパ夕 —ンに拡散する変調方法しかできなかつ たが 、 第 実施形態で は、 フオ トディ テクタ 6 1 による方法で、 高速かつ 、 連 測がで ぎるので、 検出丁 タの特性が確保できれば り 単純な変調方式、 たとえば、 特定キャ U ァの周波数 ( 1 0 K H Z ) でのパルス変調と するなどしてもよい o その他、 パルス周波数の切 り替え変調で 同様 である
また 、 従来技術 2 でも述べたよ う に 、 力 メ ラ び画面上での照準 合わせを省略して フ ォ トアイ テク 夕 6 1 のみと して、 単純な筒、 ま たは 望遠光学フ ァィ ンダだけで照 を合わせ 示、 動作を行わせ と も可能である o
<第二実施形 >
と ろで、 以上の第一実施形態では 、 光タグ装置 1 8 の輝点を受光 するための受光手段にフォ 卜ディ テク夕 6 1 を用いているが、 これに 限定されない o 情報提供対象物 (光夕グ装置 1 8 ) の大きさ に対応し た画角を有する ものであればよい。 たとえば C C Dや c M〇 S など のィ メージセンサであつ てもよ く 、 ある いは 複数のフ 才 トディ テク 夕 を平面上に配列したものであっても い
以下 C C Dや C M 0 S などのィ メ ―ジセンサを利用 し 施形態 (以下 第二 施形態と い Ό ) を説明する。
第 2 5 図は、 第二実施形能における カ メ ラ付携帯電話機 2 2 0 の内 部ブ Π ッ ク構成図である この図において、 カ メ ラ付携帯電話機 2 2
0 は 刖記の実施形態の フ 才 卜 ディ テク タ 6 1 の代わ り にイ メージセ ンサ (以下、 撮影用ィ メ ジセ ンサ 5 7 と 区別するために 「通信用ィ メ ジセ ンサ 6 1 0 」 と い う 0 ) を用 いた点に特徴がある。
すなわち 、 第 実施形能における カ メ ラ付携帯電話機 2 2 0 は、 ァ ンテナ 2 4 を含むデータ通信部 4 8 、 データバッ フ ァ 4 9 、 復号ビ ッ 卜パ ッ フ ァ 5 0 カ メ ラキ ― 2 8 な どの各所ポタ ンを含む操作ポタ ン 部 5 1 ( 2 8 3 2 )、 ス ピ 力 2 6 やマイ ク 3 3 を含む音声入出力部
5 2 表示部 2 7 C P U 5 3 、 加速度セ ンサ 5 4 、 手ブレ補正用 ァ ク チュェ —夕 5 5 、通信用ィ.メ - -ジセ ンサ部 5 6 0 、撮影 レ ンズ 3 4
C C Dや C M〇 S 等の撮影用ィ メ ンセ ンサ 5 7 、画像ノ ッ フ ァ 5 8 表示 ッ フ ァ 5 9 及び記憶部 6 0 な どを備える /よお、 れ以外に も パ ッ テ 等の電源部を備えるが 面の輻輳を避けるため に省略して い る
通信用ィ メ 一ジセ ンサ部 5 6 0 は 集光レ ンズ 3 5 、 通信用ィ メー ジセ ンサ 6 1 0 増幅及び A / D変換 6 2 夕イ ミ ングジエネ レ一 夕 6 3 マ ッ チ フ ィ ル夕 6 4 フ ィ ル夕パ V フ ァ 6 5 を備える。
刖記の実施形 と同様に 、 撮影 レ ンズ 3 4 や 影用ィ メージセ ンサ
5 7 を含むカ メ ラ部分の構成に特筆すべき ものはない。 ユーザが意図 する光夕 グに対 して照準を合わせる こ とができ る フ ァイ ンダ的な機能 や実画像の中での情報光源の位置を表示するための機能があればよ レ 。 そのため 、 力 メ ラ部分のフ レ ム レ一 ト は、 た とえば、 送出の信号速 度が数十ビ ッ 卜ノ秒ゃ数百ヒ ッ ト /秒であ っ た と しても、 照準確認上 の問 mはない、 たとえば 1 0 コマ /秒程度の画像取得能力でよい。 なお 力 メ フ部分のゲィ ノ 3 ン 卜 Dール等の情報は、 力 メ フ部分の内 部で閉 じずに通 用ィ メ ―ジセ ンサ部 5 6 0 のゲイ ン ン ールの 設定に流用 しても い o 通信用ィ メ ―ジセ ンサ部 5 6 0 は 、 光タ グ装置 1 8 の輝度変動信号 を丁ジ夕ィ ズし 相 1关〗度評価までを行う ブロ ッ ク であ り 基本的に、 記実施形锥の フ 才 卜 丁ィ テク 夕部 5 6 (第 7 図参照) と同様の働き をするが 刖記実施形態の フ 才 卜 Τィ テク 夕部 5 6 が 1 個の光電変換 素子 (フ 才 卜丁ィ テク 夕 6 1 ) を備える の に対 して 、 第 実施形態の 通信用ィ メ一ンセ ンサ部 5 6 0 は C C D 又は C Μ 0 S 等で構成さ れ た複数の光電変換素子 (画素 ) か ら なる二次元のィ メ一ンセ ンサ (通
«
信用ィ メ ンセ ンサ 6 1 0 ) を備える点で相違する
フ ォ 卜 丁ィ テク 夕 6 1 と通信用ィ メ 一ジセ ンサ 6 1 0 は どち ら も
Γ光を電気信号に ヽ換する J デバィ スであ る。 フ ォ ディ テク 夕 6 1 は単 の光電 、換素子で構成されている のに対して 、 通信用ィ メ ージ セ ンサ 6 1 0 は複数の光電変換素子 (複数の画素) で構成されている 点で相 する o ただし 通信用ィ メ ージセ ンサ 6 1 0 の画素数は撮影 用ィ メ ンセ ンサ 5 7 よ り も少な < てよい。 つま り 、 撮影画質が要求 される撮影用ィ メ ジセ ンサ 5 7 に比べて、 単に狭画角内の輝点の検 出 を行う だけでよ い M信用ィ メ一ジセ ンサ 6 1 0 は 、 低解像度 (た と えば 3 0 ドゝ ッ X 3 0 ド、 ッ 卜 ) の もので構わない o 情報を発する光源 (光タ グ装置 1 8 ) は、 前記の実施形 と 同 じ く
1 k H z のベ一スパン 信号を 4 倍の速度でサンプリ ングする もの と する o したがつ て 通信用ィ メ一ンセンサ 6 1 ' の フ レ ―ム レ一 卜 は
4 0 0 0 フ レ一ム /秒 とな Ό 1 / 4 0 0 〔秒〕 = 0 . 2 5 リ 秒で ある ので 0 - 2 5 リ 秒 定の シャ ッ タ ¾度で必要なダィ ナミ ッ ク レ ンジを満たすよ う に丁パィ ~7
スき凡
ΠΧ計すればよい。 通信用イ メージセンサ 6 1 0 の解像度を既述の とお り 、 3 0 X 3 0 ド、 ッ ト とする と、 この場合のフ レーム全画素読み出 しのデ一タ レ一 ト は 1 ド ' y ト を 8 ビッ ト のデ一夕 と して、 3 0 X 3 0 X 4 0 0 0 = 3 ,
6 0 0 0 0 0 フ レーム /秒になる。
般的な V G A ( 6 4 0 X 4 8 0 ド ッ ト) 規格のイ メージセ ンサの 場 □ 3 O f p s (フ レーム 秒) は常用の帯域幅であ り 、 この 3 0 b P s のデータ レー 卜 は、 6 4 0 X 4 8 0 X 3 0 = 9 , 2 1 6 , 0 0
0 V Z秒であるので、 第二実施形態の通信用イ メージセンサ 6 1
0 の丁 タ レ一 ト ( 3 , 6 0 0 , 0 0 0 フ レーム Z秒) 程度であれば、 余裕を持つて実現する こ とができる。
次に 具体的設計数値及び検出角度、 距離並びに対象の大ささの関 係について説明する。 想定する利用状態を前記の実施形態の第 1 図
( a ) と同 じ とする。 また、 光タグ装置 1 8 と端末 (カメ ラ付携帯電 機 2 2 0 ) との距離を 5 0 mと し、 光タグ装置 1 8 の光源の大きさ を 1 0 c m X 1 0 c mの矩形 ( 1 0 c m四方) とする。
第 2 6囿は、 第二実施形態のカ メ ラ付携帯電話 2 2 0 における撮影 レンズ 3 4 (撮影用イ メージセンサ 5 7 ) の撮像画角 ( 2 6 度 X 3 9 度程 ,又の広画角) を示す図であ り 、 第 2 7図は、 同カ メ ラ付 ¾ -ttt a=- si
3¾ W ¾ Βα
2 2 0 における通信用イ メージセンサ 6 1 0 の検出画^ ( 6 度 X 6 度 个呈度の狭画角) を示す図である。
で 、 手ブレゃ大雑把な照準合わせを実現する 目標値の一例と し て 5 0 m先の 5 m範囲をセンサ画角 (通信用イ メージセンサ 6 1 0 の画角 • 6 度 X 6 度) とする。 6 度は正接 ( 5 m/ 5 0 m) で与え ら れる 画角 6 度四方で且つ 3 0 X 3 0 ド ッ 卜の通信用ィ メ一ジセンサ
6 1 0 の 1 ド ッ ト あた り の被覆角度は約 6 Z 3 0 = 0 . 2 度四方で与 え られる 第 2 8 図 ( a ) 〜 ( d ) は、 光タ グ装置 1 8 の照明部分の面積 ( 1 0 c m X 1 0 c m) のそれぞれの距離における見かけの ド ッ トサイ ズ G を示す図である。
た とえば、 第 2 8 図 ( a ) に示すよ う に光タ グ装置 1 8 がカメ ラ付 携帯電話 2 2 0 の 5 m先、 すなわち l O c m ^ l . 1 度である場合、 光タ グ装置 1 8 の ド ッ トサイズ Gは 1 . 1 / 0 . 2 = 5 . 5 ド ッ ト幅 とな り 、 輝度変化を 1 0 0 %取れる。 また、 第 2 8 図 ( b ) に示すよ う に光タグ装置 1 8 がカ メ ラ付携帯電話 2 2 0 の 1 0 m先、 すなわち 1 0 c m = 0 . 6 度である場合、 光タグ装置 1 8 の ド ッ トサイズ Gは 0 . 6 / 0 . 2 =約 4 ド ッ ト幅とな り 、 輝度変化を 1 0 0 %取れる。 また、 第 2 8 國 ( c )、 ( d ) に示すよ う に光タ グ装置 1 8 がカ メ ラ付 携帯.電話 2 2 0 の 5 0 m先、 すなわち 1 0. c m ^ 0 . 1 1 度である場 合、 光タグ装置 1 8 の ド ッ トサイズ Gは' 0 . 1 1 0 . 2 =約 0 . 5 ド ッ ト幅とな り 、 1 ド ッ ト以下の面積の輝度変化になって、 パワーが 1 4〜 : L / 1 6 程度になる。
このよ う に、 光タグ装置 1 8 か ら 5 0 m離れた場所 (カ メ ラ付携帯 電話 2 2 0 の場所) では信号強度が 1 4 以下になるが、 この程度の 信号低下は何ら不都合を招かない。一般的なイ メージセンサであれば、 1 ド ッ ト あた り のダイ ナミ ッ ク レンジが 3 0 〜 5 0 d B程度であるの で、 1 ド ッ ト被覆している状態での 0 N光源の検出 レベルがダイ ナミ ッ ク レンジの 5 割〜飽和 レベルであれば、 検出電圧が 1 / 4 (つま り - 6 d B ) 落ちてもまっ た く 不都合を生じない。
なお、 0 . 2 5 ミ リ秒のシャ ツ夕速度についてであるが、 一般的に 光源の絶対輝度はほぼ一定でしかも視認性の要求上、 周囲に対して非 常に高い輝度レベルにあるので、 通信用イ メージセンサ 6 1 0 を上記 の 4 0 0 0 フ レーム 秒 (約 0 . 2 5 ミ リ秒のシャ ツ タ時間) で動作 させても、 レンズ口径やゲイ ンなどで容易に対応可能であるため、 光 源の点滅情報を十分に取得できる。 なお、 周囲照明の照 り 返し等によ る輝度上昇が若千あるが、 信号自体の O N / O F F の輝度変化に比し て、 それは大きな問題でない。
もち ろん、 たとえば、 周囲が暗く なつ た場合には、 周囲画像はいわ ゆる Γ黒 Aヽれ 」 になる し、 又は、 晴天の場合などはいわゆる 「白 卜 ビ」 になるため 、 固定のシャ ツ タ速度では、 写真のよ う な画像と して の取得は困難であるが、 通信用イ メージセンサ 6 1 はもっ ぱら "通信 用 " であって 、 モニタ用や撮影用 には利用 しないので、 情報光源以外 の周囲画像が Γ白 ト ビ」 や 「黒つぶれ」 したと しても、 何ら影響を受 けない 次に 、 .第二実施形態では、 手ブレ機構 (ァク.チユエ一夕 5 5 ) を不 要にする こ と も可能である。 これは、 第一実施形態のフ ォ トディ テク 夕 6 1 の画角 Γ 2 度 X 2 度」 に対して、 第二実施形態の通信用ィ メ一 ジセンサ 6 1 0 の画角が 「 6 度 X 6 度」 と大きいか らである。 つま り 、 手ブレの許容量が 3 X 3 = 9倍とな り 、 大きなブレ (手ブレ · 歩
t I 乗り 物か らの利用など) に対する耐性が強化される。 なお、 こ こでは、
通信用ィ メーンセンサ 6 1 0 の画角を 「 6 度 6 度」 と しているが、 これは一例に過ぎない。 手ブレ耐性の点ではそれ以上の画角 に しても 差し支えない 第 2 9 図は 、 第二実施形態における手ブレ機構不要の概念図である この図に示すよ う に、 通信用イ メージセンサ 6 1 0 は、 集光レンズ 3
5 の後ろ に配置されてお り 、 光点 Aの像は集光レンズ 3 5 を通して通 信用ィ メージセンサ 6 1 0 の受光面に結像する。 今、 ( a ) に示すよ う に光点 Aが集光レンズ 3 5 の光軸上に位置している とき、 光点 Aの像 は通信用ィ メ ―ジセンサ 6 1 0 の受光面のほぼ中央の位置 B に結像す るが ( b )に すよ う に光点 Αが 光レンズ 3 5 の光軸か らずれて位 置している ときには、 その光点 Aの像も集光レンズ 3 5 の光軸か らず れた位置 B に結像する の とぎ 通信用ィ メ ジセンサ 6 1 0 の 受光面の大ささが充分であれば、 つま 'り 位置 B を含む程度の大き さであれば 位置 Aの像は勿論の と位置 B の像も撮影して 位置合 わせ (位置 A'の像に重ね合わせる ) とがでさ それ え 画像処理 による手ブレ補正を行う こ とが可能になる したが て 手ブレ捕正 機構 (ァクチュ 夕 5 5 ) を備える必要がない o
なお、 手ブレ捕正のための画像処理方法と しては 以下のちのを利 用する こ とができる。
第 3 0 國 は、 パターンを捕捉可能な動きの対応限界模式図である。
、や
ΊΘ ■¾ィ メ ンセンサ 6 1 0 の各 ド ヅ を並行して処理する ¾ の [¾1に示すよ Ό に、 二つのパ夕一ン系列で複数フ レ一ム (たとえば、
1 5 フ レ一ム ) を通じて重な り の ド ッ 座標 Hが生じなければ、 パタ ンとの相 ¾を示す ド ッ 卜が生じず したがつて パタ *■ ン検出をで さない とになる。
次式 ( 1 ) は 、 パターンを捕捉可能な動きの対応限界の一般式であ る o
d > m P f X n X X · · ( 1 )
d : 対象スポッ 卜直径 ( d i a m e t e r )
m P f - 1 フ レーム時間の移 ド、 ッ 卜数 ( M 0 V e P e r F r a m e )
n : 拡散符号長 (またはつ 夕ブロ ッ ク長 )
X : 対象信号に対するキャ プチャ の倍速
上式 ( 1 ) に n = 1 5 ( S Aおよび S Bパ夕 ンの ビ V ト数 = 1
5 ビッ ト)、 d = 4 ( 1 0 m先の 1 0 e m = 0 . 6 度 0 . 6 / 0 . 2 = 約 4 ド ッ ト幅)、 x == 4 ( 1 k H z のべ一スノ'ン ド信号を 4 k H z キ ヤ プチヤ で捕捉する ので 4 ) を当てはめ、 こ の条件で m p f を解く と、 次式 ( 2 ) となる。
m p f < d / ( n X x ) = 4 / ( 1 5 X 4 )
Figure imgf000041_0001
間 … · ( 2 )
0 . 6 7 'ド V 卜 はおよそ 0 • 1 3 4度であので したがつ て 1 秒 あた り の角速 1 の場合 0 • 1 3 4 X 4 0 0 0 = 5 3 6 度ノ秒 と レ Ό さわめて早い角速度に も対応できる こ とがわかる もち ろ ん、 角速度 の最大は 5 3 6 度 Ζ秒であ るが 、 その変動範囲は 第二実施形態の場 合 6 度四方 (通信用ィ メ ンセ ンサ 6 1 の画角 6 度 X 6 度 ) の中 に収めなければな ら ない
これ ら の例示 した値は 実際に本発明が利用 される場合に、 適切に き/
定される た とえぼ よ り 小さ い信号光源 、 よ り い信号光源に対 応させる塲合には、 通信用ィ メ ージセ ンサ 6 1 0 の解像度を上げる にすれば い 手ブレ等の許容範周が小さ < てよ い場 □ は、 通信用ィ メ ―ジセ ンサ 6 1 0 の画角 を絞る とで よ り 小さ い ド、 ッ 卜 面積に対応させる こ と もできる 。 さ ら に さわめて激しいブレに対応 させるため には 、 さ ら に フ レ ム レ一 卜 を上げるな ど して もよ い 。 ち なみに、 フ レ ―ム レ一 卜 を上げれば、 通信速度が上がる こ とはい う ま でもない
いずれに し ろ 、 第二実施形態では、 通信用ィ メ ンセ ンサ 6 1 0 の 画角 ( 6 度四方 ) の中 に収めてさ えいれば 如何に
Figure imgf000041_0002
号捕捉がブレよ う と も実用上問題はな < 通信用ィ メージセ ンサ 6 1 0 の手ブレ機構
(ァク チュェ 夕 5 5 ) を不要にする こ とができる
以上の とお り であるか ら 第二実施形 によれば 以下の効果が得 られる。
まず、 二次元通信の特質を出すこ とができる。 つ ま り 、 通信用ィ メ
—ジセ ンサ 6 1 0 で複数の信号を同時に受信でき、 それぞれ位置的に 弁別 (通信用イ メージセ ンサ 6 1 0 の画素位置によ る弁別) する こ と ができる。
また、最小検出角度と検出範囲の両立を図る こ とができる。つ ま り 、 第二実施形態では検出照準の範囲を 6 X 6 度 と したので、 前記の実施 形態の同範囲 ( 2 度 X 2 度) の 9 倍の面積範囲に広げなが ら 、 最小の 光源面積を 0 . 2 度以下とやは り 9 倍とする こ とができる。こ のため、 同一光源であれば、前記の実施形態の 3 倍の距離でも検出可能であ り 、 又は、 同一距離であれば、 前記の実施形態の 1 Z 9 のサイ ズの小さ な 光源であ っ ても検出可能.であ り 、 さ ら に、 検出角度 (画角) を.広 く 取 れる ので、 ユーザが行う 照準エ リ アの範囲を検出限界の角度な どを保 つ たま ま大き く する こ とができる。 したがっ て、 大雑把な照準合わせ が可能とな り 、 情報取得時の操作性を向上できる。
また、 機構の単純化を図る こ とができ る。 つま り 、 狭い限界検出角 度を狙う 場合に先の実施形態で示したよ う な手ブレ補正機構 (ァク チ ユエ一タ 5 5 ) を不要にする こ とができる。
また、 コ ス ト メ リ ッ ト を図る こ と もできる。 つま り 、 通信用ィ メ 一 ジセ ンサ 6 1 0 の画素数は、 撮影用イ メ ージセ ンサ 5 7 に比べて少な く てよ く 、 低解像度の も の (安価な もの) を使用できるため、 しか も、 光学系の精度も必要と しないため、 コ ス ト を抑える こ とができ る。
また、 通信に特化した二次元セ ンサ (通信用イ メ ージセ ンサ 6 1 0 ) を使用する ので、 セ ンサ感度の調整や設計が極めて単純になる。 つ ま り 、 一般的な景色は、 夜間か ら晴天の昼間まできわめて大きな照度の ダイ ナミ ッ ク レ ンジを も っ ているため、 景色を写すカ メ ラ はシャ ツ 夕 速度、 レンズ絞り 、 ゲイ ンなどを組み合わせて数十〜 1 0 0 d Β の実 世界の照度及び輝度範囲をまかなわなければな らない。
しか し 、 第二実施形態のよ う に、 通信専用のイ メージセンサ (通信 用ィ メ ジセンサ 6 1 0 ) を使用するよ う にすれば、 光通信だけを 目 的に したセンサとなるの で、 モニタ画像取得等の処理を一切考える必 要がな < 、 一方、 情報光源側は、 一定の絶対輝度をもつため、 ゲイ ン の Β周敕は目的信号に対してだけ行えばよいので、 感度の調整や設計が 極めて単純になる。
第 3 1 図〜第 3 3 囿 は、 第二実施形態のカ メ ラ付携 ¾: ¾is- ≤t
fT ¾ Ηΰ機 2 2
0 に適用 して好ま しい制御プロ グラム (撮影モー ドプログラム ) のフ
D チャー ト を示す図である。 このフ ローチャー ト を開始する と、 ま ず 、 撮影用イ メージセンサ 5 .7 等のカ メ ラ部を起動し (ステツ プ S .5
1 )、そのカメ ラ部で撮影したフ レーム画像を構図確認用のスル一画像 と して表示部 2 7 に表示する (ステッ プ S 5 2 )
次いで 、 ユーザによって、 所定のサブメニューの表示指示が行われ
たか否かを判定する(ステッ プ S 5 3 )。 "所定のサブメ:: とは、 光夕グ装置 1 8 か ら の情報受信用メニューの こ とであ り 、 当該メニュ 選択用のポタ ンが、 あ らかじめ操作部 5 1 に設けられている もの と する
サブメニューの表示指示が行われなかっ た場合は、 撮影モ一 ド用の 通常処理を実行し (ステッ プ S 5 4 )、 一方、 サブメニュ一の表示指示 が行われた場合は、 以下の処理を実行する。
すなわち、 表示部 2 7 に上記の所定のサブメニューを表 し (ステ ヅ プ S 5 5 )、 そのサブメニューで、 光タグ装置 1 8 か らの情報を受信 して 、 その情報を撮影画像と一緒に記憶するか否かをュ ―ザに問い合 わせる (ステッ プ S 5 6 ) そ して、 ユーザによっ て否定 (情報の記憶を行わない) 選択が行わ れた場合は、 上記の通常処理 (ステ ッ プ S 5 5 ) に戻 り 、 肯定 (情報 の記憶を行う ) 選択が行われた場合は、 表示部 2 7 に表示中のスルー 画像内に所定の "グ リ ッ ド " を表示する (ステッ プ S 5 7 )。
し こで、 "グ リ ツ ド " と は、 通信用イ メージセンサ 6 1 0 の画角 ( 6 度 X 6 度) を表す矩形状の枠線であ り 、 前記の実施形態の照準枠 4 0
(第 4 図 ( a ) 参照) に相当する ものである。 光タ グ装置 1 8 か ら の 情報を受信しょ う とするユーザは、 そのグ リ ッ ド 内に、 光タ グ装置 1
8 の全体または光タ グ装置 1 8 を含む看板等の掲示物が収まる よ う に 力 メ ラ付き携帯電話機 2 2 0 の向き (撮影方向) を調節する。
次に、 グ リ ッ ド内 に輝点が検出されたか否かを判定する (ステッ プ
S 5 8 ) o .
グ リ ツ ド 内に輝点が検出 されなかっ た場合 (ステ ッ プ S 5 8 の判定 果が " N 0 " の場合) は、 操作部 5 1 のシャ ツ タポタ ン (不図示) の押 し下げ操作を判定し (ステッ プ S 5 9 )、 シャ ツタ操作が行われな ければ、 再びステ ッ プ S 5 7 に復帰する。 シャ ツ 夕操作が行われた場 は 、 その時の撮影用イ メ ージセ ンサ 5 7 の撮影画像を取 り 込む と と
¾ に (ステッ プ S 6 0 )、 光タ グ装置 1 8 か ら の情報を受信 していない と を警告する ための所定のメ ッ セージを表示部 2 7 に表示し (ステ ッ プ S 6 1 )、ユーザによ る画像保存指示を検出する(ステッ プ S 6 2 ) そ して、 保存指示がなければ、 撮影 した画像を破棄して (ステ ッ プ S
6 3 ) フ ローチャー ト を終了 (メ イ ンプロ グラムへ リ ター ン) し、 一 方 、 ユーザによ る画像保存指示を検出する と、 撮影 した画像を フ アイ ル化 し (ステッ プ S 6 4 )、 その フ ァイ ルを記憶部 6 0 に保存 (ステツ' プ S 6 5 ) した後、 フ ロ 一チャ ー ト を終了 (メ イ ンプロ グラムヘ リ 夕 ーン) する。 のよ う に、 ダリ ッ ド内に輝点が検出されなか た■w口 は、 光タ グ 装置 1 8 か ら の情報を受信していない とを警告するための所定のメ ッセ ジを表示した後 、 通常のカメ ラ撮影と同様に その時の撮影画 像をフ アイル化して記憶保存する こ とができる。;:二のため、ュ ザは、 上記の警告メ ッセージによつ て、 光夕グ装置 1 8 か ら の情報を受信で きなかつ たこ とを知る こ とができる。 つま り 、 保存された画像が通常 の力 メ ラ撮影と同じ もの (情報無し画像 ) である とを直感的に知る こ とができる。
方 、 グリ ッ ド内に輝点が検出された場合 (ステッ プ S 5 8 の判定 結果が " Y E S " の場合) は、 そのグ U ッ F内の輝点部分を差別化表 示する (ステッ プ S 6 6 ) ユーザは、 差別化表示された輝占部分を確 認.し その輝点部分がグリ ッ ド内に収ま.つ ているかなどを判断して必 要でめれば、 カメ ラ付き携帯電話機 2 2 0 の向き (撮影方向 ) を微調 整する
次いで、 操作部 5 1 のシャ ッ タホタ ン (不図示 ) の押し下げ操作を 判定する(ステッ プ S 6 7 ) 。そして、シャ ッタ操作が行われなければ、 再びステツ プ S 6 6 に復帰し、 シャ ツ 夕操作が行われた場 a は、 その 時の撮影用イ メージセンサ 5 7 の撮影画像を取 り込む (ステッ プ S 6
8 )。
こで、 撮影用イ メージセンサ 5 7 は 、 毎秒数十枚フ レームの画像 を連続的に生成出力するが、 グリ ツ ド内の輝点 (光夕グ装置 1 8 の輝 占 ) も、 毎秒数回ない しは数十回の周期で点滅する光であるため、 撮 影用イ メージセンサ 5 7 か ら は、 輝点を含む画像と含まない画像の二 種類の画像が生成出力される こ とになる 。 保存記憶用の撮影画像と し ては 、 輝点を含まない画像を使用する とが望ま しい 輝点を含む画 像を保存した場合、 その輝点が邪魔になつ て画像の見栄えが悪く なる らでめ る かかる理由 よ り 、 第二実施形態では、 ステツ プ S 6 8 で 保存用 の画像を取 り 込む際に、 輝点を含まない画像を選択する よ に している
画像の取 込みを完了する と、 次に、 光タ グ装置 1 8 か ら の情報受 信を終了 したか否かを判定する (ステッ プ S 6 9 )。 終了 していない場 合は、 表示部 2 7 に情報受信中を示す砂時計等のァィ コ ンまたは記号 若し く はメ ッセ ジを表示し (ステ ッ プ S 7 0 )、 ステッ プ S 6 9 を繰 り 返す
光夕 グ装置 1 8 か ら の情報受信を終了する と、 次に 、 ステツ プ S 6 8 で取 り 込んでおいた画像 (輝点を含まない画像) と受信 した倩報 と をま とめて つの画像フ アイ ルを生成する と共に (ステツ プ S 7 1 • 関連付け手段 受信した情報を表示部 2 7 に.表示する (ステ ツ プ S 7 : 表示手段 )。
次に ュ ザによる画像保存指示があるか否かを判定し (ステッ プ
S 7 3 )、 画像保存指示がなければ、 ユーザか ら の情報の再受信要求が あるか否かを判定する (ステッ プ S 7 4 : 操作受け付け手段、 再受信 実行手段)。 情報の再受信要求がある場合は、 表示部 2 7 に表示した情 報にエラーがめつ た とみな し ステ ッ プ S 6 9 以降を再実行する。 こ で 、 情報の.再受信を行う 際には、 画像の取 り 込み (ステッ プ S 6 8 ) を行わないよ う に している。 れは、 ステ ツ プ S 6 8 で取 り 込んでお いた画像に何ら の不都合がな < 、 単に光タ グ装置 1 8 か ら の情報受信 の際に何 らかの ト ラ ブル (通 障害等) が生じただけであるか ら であ る こ のよ う にする と、 情報の再受信を行う 際の処理負担軽減及ぴ処 理時間短縮を図る とができる
情報の再受信を行わない場 α は、 ステッ プ S 7 1 で生成 した画像フ ァィ ルを破棄して (ステッ プ S 7 4 )、 フ ローチヤ ト を終了 (メ イ ン プロ ダラ ムへ リ 夕 ン ) する また 青報の受信が正常に元 f し、 且 つ、 画像の保存指示が検出 された場 □ (ステッ プ S 7 3 の " Y E S ") は、 ステ ッ プ S 7 1 で生成 しておいた画像フ ァィ ル 、 すなわち ス テ ッ プ S 6 8 で取 り 込んでおいた画像 (輝点を含まなレ 画像 ) と受信情 報と を含む画像フ ァィ ルを記 ΐ ΐΛ部 6 0 に保存し 、 フ Π チャ 卜 を終 了 (メイ ンプ口 グラムへ U 夕 ン ) する
こ こで ステ ッ プ S 6 8 で取 Ό 込んでおいた画像 (輝 占を含まない 画像) と受 情報と を含む画 ί象フ ァィ ルの 例 と しては 丁ジ夕ル力 メ ラ の汎用形式画像フ ァ イ ルであ る E x i f ( Exchangeable image file format: 主画像のデータ と一緒に撮影時の様々 な付属情報やその 他の任意情報を保存できる よ う に規定された汎用 の画像フ ァイ ルフ ォ —マ ツ ト の こ と tf) フ ァイ ルを使用する こ とができる。 E x i f フ ア イ ルでは 任意に使用でさる 丁キス 卜情報の格納ェ リ ァが定め ら れてお り の格納 Xリ ァ に光夕 グ装置 1 8 か ら の受信情報を書さ込む こ と によ り つの画像フ ァ ィ ルに画像丁 夕 と受信情報と を 緒に納め る tができる
のよ う に 図示の フ Π チャ によれば 、 光タ グ装置 1 8 か ら の受信情報を撮影画像と共に つの画像フ ァィ ルに納めて記憶保存す る とができる 。 したがつ て の画像フ ァィ ルの再生時に当該情報 を み出すこ と によ り た とえば 刖記の実施形態における応用例の よ Όなク ーポンの利用な ど様々 なサ ビス を実現する とが可能にな る。
また、 画像フ ァイ ルに含まれる画像データ は、 光タ グ装置 1 8 の輝 点を含まない霄像である ので、画像再生時の見栄えの悪化も招かなレ 加えて、 情報の再受信を行う 際には、 画像の取 り 込み (ステッ プ S 6 8 ) をパスする ので、 無駄な画像取 り 込み処理を行う こ とがな く 、 それだけ処理負担軽減及び処理時間 縮を図る こ とがでさる な ステッ プ S 6 8 で取り 込む画像は静止画に限定されない。 簡 易動画であつてもよい 。 つま り 撮影用ィ メ ジセンサ 5 7 か ら生成 出力される画像は毎秒数十フ レ ムの画像であ り それら の画像の 枚 枚は静止画であるが、 その静止画を マ送り して連続的に再生す る と 動きを伴つ た動画のよ Ό に見えるので 、 任意時間中に撮影され たフ レ ム画像を簡易動画デ 夕 と して 続的に取 り込んでもよい ただし この動画デ 夕の取 り込みの際に.も 、 再生動画の見栄え悪化 を回避するために、 輝点を含む画 を取 り込み対 か ら除 < とが望 像 象
ま しい
また fe.的に、 のよ 5 に して取り込んだ簡易動画テ タは、 そ のまま動画フ ァィ.ルと して保存する とフ ァィルサィズが.膨大にな り 旨己 1 部 2 7 の容量を圧迫するので たとえば I ピクチャや B ピクチ ャ及び P ピクチャか らなる M P E G形式のフ ァィル圧縮を行う こ とに な ¾が このフ ァィル圧縮の際に 輝占を含まない画像のみで I ピク チャ を構成し その I ピクチャか ら Β ピクチャや P ピクチャ を生成し ても良い 産業上の利用可能性
以上のよ う に、 本発明の情報受信装置は、 実際の処理を 「撮像手段 の撮影画角 に含まれる輝度変調領域」 に対して限定的に行う ので、 前 記の 目的、 すなわち、 輝度変調の検出に必要な領域を取得する こ と に よ り 、 情報復元処理の高速化を図る こ とができる。
産業上の利用可能性と して、 本発明の情報受信装置、 情報伝送シス テム及び情報受信方法は、 たとえば、 建築物等のラ ン ドマーク表示、 広告表示、 遊園地等の遊技施設案内や混雑状況表示、 店頭における商 品説明、 博物館や展覧会における展示品説明な どの様々な用途に好適 である。

Claims

請 求 の 範 囲
1 . 像手段と
輝度変 周 ^ れた任意の情報を受光する受光 段と
刖記撮像手段の撮影画角 に含まれる輝度変 領域を指定する指定手 段と
該指定手段によ り 指定された輝度変 領域 受光する よ う 目 IJ記受光 手段を制御 し 、 該頜域に含まれる輝度変調内容か ら任意の情 を復元 する復兀手段と、
該復元手段によ り 復元された任意の情報を 生する再生手段と を備えた こ と を特徴とする情報受信装置。
2 . 目 'J記撮像手段によ る撮像内容と と も に指標を表示する表示手段 と、
該表示手段に表示さ れている指標を任 に 動させる移動手段と を さ ら に備え、
定手段は 動手段によ つ て |IJ記: 標を移動させる こ と に よ り 目 IJ記輝度変調領 を指定する こ と を特徴とする請求の範 1 §d載 の情報受信装
3 . 記 ί曰定手段によ つ て指定された輝度変調領域の受光を指示す る受光指示手段と
の受光指示手段によ り 受光が指示される と 、 該輝度変調領域に光 軸が合う よ に前記受光手段を制御する制御 :手段と
を さ ら に備える と を特徴と 9 る gff 求の範囲 1 乃至 3 のいずれかに 記載の情報受信装置
4 . 肯 'J記受光手 は、
受光素子と 該受光素子への入射光を集光する光学系 と
を含むこ と を特徴とする請求の範囲 1 乃至 3 のいずれかに記載の情 報受信装置。
5 . ' 前記受光手段は、
二次元のィ メージセンサと、
該ィ メージセンサへの入射光を集光する光学系と
を含むこ と を特徴とする請求の範囲 1 乃至 3 のいずれかに記載の情 報受信装置。 '
6 . 前記撮像手段によっ て撮像された画像データ と前記復元手段に よって復元された任意の情報とを関連付けする関連付け手段と、
該関連付けされた画像データ と前記任意の情報と を記憶する記憶手 段と .
をさ ら に備える こ とを特徴とする請求の範囲 1 乃至 3 のいずれかに 記載の情報受信装置。
7 . 前記受光手段による輝度変調領域の受光が完了 したか否かを判 断する第 1 の判断手段をさ ら に備え、
前記関連付け手段は、 該第 1 の判断手段によって前記輝度変調領域 の受光が完了 したと判断する と、 前記撮像手段によって撮像された画 像データ と前記復元手段によって復元された該輝度変調領域に基づく 任意の情報との関連付けを行う こ と を特徴とする請求の範囲 6 記載の 情報受信装置。
8 . 前記第 1 の判断手段によ り輝度変調領域の受光が完了する と、 その旨を報知する報知手段と、
該報知手段による報知の後、 前記輝度変調領域の再受光が指示され たか否かを判断する第 2 の判断手段と、
該第 2 の判断手段によ り再受光が指示されたと判断する と、 前記撮 像手段によ り 撮像さ れた画像データ を保持 した状態で、 前記受光手段 によ る前記輝度変調領域の受光を開始する受光制御手段と
を さ ら に備える こ と を特徴 とする請求の範囲 6 または 7 記載の情報 受信衣 医
9 - 前記輝度変調 と は特定波長光の点灯と消灯 との繰 り 返しであ り 、 刖記特定波長光の消灯タイ ミ ングの撮像画角 を撮像する よ う 前記撮 像手段を制御する撮像制御手段をさ ら に備える こ と を特徴とする請求 の範囲 6 または 7 に記載の情報受信装置。
1 0 • 刖記受光手段によ っ て受光された輝度変調領域の変調内容を 少な < と ¾互い に相関度の低い 2 種類の ビ ッ トパター ン系列に変換す る変換手段と、
該変換手段によ っ て変換された互いに相関度の低い 2 種類の ビッ ト パ夕ーン系列に対応 して論理信号を出力する論理信号出力手段 と を更に備え 、
■■、丄,
刖 sd復元手段は、 該論理信号出力手段による 出力結果に基づいて前 記任意の Ί鲁報を復元する こ と を特徴 とする請求の範囲 1 乃至 9 の何れ かに記載の情報受信装置。
1 1 . 任意の情報を構成する ビッ ト列を論理判定する判定し、 該 判定結果に基づいて予め用意された互い に相関度の低い 2 種類の ビ ッ 卜 ター ン系列か ら いずれかを選択する選択手段と、
該選択手段による選択結果に従っ て前記任意の情報を輝度変調する 変 ø周手段 と 、 該変調手段によっ て輝度変調された任意の情報を出力する出力手段 と を備えた情報出力装置 と、 撮像手段と、
輝度変調された任意の情報を受光する受光手段と、
該撮像手段の撮影画角 に含まれる輝度変調領域を指定する指定手段 と、
該指定手段によ Ό 指定さ れた輝度 ,変 領域を受光する よ Ό 刖記受光 手段を制御する受光制御手段と
該受光制御手段によ て受光された輝度変調領域の変 B周内容を少な
< と も互いに相 度の低い 類の ビ V パ夕ー ン系列に変換する変 換手段と
該変換手段に て変換された互い に相関度の低い 2 種類の ビッ 卜 パターン系列に対応 して論理信号を出力する pfe理信号出力手段と
該論理信号出力手段に る出力結果に基づいて 刖 Bd任意の情報を 復元する復兀手段と
該復元手段によ り 復兀された任意の情報を再生する再生手段と を備えた と を特徵とする情報受信 置と
を含む と を特徵とする情報伝送システム o
1 2 . 撮像部によ り 撮像される撮影画角 に含まれる輝度変調領域を 指定する指定ステ ッ プと
該指定ステ ヅ プに り 指定された輝度変調領域を受光する ぅ 受光 部を制御する受光制御ステ ッ プと、
該受光制御ステッ プにて受光された輝度変調領域の変 内容を少な
< と も互い に相 の低い 2 種類の ビ ッ パ夕 — ン系列に変換する変 換ステツ プと
該変換ステ V プにて変換された互い に相関度の低い 2 種類の ビッ 卜 ターン系列に対応 して Biffl理信号を出力する論理信号出力ステ ッ プと 該論理信号出力ステ ッ プによ る出力結果に基づいて、 目 'J記輝度変調 領'域の変 Θ周内容に づいた の情報を'復元する復元ステッ プと、 該 ί¾ 兀ステ ヅ プによ Ό 復元 δ れた任意の情報を再生する再生ステ ツ プと なる こ と を特徴 とする情報受信方法。
PCT/JP2005/010290 2004-05-31 2005-05-30 情報受信装置、情報伝送システム及び情報受信方法 WO2005117304A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP05745839.0A EP1744475B1 (en) 2004-05-31 2005-05-30 Information reception device, information transmission system, and information reception method
US11/435,229 US7308194B2 (en) 2004-05-31 2006-05-16 Information reception device, information transmission system, and information reception method
HK07102656.4A HK1095219A1 (en) 2004-05-31 2007-03-12 Information reception device, information transmission system, and information reception method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004-162521 2004-05-31
JP2004162521 2004-05-31
JP2005157048A JP4258491B2 (ja) 2004-05-31 2005-05-30 情報受信装置、情報伝送システム、情報受信方法、及び、情報受信プログラム
JP2005-157048 2005-05-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/435,229 Continuation US7308194B2 (en) 2004-05-31 2006-05-16 Information reception device, information transmission system, and information reception method

Publications (1)

Publication Number Publication Date
WO2005117304A1 true WO2005117304A1 (ja) 2005-12-08

Family

ID=35451227

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/010290 WO2005117304A1 (ja) 2004-05-31 2005-05-30 情報受信装置、情報伝送システム及び情報受信方法

Country Status (6)

Country Link
US (1) US7308194B2 (ja)
EP (1) EP1744475B1 (ja)
JP (1) JP4258491B2 (ja)
KR (1) KR100818392B1 (ja)
HK (1) HK1095219A1 (ja)
WO (1) WO2005117304A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022045080A1 (ja) * 2020-08-24 2022-03-03 ソフトバンク株式会社 光通信によるデジタルサイネージ及びled照明を利用したサプリメンタルダウンリンク装置と方法

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4627084B2 (ja) * 2005-04-12 2011-02-09 パイオニア株式会社 通信システム、通信装置及び方法、並びにコンピュータプログラム
WO2008004309A1 (fr) * 2006-07-07 2008-01-10 Panasonic Corporation Appareil émetteur, appareil récepteur, procédé de transmission et procédé de réception
JP2008258987A (ja) * 2007-04-05 2008-10-23 Sony Corp 光情報処理システム、端末装置、光情報処理方法、プログラム及び記録媒体
JP4859761B2 (ja) * 2007-06-13 2012-01-25 パナソニック株式会社 光空間伝送装置
US8121917B2 (en) * 2008-03-03 2012-02-21 The Coca-Cola Company Systems for implementing a loyalty program
KR101508272B1 (ko) * 2009-01-16 2015-04-08 삼성전자주식회사 단말기, 디스플레이 장치 및 이에 적용되는 데이터 송수신 방법
JP5540612B2 (ja) * 2009-09-07 2014-07-02 沖電気工業株式会社 案内表示システム及び案内表示方法
CN102726123B (zh) * 2010-01-15 2015-02-18 皇家飞利浦电子股份有限公司 用于对局部化光贡献进行2d检测的方法和系统
JP2011254317A (ja) * 2010-06-02 2011-12-15 Sony Corp 送信装置、送信方法、受信装置、受信方法、通信システムおよび通信方法
JP5670798B2 (ja) * 2011-03-30 2015-02-18 フェリカネットワークス株式会社 通信端末、通信方法、及びプログラム
JP5903821B2 (ja) 2011-09-30 2016-04-13 カシオ計算機株式会社 情報伝達効果出力システム及び情報伝達効果出力方法
JP5488583B2 (ja) 2011-12-27 2014-05-14 カシオ計算機株式会社 情報提供システム、サーバ、情報提供方法、及び、プログラム
US20130317916A1 (en) * 2011-12-29 2013-11-28 Intel Corporation Location based technology for smart shopping services
WO2013108146A1 (en) * 2012-01-20 2013-07-25 Koninklijke Philips N.V. Light detector
JP5936902B2 (ja) 2012-04-13 2016-06-22 株式会社東芝 伝送システム、送信装置および受信装置
PT2858269T (pt) 2012-05-24 2018-05-28 Panasonic Ip Corp America Método de comunicação de informações
US11049344B2 (en) 2012-07-26 2021-06-29 John C. S. Koo Dual-mode commercial messaging systems
US10068396B2 (en) 2016-01-15 2018-09-04 John C. S. Koo Light-based security systems
US9270627B1 (en) 2012-07-26 2016-02-23 John C. S. Koo Light-based messaging systems
US10395453B1 (en) 2012-07-26 2019-08-27 John C. S. Koo Light-based vehicle messaging systems
US8924255B1 (en) 2012-07-26 2014-12-30 John C. S. Koo Light-based commercial messaging system
US10395290B1 (en) 2015-11-10 2019-08-27 John C. S. Koo Location-based remote customer service
US10679448B2 (en) 2012-07-26 2020-06-09 John C. S. Koo Light-based commercial messaging systems
US11727737B2 (en) 2012-07-26 2023-08-15 John C. S. Koo Retail light-based sensor-driven messaging systems
JP5648664B2 (ja) 2012-09-21 2015-01-07 カシオ計算機株式会社 情報処理システム、情報処理方法、端末装置及びプログラム
JP5960836B2 (ja) * 2012-10-31 2016-08-02 擴張世界有限公司 画像表示システム、電子機器、プログラムおよび画像表示方法
US8798926B2 (en) * 2012-11-14 2014-08-05 Navteq B.V. Automatic image capture
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US10530486B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
EP2940889B1 (en) 2012-12-27 2019-07-31 Panasonic Intellectual Property Corporation of America Visible-light-communication-signal display method and display device
WO2014103161A1 (ja) 2012-12-27 2014-07-03 パナソニック株式会社 情報通信方法
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
CN107395977B (zh) * 2012-12-27 2019-12-17 松下电器(美国)知识产权公司 信息通信方法
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
CN104137521A (zh) * 2012-12-27 2014-11-05 松下电器产业株式会社 电子设备
US8913144B2 (en) 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US10951310B2 (en) 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
MX343578B (es) 2012-12-27 2016-11-10 Panasonic Ip Corp America Metodo de comunicacion de informacion.
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
US10523876B2 (en) 2012-12-27 2019-12-31 Panasonic Intellectual Property Corporation Of America Information communication method
US10303945B2 (en) 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
EP2940901B1 (en) 2012-12-27 2019-08-07 Panasonic Intellectual Property Corporation of America Display method
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
CN104871453B (zh) 2012-12-27 2017-08-25 松下电器(美国)知识产权公司 影像显示方法和装置
JP2014138324A (ja) 2013-01-17 2014-07-28 Casio Comput Co Ltd 情報提供システム、サーバシステム、端末装置、情報提供方法及びプログラム
JP5839018B2 (ja) * 2013-11-07 2016-01-06 カシオ計算機株式会社 情報端末、通信システム、サーバ、通信方法及びプログラム
JP6285954B2 (ja) * 2013-11-21 2018-02-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報通信方法
CN105723631B (zh) 2013-11-22 2018-10-16 松下电器(美国)知识产权公司 通信方法、通信装置及记录介质
JP6011569B2 (ja) * 2014-03-13 2016-10-19 カシオ計算機株式会社 撮像装置、被写体追尾方法及びプログラム
JP6452223B2 (ja) * 2014-06-30 2019-01-16 カシオ計算機株式会社 端末装置、端末制御方法及び端末制御プログラム
JP6434724B2 (ja) * 2014-07-01 2018-12-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報通信方法
WO2016006152A1 (ja) * 2014-07-11 2016-01-14 パナソニックIpマネジメント株式会社 蓄電池パック、及び、蓄電池パックの動作方法
US10798428B2 (en) * 2014-11-12 2020-10-06 Sony Corporation Method and system for providing coupon
US9564027B2 (en) 2015-03-24 2017-02-07 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Modulating brightness of optical element conveying human-discernible information to also convey machine-discernible information
EP3343933A1 (en) * 2015-08-24 2018-07-04 Sharp Kabushiki Kaisha Reception device, broadcast system, reception method, and program
US9742492B2 (en) 2015-12-30 2017-08-22 Surefire Llc Systems and methods for ad-hoc networking in an optical narrowcasting system
CN105744079A (zh) * 2016-04-06 2016-07-06 上海斐讯数据通信技术有限公司 一种自动识别电话号码的方法及系统
US9818269B1 (en) * 2016-12-16 2017-11-14 Ninad H. Ghodke Status light data transmission
US10812195B2 (en) 2017-01-05 2020-10-20 Sony Corporation Optical communication device
US9853740B1 (en) 2017-06-06 2017-12-26 Surefire Llc Adaptive communications focal plane array
US10250948B1 (en) 2018-01-05 2019-04-02 Aron Surefire, Llc Social media with optical narrowcasting
US10236986B1 (en) 2018-01-05 2019-03-19 Aron Surefire, Llc Systems and methods for tiling free space optical transmissions
US10473439B2 (en) 2018-01-05 2019-11-12 Aron Surefire, Llc Gaming systems and methods using optical narrowcasting
EP3928443B1 (en) 2019-02-18 2022-10-12 Signify Holding B.V. Method and system for communicating via light signals
JP2021131234A (ja) * 2020-02-18 2021-09-09 富士フイルムビジネスイノベーション株式会社 発光装置およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07307891A (ja) * 1994-05-11 1995-11-21 Fuji Photo Film Co Ltd ビデオカメラの手振れ補正装置
JPH10200810A (ja) * 1997-01-10 1998-07-31 Sony Corp 画像駆動装置
JP2001119611A (ja) * 1999-10-19 2001-04-27 Matsushita Electric Ind Co Ltd 電子カメラ
JP2003179556A (ja) * 2001-09-21 2003-06-27 Casio Comput Co Ltd 情報伝送方式、情報伝送システム、撮像装置、および、情報伝送方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6437544A (en) * 1987-08-03 1989-02-08 Konishiroku Photo Ind Camera with television
US5706049A (en) * 1995-11-30 1998-01-06 Eastman Kodak Company Camera that records an active image area identifier with an image
US7092012B2 (en) * 1996-11-15 2006-08-15 Canon Kabushiki Kaisha Image processing apparatus and method, storage medium, and communication system
JP3374175B2 (ja) * 2000-01-27 2003-02-04 名古屋大学長 位置表示用データ送信機能付きデータ送信装置、(以下[発明の名称の続き]欄に記載)
JP3750132B2 (ja) * 2000-03-01 2006-03-01 カシオ計算機株式会社 撮像装置
JP4236372B2 (ja) * 2000-09-25 2009-03-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 空間情報利用システムおよびサーバシステム
US6999112B2 (en) * 2001-10-31 2006-02-14 Hewlett-Packard Development Company, L.P. System and method for communicating content information to an image capture device
JP2003323239A (ja) * 2002-05-08 2003-11-14 Sony Corp 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム
JP4110514B2 (ja) * 2002-05-15 2008-07-02 ソニー株式会社 データ符号化装置及び方法、データ復号化装置及び方法、データ送信装置、データ受信装置、記憶媒体、並びにコンピュータ・プログラム
JP2004048674A (ja) * 2002-05-24 2004-02-12 Olympus Corp 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ
EP1858179A1 (en) * 2002-10-24 2007-11-21 Nakagawa Laboratories, Inc. Illumination light communication device
US20060256007A1 (en) * 2005-05-13 2006-11-16 Outland Research, Llc Triangulation method and apparatus for targeting and accessing spatially associated information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07307891A (ja) * 1994-05-11 1995-11-21 Fuji Photo Film Co Ltd ビデオカメラの手振れ補正装置
JPH10200810A (ja) * 1997-01-10 1998-07-31 Sony Corp 画像駆動装置
JP2001119611A (ja) * 1999-10-19 2001-04-27 Matsushita Electric Ind Co Ltd 電子カメラ
JP2003179556A (ja) * 2001-09-21 2003-06-27 Casio Comput Co Ltd 情報伝送方式、情報伝送システム、撮像装置、および、情報伝送方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1744475A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022045080A1 (ja) * 2020-08-24 2022-03-03 ソフトバンク株式会社 光通信によるデジタルサイネージ及びled照明を利用したサプリメンタルダウンリンク装置と方法
JP2022036740A (ja) * 2020-08-24 2022-03-08 ソフトバンク株式会社 光通信によるデジタルサイネージ及びled照明を利用したサプリメンタルダウンリンク装置と方法
JP7084967B2 (ja) 2020-08-24 2022-06-15 ソフトバンク株式会社 光通信によるデジタルサイネージ及びled照明を利用したサプリメンタルダウンリンク装置と方法
US11974078B2 (en) 2020-08-24 2024-04-30 Softbank Corp. Digital signage by optical communication and supplemental downlink device and method using LED illumination

Also Published As

Publication number Publication date
KR100818392B1 (ko) 2008-04-02
HK1095219A1 (en) 2007-04-27
JP2006020294A (ja) 2006-01-19
EP1744475B1 (en) 2017-07-26
KR20060056409A (ko) 2006-05-24
JP4258491B2 (ja) 2009-04-30
US7308194B2 (en) 2007-12-11
US20060239675A1 (en) 2006-10-26
EP1744475A4 (en) 2013-05-08
EP1744475A1 (en) 2007-01-17

Similar Documents

Publication Publication Date Title
WO2005117304A1 (ja) 情報受信装置、情報伝送システム及び情報受信方法
US9438806B2 (en) Photographing apparatus and photographing method for displaying combined avatar and map information related to a subject
KR100696351B1 (ko) 합초 상태 표시 장치
US8675096B2 (en) Image capturing device for setting one or more setting values for an imaging mechanism based on acquired sound data that includes information reflecting an imaging environment
US9252879B2 (en) Visible light receiving method and apparatus using the same
JP4640483B2 (ja) 撮像装置、及び、プログラム
CN101310519A (zh) 摄像装置、显示控制方法以及程序
CN101635797A (zh) 摄像装置
CN105681652A (zh) 摄影装置和摄影装置的控制方法
KR101495079B1 (ko) 장면 정보 표시 방법 및 장치, 및 이를 이용한 디지털 촬영장치
JP2012529831A (ja) フラッシュを用いた写真撮影のためのカメラシステムおよび方法
TW200826675A (en) Image correction device, image correction method, and computer readable medium
JPWO2017047012A1 (ja) 撮像装置および撮像装置とサーバとを含むシステム
JP6480419B2 (ja) 可視光受信方法
JP2006332774A (ja) 端末装置
JP2004120277A (ja) 電子カメラ
JP2008035154A (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
JP2013169003A (ja) 表情データベース登録方法及び表情データベース登録装置
JP4865631B2 (ja) 撮像装置
JP2008011346A (ja) 撮像システム
JP2017123696A (ja) 可視光受信方法
JP5270744B2 (ja) 撮像装置及び撮像方法
JP5711296B2 (ja) 撮像方法及び撮像装置
JP4692931B2 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200580001018.2

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020067006191

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 11435229

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1020067006191

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 11435229

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2005745839

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2005745839

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: DE

WWP Wipo information: published in national office

Ref document number: 2005745839

Country of ref document: EP