WO2013147303A1 - 撮像装置、撮像方法、およびプログラムを記録した記録媒体 - Google Patents

撮像装置、撮像方法、およびプログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2013147303A1
WO2013147303A1 PCT/JP2013/059967 JP2013059967W WO2013147303A1 WO 2013147303 A1 WO2013147303 A1 WO 2013147303A1 JP 2013059967 W JP2013059967 W JP 2013059967W WO 2013147303 A1 WO2013147303 A1 WO 2013147303A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure time
recognition
image
subject
distance
Prior art date
Application number
PCT/JP2013/059967
Other languages
English (en)
French (fr)
Inventor
中村 拓
谷田部 祐介
小味 弘典
Original Assignee
Necカシオモバイルコミュニケーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Necカシオモバイルコミュニケーションズ株式会社 filed Critical Necカシオモバイルコミュニケーションズ株式会社
Publication of WO2013147303A1 publication Critical patent/WO2013147303A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Definitions

  • the present invention relates to an imaging apparatus that captures a subject and performs recognition processing, an imaging method, and a recording medium on which a program is recorded.
  • Patent Document 1 discloses an imaging apparatus that switches the shutter speed between shooting with and without face detection processing. When performing face detection, this imaging device reduces the effects of camera shake by setting the shutter speed to a speed suitable for face detection, and when face detection is not performed, the imaging speed of the subject is determined. Set to a speed that meets user requirements.
  • Patent Document 2 is based on the result that a digital camera that performs character / image recognition measures the distance between the imaging device and the subject, based on the fact that the amount of camera shake varies depending on the distance between the imaging device and the subject. Discloses a technique for setting an appropriate shutter speed and aperture value.
  • the imaging device disclosed in Patent Document 1 cannot set the shutter speed according to the distance between the imaging device and the subject. Therefore, camera shake cannot be reduced accurately when the distance between the imaging device and the subject is short as in close-up photography or when the distance between the imaging device and the subject is long as in telephoto photography.
  • the digital camera disclosed in Patent Document 2 specifies an appropriate shutter speed and aperture value based on the measured distance regardless of the shooting mode.
  • a digital camera user wants to capture a captured image with a slight camera shake and reduced noise effects. There is also. In such a case, the digital camera disclosed in Patent Document 2 cannot meet the user's request.
  • the present invention has been made in view of the above circumstances, and in order to increase the recognition rate of characters and image recognition processing for captured images, to reduce the effect of camera shake when shooting a captured image to be recognized, It is another object of the present invention to provide an imaging apparatus, an imaging method, and a recording medium on which a program is recorded, in which processing is changed according to the purpose of imaging.
  • an imaging apparatus is: An image sensor that photoelectrically converts a subject image to obtain an image signal corresponding to a shooting screen; An exposure time control unit for controlling an exposure time of the image sensor; A distance measuring unit for measuring a distance between the image sensor and the subject; A storage unit that stores definition information that associates the distance between the imaging element and the subject and the allowable range of the exposure time; A control unit that switches whether to recognize the subject image included in the image signal, The exposure time control unit acquires the allowable range associated with the distance measured by the distance measurement unit from the definition information when the control unit switches when the subject image is recognized. The exposure time is controlled within the acquired allowable range.
  • the exposure time control unit controls the exposure time without using definition information, for example, when the control unit switches to not recognizing the subject image.
  • an imaging method is as follows: An imaging step of photoelectrically converting a subject image to obtain an image signal corresponding to a shooting screen; An exposure time control step for controlling the exposure time in the imaging step; A distance measuring step for measuring a distance to the subject; A storage step of storing definition information in which the distance to the subject is associated with the allowable range of the exposure time; A control step of switching whether to recognize the subject image included in the image signal, In the exposure time control step, when switching is performed when the subject image is recognized in the control step, the allowable range associated with the distance measured in the distance measurement step is acquired from the definition information, The exposure time is controlled within the acquired allowable range.
  • a program recorded on a recording medium is stored in a computer.
  • An imaging function that photoelectrically converts the subject image to obtain an image signal corresponding to the shooting screen
  • An exposure time control function for controlling the exposure time of the imaging function;
  • a distance measuring function for measuring the distance to the subject;
  • a storage function for storing definition information in which the distance to the subject is associated with the allowable range of the exposure time;
  • Realizing a control function for switching whether to recognize the subject image included in the image signal;
  • the exposure time control function acquires the tolerance range associated with the distance measured by the distance measurement function from the definition information when the control function is switched when the subject image is recognized. The exposure time is controlled within the acquired allowable range.
  • the influence of camera shake when capturing a captured image to be recognized is reduced, and processing is performed according to the purpose of imaging. Can be changed.
  • the imaging apparatus is a digital still camera that captures an object including characters.
  • the digital still camera 1 includes a control unit 100, a lens 110, an image sensor 120, an ISP (Image Signal Processor) 130, a camera microcomputer 140, a focus control circuit 150, a memory unit 160, a drawing control unit 170, A recognition unit 180, an image encoding unit 190, a recording medium 200, a display unit 210, a touch panel 220, and a bus 230 are provided.
  • the control unit 100 includes a CPU (Central Processing Unit) and the like, and controls each unit of the digital still camera 1.
  • the control unit 100 executes the operation program stored in the memory unit 160, whereby each process described later is realized.
  • the control unit 100 includes a storage area for developing (loading) data and operation programs necessary for operation. This storage area (hereinafter referred to as “work area”) is composed of, for example, a register, a cache memory, and a RAM (Random Access Memory).
  • the lens 110 forms an incident subject image on the image sensor 120 when the digital still camera 1 captures the subject.
  • the image pickup device 120 is composed of, for example, a CCD (Charge Coupled Device) or the like, photoelectrically converts incident light incident through the lens 110, converts the incident light into an electric signal, and supplies the signal to the ISP 130.
  • CCD Charge Coupled Device
  • the ISP 130 acquires an image signal by sampling the electrical signal output from the image sensor 120.
  • the ISP 130 performs gain adjustment, demosaicing processing, gamma correction, and white balance correction on the obtained image signal, and stores them in the memory unit 160. Further, the ISP 130 generates a detection signal for determining whether the image signal is in focus and outputs the detection signal to the camera microcomputer 140.
  • the camera microcomputer 140 determines the focus of the lens 110 using the detection signal output from the ISP 130. If the camera microcomputer 140 determines that the lens 110 is not in focus, it sends a lens position correction signal to the focus control circuit 150 in order to adjust the lens position (focus position) so that the lens 110 is in focus.
  • a focusing control method there is a contrast detection method for searching for a lens position where the contrast of an image is highest.
  • the camera microcomputer 140 controls a so-called shutter speed between a timing at which the charge accumulated in the image sensor 120 is discharged and imaging starts and a timing at which the ISP 130 reads out an electric signal from the image sensor 120.
  • the focus control circuit 150 controls the distance between the lens 110 and the image sensor 120 based on the lens position correction signal supplied from the camera microcomputer 140.
  • the memory unit 160 includes an SDRAM (Synchronous Dynamic Random Access Memory) or the like, and temporarily stores an image signal or the like supplied from the ISP 130, for example. Also, parameters necessary for photographing, parameters necessary for character recognition processing, and the like are stored.
  • SDRAM Serial Dynamic Random Access Memory
  • the drawing control unit 170 reads the image signal stored in the memory unit 160, reduces the resolution of the image signal, and separately creates a screen signal on which a GUI (Graphical User Interface) received from the control unit 100 is superimposed and displayed. Supplied to the unit 210. A user of the digital still camera 1 can view the captured image from the display unit 210.
  • GUI Graphic User Interface
  • the recognition unit 180 cuts out a part of the captured image stored in the memory unit 160 and performs character recognition processing on the cut-out image.
  • the image encoding unit 190 compresses the image signal acquired by the ISP 130 and supplies the compressed image signal to the recording medium 200.
  • the recording medium 200 is a non-volatile memory, and is composed of, for example, an SD card.
  • the recording medium 200 stores the compressed image signal supplied from the image encoding unit 190.
  • the display unit 210 includes, for example, an LCD (Liquid Crystal Display).
  • the display unit 210 displays a screen signal output from the drawing control unit 170, for example, a captured image and a button for a shooting operation.
  • the touch panel 220 is superimposed on the display unit 210, and when the user of the mobile phone taps a GUI display on the display unit 210, such as a shutter button, the coordinates of the tap position are detected, and the detected coordinates are detected.
  • the control unit 100 is notified of the position.
  • the bus 230 is a transmission path for signals from each unit of the digital still camera 1 to the control unit 100 and signals from the control unit 100 to each unit.
  • the digital still camera 1 has a normal mode M1 and a recognition mode M2 as shooting modes.
  • the digital still camera 1 performs shooting control so as to acquire a captured image suitable for character recognition in accordance with a user's instruction to start recognition, and performs character recognition processing on the captured image.
  • the control method will be described later.
  • the digital still camera 1 performs shooting control suitable for shooting a landscape / person, and does not perform shooting control for acquiring a captured image suitable for character recognition.
  • the user of the digital still camera 1 can switch the shooting mode of the digital still camera 1 by an operation through a GUI or the like displayed on the display unit 210 as shown in FIG.
  • the digital still camera 1 when the digital still camera 1 is in the normal mode M1, when the user taps a button (recognition mode button) for switching to the recognition mode M2 displayed on the display unit 210, as indicated by an arrow A21. The digital still camera 1 switches the shooting mode to the recognition mode M2. Further, when the digital still camera 1 is in the recognition mode M2, when the user taps a button (normal mode button) for switching to the normal mode M1 displayed on the display unit 210, as indicated by an arrow A22. The digital still camera 1 switches the shooting mode to the normal mode M1.
  • a button recognition mode button
  • the amount of camera shake varies depending on the distance between the character as the subject and the digital still camera 1 when the digital still camera 1 performs character recognition.
  • the digital still camera 1 cuts out a part of a captured image and performs character recognition processing on the cut-out image.
  • An image in the recognition window W530 that has been cut out (hereinafter referred to as a recognition window image) is a target of character recognition processing.
  • a field of view upper end E510 and a field of view lower end E520 indicate the upper end and the lower end of the recognition window image, respectively.
  • Character C1 and character C2 are subjects, and character C2 is larger than character C1.
  • a position P500 indicates the position of the digital still camera 1.
  • the digital still camera 1 displays the recognition window W530 with the frame of the recognition window W530 superimposed on the image displayed on the display unit 210. The user of the digital still camera 1 performs shooting so that the character to be recognized is within the frame of the recognition window W530.
  • the character C1 is assumed to be entirely within the visual field upper end E510 and the visual field lower end E520 (hereinafter referred to as the visual field range).
  • the visual field range when the distance between the digital still camera 1 and the character C2 is the same distance (L1), the character C2 is larger than the character C1, and therefore the entire character C2 does not fall within the visual field range. Therefore, by making the distance between the digital still camera 1 and the character C2 longer than L1 (the distance at this time is L2) so that the character C2 falls within the field of view, the entire character C2 is shown in FIG. Can be kept within the field of view.
  • the entire character C2 can be kept within the visual field range, and character recognition is possible.
  • FIG. 6 shows a situation in which a camera shake occurs when the user of the digital still camera 1 holds the digital still camera 1 with his hand and points the digital still camera 1 at a subject to be photographed.
  • the digital still camera 1 moves downward due to camera shake and moves from the position P500 to the position P600, the upper end of the recognition window image changes to the upper end of the visual field E610, and the lower end of the recognition window image changes to the lower end of the visual field E620.
  • the character C2 is partially missing from the field of view of the recognition window W630, but since most of the characters are within the field of view of the recognition window W630, the digital still camera 1 May be recognized. However, since the character C1 is out of the visual field range of the recognition window W630, the digital still camera 1 cannot recognize the character.
  • the relative movement amount of each subject in the recognition window varies depending on the size of the subject. is there. Assuming that the amount of camera shake is b, the field angle at the position of the character C1 is g1, and the field angle at the position of the character C2 is g2, the character C2 is larger than the character C1, so g1 ⁇ g2. If the amount of movement in the recognition window is obtained using these, they are b / g1 and b / g2, respectively.
  • the amount of movement of the character within the recognition window when b shakes is larger than that of the character C2.
  • the character C1 is larger. That is, the closer the subject is to the digital still camera 1, the greater the amount of movement of the subject within the recognition window due to the same amount of camera shake. Therefore, it can be said that the closer the subject is, the greater the influence of camera shake.
  • the digital still camera 1 controls the shutter speed so that the closer the distance between the digital still camera 1 and the subject is, the higher the shutter speed is in order to reduce the influence of camera shake. This is because the faster the shutter speed (the shorter the exposure time), the smaller the amount of camera shake during exposure, and the effect of camera shake can be reduced.
  • the digital still camera 1 measures the distance between the digital still camera 1 and the subject when shooting in the recognition mode M2, and sets and sets the allowable range of the shutter speed based on the measured distance. Shoot at a shutter speed that falls within the allowable range of the shutter speed.
  • the shutter speed tolerance range is defined in the shutter speed tolerance range table 161 stored in the memory unit 160.
  • the shutter speed allowable range table 161 stores distances and shutter speeds (exposure times) in association with each other. This distance is the distance between the digital still camera 1 and the subject, and the shutter speed is the allowable range of the shutter speed (exposure time) that is set according to the distance between the digital still camera 1 and the subject. It is.
  • the upper limit value high speed side limit value: lower limit value of exposure time
  • lower limit value lower speed side limit value; exposure time
  • the setting value is stored so that the upper limit value of the For example, when the distance between the digital still camera 1 and the subject is 15 centimeters, the allowable shutter speed range is 1/500 to 1/60 (seconds), but when the distance is 5 centimeters, The allowable shutter speed range is 1/4000 to 1/500, and both the upper limit value and the lower limit value are high speed.
  • FIG. 8 shows operations performed by the control unit 100 as photographing processing of the digital still camera 1.
  • the photographing process is started.
  • Information such as a shooting mode and a recognition start flag is stored in a predetermined location of the memory unit 160.
  • the control unit 100 sets the normal mode M1 as the shooting mode (step S101).
  • the control unit 100 sets 0 (meaning “no recognition start instruction”) to the recognition start flag (step S102).
  • the control unit 100 displays the GUI of the recognition mode button for switching the normal mode M1 to the recognition mode M2 on the display unit 210 via the drawing control unit 170 (step S103).
  • step S104 If the user of the digital still camera 1 is instructed to switch the shooting mode by tapping the recognition mode button on the display unit 210 (step S104; YES), the process proceeds to step S105.
  • the control unit 100 performs a shooting mode switching process (step S105).
  • the shooting mode switching process will be described later.
  • the control unit 100 determines whether or not the shooting mode is the recognition mode M2 (step S106). When it is determined that the shooting mode is the recognition mode M2 (step S106; Yes), the process proceeds to step S107.
  • step S107 It is determined whether there is a recognition start instruction from the user of the digital still camera 1 (step S107). If it is determined (step S107; YES), the process proceeds to step S108.
  • the control unit 100 sets 1 (meaning “recognition start instruction”) to the recognition start flag (step S108).
  • the control unit 100 performs a photographing process in the recognition mode M2 (step S109).
  • the photographing process in the recognition mode M2 will be described later.
  • the control unit 100 sets (resets) the recognition start flag to 0 (step S110).
  • the control unit 100 performs a character recognition process (step S111).
  • the character recognition process will be described later. After the character recognition process ends, the process returns to step S104.
  • step S106 when it is determined in step S106 that the shooting mode is the normal mode M1 (step S106; NO), it is determined whether or not there is an instruction for shooting from the user (step S112). If there is no instruction (step S112; NO), the process returns to step S104. If there is an instruction (step S112; YES), shooting in the normal mode is performed.
  • the shooting in the normal mode unlike the shooting process in step S109, for example, based on the illuminance value of the image signal, the aperture value, and the F value of the lens 110, the shooting parameters such as the shutter speed are not taken into account. It is determined and shooting is performed. That is, the camera microcomputer 140 determines the shutter speed regardless of the range set in the shutter speed allowable range table 161.
  • the above photographing process is terminated when the user of the digital still camera 1 turns off the power of the digital still camera 1.
  • the control unit 100 determines whether or not the current shooting mode is the normal mode M1 (step S201). If the control unit 100 determines that the current shooting mode is the normal mode M1 (step S201; YES), the control unit 100 proceeds to step S202.
  • the control unit 100 switches the shooting mode to the recognition mode M2 (step S202).
  • the control unit 100 also stores in the built-in memory that the shooting mode after switching is the recognition mode M2.
  • the control unit 100 hides the recognition mode button on the display unit 210 and displays the normal mode button via the drawing control unit 170 (step S203).
  • the control unit 100 displays a recognition start button on the display unit 210 via the drawing control unit 170 (step S204).
  • the control unit 100 displays a frame of the recognition window W530 on the display unit 210 via the drawing control unit 170 (step S205).
  • the position and size of the recognition window are determined by the position coordinates of the recognition window stored in the memory unit 160.
  • FIG. 10 shows a display example of the display unit 210 after the processing of step S203 to step S205.
  • the display unit 210 displays a button for switching to the normal mode M1 (normal mode button), a frame of the recognition window W530, and a recognition start button for starting the photographing process and the recognition process.
  • step S201 determines in step S201 that the current shooting mode is the recognition mode M2 (step S201; NO) If the control unit 100 determines in step S201 that the current shooting mode is the recognition mode M2 (step S201; NO), the control unit 100 proceeds to step S206.
  • the control unit 100 switches the shooting mode to the normal mode M1 (step S206).
  • the control unit 100 also stores in the built-in memory that the shooting mode after switching is the normal mode M1.
  • the control unit 100 hides the normal mode button on the display unit 210 via the drawing control unit 170 and displays the recognition mode button. Further, the recognition start button on the display unit 210 is hidden (step S207).
  • the control unit 100 displays a shooting button on the display unit 210 via the drawing control unit 170 (step S208).
  • the control unit 100 hides the recognition window on the display unit 210 via the drawing control unit 170 (step S209).
  • FIG. 11 shows a display example of the display unit 210 after the processing of step S207 to step S209.
  • the display unit 210 displays a button (recognition mode button) for switching to the recognition mode M2 and a shooting button for starting the shooting process.
  • the camera microcomputer 140 controls the focus control circuit 150 to scan the lens 110 position. While the lens 110 moves, the imaging device 120 periodically acquires an image and outputs it to the ISP 130. The ISP 130 obtains the contrast of each image and outputs a detection signal indicating the contrast.
  • the camera microcomputer 140 measures the distance to the subject based on the lens position when in focus (step S301). Specifically, the camera microcomputer 140 determines the position of the lens 110 based on the lens position correction signal output to the focus control circuit 150 when, for example, the focus is detected by receiving a detection signal from the ISP 130. To detect. The distance between the digital still camera 1 and the subject is measured from the detected lens position.
  • the camera microcomputer 140 refers to the shutter speed allowable range table 161 and acquires a shutter speed range corresponding to the distance measured in step S301 (step S302).
  • the camera microcomputer 140 sets the shutter speed based on the illuminance value of the image signal within the acquired shutter speed range (step S303).
  • the camera microcomputer 140 sets a gain adjustment value according to the shutter speed determined in S106 (step S304).
  • the camera microcomputer 140 photographs the subject. Specifically, the camera microcomputer 140 controls the shutter speed according to the shutter speed determined in step S303.
  • the ISP 130 reads an electrical signal from the image sensor 120, performs gain adjustment or the like according to the gain adjustment value determined in step S304, and converts it into an image signal (step S305).
  • step S111 the character recognition process performed by the recognition unit 180 in the recognition mode M2 will be described.
  • the recognition unit 180 reads the image signal stored in the memory unit 160 (step S401).
  • the recognition unit 180 cuts out a part of the image as a recognition window image from the captured image represented by the read image signal.
  • the recognition unit 180 determines the position and size of the image to be cut out based on the position coordinates of the recognition window stored in the memory unit 160 (step S402).
  • the recognition unit 180 performs character recognition processing on the recognition window image (step S403).
  • the recognition unit 180 outputs the recognition result to the drawing control unit 170 so as to be displayed on the recording medium 200 or the display unit 210, for example (step S404).
  • the recognition result may be output in association with the captured image.
  • the digital still camera 1 sets a permissible range of shutter speed from the distance to the subject, and controls the shutter speed within the set permissible range, so that even if the distance to the subject is short, It is possible to obtain a picked-up image with less influence. Since the influence of camera shake in the captured image can be reduced, the recognition rate of the character recognition process can be increased. Furthermore, since it is switched whether or not the allowable range of the shutter speed is set depending on the shooting mode, the digital still camera 1 can shorten the processing time when it is not necessary to perform the recognition process, and the imaging apparatus or the communication terminal Power consumption can be reduced.
  • the digital still camera 1 allows a slight camera shake in the normal mode, but can shoot an image in which the influence of noise is suppressed, and can also shoot an image in which the camera shake is suppressed in the recognition mode. Can do. In this way, by changing the shutter speed specifying method according to the shooting mode, the digital still camera 1 can take an image suitable for the purpose of shooting.
  • the digital still camera 1 has been described as an example of the imaging device of the first embodiment. However, imaging of other imaging devices such as a digital video camera, a smartphone, a PDA (Personal Digital Assistant), a tablet PC (Personal Computer), or the like. A communication terminal having a function may be used.
  • the mobile phone 2 includes a control unit 100, a lens 110, an image sensor 120, an ISP 130, a camera microcomputer 140, a focus control circuit 150, a memory unit 160, a drawing control unit 170, an image encoding unit 190, and a recording medium. 200, a display unit 210, a touch panel 220, a bus 230, an image cutout unit 240, a wireless circuit 250, an antenna 260, a microphone 270, and a speaker 280.
  • Components that perform the same operations as those of the components of the digital still camera 1 of the first embodiment are denoted by the same reference numerals and description thereof is omitted.
  • the mobile phone 2 captures a subject and sends a recognition window image to a server (not shown).
  • the server that has received the recognition window image performs character recognition processing on the received recognition window image and transmits the recognition result to the mobile phone 2. Since the content of the character recognition process performed by the server is the same as the process performed by the recognition unit 180 in the first embodiment, the description thereof is omitted.
  • the image cutout unit 240 cuts out a part of the image signal acquired by imaging, and outputs the cut out recognition window image to the wireless circuit 250.
  • the radio circuit 250 converts the image signal, the audio signal, and the data signal input from the image cutout unit 240 into a high-frequency signal to output to the antenna 260 in order to transmit the recognition window image to the server.
  • radio waves received by the antenna 260 are converted into high-frequency signals, and then converted into image signals, audio signals, and data signals, respectively.
  • the antenna 260 transmits the signal output from the wireless circuit 250 to the server as a radio wave. Further, it receives radio waves from the server and outputs them to the radio circuit 250.
  • the microphone 270 collects sound according to the control of the control unit 100 and converts it into a sound signal.
  • Speaker 280 outputs the audio signal received from control unit 100 as audio.
  • the same effect as that of the first embodiment can be obtained even in a communication terminal having an imaging function.
  • the mobile phone 2 is taken as an example, but a communication terminal having an imaging function such as a smartphone, a PDA (Personal Digital Assistant), a tablet PC (Personal Computer) may be used.
  • a communication terminal having an imaging function such as a smartphone, a PDA (Personal Digital Assistant), a tablet PC (Personal Computer) may be used.
  • the digital still camera 1 or the mobile phone 2 may determine the shutter speed and gain adjustment value in the normal mode M1 from the illuminance value of the image signal. Further, the digital still camera 1 or the mobile phone 2 may measure the distance to the subject and determine the shutter speed and the gain adjustment value using both the illuminance value of the image signal and the measured distance. .
  • the shutter speed allowable range is not set by referring to the shutter speed allowable range table 161, and is set for the normal mode M1 in advance. The shutter speed is determined within a predetermined range.
  • the user of the digital still camera 1 or the mobile phone 2 taps the GUI corresponding to the recognition start button displayed on the display unit 210 to start the recognition. 1 or cell phone 2 is instructed.
  • the control unit 100 changes the recognition start flag.
  • the character that the user of the digital still camera 1 or the mobile phone 2 wants to recognize can be started when the character is displayed in the recognition window W530 on the display unit 210, the user desires recognition. The possibility of misrecognizing characters other than characters is reduced.
  • the recognition start flag may be changed at a timing when the camera microcomputer 140 receives a detection signal (a signal for determining whether it is in focus) output from the ISP 130.
  • a detection signal a signal for determining whether it is in focus
  • the screen tap by the user of the digital still camera 1 does not occur, camera shake due to the tap operation can be suppressed.
  • recognition starts immediately after focusing the time required for character recognition is shortened, and the number of times of recognition per unit time is increased, so that the recognition rate is increased as compared with the case where the same configuration as in this embodiment is not used. be able to.
  • the digital still camera 1 or the mobile phone 2 is based on the lens position when the lens 110 is in focus. Is measured. With this configuration, the distance can be calculated without adding a separate sensor for distance measurement. In addition, since no sensor is added, power consumption of the imaging device or the communication terminal can be suppressed, and the driving time of the device can be extended.
  • a method for measuring the distance to the subject a method for measuring the distance by optical parallax using the deviation of the subject photographed through two lenses separated from each other on the left and right, or irradiating the subject with infrared rays, ultrasonic waves, etc. You may utilize the method of measuring distance by time to return or irradiation angle.
  • the user of the digital still camera 1 or the mobile phone 2 has instructed switching of the shooting mode or shooting by tapping a GUI such as a recognition button displayed on the display unit 210.
  • a GUI such as a recognition button displayed on the display unit 210.
  • a user of the imaging device or communication terminal may perform the same operation using the operation buttons, dials, cursor keys, or the like.
  • switching of the shooting mode is not limited to a user operation.
  • the shooting mode may be fixedly determined for each activated program and application. By doing so, for example, when an application that performs character recognition or barcode recognition is started, the user can take a picture in the recognition mode without requiring another operation.
  • the imaging device may automatically switch the imaging mode.
  • the imaging apparatus includes a recognition evaluation unit that evaluates the degree of character recognition and other recognition from the image signal acquired by the ISP 130.
  • the recognition evaluation unit periodically recognizes the image signal acquired by the ISP 130 and evaluates the degree of recognition.
  • the control unit 100 determines which imaging mode is used for imaging from the degree of recognition evaluated by the recognition evaluation unit, and switches the imaging mode of the imaging apparatus.
  • the recognition evaluation unit may evaluate the recognition level when the image signal acquired by the ISP 130 is recognized.
  • the control unit 100 sets the imaging mode to the recognition mode.
  • the control unit 100 sets the imaging mode to the normal mode.
  • the shutter speed depends on the distance between the imaging device or the communication terminal and the subject.
  • the upper and lower limits of the allowable range may be controlled to be high speed.
  • the angle of view is narrowed, so that even when the distance to the subject is long, the influence of camera shake is likely to occur.
  • the allowable range of the shutter speed is recorded in the form of a table in which the distance and the shutter speed correspond to each other as shown in FIG.
  • the upper limit value and the lower limit value may be defined in the form of a function, for example, as an allowable range of the shutter speed.
  • the distance measured by the distance measuring unit is a value between the distances shown in the shutter speed table
  • an allowable range of the shutter speed corresponding to the closer distance may be used.
  • An intermediate value between the two may be used as an allowable range of the shutter speed.
  • the imaging apparatus 300 can include an imaging element 301, an exposure time control unit 302, a distance measurement unit 303, a storage unit 304, and a control unit 305.
  • the image sensor 301 photoelectrically converts the subject image to obtain an image signal corresponding to the shooting screen.
  • the exposure time control unit 302 controls the exposure time when the image sensor 301 takes an image.
  • the distance measuring unit 303 measures the distance between the image sensor 301 and the subject from the focus signal output from the exposure time control unit 302.
  • the storage unit 304 stores definition information in which the distance between the image sensor 301 and the subject is associated with the exposure time allowable range.
  • the control unit 305 switches whether to recognize the subject image included in the image signal.
  • the exposure time control unit 302 sets the allowable range associated with the distance measured by the distance measurement unit 303 from the definition information stored in the storage unit 304. Acquire and control the exposure time within the acquired allowable range.
  • the exposure time control unit 302 controls the exposure time within a predetermined range. Even with such a configuration, the object of the present invention can be achieved and the effects of the present invention can be achieved.
  • the present invention can be applied to all communication terminal devices capable of taking images or all imaging devices. Furthermore, the present invention can be applied to an image recognition system using a communication terminal device.
  • the imaging device and the communication terminal according to the present invention can be realized by using a normal computer system without using a dedicated system.
  • a computer connected to a network can store a program for executing the above operation on a computer-readable recording medium (CD-ROM (Compact Disc-Read Disc Only), MO (Magneto-Optical Disc), etc.)
  • CD-ROM Compact Disc-Read Disc Only
  • MO Magnetic-Optical Disc
  • the imaging apparatus and the communication terminal that execute the above-described processing may be configured by storing and distributing the program and installing the program in a computer system.
  • the method of providing the program to the computer is arbitrary.
  • the program may be uploaded to a bulletin board (BBS (Bulletin Board System)) on a communication line and distributed to a computer via the communication line.
  • BSS bulletin Board System
  • the program may be transmitted by a modulated wave obtained by modulating a carrier wave with a signal representing the program, and a device that receives the modulated wave may demodulate the modulated wave to restore the program.
  • the computer activates this program and executes it in the same manner as other applications under the control of an OS (Operating System).
  • OS Operating System
  • An image sensor that photoelectrically converts a subject image to obtain an image signal corresponding to a shooting screen;
  • An exposure time control unit for controlling an exposure time of the image sensor;
  • a distance measuring unit for measuring a distance between the image sensor and the subject;
  • a storage unit that stores definition information that associates the distance between the imaging element and the subject and the allowable range of the exposure time;
  • a control unit that switches whether to recognize the subject image included in the image signal,
  • the exposure time control unit acquires the allowable range associated with the distance measured by the distance measurement unit from the definition information when the control unit switches when the subject image is recognized.
  • the imaging apparatus wherein the exposure time is controlled within the acquired allowable range.
  • the exposure time control unit controls the exposure time without using, for example, definition information when the control unit switches to not recognizing the subject image.
  • Appendix 3 A recognition unit for recognizing the subject image included in the image signal;
  • a recognition evaluation unit that evaluates the degree of recognition of the image signal by the recognition unit; When the recognition degree evaluated by the recognition evaluation unit is greater than or equal to a threshold, the control unit switches when the subject image is recognized, and when the recognition degree evaluated by the recognition evaluation unit is less than the threshold, Switch without recognizing the subject image,
  • the imaging apparatus according to Supplementary Note 3, wherein
  • (Appendix 5) Communication that transmits the image signal to a server device that includes a server-side recognition unit that recognizes the subject image included in the image signal, and receives information on the recognition result of the subject image included in the image signal from the server device. Further comprising, When the server side recognition unit recognizes the subject image, the exposure time control unit obtains the allowable range associated with the distance measured by the distance measurement unit from the definition information, Controlling the exposure time within the acquired allowable range;
  • the imaging apparatus according to any one of appendices 1 to 4, characterized in that:
  • the distance measuring unit measures the distance based on the lens position when the lens is in focus.
  • the imaging apparatus according to any one of supplementary notes 1 to 7, wherein:
  • An exposure time control step for controlling the exposure time in the imaging step;
  • a distance measuring step for measuring a distance to the subject;
  • a storage step of storing definition information in which the distance to the subject is associated with the allowable range of the exposure time;
  • An imaging method characterized by the above.
  • An imaging function that photoelectrically converts the subject image to obtain an image signal corresponding to the shooting screen
  • An exposure time control function for controlling the exposure time of the imaging function
  • a distance measuring function for measuring the distance to the subject
  • a storage function for storing definition information in which the distance to the subject is associated with the allowable range of the exposure time
  • Realizing a control function for switching whether to recognize the subject image included in the image signal
  • the exposure time control function acquires the tolerance range associated with the distance measured by the distance measurement function from the definition information when the control function is switched when the subject image is recognized. Controlling the exposure time within the acquired allowable range;
  • the recording medium which recorded the program characterized by the above-mentioned.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

 撮像素子(120)は、被写体像を光電変換して、撮影画面に対応した画像信号を得る。カメラマイコン(140)は、撮像素子(120)の露光時間を制御する。カメラマイコン(140)は、レンズ(110)が合焦した時のレンズの位置から、デジタルスチルカメラ(1)と被写体との距離を測定する。メモリ部(160)は、デジタルスチルカメラ(1)と被写体との距離と、露光時間の許容範囲と、を対応付けた定義情報を記憶する。制御部(100)は、画像信号に含まれる被写体像の認識を行うか否かを切り替える。カメラマイコン(140)は、制御部(100)が被写体像の認識を行うと切り替えた場合は、定義情報から、測定した距離に対応付けられている露光時間の許容範囲を取得し、取得した露光時間の許容範囲内で露光時間を制御する。

Description

撮像装置、撮像方法、およびプログラムを記録した記録媒体
 本発明は、被写体を撮影し認識処理を行う撮像装置、撮像方法、およびプログラムを記録した記録媒体に関する。
 読み取った二次元バーコードをURL等の情報へ変換するアプリケーションや、カメラで読み取った紙面上の商品のロゴ・ラベルに画像認識処理を実施し、認識結果を基に商品の関連情報をインターネットから検索するアプリケーションがある。
 上述したようなアプリケーションを使用する際、利用者は、手持ちした携帯電話等を被写体に近づけて撮影する必要がある。この場合、被写体とカメラとの距離が近いため、撮影画像に現れる手ブレの影響が大きくなり、認識対象の画像の品質が低下することがある。
 このような問題を解決する手法がいくつか提案されている。例えば、特許文献1は、顔検出処理を行う撮影と行わない撮影でシャッタースピードを切り替える撮像装置を開示している。この撮像装置は、顔検出を行う場合は、シャッタースピードを顔検出に適した速度に設定することで手ブレの影響を低減し、顔検出を行わない場合は、シャッタースピードを被写体の撮影状況やユーザの要望に合致する速度に設定する。
 また、特許文献2は、撮像装置と被写体との距離によって手ブレの量が変動することを踏まえ、文字・画像認識を行うデジタルカメラが、撮像装置と被写体との距離を測定した結果に基づいて、適正なシャッタースピードと絞り値を設定する技術を開示している。
特開2010-157801号公報 特開2005-260663号公報
 しかしながら、特許文献1が開示する撮像装置は、撮像装置と被写体の間の距離に応じてシャッタースピードを設定することはできない。そのため、接写撮影のように撮像装置と被写体の間の距離が近い場合や、望遠撮影のように撮像装置と被写体の間の距離が遠い場合には、手ブレを的確に低減することはできない。
 また、特許文献2が開示するデジタルカメラは、撮影モードにかかわらず、測定した距離に基づいて、適正なシャッタースピードと絞り値を特定する。しかし、人物撮影や風景撮影のように、文字・画像認識を行わない撮影では、デジタルカメラの利用者は多少の手ブレを許容し、ノイズの影響を抑えた撮像画像を撮影することを望む場合もある。この様な場合に、特許文献2が開示するデジタルカメラは利用者の希望にこたえることはできない。
 本発明は、上記の実情に鑑みてなされたものであり、撮像画像に対する文字および画像認識処理の認識率を上げるため、認識対象となる撮像画像を撮影する時の手ブレの影響を低減させ、また、撮像の目的に応じて処理を変更する、撮像装置、撮像方法、およびプログラムを記録した記録媒体を提供することを目的とする。
 上記の目的を達成するために、第1の観点に係る撮像装置は、
 被写体像を光電変換して、撮影画面に対応した画像信号を得る撮像素子と、
 前記撮像素子の露光時間を制御する露光時間制御部と、
 前記撮像素子と前記被写体との距離を測定する距離測定部と、
 前記撮像素子と前記被写体との距離と、前記露光時間の許容範囲と、を対応付けた定義情報を記憶する記憶部と、
 前記画像信号に含まれる前記被写体像の認識を行うか否かを切り替える制御部と、を備え、
 前記露光時間制御部は、前記制御部が前記被写体像の認識を行うと切り替えた場合は、前記定義情報から、前記距離測定部が測定した距離に対応付けられている前記許容範囲を取得し、取得した前記許容範囲内で前記露光時間を制御する、ことを特徴とする。
 ここで、前記露光時間制御部は、前記制御部が前記被写体像の認識を行わないと切り替えた場合は、例えば、定義情報を使用せずに、前記露光時間を制御する。
 上記の目的を達成するために、第2の観点に係る撮像方法は、
 被写体像を光電変換して、撮影画面に対応した画像信号を得る撮像ステップと、
 前記撮像ステップでの露光時間を制御する露光時間制御ステップと、
 前記被写体までの距離を測定する距離測定ステップと、
 前記被写体までの距離と、前記露光時間の許容範囲と、を対応付けた定義情報を記憶する記憶ステップと、
 前記画像信号に含まれる前記被写体像の認識を行うか否かを切り替える制御ステップと、を備え、
 前記露光時間制御ステップでは、前記制御ステップで前記被写体像の認識を行うと切り替えた場合は、前記定義情報から、前記距離測定ステップで測定した距離に対応付けられている前記許容範囲を取得し、取得した前記許容範囲内で前記露光時間を制御する、ことを特徴とする。
 上記の目的を達成するために、第3の観点に係る記録媒体に記録されたプログラムは、コンピュータに、
 被写体像を光電変換して、撮影画面に対応した画像信号を得る撮像機能、
 前記撮像機能の露光時間を制御する露光時間制御機能、
 前記被写体までの距離を測定する距離測定機能、
 前記被写体までの距離と、前記露光時間の許容範囲と、を対応付けた定義情報を記憶する記憶機能、
 前記画像信号に含まれる前記被写体像の認識を行うか否かを切り替える制御機能、を実現させ、
 前記露光時間制御機能は、前記制御機能が前記被写体像の認識を行うと切り替えた場合は、前記定義情報から、前記距離測定機能が測定した距離に対応付けられている前記許容範囲を取得し、取得した前記許容範囲内で前記露光時間を制御する、ことを特徴とする。
 本発明によれば、撮像画像に対する文字・画像認識処理の認識率を上げるため、認識対象となる撮像画像を撮影する時の手ブレの影響を低減させ、また、撮像の目的に応じて処理を変更することができる。
第1の実施形態にかかるデジタルスチルカメラの構成を示すブロック図である。 デジタルスチルカメラの撮影モードを示す図である。 被写体となる文字とデジタルスチルカメラの距離による手ブレ量の違いを説明する図である。 被写体となる文字とデジタルスチルカメラの距離による手ブレ量の違いを説明する図である。 被写体となる文字とデジタルスチルカメラの距離による手ブレ量の違いを説明する図である。 被写体となる文字とデジタルスチルカメラの距離による手ブレ量の違いを説明する図である。 シャッタースピード許容範囲テーブルのデータの例を示す図である。 第1の実施形態の撮影処理の流れを示すフローチャートである。 第1の実施形態の撮影モード切り替え処理の流れを示すフローチャートである。 表示部の表示例の図である。 表示部の表示例の図である。 第1の実施形態の認識モード撮影処理の流れを示すフローチャートである。 第1の実施形態の文字認識処理の流れを示すフローチャートである。 第2の実施形態における携帯電話の構成を示すブロック図である。 本発明の撮像装置の機能構成を示すブロック図である。
(第1の実施形態)
 以下、本発明の実施の形態について、図面を参照しながら説明する。
 本発明の実施形態1に係る撮像装置は、文字を含む被写体を撮影するデジタルスチルカメラである。図1に示すように、デジタルスチルカメラ1は、制御部100、レンズ110、撮像素子120、ISP(Image Signal Processor)130、カメラマイコン140、フォーカス制御回路150、メモリ部160、描画制御部170、認識部180、画像符号化部190、記録媒体200、表示部210、タッチパネル220、バス230、を備える。
 制御部100は、CPU(Central Processing Unit)等から構成され、デジタルスチルカメラ1の各部を制御する。制御部100が、メモリ部160に格納された動作プログラムを実行することで後述する各処理が実現される。制御部100は、動作時に必要なデータや動作プログラム等を展開(ロード)するための記憶領域を備えている。この記憶領域(以下「ワークエリア」とする)は、例えば、レジスタやキャッシュメモリ、および、RAM(Random Access Memory)等から構成される。
 レンズ110は、デジタルスチルカメラ1が被写体を撮影する際、入光した被写体像を撮像素子120に結像させる。
 撮像素子120は、例えば、CCD(Charge Coupled Device:電荷結合素子)等から構成され、レンズ110を介して入光した入射光を光電変換し、電気信号に変換し、ISP130に供給する。
 ISP130は、撮像素子120が出力する電気信号をサンプリングして、画像信号を取得する。ISP130は、得られた画像信号にゲイン調整、デモザイキング処理、ガンマ補正、ホワイトバランス補正を施した上で、メモリ部160に記憶させる。
 また、ISP130は、画像信号が合焦しているか判定するための検波信号を生成し、カメラマイコン140に出力する。
 カメラマイコン140は、ISP130が出力する検波信号を用いて、レンズ110の合焦を判定する。カメラマイコン140は、レンズ110が合焦していないと判定した場合、レンズ110が合焦するようレンズ位置(合焦位置)を調節するため、フォーカス制御回路150にレンズ位置補正信号を送る。合焦の制御方法として、画像のコントラストが最も高くなるレンズ位置を探すコントラスト検出方式等がある。
 また、カメラマイコン140は、撮像素子120に蓄積された電荷を放電して撮像を開始するタイミングと、ISP130が撮像素子120から電気信号を読み出すタイミングと、の時間間隔、いわゆるシャッタースピードを制御する。
 フォーカス制御回路150は、カメラマイコン140から供給されるレンズ位置補正信号に基づいて、レンズ110と撮像素子120の間隔を制御する。
 メモリ部160は、SDRAM(Synchronous Dynamic Random Access Memory)等から構成され、例えば、ISP130から供給される画像信号等を一時的に記憶する。また、撮影に必要なパラメータ、文字認識処理に必要なパラメータ等を記憶する。
 描画制御部170は、メモリ部160に格納された画像信号を読み出し、画像信号の解像度を縮小し、別途、制御部100から受信するGUI(Graphical User Interface)を重畳した画面信号を作成し、表示部210に供給する。デジタルスチルカメラ1の利用者は、表示部210から撮像画像を目視できる。
 認識部180は、メモリ部160に記憶されている撮像画像の一部を切り出して、切り出した画像に文字認識処理を施す。
 画像符号化部190は、ISP130が取得した画像信号を情報圧縮し、圧縮画像信号を記録媒体200に供給する。
 記録媒体200は、不揮発性のメモリであり、例えば、SDカード等で構成される。記録媒体200は、画像符号化部190から供給される圧縮画像信号を格納する。
 表示部210は、例えば、LCD(Liquid Crystal Display)から構成される。表示部210は、描画制御部170が出力する画面信号、例えば、撮像画像や、撮影操作のためのボタンを表示する。
 タッチパネル220は、表示部210に重ね合わせられており、携帯電話の利用者が表示部210上のGUIの表示、例えば、シャッターボタン等、をタップすると、タップ位置の座標を検出し、検出した座標位置を制御部100に通知する。
 バス230は、デジタルスチルカメラ1の各部から制御部100への信号、また、制御部100から各部への信号のための伝送路である。
 デジタルスチルカメラ1は、撮影モードとして、図2に示すように通常モードM1と認識モードM2を有する。
 認識モードM2にあるときは、デジタルスチルカメラ1は利用者の認識開始の指示に従い、文字認識に適した撮像画像を取得できるよう撮影制御を行い、撮像画像に文字認識処理を施す。制御の方法については後述する。
 通常モードM1にあるときは、デジタルスチルカメラ1は風景・人物を撮影するのに適した撮影制御を行い、文字認識に適した撮像画像を取得するような撮影制御を行わない。
 デジタルスチルカメラ1の利用者は、表示部210上に表示されたGUI等を通じた操作により、図2に示すように、デジタルスチルカメラ1の撮影モードを切り替えることができる。例えば、デジタルスチルカメラ1が通常モードM1にあるときに、利用者が、表示部210上に表示された認識モードM2へ切り替えるためのボタン(認識モードボタン)をタップした場合、矢印A21に示すように、デジタルスチルカメラ1は撮影モードを認識モードM2に切り替える。また、デジタルスチルカメラ1が認識モードM2にあるときに、利用者が、表示部210上に表示された通常モードM1に切り替えるためのボタン(通常モードボタン)をタップした場合、矢印A22に示すように、デジタルスチルカメラ1は撮影モードを通常モードM1に切り替える。
 次に、デジタルスチルカメラ1が文字認識を行う際に、被写体となる文字とデジタルスチルカメラ1との距離により、手ブレ量が変化することを図3~図6を参照して説明する。
 本実施形態では、デジタルスチルカメラ1は撮像画像の一部を切り出して、切り出した画像に対して文字認識処理を施す。切り出された認識窓W530内の画像(以下、認識窓画像という)が、文字認識処理の対象となる。視野上端E510、視野下端E520は、認識窓画像の上端、下端をそれぞれ示す。文字C1、文字C2は被写体であり、文字C2は文字C1より大きいものとする。位置P500はデジタルスチルカメラ1の位置を示す。
 撮影の際、デジタルスチルカメラ1は、認識窓W530の枠を、表示部210に表示している画像の上に重ね合わせた状態で表示する。デジタルスチルカメラ1の利用者は、文字認識させたい文字が認識窓W530の枠に入るように撮影を行う。
 図3に示すように、デジタルスチルカメラ1と文字C1の距離をL1とする場合、文字C1は、文字全体が視野上端E510と視野下端E520の間(以下、視野範囲という)に収まるものとする。しかし、図4に示すように、デジタルスチルカメラ1と文字C2の距離を同じ距離(L1)とした場合、文字C2は文字C1より大きいため、文字C2全体が視野範囲に収まらない。そこで、文字C2が視野範囲に収まるように、デジタルスチルカメラ1と文字C2の間の距離をL1より長くする(このときの距離をL2とする)ことで、図5のように、文字C2全体を視野範囲に収めることができる。デジタルスチルカメラ1と被写体の間を離すことによって、視野上端E510と視野下端E520の間隔は開き、視野範囲が広くなる。よって、文字C2全体を視野範囲に収めることができ、文字認識が可能になる。
 図6は、デジタルスチルカメラ1の利用者が、手持ちでデジタルスチルカメラ1を持ち、撮影対象にデジタルスチルカメラ1を向けたときに、手ブレが生じる様子を示す。手ブレによりデジタルスチルカメラ1が下方へ移動し、位置P500から位置P600へ移動すると、認識窓画像の上端は視野上端E610へ、認識窓画像の下端は視野下端E620へ変化する。このとき、文字C2は、認識窓W630の視野範囲から文字の一部が欠けるが、文字の大部分が認識窓W630の視野範囲に入っているため、文字C2については、デジタルスチルカメラ1が文字を認識できる可能性がある。しかし、文字C1は、認識窓W630の視野範囲から外れるため、デジタルスチルカメラ1は文字を認識できなくなる。
 これは、手ブレにより、デジタルスチルカメラ1の位置が位置P500から位置P600に変化するときに、被写体の大きさの違いにより、それぞれの被写体の認識窓内の相対的な移動量が異なるためである。
 手ブレ量をbとし、文字C1の位置の画角をg1、文字C2の位置の画角をg2とすると、文字C1よりも文字C2のほうが大きいためg1<g2となる。これらを用いて認識窓内の移動量を求めると、それぞれb/g1、b/g2となる。それぞれの文字の認識窓内の移動量の関係は、b/g1>b/g2となることから、bの手ブレが発生した場合における文字の認識窓内の移動量は、文字C2に比べて、文字C1のほうが大きい。つまり、デジタルスチルカメラ1と被写体が近いほど、同じ量の手ブレによる認識窓内の被写体の移動量が大きい。従って、被写体が近いほど手ブレの影響が大きいと言える。
 このため、デジタルスチルカメラ1は認識モードM2においては、手ブレの影響を軽減するため、デジタルスチルカメラ1と被写体の距離が近いほど、シャッタースピードが高速になるよう、シャッタースピードを制御する。シャッタースピードが速い(露光時間が短い)ほど、露光中の手ブレ量が小さくなり、手ブレの影響を低減できるからである。
 具体的には、デジタルスチルカメラ1は、認識モードM2での撮影時に、デジタルスチルカメラ1と被写体の間の距離を測定し、測定した距離を基に、シャッタースピードの許容範囲を設定し、設定したシャッタースピードの許容範囲内になるようなシャッタースピードで撮影を行う。
 シャッタースピードの許容範囲は、メモリ部160に格納されているシャッタースピード許容範囲テーブル161に定義されている。図7に示すように、シャッタースピード許容範囲テーブル161には、距離とシャッタースピード(露光時間)とが対応付けて記憶されている。この距離とは、デジタルスチルカメラ1と被写体の距離の間の距離のことであり、シャッタースピードとは、デジタルスチルカメラ1と被写体の距離に応じて、設定するシャッタースピード(露光時間)の許容範囲である。
 シャッタースピード許容範囲テーブル161には、被写体までの距離が短いほど、シャッタースピードの許容範囲の上限値(高速側の限界値:露光時間の下限値)と下限値(低速側の限界値;露光時間の上限値)が高速になるような設定値が格納されている。例えば、デジタルスチルカメラ1と被写体の距離が15センチメートルの場合、許容されるシャッタースピードの範囲は、1/500~1/60(秒)となるが、その距離が、5センチメートルの場合、許容されるシャッタースピードの範囲は、1/4000~1/500と、上限値、下限値ともに高速になる。
(撮影処理)
 デジタルスチルカメラ1の撮影処理として制御部100が行う動作を図8に示す。
 デジタルスチルカメラ1の利用者がデジタルスチルカメラ1の電源を入れることにより、撮影処理が開始される。撮影モードや認識開始フラグ等の情報は、メモリ部160の所定の場所に記憶されるものとする。
 制御部100は、撮影モードとして通常モードM1を設定する(ステップS101)。
 制御部100は、認識開始フラグに0(「認識開始指示なし」を意味する)を設定する(ステップS102)。
 制御部100は、描画制御部170を介して、表示部210上に、通常モードM1を認識モードM2へ切り替えるための認識モードボタンのGUIを表示する(ステップS103)。
 デジタルスチルカメラ1の利用者が、表示部210上の認識モードボタンをタップすることにより、撮影モードの切り替えが指示された場合(ステップS104;YES)、ステップS105へ進む。
 制御部100は、撮影モード切り替え処理を行う(ステップS105)。撮影モード切り替え処理については、後述する。
 撮影モード切り替え処理後、制御部100は、撮影モードが認識モードM2であるか否か判別する(ステップS106)。撮影モードが認識モードM2であると判別した場合(ステップS106;Yes)、ステップS107へ進む。
 デジタルスチルカメラ1の利用者から認識開始指示があるか判別し(ステップS107)、あると判別すると(ステップS107;YES)、ステップS108へ進む。
 制御部100は、認識開始フラグに1(「認識開始指示あり」を意味する)を設定する(ステップS108)。
 制御部100は、認識モードM2での撮影処理を行う(ステップS109)。認識モードM2の撮影処理については、後述する。
 制御部100は、認識開始フラグに0を設定する(リセットする)(ステップS110)。
 制御部100は、文字認識処理を行う(ステップS111)。文字認識処理については、後述する。文字認識処理終了後、ステップS104へ戻る。
 一方、ステップS106で、撮影モードが通常モードM1であると判別された場合(ステップS106;NO)、利用者からの撮影の指示があったか否かを判別する(ステップS112)。指示がない場合(ステップS112;NO)、処理はステップS104に戻る。指示があった場合(ステップS112;YES)、通常モードでの撮影を行う。通常モードの撮影では、ステップS109の撮影処理と異なり、例えば、画像信号の照度値や、絞り値とレンズ110のF値、に基づいて、文字認識を考慮せずにシャッタースピード等の撮影パラメータが決定され、撮影が行われる。即ち、カメラマイコン140は、シャッタースピード許容範囲テーブル161に設定されている範囲に関係なく、シャッタースピードを決定する。
 上記の撮影処理は、デジタルスチルカメラ1の利用者がデジタルスチルカメラ1の電源を切ることで、処理が終了される。
(撮影モード切り替え処理)
 次に、図9を参照し、撮影モード切り替え処理(ステップS105の詳細)を説明する。
 制御部100は、現在の撮影モードが通常モードM1であるか判別し(ステップS201)、通常モードM1と判別した場合(ステップS201;YES)、ステップS202へ進む。
 制御部100は、撮影モードを認識モードM2に切り替える(ステップS202)。また制御部100は、切り替え後の撮影モードが認識モードM2であることを内蔵メモリに記憶する。
 制御部100は、描画制御部170を介して、表示部210上の認識モードボタンを非表示にし、通常モードボタンを表示する(ステップS203)。
 制御部100は、描画制御部170を介して、表示部210上に認識開始ボタンを表示する(ステップS204)。
 制御部100は、描画制御部170を介して、表示部210上に認識窓W530の枠を表示する(ステップS205)。認識窓の位置および大きさは、メモリ部160に記憶されている認識窓の位置座標によって決められる。
 図10に、ステップS203~ステップS205の処理後の表示部210の表示例を示す。認識モードM2では、表示部210は、通常モードM1へ切り替えるためのボタン(通常モードボタン)、認識窓W530の枠と撮影処理と認識処理を開始するための認識開始ボタンを表示する。
 また制御部100は、ステップS201で現在の撮影モードが認識モードM2であると判別した場合(ステップS201;NO)、ステップS206へ進む。
 制御部100は、撮影モードを通常モードM1に切り替える(ステップS206)。また制御部100は、切り替え後の撮影モードが通常モードM1であることを内蔵メモリに記憶する。
 制御部100は、描画制御部170を介して、表示部210上の通常モードボタンを非表示にし、認識モードボタンを表示する。また、表示部210上の認識開始ボタンを非表示にする(ステップS207)。
 制御部100は、描画制御部170を介して、表示部210上に撮影ボタンを表示する(ステップS208)。
 制御部100は、描画制御部170を介して、表示部210上に認識窓を非表示にする(ステップS209)。
 図11に、ステップS207~ステップS209の処理後の表示部210の表示例を示す。通常モードM1では、表示部210は、認識モードM2へ切り替えるためのボタン(認識モードボタン)と撮影処理を開始するための撮影ボタンを表示する。
(認識モード撮影処理)
 次に、図12を参照し、認識モードM2で、撮影時にカメラマイコン140が行う動作(認識モード撮影処理、ステップS109)について説明する。
 認識開始の指示に応答して、カメラマイコン140は、フォーカス制御回路150を制御して、レンズ110位置をスキャンする。レンズ110が移動する間、撮像装置120は、周期的に画像を取得し、ISP130に出力する。ISP130は、各画像のコントラストを求め、コントラストを示す検波信号を出力する。カメラマイコン140は、合焦したときのレンズ位置に基づいて、被写体までの距離を計測する(ステップS301)。具体的には、カメラマイコン140は、例えば、ISP130から検波信号を受信することによって合焦を検知した時に、フォーカス制御回路150に出力していたレンズ位置補正信号を基に、レンズ110の位置を検出する。検出したレンズ位置からデジタルスチルカメラ1と被写体の間の距離を測定する。
 カメラマイコン140は、シャッタースピード許容範囲テーブル161を参照し、ステップS301で測定した距離に応じたシャッタースピード範囲を取得する(ステップS302)。
 カメラマイコン140は、取得したシャッタースピードの範囲内で、画像信号の照度値を基に、シャッタースピードを設定する(ステップS303)。
 カメラマイコン140は、S106で決定したシャッタースピードに応じてゲイン調整値を設定する(ステップS304)。
 カメラマイコン140は、被写体を撮影する。具体的には、カメラマイコン140は、ステップS303で決定したシャッタースピードに応じて、シャッタースピードを制御する。ISP130は、撮像素子120から電気信号を読み出し、ステップS304で決定したゲイン調整値に応じて、ゲイン調整等を行い、画像信号に変換する(ステップS305)。
(文字認識処理)
 次に、図13を参照し、認識モードM2で、認識部180が行う文字認識処理(ステップS111)について説明する。
 認識部180は、メモリ部160に格納された画像信号を読み出す(ステップS401)。
 認識部180は、読み出した画像信号が表す撮像画像から、画像の一部を認識窓画像として切り出す。切り出す際、認識部180は、画像を切り出す位置および大きさを、メモリ部160に記憶されている認識窓の位置座標に基づいて決定する(ステップS402)。
 認識部180は、認識窓画像に文字認識処理を施す(ステップS403)。
 認識部180は、認識結果を、例えば、記録媒体200や、表示部210で表示するよう描画制御部170に、出力する(ステップS404)。認識結果は、撮像画像と紐付けて出力されてもよい。
 以上説明したように、デジタルスチルカメラ1は、被写体との距離からシャッタースピードの許容範囲を設定し、設定した許容範囲内でシャッタースピードを制御することにより、被写体との距離が近い場合でも手ブレの影響の少ない撮像画像を得ることができる。撮像画像の手ブレの影響を低減することができるため、文字認識処理の認識率を上げることができる。
 さらに、撮影モードによって、シャッタースピードの許容範囲を設定するか否かを切り替えるため、デジタルスチルカメラ1は、認識処理を行う必要がない場合には、処理時間を短縮でき、撮像装置または通信端末の電力の消費を抑えることができる。また例えば、デジタルスチルカメラ1は、通常モードでは多少の手ブレを許容する反面、ノイズの影響を抑えた画像を撮影することができ、かつ、認識モードでは手ブレを抑制した画像を撮影することができる。このように、撮影モードに応じてシャッタースピードの特定方法を変更することにより、デジタルスチルカメラ1は、撮影の目的により適した画像を撮影することができる。
 第1の実施形態の撮像装置として、デジタルスチルカメラ1を例として挙げたが、デジタルビデオカメラ等の他の撮像装置や、スマートフォン、PDA(Personal Digital Assistant)、タブレットPC(Personal Computer)等の撮像機能をもつ通信端末を使用してもよい。
(第2の実施形態)
 本実施形態では、本発明の第2の観点に係る通信端末が、携帯電話で構成される例を説明する。図14に示すように携帯電話2は、制御部100、レンズ110、撮像素子120、ISP130、カメラマイコン140、フォーカス制御回路150、メモリ部160、描画制御部170、画像符号化部190、記録媒体200、表示部210、タッチパネル220、バス230、画像切り出し部240、無線回路250、アンテナ260、マイク270、スピーカ280を備える。
 第1の実施形態のデジタルスチルカメラ1の構成要素と同様の動作を行うものについては同一番号を付し、説明を省略する。
 第2の実施形態では、携帯電話2が被写体を撮影し、認識窓画像をサーバ(図示せず)に送る。認識窓画像を受信したサーバは、受信した認識窓画像に文字認識処理を施し、認識結果を携帯電話2に送信する。サーバが行う文字認識処理の内容は、第1の実施形態において、認識部180が行っていた処理と同様であるため、説明を省略する。
 画像切り出し部240は、撮像により取得した画像信号の一部分を切り出し、切り出した認識窓画像を無線回路250に出力する。
 無線回路250は、サーバへ認識窓画像を送信するため、画像切り出し部240から入力された画像信号、音声信号、データ信号を高周波信号に変換した後、アンテナ260に出力する。また、アンテナ260が受信する電波を、高周波信号に変換し、その後、それぞれを画像信号、音声信号、データ信号に変換する。
 アンテナ260は、無線回路250から出力された信号を、電波としてサーバに送信する。また、サーバからの電波を受信し、無線回路250に出力する。
 マイク270は、制御部100の制御に従い、音声を収音し、音声信号に変換する。
 スピーカ280は、制御部100から受信した音声信号を音声として出力する。
 本実施形態によれば、撮像機能をもつ通信端末においても第1の実施形態と同様の効果を得ることができる。
 第2の実施形態の通信端末として、携帯電話2を例として挙げたが、スマートフォン、PDA(Personal Digital Assistant)、タブレットPC(Personal Computer)等の撮像機能をもつ通信端末を使用してもよい。
 以上、添付図面を参照しながら本発明に係る第1および第2の実施形態について説明したが,本発明はかかる例に限定されない。
 第1および第2の実施形態では、説明を省略したが、デジタルスチルカメラ1または携帯電話2は、画像信号の照度値から、通常モードM1のシャッタースピードとゲイン調整値を決定してもよい。
 また、デジタルスチルカメラ1または携帯電話2は、被写体との間の距離を測定し、画像信号の照度値と測定した距離の両方を使用して、シャッタースピードとゲイン調整値を決定してもよい。ただし、通常モードM1では、撮像画像に対して文字認識処理を行わないため、シャッタースピード許容範囲テーブル161を参照して、シャッタースピードの許容範囲を設定せず、予め通常モードM1用に設定された所定の範囲でシャッタースピードを決定する。
 第1および第2の実施形態では、デジタルスチルカメラ1または携帯電話2の利用者は、表示部210上に表示される認識開始ボタンに対応するGUIをタップすることにより、認識開始をデジタルスチルカメラ1または携帯電話2に指示する。これを受けて制御部100は認識開始フラグを変更する。
 この構成では、デジタルスチルカメラ1または携帯電話2の利用者が認識対象としたい文字が、表示部210上の認識窓W530に表示されたタイミングで認識を開始できるので、利用者が認識を所望する文字以外を誤って認識する可能性が低くなる。
 認識開始フラグは、カメラマイコン140が、ISP130が出力する検波信号(合焦しているか判定するための信号)を受信したタイミングで変更されてもよい。
 この方法の場合、デジタルスチルカメラ1の利用者による画面のタップが発生しないため、タップ動作による手ブレを抑えることができる。また、合焦直後に認識を開始するため、文字認識に要する時間が短縮され、単位時間あたりの認識回数が増えることで、本実施形態と同様の構成を利用しない場合に比べて認識率を高めることができる。
 撮像装置または通信端末と被写体との距離を測定するため、第1および第2の実施形態では、デジタルスチルカメラ1または携帯電話2は、レンズ110が合焦したときの、レンズ位置を基に距離を計測している。
 本構成により、距離計測のためのセンサを別途追加することなく距離を算出できる。また、センサを追加しないため、撮像装置または通信端末の電力の消費を抑え、装置の駆動時間を長くすることができる。
 被写体までの距離測定方法としては、左右に離れた2つのレンズを通して撮影した被写体のずれを利用した光学視差により距離を計測する方法や、被写体に赤外線・超音波等を照射し、その反射波が戻るまでの時間や照射角度により距離を計測する方法を利用してもよい。
 第1および第2の実施形態では、デジタルスチルカメラ1または携帯電話2の利用者は、表示部210に表示される認識ボタン等のGUIをタップすることで、撮影モードの切り替えや撮影を指示した。操作ボタンや、ダイヤル、カーソルキー等を備える撮像装置や通信端末では、撮像装置や通信端末の利用者は、操作ボタンや、ダイヤル、カーソルキー等で、同様の操作を行ってもよい。
 また、撮影モードの切り替えは、利用者の操作によるものに限られない。例えば、携帯電話あるいはスマートフォン等の撮像装置において、起動されるプログラム、アプリケーションごとに撮影モードが固定的に決まっていてもよい。そのようにすることで、例えば文字認識やバーコード認識を行うアプリケーションを起動する場合、利用者は他の操作を要することなく認識モードで撮影をすることができる。
 あるいは、撮像装置は、撮像モードを自動で切り替えるようにしてもよい。この場合、撮像装置は、ISP130が取得した画像信号から、文字認識その他の認識の度合いを評価する認識評価部を備える。認識評価部は、周期的にISP130が取得した画像信号を認識のうえ、認識の度合いを評価する。制御部100は、認識評価部が評価した認識の度合いからどちらの撮像モードで撮影するかを判別し、撮像装置の撮像モードを切り替える。
 例えば、認識評価部は、ISP130が取得した画像信号を文字認識した際の認識度を評価するようにしてもよい。この場合、ISP130が取得した画像を文字認識した結果、認識評価部が認識度をある閾値以上だと評価した場合、制御部100は撮像モードを認識モードに設定する。逆に、ISP130が取得した画像を文字認識した結果、認識評価部が認識度をある閾値に満たないと評価した場合、制御部100は撮像モードを通常モードに設定する。
 また、第1および第2の実施形態では、文字を含む被写体を撮影し、撮像画像に文字認識処理を行う例について説明したが、同様の構成で画像認識処理を行うこともできる。
 さらに、第1および第2の実施形態では、文字認識のため接写する例を示したが、望遠ズームで撮影する際にも、撮像装置または通信端末と被写体の間の距離に応じて、シャッタースピードの許容範囲の上限と下限が高速になるように制御してもよい。望遠ズームを行うと、画角が狭くなるので、被写体までの距離が遠い場合でも手ブレの影響が出やすくなる。
 本発明においては、シャッタースピードの許容範囲は、図7に示すように距離とシャッタースピードを対応させたテーブルの形で記録されている。これに限られず、シャッタースピードの許容範囲は、例えば関数の形で上限値および下限値が規定されていてもよい。また、距離測定部が計測した距離が、シャッタースピードテーブルに示された距離の間の値であった場合、近いほうの距離に対応するシャッタースピードの許容範囲を用いてもよい。また両者の中間値をシャッタースピードの許容範囲として用いてもよい。
 さらに、本発明に係る撮像装置300は、図15に示すように、撮像素子301と、露光時間制御部302と、距離測定部303と、記憶部304と、制御部305から構成されうる。
 撮像素子301は、被写体像を光電変換して、撮影画面に対応した画像信号を得る。
 露光時間制御部302は、撮像素子301が撮像をする際の露光時間を制御する。
 距離測定部303は、露光時間制御部302が出力する合焦信号等から、撮像素子301と被写体との距離を測定する。
 記憶部304は、撮像素子301と被写体との距離と、露光時間の許容範囲と、を対応付けた定義情報を記憶する。
 制御部305は、画像信号に含まれる被写体像の認識を行うか否かを切り替える。制御部305が被写体像の認識を行うと切り替えた場合は、露光時間制御部302は、記憶部304が記憶する定義情報から、距離測定部303が測定した距離に対応付けられている許容範囲を取得し、取得した許容範囲内で露光時間を制御する。制御部305が被写体像の認識を行わないと切り替えた場合は、露光時間制御部302は、所定範囲内で露光時間を制御する。
 このような構成によっても、本発明の課題は達成され、また、本願発明の効果が奏される。
 本発明は、画像撮影の可能な通信端末装置全般、または撮像装置全般に適用可能である。さらには通信端末装置を用いた画像認識システムに適用可能である。
 また、本発明に係る撮像装置および通信端末は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、ネットワークに接続されているコンピュータに、上記動作を実行するためのプログラムを、コンピュータシステムが読み取り可能な記録媒体(CD-ROM(Compact Disc Read Only Memory)、MO(Magneto- Optical disk)等)に格納して配布し、当該プログラムをコンピュータシステムにインストールすることにより、上述の処理を実行する撮像装置および通信端末を構成してもよい。
 また、コンピュータにプログラムを提供する方法は任意である。例えば、プログラムは、通信回線の掲示板(BBS(Bulletin Board System))にアップロードされ、通信回線を介してコンピュータに配信されてもよい。また、プログラムは、プログラムを表す信号により搬送波を変調した変調波により伝送され、この変調波を受信した装置が変調波を復調してプログラムを復元するようにしてもよい。そして、コンピュータは、このプログラムを起動して、OS(Operating System)の制御のもと、他のアプリケーションと同様に実行する。これにより、コンピュータは、上述の処理を実行する撮像装置および通信端末として機能する。
 なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態および変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内およびそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
 また、上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
 被写体像を光電変換して、撮影画面に対応した画像信号を得る撮像素子と、
 前記撮像素子の露光時間を制御する露光時間制御部と、
 前記撮像素子と前記被写体との距離を測定する距離測定部と、
 前記撮像素子と前記被写体との距離と、前記露光時間の許容範囲と、を対応付けた定義情報を記憶する記憶部と、
 前記画像信号に含まれる前記被写体像の認識を行うか否かを切り替える制御部と、を備え、
 前記露光時間制御部は、前記制御部が前記被写体像の認識を行うと切り替えた場合は、前記定義情報から、前記距離測定部が測定した距離に対応付けられている前記許容範囲を取得し、取得した前記許容範囲内で前記露光時間を制御する、ことを特徴とする撮像装置。
 ここで、前記露光時間制御部は、前記制御部が前記被写体像の認識を行わないと切り替えた場合は、例えば、定義情報を使用しないで、前記露光時間を制御する。
(付記2)
 前記定義情報は、前記距離測定部が測定した距離が短いほど、前記露光時間の許容範囲の長時間側値が短くなるような許容範囲を示す、
 ことを特徴とする付記1に記載の撮像装置。
(付記3)
 前記画像信号に含まれる前記被写体像の認識を行う認識部、をさらに備える、
 ことを特徴とする付記1または2に記載の撮像装置。
(付記4)
 前記認識部による前記画像信号の認識の度合いを評価する認識評価部を備え、
 前記制御部は、前記認識評価部が評価する認識の度合いが閾値以上であると、前記被写体像の認識を行うと切り替え、前記認識評価部が評価する認識の度合いが閾値に満たないと、前記被写体像の認識を行わないと切り替える、
 ことを特徴とする付記3に記載の撮像装置。
(付記5)
 前記画像信号に含まれる前記被写体像を認識するサーバ側認識部を備えるサーバ装置に前記画像信号を送信し、前記サーバ装置から前記画像信号に含まれる前記被写体像の認識結果の情報を受信する通信部、をさらに備え、
 前記露光時間制御部は、前記サーバ側認識部が前記被写体像の認識を行う場合には、前記定義情報から、前記距離測定部が測定した距離に対応付けられている前記許容範囲を取得し、取得した前記許容範囲内での前記露光時間の制御を行う、
 ことを特徴とする付記1から4のいずれか1つに記載の撮像装置。
(付記6)
 前記制御部が前記被写体像の認識を行うと切り替えた場合、前記制御部は、前記撮像装置の利用者からの指示により撮像を開始する、
 ことを特徴とする付記1から5のいずれか1つに記載の撮像装置。
(付記7)
 前記制御部が前記被写体像の認識を行うと切り替えた場合、前記制御部は、前記露光時間制御部が出力する合焦信号により、撮像を開始する、
 ことを特徴とする付記1から6のいずれか1つに記載の撮像装置。
(付記8)
 前記距離測定部は、レンズが合焦したときの、レンズ位置を基に距離を測定する、
 ことを特徴とする付記1から7のいずれか1つに記載の撮像装置。
(付記9)
 被写体像を光電変換して、撮影画面に対応した画像信号を得る撮像ステップと、
 前記撮像ステップでの露光時間を制御する露光時間制御ステップと、
 前記被写体までの距離を測定する距離測定ステップと、
 前記被写体までの距離と、前記露光時間の許容範囲と、を対応付けた定義情報を記憶する記憶ステップと、
 前記画像信号に含まれる前記被写体像の認識を行うか否かを切り替える制御ステップと、を備え、
 前記露光時間制御ステップでは、前記制御ステップで前記被写体像の認識を行うと切り替えた場合は、前記定義情報から、前記距離測定ステップで測定した距離に対応付けられている前記許容範囲を取得し、取得した前記許容範囲内で前記露光時間を制御する、
 ことを特徴とする撮像方法。
(付記10)
 コンピュータに、
 被写体像を光電変換して、撮影画面に対応した画像信号を得る撮像機能、
 前記撮像機能の露光時間を制御する露光時間制御機能、
 前記被写体までの距離を測定する距離測定機能、
 前記被写体までの距離と、前記露光時間の許容範囲と、を対応付けた定義情報を記憶する記憶機能、
 前記画像信号に含まれる前記被写体像の認識を行うか否かを切り替える制御機能、を実現させ、
 前記露光時間制御機能は、前記制御機能が前記被写体像の認識を行うと切り替えた場合は、前記定義情報から、前記距離測定機能が測定した距離に対応付けられている前記許容範囲を取得し、取得した前記許容範囲内で前記露光時間を制御する、
 ことを特徴とするプログラムを記録した記録媒体。
 本発明は、2012年3月30日に出願された日本国特許出願2012-82645号に基づく。本明細書中に日本国特許出願2012-82645号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
1   デジタルスチルカメラ
2   携帯電話
100 制御部
110 レンズ
120 撮像素子
130 ISP
140 カメラマイコン
150 フォーカス制御回路
160 メモリ部
161 シャッタースピード許容範囲テーブル
170 描画制御部
180 認識部
190 画像符号化部
200 記録媒体
210 表示部
220 タッチパネル
230 バス
240 画像切り出し部
250 無線回路
260 アンテナ
270 マイク
280 スピーカ
300 撮像装置
301 撮像素子
302 露光時間制御部
303 距離測定部
304 記憶部
305 制御部
b         手ブレ量
C1、C2     文字(被写体)
E510、E610 視野上端
E520、E610 視野下端
g1、g2     文字(被写体)の画角
L1、L2     デジタルスチルカメラと被写体の間の距離
M1        通常モード
M2        認識モード
P500、P600 デジタルスチルカメラの位置
W530、W630 認識窓

Claims (9)

  1.  被写体像を光電変換して、撮影画面に対応した画像信号を得る撮像素子と、
     前記撮像素子の露光時間を制御する露光時間制御部と、
     前記撮像素子と前記被写体との距離を測定する距離測定部と、
     前記撮像素子と前記被写体との距離と、前記露光時間の許容範囲と、を対応付けた定義情報を記憶する記憶部と、
     前記画像信号に含まれる前記被写体像の認識を行うか否かを切り替える制御部と、を備え、
     前記露光時間制御部は、前記制御部が前記被写体像の認識を行うと切り替えた場合は、前記定義情報から、前記距離測定部が測定した距離に対応付けられている前記許容範囲を取得し、取得した前記許容範囲内で前記露光時間を制御する、
     ことを特徴とする撮像装置。
  2.  前記定義情報は、前記距離測定部が測定した距離が短いほど、前記露光時間の許容範囲の長時間側値が短くなるような許容範囲を示す、
     ことを特徴とする請求項1に記載の撮像装置。
  3.  前記画像信号に含まれる前記被写体像の認識を行う認識部、をさらに備える、
     ことを特徴とする請求項1または2に記載の撮像装置。
  4.  前記認識部による前記画像信号の認識の度合いを評価する認識評価部を備え、
     前記制御部は、前記認識評価部が評価する認識の度合いが閾値以上であると、前記被写体像の認識を行うと切り替え、前記認識評価部が評価する認識の度合いが閾値に満たないと、前記被写体像の認識を行わないと切り替える、
     ことを特徴とする請求項3に記載の撮像装置。
  5.  前記画像信号に含まれる前記被写体像を認識するサーバ側認識部を備えるサーバ装置に前記画像信号を送信し、前記サーバ装置から前記画像信号に含まれる前記被写体像の認識結果の情報を受信する通信部、をさらに備え、
     前記露光時間制御部は、前記サーバ側認識部が前記被写体像の認識を行う場合には、前記定義情報から、前記距離測定部が測定した距離に対応付けられている前記許容範囲を取得し、取得した前記許容範囲内での前記露光時間の制御を行う、
     ことを特徴とする請求項1から4のいずれか1項に記載の撮像装置。
  6.  前記制御部が前記被写体像の認識を行うと切り替えた場合、前記制御部は、前記撮像装置の利用者からの指示により撮像を開始する、
     ことを特徴とする請求項1から5のいずれか1項に記載の撮像装置。
  7.  前記制御部が前記被写体像の認識を行うと切り替えた場合、前記制御部は、前記露光時間制御部が出力する合焦信号により、撮像を開始する、
     ことを特徴とする請求項1から6のいずれか1項に記載の撮像装置。
  8.  被写体像を光電変換して、撮影画面に対応した画像信号を得る撮像ステップと、
     前記撮像ステップでの露光時間を制御する露光時間制御ステップと、
     前記被写体までの距離を測定する距離測定ステップと、
     前記被写体までの距離と、前記露光時間の許容範囲と、を対応付けた定義情報を記憶する記憶ステップと、
     前記画像信号に含まれる前記被写体像の認識を行うか否かを切り替える制御ステップと、を備え、
     前記露光時間制御ステップでは、前記制御ステップで前記被写体像の認識を行うと切り替えた場合は、前記定義情報から、前記距離測定ステップで測定した距離に対応付けられている前記許容範囲を取得し、取得した前記許容範囲内で前記露光時間を制御する、
     ことを特徴とする撮像方法。
  9.  コンピュータに、
     被写体像を光電変換して、撮影画面に対応した画像信号を得る撮像機能、
     前記撮像機能の露光時間を制御する露光時間制御機能、
     前記被写体までの距離を測定する距離測定機能、
     前記被写体までの距離と、前記露光時間の許容範囲と、を対応付けた定義情報を記憶する記憶機能、
     前記画像信号に含まれる前記被写体像の認識を行うか否かを切り替える制御機能、を実現させ、
     前記露光時間制御機能は、前記制御機能が前記被写体像の認識を行うと切り替えた場合は、前記定義情報から、前記距離測定機能が測定した距離に対応付けられている前記許容範囲を取得し、取得した前記許容範囲内で前記露光時間を制御する、
     ことを特徴とするプログラムを記録した記録媒体。


     
     
PCT/JP2013/059967 2012-03-30 2013-04-01 撮像装置、撮像方法、およびプログラムを記録した記録媒体 WO2013147303A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012082645 2012-03-30
JP2012-082645 2012-03-30

Publications (1)

Publication Number Publication Date
WO2013147303A1 true WO2013147303A1 (ja) 2013-10-03

Family

ID=49260535

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/059967 WO2013147303A1 (ja) 2012-03-30 2013-04-01 撮像装置、撮像方法、およびプログラムを記録した記録媒体

Country Status (1)

Country Link
WO (1) WO2013147303A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557558A (zh) * 2018-05-31 2019-12-10 丰田自动车株式会社 物体监视装置
CN113657427A (zh) * 2021-06-29 2021-11-16 东风汽车集团股份有限公司 一种车内多源图像融合识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317293A (ja) * 1995-05-17 1996-11-29 Minolta Co Ltd 撮像装置
JP2001111888A (ja) * 1999-10-12 2001-04-20 Ricoh Co Ltd デジタルカメラおよびその文字撮影方法
JP2001209782A (ja) * 2000-01-27 2001-08-03 Ricoh Co Ltd 撮像装置およびその文字撮影方法
JP2006094082A (ja) * 2004-09-24 2006-04-06 Casio Comput Co Ltd 画像撮影装置およびプログラム
JP2007251236A (ja) * 2006-03-13 2007-09-27 Fujifilm Corp 撮影装置
JP2010262246A (ja) * 2009-04-06 2010-11-18 Optoelectronics Co Ltd 液体レンズ光学体及び光学的情報読取装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317293A (ja) * 1995-05-17 1996-11-29 Minolta Co Ltd 撮像装置
JP2001111888A (ja) * 1999-10-12 2001-04-20 Ricoh Co Ltd デジタルカメラおよびその文字撮影方法
JP2001209782A (ja) * 2000-01-27 2001-08-03 Ricoh Co Ltd 撮像装置およびその文字撮影方法
JP2006094082A (ja) * 2004-09-24 2006-04-06 Casio Comput Co Ltd 画像撮影装置およびプログラム
JP2007251236A (ja) * 2006-03-13 2007-09-27 Fujifilm Corp 撮影装置
JP2010262246A (ja) * 2009-04-06 2010-11-18 Optoelectronics Co Ltd 液体レンズ光学体及び光学的情報読取装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557558A (zh) * 2018-05-31 2019-12-10 丰田自动车株式会社 物体监视装置
CN113657427A (zh) * 2021-06-29 2021-11-16 东风汽车集团股份有限公司 一种车内多源图像融合识别方法及装置
CN113657427B (zh) * 2021-06-29 2024-01-23 东风汽车集团股份有限公司 一种车内多源图像融合识别方法及装置

Similar Documents

Publication Publication Date Title
EP3335416B1 (en) Digital photographing apparatus and method of operating the same
KR102085766B1 (ko) 촬영 장치의 자동 초점 조절 방법 및 장치
US7630567B2 (en) Adaptive image coding with pressure-selected regions
KR100805293B1 (ko) 휴대기기 및 그 촬영방법
US9854151B2 (en) Imaging device and focusing control method
US20140071326A1 (en) Method for displaying camera preview screen in a portable terminal
JPWO2013168505A1 (ja) 撮像装置及び信号補正方法
JP2012199675A (ja) 画像処理装置、画像処理方法及びプログラム
US20090034951A1 (en) Remote photographing system
EP3316568B1 (en) Digital photographing device and operation method therefor
JP2005348181A (ja) 撮影装置及びその制御方法並びに制御用プログラム
EP4195650A1 (en) Photographing method and electronic device
KR20170059704A (ko) 촬영 장치 및 그 동작 방법
KR20170009089A (ko) 사용자의 제스쳐를 이용하여 기능을 제어하는 방법 및 촬영 장치.
US20130188071A1 (en) Electronic apparatus and photography control method
KR102072731B1 (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
US20140210941A1 (en) Image capture apparatus, image capture method, and image capture program
US9215003B2 (en) Communication apparatus, communication method, and computer readable recording medium
US8189055B2 (en) Digital photographing apparatus and method of controlling the same
US20150029381A1 (en) Electronic device and method of photographing image using the same
US8571404B2 (en) Digital photographing apparatus, method of controlling the same, and a computer-readable medium storing program to execute the method
US9516211B2 (en) Photographing apparatus and method of photographing image thereof
WO2013147303A1 (ja) 撮像装置、撮像方法、およびプログラムを記録した記録媒体
US20100201866A1 (en) Digital photographing apparatus which sets a shutter speed according to a frequency of an illumination apparatus
JP5911300B2 (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13769857

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13769857

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP