WO2017159353A1 - 画像処理装置、画像処理システム、及び画像処理方法 - Google Patents

画像処理装置、画像処理システム、及び画像処理方法 Download PDF

Info

Publication number
WO2017159353A1
WO2017159353A1 PCT/JP2017/007874 JP2017007874W WO2017159353A1 WO 2017159353 A1 WO2017159353 A1 WO 2017159353A1 JP 2017007874 W JP2017007874 W JP 2017007874W WO 2017159353 A1 WO2017159353 A1 WO 2017159353A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
reference position
correction
image processing
correction reference
Prior art date
Application number
PCT/JP2017/007874
Other languages
English (en)
French (fr)
Inventor
洋介 成瀬
高志 椚瀬
林　健吉
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201780016871.4A priority Critical patent/CN108886575B/zh
Priority to JP2018505793A priority patent/JP6450498B2/ja
Publication of WO2017159353A1 publication Critical patent/WO2017159353A1/ja
Priority to US16/129,913 priority patent/US10594909B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00—Testing correct operation of photographic apparatus or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention relates to an image processing device, an image processing system, and an image processing method that perform correction corresponding to optical characteristics of a lens on an image obtained by imaging with an imaging device.
  • Image processing technology that corrects image degradation caused by optical characteristics of a lens with respect to an image obtained by imaging with an imaging device is known.
  • the point image restoration process is an image process in which an image deterioration characteristic due to lens aberration is obtained in advance, and the image deterioration of the image is canceled by a restoration filter corresponding to the characteristic.
  • image processing is effective in reducing the cost of the lens and suppressing variations in image quality.
  • Patent Document 1 a correction parameter for distortion aberration of an imaging lens is two-dimensionally encoded for each type of imaging lens and printed on a lens cap, and the digital camera captures and decodes the two-dimensional code and applies to the captured image. It is described that distortion aberration correction is performed.
  • Patent Document 2 a signal transmission / reception circuit is provided at a junction between the document table and the digital camera, and the rotation angle (tilt angle) of the document is detected by the angle sensor of the document table and transmitted to the digital camera. It is described that rotation angle information is written in a tag portion of image data by a digital camera.
  • position information in the rotation direction of the lens barrel is required.
  • a lens barrel mounted in a screw-in manner generally has an indeterminate mounting position in the rotational direction of the lens barrel. Therefore, in order to correct uneven optical characteristics around the lens optical axis, Information indicating the mounting position of the cylinder in the rotational direction is required. Even if the mounting position in the rotation direction is constant, if the lens barrel rotates during the focusing operation, information indicating the feeding stop position in the rotation direction of the lens barrel is required. .
  • connection part (mount part) between the lens barrel and the imaging device does not have an electrical communication function, information necessary for correction cannot be transmitted from the lens barrel to the imaging device. Even if the connection portion between the lens barrel and the imaging device has an electrical communication function, information necessary for correction cannot be transmitted from the lens barrel to the imaging device unless the communication method is common. That is, information necessary for correction cannot be transmitted to the image processing apparatus.
  • the two-dimensional code printed on the lens cap is information indicating a correction parameter determined for each type of imaging lens, and is not information indicating a position (mounting position or feeding stop position) in the rotation direction of the imaging lens. Also, it is not information indicating a correction parameter that changes depending on the position of the imaging lens in the rotation direction.
  • Patent Document 2 an electrical communication function is indispensable at the junction between the document table and the digital camera. Therefore, the technique of Patent Document 2 cannot be applied when the lens barrel and the imaging device are not communicating.
  • An object is to provide an image processing apparatus, an image processing system, and an image processing method.
  • an image processing apparatus includes a first image indicating a correction reference position in a rotation direction of a lens barrel attached to an imaging apparatus, and a second image to be corrected.
  • An image input unit that inputs a first image and a second image obtained by imaging of the imaging device, a rotation position recognition unit that recognizes a correction reference position in the rotation direction based on the first image, and a rotation A correction information acquisition unit that acquires correction information corresponding to non-uniform optical characteristics around the optical axis of the lens held in the lens barrel based on the correction reference position of the direction, and a second image based on the correction information
  • An image correction unit that corrects.
  • the first image includes a marker indicating the correction reference position
  • the rotational position recognition unit detects the inclination of the marker in the screen of the first image, Based on the inclination, the correction reference position is recognized.
  • the marker is a one-dimensional or two-dimensional barcode.
  • the “bar code” refers to a coded pattern (coded pattern), and is sometimes simply referred to as “code”.
  • code coded pattern
  • two-dimensional barcode includes a coding pattern called “two-dimensional code”.
  • the barcode includes at least one of correction information and identification information
  • the correction information acquisition unit includes the barcode decoding result and the first image in the screen. Correction information corresponding to the correction reference position is acquired based on the barcode inclination at.
  • the marker is a marker displayed on the image display device or a marker printed on the object.
  • the first image includes correction reference position information acquired by the image display device, and the rotational position recognition unit obtains the correction reference position information from the first image.
  • the correction reference position is recognized by extracting.
  • the correction reference position information is posture information indicating the posture of the image display device detected by the image display device, and the correction information acquisition unit is based on the posture information. , To obtain correction information.
  • the correction reference position information is user input information received by the image display device, and the correction information acquisition unit acquires the correction information based on the user input information. .
  • the first image includes a light image by light emission of the light source
  • the rotational position recognition unit detects a light amount distribution in the screen of the first image, and The correction reference position is recognized based on the distribution.
  • the rotational position recognition unit recognizes the correction reference position based on the position of the optical image in the screen of the first image.
  • the light source is a point light source
  • the rotational position recognition unit determines the correction reference position in the rotational direction based on the position of the light image of the point light source in the first image. recognize.
  • the light amount distribution is generated by a light amount difference between the light-transmitting region and the light-shielding region in the first image
  • the rotational position recognition unit is configured to transmit the light-transmitting region and the light-shielding region in the first image.
  • the correction reference position is recognized by detecting at least one of the areas.
  • the rotation position recognition unit recognizes the correction reference position in the rotation direction based on the temporal change of the light amount in the first image.
  • the correction information acquisition unit acquires correction information corresponding to another correction reference position by converting correction information corresponding to a single correction reference position. .
  • the correction information acquisition unit selects correction information corresponding to the correction reference position recognized by the rotation position recognition unit from the plurality of correction information.
  • the correction information includes correction information for point image restoration processing.
  • An image processing system includes a lens device including a lens and a lens barrel, an imaging device, and an image processing device.
  • the first image indicating the correction reference position in the rotation direction of the lens barrel attached to the imaging apparatus and the second image to be corrected, the imaging apparatus imaging.
  • the step of inputting the first image and the second image obtained by the step, the step of recognizing the correction reference position in the rotation direction based on the first image, and the lens barrel based on the correction reference position in the rotation direction A step of acquiring correction information corresponding to non-uniform optical characteristics around the optical axis of the held lens, and a step of correcting the second image based on the correction information.
  • the “process” is also referred to as “step” below.
  • the present invention it is possible to easily correct image degradation caused by non-uniform optical characteristics around the optical axis of the lens according to the position of the lens barrel in the rotational direction.
  • FIG. 1 is a block diagram illustrating a configuration example of an image processing system including an image processing apparatus according to the first embodiment.
  • FIG. 2 is an explanatory diagram used for explaining the correction reference position of the lens barrel.
  • FIG. 3 is an explanatory diagram used for explaining the relationship between the correction reference position of the lens barrel and the imaging surface of the imaging device.
  • FIG. 4 is a first flowchart showing a flow of an image processing example in the first embodiment.
  • FIG. 5 is a second flowchart showing the flow of the image processing example in the first embodiment.
  • FIG. 6 is an explanatory diagram used for explaining an example in which the direction of the two-dimensional code in the first embodiment is associated with the correction reference position.
  • FIG. 1 is a block diagram illustrating a configuration example of an image processing system including an image processing apparatus according to the first embodiment.
  • FIG. 2 is an explanatory diagram used for explaining the correction reference position of the lens barrel.
  • FIG. 3 is an explanatory diagram used for explaining the relationship between the correction reference position of the
  • FIG. 7 is an explanatory diagram used for explaining another example in which the direction of the two-dimensional code in the first embodiment is associated with the correction reference position.
  • FIG. 8 is an explanatory diagram used for explaining an example of the first image indicating the correction reference position in the first embodiment.
  • FIG. 9 is an explanatory diagram used for explaining the effects in the first embodiment.
  • FIG. 10 is a block diagram illustrating a configuration example of an image processing system including an image processing apparatus according to the second embodiment.
  • FIG. 11 is a flowchart illustrating a flow of an example of image processing in the second embodiment.
  • FIG. 12 is an explanatory diagram used for explaining the effects of the second embodiment.
  • FIG. 13 is a block diagram illustrating a configuration example of an image processing system including an image processing apparatus according to the third embodiment.
  • FIG. 14 is a flowchart showing a flow of an image processing example in the third embodiment.
  • FIG. 15 is an explanatory diagram used for explaining the effects of the third embodiment.
  • FIG. 16 is a block diagram illustrating a configuration example of an image processing system including an image processing apparatus according to the fourth embodiment.
  • FIG. 17 is a flowchart showing a flow of an image processing example in the fourth embodiment.
  • FIG. 18 is an explanatory diagram illustrating an example of user input.
  • FIG. 19 is a block diagram illustrating a configuration example of an image processing system including an image processing apparatus according to the fifth embodiment.
  • FIG. 20 is a flowchart illustrating a flow of an image processing example according to the fifth embodiment.
  • FIG. 21 is an explanatory diagram used for explaining an example of associating the tip of the penlight with the correction reference position in the fifth embodiment.
  • FIG. 22 is an explanatory diagram illustrating an example of a first image in the fifth embodiment.
  • FIG. 23 is an explanatory diagram used for explaining effects in the fifth embodiment.
  • FIG. 24 is a block diagram illustrating a configuration example of an image processing system including an image processing apparatus according to the sixth embodiment.
  • FIG. 25 is a flowchart illustrating a flow of an image processing example according to the sixth embodiment.
  • FIG. 26 is an explanatory diagram used for explaining an example of a point light source of a lens barrel in the sixth embodiment.
  • FIG. 27 is an explanatory diagram illustrating an example of a first image according to the sixth embodiment.
  • FIG. 28 is an explanatory diagram used for explaining the effect of the sixth embodiment.
  • FIG. 29 is a block diagram illustrating a configuration example of an image processing system including an image processing device according to the seventh embodiment.
  • FIG. 30 is a diagram illustrating an example of a cap according to the seventh embodiment.
  • FIG. 31 is a flowchart illustrating a flow of an image processing example according to the seventh embodiment.
  • FIG. 32 is an explanatory diagram illustrating an example of a first image according to the seventh embodiment.
  • FIG. 33 is an explanatory diagram used for explaining effects in the seventh embodiment.
  • FIG. 34 is an external view of an example of a smartphone.
  • FIG. 35 is a block diagram illustrating an exemplary configuration of a smartphone.
  • FIG. 1 is a block diagram illustrating a configuration example of an image processing system including an image processing apparatus according to the first embodiment.
  • the image processing system of this example includes an imaging device 10, a lens device 20, a smartphone 30, a computer device 40 (which is an example of an image processing device), and a database 80.
  • the imaging device 10 includes an imaging device 12.
  • the imaging apparatus 10 of this example is a lens-interchangeable bag camera.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • Other imaging devices may be used.
  • the imaging device 10 is not limited to a lens interchangeable camera. Any device may be used as long as it has an imaging function and can be mounted with a lens device 20 described later.
  • the lens device 20 includes a lens 22 and a lens barrel 24 that holds the lens 22.
  • the lens barrel 24 of this example can be attached to and detached from the mount unit 14 of the imaging device 10.
  • the lens barrel 24 is configured by, for example, a screw-in lens barrel 24 that is screwed into the mount unit 14 of the imaging device 10.
  • the screw-mounted lens barrel is mounted on, for example, a CCTV (closed circuit television) camera, FA (factory automation) camera, or MV (machinevision) camera.
  • the lens barrel 24 may be screwed into any imaging device 10. You may mount
  • the smartphone 30 is an example of the “image display device” in the present invention. A configuration example of the smartphone 30 will be described later.
  • the computer apparatus 40 is an example of the “image processing apparatus” in the present invention.
  • the computer device 40 of this example is a server device that performs image processing and application processing using the imaging device 10 as a client terminal.
  • the computer device 40 is not limited to a server device. A so-called personal computer may be used.
  • the computer device 40 includes an external device (in this example, the imaging device 10 and the database 80), a communication unit 42 that outputs and inputs information via the network NW, a display unit 44 that performs display, and an instruction input from a user. It includes an instruction input unit 46 that accepts, a storage unit 48 that stores various types of information, and a control unit 50 that controls each unit of the computer device 40 in accordance with a program stored in the storage unit 48.
  • an external device in this example, the imaging device 10 and the database 80
  • a communication unit 42 that outputs and inputs information via the network NW
  • a display unit 44 that performs display
  • an instruction input from a user It includes an instruction input unit 46 that accepts, a storage unit 48 that stores various types of information, and a control unit 50 that controls each unit of the computer device 40 in accordance with a program stored in the storage unit 48.
  • the communication unit 42 is configured by a wired or wireless communication device.
  • the communication unit 42 is an example of an “image input unit”.
  • the display unit 44 is a display device capable of displaying an image, and is configured by, for example, an LCD (liquid crystal display). Other display devices such as an organic electroluminescence display may be used.
  • the instruction input unit 46 includes, for example, a keyboard and a pointing device (for example, a mouse). You may comprise by a touchscreen. Other input devices such as a voice input device and a gesture input device may be used.
  • the storage unit 48 includes, for example, a ROM (read only memory), a RAM (random access memory), and an EEPROM (electrically erasable programmable read only memory). Other storage devices may be used.
  • the control unit 50 is configured by, for example, a CPU (central processing unit).
  • the control unit 50 performs image processing on a driver 52 that performs input / output control on the imaging device 10 by controlling the communication unit 42 and an image obtained by imaging of the imaging device 10 (hereinafter referred to as “captured image”).
  • An image processing unit 54 that performs image processing and an application unit 56 that performs application processing using a captured image that has undergone image processing (hereinafter referred to as “application image”) are configured.
  • the image processing unit 54 rotates the lens barrel 24 based on the inclination of the two-dimensional code (also referred to as “two-dimensional barcode”) in the screen of the first captured image (also referred to as “first image”).
  • a rotational position recognition unit 62 for recognizing the correction reference position, a decoding unit 64 for decoding a two-dimensional code in the first captured image, a two-dimensional code decoding result, and a correction reference position in the rotation direction of the lens barrel 24
  • a correction information acquisition unit 66 that acquires correction information corresponding to optical characteristics that are non-uniform around the optical axis of the lens 22 held in the lens barrel 24, and a second captured image based on the correction information.
  • an image correction unit 68 for correcting (also referred to as “second image”).
  • Correction information is correction information for point image restoration processing (also referred to as “image restoration processing”), for example.
  • the “correction information” may be any one or a combination of correction information for distortion aberration correction, correction information for shading correction (peripheral light amount correction), and correction information for color correction.
  • One-dimensional code also called “one-dimensional barcode” may be used instead of the two-dimensional code.
  • tilt of the two-dimensional code or the one-dimensional code is the tilt in the screen of the first image, not the tilt in the optical axis direction.
  • FIG. 2 is an explanatory diagram used for explaining the correction reference position of the lens barrel.
  • a specific mark M is attached to the lens barrel 24 so that a mounting position (an example of a correction reference position) in the rotation direction R of the lens barrel 24 can be determined.
  • the mark M may be attached to the lens barrel 24 by any method such as printing, sticking, or attachment as long as it is a visible method.
  • the lens barrel 24 of this example is mounted by being screwed into the mount portion 14 of the imaging device 10. That is, the lens barrel 24 of the present example is screw-on type. Further, the lens barrel 24 of this example cannot communicate with the imaging device 10. As a case where the lens barrel 24 cannot communicate with the imaging device 10, the following case can be cited. First, there is a case where the lens barrel 24 is not mounted with a means for communicating with the imaging device 10. Secondly, there is a case where the imaging device 10 does not implement means for communicating with the lens barrel 24. Third, even if both the lens barrel 24 and the imaging device 10 are equipped with communication means, there may be no common communication method.
  • the driver 52 of the computer device 40 does not have a function of using communication contents between the lens barrel 24 and the imaging device 10.
  • the lens barrel 24 and the imaging device 10 may not be able to communicate substantially.
  • the mounting position (the correction reference position Pc) of the lens barrel 24 in the rotation direction R around the optical axis Ax of the lens barrel 24 is indefinite.
  • the correction reference position Pc is an angle from the inspection reference position P0 (the reference position when the optical characteristics of the lens 22 held by the lens barrel 24 are inspected). is a position rotated by theta L.
  • the rotational position recognition unit 62 of the computer device 40 recognizes the correction reference position Pc based on the first captured image (first image).
  • the correction information acquisition unit 66 of the computer device 40 a single correction information corresponding to the inspection standard position P0, an offset conversion for converting as much of an angle theta L in the rotation direction R.
  • the actual correction reference position Pc which is “another correction reference position” in the present invention.
  • the lens barrel 24 is a screw-in mounting type
  • the lens barrel 24 is of a type that rotates in order to achieve focus
  • the lens barrel 24 is extended in the rotational direction R around the optical axis Ax (correction reference position). This is another example of Pc).
  • lens specific information is read from the lens barrel 24 by the smartphone 30 (step S102).
  • the lens specific information is, for example, the identification information of the lens barrel 24 (or the lens device 20) or the identification information of the inspection correction information.
  • the lens specific information may be correction information (inspection correction information) corresponding to the inspection reference position P0.
  • the lens specific information may be, for example, a numerical string indicating a specific image deterioration characteristic or an ID (identification) number indicating a specific image deterioration pattern.
  • the smartphone 30 encodes the lens specific information and displays a two-dimensional code (step S104).
  • the two-dimensional code is, for example, a QR code (registered trademark) (QR is derived from “quick response”).
  • the direction of the two-dimensional code displayed on the smartphone 30 is associated with the correction reference position in the rotation direction of the lens barrel 24 (step S106).
  • the two-dimensional image displayed on the smartphone 30 by, for example, associating the orientation of the housing of the smartphone 30 with the position of the mark M by hand.
  • the direction of the code can be made to correspond to the correction reference position Pc.
  • the two-dimensional code Cd is placed in the upward direction of the lens barrel 24 (in the figure). (It is the Y-axis direction). That is, the upper end of the screen of the smartphone 30 is directed in the upward direction Y.
  • the two-dimensional code Cd is used as the lens barrel.
  • 24 is arranged so as to be inclined substantially by an angle ⁇ L with respect to the upward direction (the Y-axis direction in the figure). That is, the upper end of the screen of the smartphone 30 is tilted by the angle ⁇ L with respect to the upward direction Y.
  • the inclination of the two-dimensional code Cd does not have to completely match the position of the mark M in the rotation direction R.
  • the angle ⁇ L of the mark M is closest to any of a plurality of angles (0 degrees, 45 degrees, 90 degrees,..., 315 degrees) at intervals of 45 degrees by the inclination of the two-dimensional code Cd. It's okay.
  • a first image including a two-dimensional code is acquired by the imaging device 10 (step S108). For example, the first image shown in FIG. 8 is acquired.
  • the first image including the two-dimensional code is transmitted from the imaging device 10 to the computer device 40 (step S110).
  • the first image is input by the communication unit 42 of the computer device 40.
  • the rotation position recognition unit 62 of the computer device 40 recognizes the correction reference position in the rotation direction of the lens barrel 24 based on the inclination of the two-dimensional code in the screen of the first image (step S112).
  • the decoding unit 64 of the computer device 40 decodes the two-dimensional code to obtain lens specific information (step S114).
  • the correction information acquisition unit 66 of the computer device 40 acquires correction information from the database 80 based on the lens unique information and the correction reference position in the rotation direction of the lens barrel 24 (step S116).
  • the imaging device 10 captures a target subject and a second image including the subject image is obtained. Obtain (step S122).
  • the second image is an image to be corrected.
  • the second image to be corrected including the subject image is transmitted from the imaging device 10 to the computer device 40 (step S124).
  • the second image is input by the communication unit 42 of the computer device 40.
  • the second image is corrected based on the correction information by the image correction unit 68 of the computer device 40 (step S126).
  • the two-dimensional code Cd is obtained by encoding the lens specific information of the lens device 20 ⁇ , and the correction reference position of the lens barrel 24 is indicated by the inclination on the screen. Is displayed on the smartphone 30.
  • the first image DI including the two-dimensional code Cd is acquired by the normal photographing Ph of the imaging device 10 and delivered to the image processing unit 54 of the computer device 40 by the normal processing of the driver 52 of the computer device 40.
  • the image processing unit 54 of the computer device 40 acquires lens specific information from the decoding result of the two-dimensional code Cd in the first image DI, and recognizes the correction reference position from the inclination of the two-dimensional code Cd on the screen.
  • the lens-specific information and the correction reference position information are transmitted to the transmission path Rc (which is an image transmission path depending on the manufacturer of the imaging apparatus) from the imaging apparatus 10 to the driver 52 of the computer apparatus 40.
  • the transmission path Rc which is an image transmission path depending on the manufacturer of the imaging apparatus
  • the barcode (which is one form of the marker) is the barcode displayed on the smartphone 30 (which is one form of the image display device)
  • the barcode printed on the object is You may image with the imaging device 10. That is, the “marker” to be imaged in the present invention is not limited to the marker displayed on the image display device, but may be a marker printed on an object (for example, a box).
  • FIG. 10 is a block diagram illustrating a configuration example of an image processing system including an image processing apparatus according to the second embodiment.
  • the same components as those of the image processing apparatus in the first embodiment shown in FIG. 1 are denoted by the same reference numerals, and the description already given below is omitted.
  • FIG. 11 is a flowchart showing a flow of an image processing example in the second embodiment.
  • the marker MP (marker pattern) is displayed by the smartphone 30 (step S202), and the direction of the marker MP is associated with the correction reference position in the rotation direction of the lens barrel 24 (step S202). S204).
  • the marker MP displayed on the smartphone 30 by, for example, associating the orientation of the housing of the smartphone 30 with the position of the mark M by hand. Can correspond to the correction reference position Pc.
  • the displayed marker MP is imaged by the imaging device 10, and a first image including the marker MP is acquired (step S206).
  • the first image including the marker MP is transmitted from the imaging device 10 to the computer device 40 (step S208).
  • the first image is input by the communication unit 42 of the computer device 40.
  • the rotation position recognition unit 62 of the computer device 40 recognizes the correction reference position in the rotation direction of the lens barrel 24 based on the inclination of the marker MP in the screen of the first image (step S210).
  • the lens specific information of the lens device 20 is acquired by the correction information acquisition unit 66 of the computer device 40 based on the identification information of the imaging device 10 (step S212).
  • the identification information of the imaging device 10 may be any information as long as it is information that can identify the imaging device 10.
  • the communication address of the imaging device 10 may be used.
  • the database 80 it is assumed that the identification information of the imaging device 10 and the lens specific information of the lens device 20 are associated with each other.
  • the correction information acquisition unit 66 can acquire lens specific information based on the identification information of the imaging device 10 by referring to the database 80.
  • the correction information acquisition unit 66 of the computer device 40 acquires correction information from the database 80 based on the lens unique information and the correction reference position in the rotation direction of the lens barrel 24 (step S214).
  • a marker MP (marker pattern) indicating the correction reference position of the lens barrel 24 with an inclination on the screen is displayed on the smartphone 30.
  • the first image DI including the marker MP is acquired by normal photographing Ph of the imaging device 10 and is delivered to the image processing unit 54 of the computer device 40 by normal processing of the driver 52 of the computer device 40.
  • the image processing unit 54 of the computer apparatus 40 recognizes the correction reference position from the inclination of the marker MP in the first image DI on the screen.
  • new hardware for transmitting the correction reference position information to the transmission path Rc (which is an image transmission path depending on the manufacturer of the imaging apparatus) from the imaging apparatus 10 to the driver 52 of the computer apparatus 40.
  • the transmission path Rc which is an image transmission path depending on the manufacturer of the imaging apparatus
  • FIG. 13 is a block diagram illustrating a configuration example of an image processing system including an image processing apparatus according to the third embodiment.
  • the same components as those of the image processing apparatus in the first embodiment shown in FIG. 1 are denoted by the same reference numerals, and the description already given below is omitted.
  • the smartphone 30 includes an attitude sensor 32 that detects the attitude of the smartphone 30.
  • the attitude sensor 32 is configured by, for example, a gyro sensor.
  • the correction reference position information is information indicating the posture of the smartphone 30 detected by the posture sensor 32
  • the correction information acquisition unit 66 is information indicating the posture of the smartphone 30 from the first image (correction reference position information). And the correction information is acquired based on the information indicating the posture of the smartphone 30.
  • FIG. 14 is a flowchart showing a flow of an image processing example in the third embodiment.
  • Step S302 is the same as step S102 of the first embodiment.
  • the orientation of the smartphone 30 is associated with the correction reference position in the rotation direction of the lens barrel 24 (step S304). As shown in FIG. 2, since the mark M is attached to the lens barrel 24, the orientation of the housing of the smartphone 30 is associated with the position of the mark M by hand, for example.
  • the orientation sensor 32 of the smartphone 30 detects the orientation of the smartphone 30 and acquires correction reference position information (step S306).
  • the smartphone 30 encodes the lens unique information and the correction reference position information and displays a two-dimensional code (step S308).
  • the imaging device 10 captures a two-dimensional code and acquires a first image including the two-dimensional code (step S310).
  • the first image including the two-dimensional code is transmitted from the imaging device 10 to the computer device 40 (step S312).
  • the first image is input by the communication unit 42 of the computer device 40.
  • the decoding unit 64 of the computer device 40 decodes the two-dimensional code to acquire lens specific information and correction reference position information (step S314).
  • the correction information acquisition unit 66 of the computer device 40 acquires correction information from the database 80 based on the lens unique information and the correction reference position in the rotation direction of the lens barrel 24 (step S316). That is, the correction information acquisition unit 66 of this example acquires correction information based on the posture information detected by the posture sensor 32 of the smartphone 30.
  • the correction reference position is acquired by the attitude sensor 32 of the smartphone 30, and as shown in FIG. 15, the two-dimensional code Cd in which the lens unique information and the correction reference position of the lens barrel 24 are encoded is displayed on the smartphone. 30.
  • the first image DI including the two-dimensional code Cd is acquired by the normal photographing Ph of the imaging device 10 and delivered to the image processing unit 54 of the computer device 40 by the normal processing of the driver 52 of the computer device 40. Then, the lens specific information and the correction reference position are acquired from the decoding result of the two-dimensional code Cd in the first image DI by the image processing unit 54 of the computer device 40.
  • the lens-specific information and the correction reference position information are transmitted to the transmission path Rc (which is an image transmission path depending on the manufacturer of the imaging apparatus) from the imaging apparatus 10 to the driver 52 of the computer apparatus 40.
  • the transmission path Rc which is an image transmission path depending on the manufacturer of the imaging apparatus
  • FIG. 16 is a block diagram illustrating a configuration example of an image processing system including an image processing apparatus according to the fourth embodiment.
  • the same components as those of the image processing apparatus in the first embodiment shown in FIG. 1 are denoted by the same reference numerals, and the description already given below is omitted.
  • the smartphone 30 includes an operation unit 34 that receives an instruction input from the user.
  • the operation unit 34 is configured by a touch panel, for example.
  • the operation unit 34 receives input of correction reference position information.
  • the correction reference position information is user input information received by the smartphone 30, and the correction information acquisition unit 66 extracts user input information (correction reference position information) on the smartphone 30 from the first image. And correction information is acquired based on the user input information in the smart phone 30.
  • FIG. 17 is a flowchart showing a flow of an image processing example in the fourth embodiment.
  • Step S402 is the same as step S102 of the first embodiment.
  • a user input of a correction reference position in the rotation direction of the lens barrel 24 is received by the operation unit 34 of the smartphone 30 (step S404).
  • input of information other than the correction reference position may be accepted.
  • Steps S408 to S416 are the same as Steps S308 to S316 in the third embodiment, and a description thereof will be omitted.
  • the correction information acquisition unit 66 of this example acquires correction information based on user input information received by the smartphone 30.
  • the lens unique information and the transmission path Rc (which is an image transmission path depending on the manufacturer of the imaging apparatus) from the imaging apparatus 10 to the driver 52 of the computer apparatus 40 are described. It is not necessary to add new hardware and new software for transmitting the correction reference position information. That is, image degradation caused by non-uniform optical characteristics around the optical axis of the lens can be easily corrected according to the position of the lens barrel in the rotational direction.
  • the lens specific information and the correction reference position information are coded into a two-dimensional code has been described as an example, but may be coded into another signal.
  • Other coding is not limited to spatial coding, and temporal coding (for example, a signal coated by blinking, for example, a Morse signal) may be used.
  • FIG. 19 is a block diagram illustrating a configuration example of an image processing system including an image processing apparatus according to the fifth embodiment.
  • the same components as those of the image processing apparatus in the first embodiment shown in FIG. 1 are denoted by the same reference numerals, and the description already given below is omitted.
  • the correction reference position of the lens barrel 24 is indicated by the emission of the penlight PL.
  • the rotational position recognition unit 62 detects the light amount distribution in the screen of the first image, and recognizes the correction reference position based on the light amount distribution.
  • FIG. 20 is a flowchart showing a flow of an image processing example in the fifth embodiment.
  • the position in the screen of the light image of the penlight PL (light emitter) is associated with the correction reference position in the rotation direction of the lens barrel 24 (step S502). That is, as shown in FIG. 21, the tip of the penlight PL is associated with the position of the mark M on the lens barrel 24.
  • the penlight PL may be blinked.
  • the imaging device 10 captures a light image of the penlight PL to acquire a first image (step S504). That is, as shown in FIG. 22, the first image including the light image LI of the light emitted from the penlight PL is acquired.
  • the first image including the light image of the penlight PL is transmitted from the imaging device 10 to the computer device 40 (step S506).
  • the first image is input by the communication unit 42 of the computer device 40.
  • the rotation position recognition unit 62 of the computer device 40 recognizes the correction reference position in the rotation direction of the lens barrel 24 based on the position of the light image of the penlight PL in the screen of the first image (step S508).
  • the correction reference position in the rotation direction of the lens barrel 24 is recognized based on the temporal change of the light amount in the first image.
  • the lens specific information is acquired by the correction information acquisition unit 66 of the computer device 40 based on the identification information of the imaging device 10 (step S510).
  • the correction information acquisition unit 66 of the computer device 40 acquires correction information from the database 80 based on the lens unique information and the correction reference position in the rotation direction of the lens barrel 24 (step S512).
  • the first image DI including the light image LI (point light source image) of the penlight PL indicating the correction reference position of the lens barrel 24 at the position on the screen is the imaging device 10. Obtained by the normal photographing Ph and delivered to the image processing unit 54 of the computer device 40 by the normal processing of the driver 52 of the computer device 40. Then, the image processing unit 54 of the computer device 40 recognizes the correction reference position from the position on the screen of the optical image LI in the first image DI.
  • the transmission path Rc which is an image transmission path depending on the manufacturer of the imaging apparatus
  • FIG. 24 is a block diagram illustrating a configuration example of an image processing system including an image processing apparatus according to the sixth embodiment.
  • the same components as those of the image processing apparatus in the first embodiment shown in FIG. 1 are denoted by the same reference numerals, and the description already given below is omitted.
  • the lens device 20 includes a gutter and a point light source 26 on the inner periphery of the lens barrel 24.
  • a point light source 26 may be provided on the outer periphery of the lens barrel 24.
  • the point light source 26 of the lens device 20 is configured by, for example, an LED (light-emitting diode).
  • the rotational position recognition unit 62 detects the light amount distribution in the screen of the first image, and recognizes the correction reference position based on the light amount distribution.
  • FIG. 25 is a flowchart showing a flow of an image processing example in the fifth embodiment.
  • the point light source 26 attached to the lens barrel 24 is turned on (step S602).
  • a switch (not shown) that instructs the lens barrel 24 to turn on the point light source 26 is provided, and the switch is turned on.
  • the point light source 26 in this example corresponds to the mark M in FIG. 2 and indicates the correction reference position of the lens barrel 24.
  • the point light source 26 may be blinked.
  • the imaging device 10 captures a light image of the lens barrel 24 to acquire a first image (step S604). That is, as shown in FIG. 27, the first image including the light image LI of the light emitted from the point light source 26 of the lens barrel 24 is acquired.
  • the first image including the light image of the point light source 26 of the lens barrel 24 is transmitted from the imaging device 10 to the computer device 40 (step S606).
  • the first image is input by the communication unit 42 of the computer device 40.
  • the correction reference position in the rotational direction of the lens barrel 24 is determined by the rotational position recognition unit 62 of the computer device 40. Recognize (step S608).
  • the correction reference position in the rotation direction of the lens barrel 24 is recognized based on the temporal change of the light amount in the first image.
  • Step S610 and Step S620 are the same as Step S510 and Step S512 in the fifth embodiment, and a description thereof will be omitted.
  • the first image DI including the light image LI (point light source image) of the point light source 26 indicating the correction reference position of the lens barrel 24 by the position on the screen is the imaging device 10. Obtained by the normal photographing Ph and delivered to the image processing unit 54 of the computer device 40 by the normal processing of the driver 52 of the computer device 40. Then, the image processing unit 54 of the computer device 40 recognizes the correction reference position from the position on the screen of the optical image LI in the first image DI.
  • the transmission path Rc which is an image transmission path depending on the manufacturer of the imaging apparatus
  • FIG. 29 is a block diagram illustrating a configuration example of an image processing system including an image processing device according to the seventh embodiment.
  • the same components as those of the image processing apparatus in the first embodiment shown in FIG. 1 are denoted by the same reference numerals, and the description already given below is omitted.
  • the cap 28 is attached to the tip of the lens barrel 24. As shown in FIG. 30, the cap 28 includes a light transmitting portion 28L including an opening that allows external light to pass through, and a light shielding portion 28M that blocks outside light compared to the light transmitting portion 28L. That is, a light amount distribution in the first image is generated due to a light amount difference between the light transmitting region and the light shielding region in the first image.
  • the rotational position recognition unit 62 recognizes the correction reference position by detecting at least one of the light transmitting area and the light shielding area in the screen of the first image.
  • FIG. 31 is a flowchart showing a flow of an image processing example in the seventh embodiment.
  • a first image (step) S702). That is, as shown in FIG. 32, the first image including the light image LI corresponding to the light transmitting portion 28L of the cap 28 is acquired. Note that the position of the light transmitting portion 28 ⁇ / b> L of the cap 28 in the rotation direction of the lens barrel 24 is associated with the position of the mark M in the rotation direction of the lens barrel 24. Accordingly, the position of the optical image LI in the first image corresponds to the position of the mark M in the lens barrel 24.
  • the first image including the light image of the point light source 26 of the lens barrel 24 is transmitted from the imaging device 10 to the computer device 40 (step S704).
  • the first image is input by the communication unit 42 of the computer device 40.
  • the rotation position recognition unit 62 of the computer device 40 recognizes the correction reference position in the rotation direction of the lens barrel 24 based on the position of the optical image LI (translucent region) in the screen of the first image (Ste S706).
  • the correction reference position may be recognized based on the position of the light shielding region in the screen of the first image.
  • Step S708 and step S710 are the same as step S510 and step S512 in the fifth embodiment, and a description thereof will be omitted.
  • the first image DI including the optical image LI of the cap 28 that indicates the correction reference position of the lens barrel 24 by the position on the screen is obtained by the normal photographing Ph of the imaging device 10. Obtained and delivered to the image processing unit 54 of the computer device 40 by normal processing of the driver 52 of the computer device 40. Then, the image processing unit 54 of the computer device 40 recognizes the correction reference position from the position on the screen of the optical image LI in the first image DI.
  • new hardware for transmitting the correction reference position information to the transmission path Rc (which is an image transmission path depending on the manufacturer of the imaging apparatus) from the imaging apparatus 10 to the driver 52 of the computer apparatus 40.
  • the transmission path Rc which is an image transmission path depending on the manufacturer of the imaging apparatus
  • FIG. 34 shows the appearance of a smartphone 30 that is an example of an image display device.
  • a smartphone 30 shown in FIG. 34 includes a flat housing 502, and a display input in which a display panel 521 as a display unit and an operation panel 522 as an input unit are integrated on one surface of the housing 502. Part 520.
  • the housing 502 includes a speaker 531, a microphone 532, an operation unit 540, and a camera unit 541.
  • the configuration of the housing 502 is not limited thereto, and for example, a configuration in which the display unit and the input unit are independent, or a configuration having a folding structure or a slide mechanism can be employed.
  • FIG. 35 is a block diagram showing a configuration of the smartphone 30 shown in FIG.
  • the main components of the smartphone include a wireless communication unit 510, a display input unit 520, a call unit 530, an operation unit 540, a camera unit 541, a storage unit 550, and an external input / output unit. 560, a GPS (global positioning system) receiving unit 570, a motion sensor unit 580, a power supply unit 590, and a main control unit 501.
  • a wireless communication function for performing mobile wireless communication via the base station device BS and a mobile communication network is provided.
  • the wireless communication unit 510 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network in accordance with an instruction from the main control unit 501. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
  • the display input unit 520 displays images (still images and moving images), character information, and the like visually by transmitting information to the user under the control of the main control unit 501, and detects user operations on the displayed information.
  • a so-called touch panel which includes a display panel 521 and an operation panel 522.
  • the display input unit 520 corresponds to the operation unit 34 of the smartphone 30 illustrated in FIG.
  • the display panel 521 uses a liquid crystal display (LCD), an organic electro-luminescence display (OELD), or the like as a display device.
  • the operation panel 522 is a device that is placed so that an image displayed on the display surface of the display panel 521 is visible and detects one or more coordinates operated by a user's finger or a pen-type input device. When this device is operated by a user's finger or pen-type input device, a detection signal generated due to the operation is output to the main control unit 501. Next, the main control unit 501 detects an operation position (coordinates) on the display panel 521 based on the received detection signal.
  • the display panel 521 and the operation panel 522 of the smartphone 30 exemplified as an embodiment of the photographing apparatus of the present invention integrally constitute a display input unit 520.
  • the arrangement is such that 522 completely covers the display panel 521.
  • the operation panel 522 may have a function of detecting a user operation even in an area outside the display panel 521.
  • the operation panel 522 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 521 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 521. May be included).
  • the operation panel 522 may include two sensitive regions of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 502 and the like.
  • examples of the position detection method employed in the operation panel 522 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method. You can also
  • the call unit 530 includes a speaker 531 and a microphone 532, and converts a user's voice input through the microphone 532 into voice data that can be processed by the main control unit 501, and outputs the voice data to the main control unit 501, or a wireless communication unit 510 or the audio data received by the external input / output unit 560 is decoded and output from the speaker 531.
  • the speaker 531 can be mounted on the same surface as the surface on which the display input unit 520 is provided, and the microphone 532 can be mounted on the side surface of the housing 502.
  • the operation unit 540 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 540 is mounted on the side surface of the housing 502 of the smartphone 30 and is turned on when pressed with a finger or the like, and is turned off by a restoring force such as a spring when the finger is released. It is a push button type switch.
  • the storage unit 550 includes a control program and control data of the main control unit 501, application software, address data that associates the name and telephone number of a communication partner, transmitted / received e-mail data, Web data downloaded by Web browsing, The downloaded content data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 550 includes an internal storage unit 551 with a built-in smartphone and an external storage unit 552 having a removable external memory slot.
  • Each of the internal storage unit 551 and the external storage unit 552 constituting the storage unit 550 includes a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), It is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (random access memory), a ROM (read only memory) or the like.
  • flash memory type flash memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (random access memory), a ROM (read only memory) or the like.
  • the external input / output unit 560 serves as an interface with all external devices connected to the smartphone 30, and communicates with other external devices (for example, a universal serial bus (USB)) or a network (for example, , Internet, wireless LAN (local area network), Bluetooth (registered trademark), RFID (radio frequency identification), infrared communication (IrDA) (registered trademark), UWB (ultra wideband) (registered trademark) , ZigBee (registered trademark), etc.) for direct or indirect connection.
  • USB universal serial bus
  • network for example, Internet, wireless LAN (local area network), Bluetooth (registered trademark), RFID (radio frequency identification), infrared communication (IrDA) (registered trademark), UWB (ultra wideband) (registered trademark) , ZigBee (registered trademark), etc.
  • an external device connected to the smartphone 30 for example, a wired / wireless headset, a wired / wireless external charger, a wired / wireless data port, a memory card connected via a card socket, a SIM (subscriber) identity module card) / UIM (user identity module card) card, external audio / video equipment connected via audio / video I / O (input / output) terminal, external audio / video equipment connected wirelessly,
  • a wirelessly connected smartphone a wired / wireless personal computer, a wired / wireless PDA (personal digital assistant), an earphone, and the like.
  • the external input / output unit may transmit data received from such an external device to each component inside the smartphone 30, or may allow the data inside the smartphone 30 to be transmitted to the external device. it can.
  • the GPS receiving unit 570 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 501, performs positioning calculation processing based on the received plurality of GPS signals, Detects position including longitude and altitude.
  • the GPS reception unit 570 can acquire position information from the wireless communication unit 510 or the external input / output unit 560 (for example, a wireless LAN), the GPS reception unit 570 can also detect the position using the position information.
  • the motion sensor unit 580 includes, for example, a three-axis acceleration sensor and detects the physical movement of the smartphone 30 in accordance with an instruction from the main control unit 501. By detecting the physical movement of the smartphone 30, the moving direction and acceleration of the smartphone 30 are detected. This detection result is output to the main control unit 501.
  • the motion sensor unit 580 of this example can be used as the attitude sensor 32 of FIG.
  • the power supply unit 590 supplies power stored in a battery (not shown) to each unit of the smartphone 30 in accordance with an instruction from the main control unit 501.
  • the main control unit 501 includes a microprocessor, operates according to a control program and control data stored in the storage unit 550, and controls each unit of the smartphone 30 in an integrated manner. Further, the main control unit 501 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 510.
  • the application processing function is realized by the main control unit 501 operating according to the application software stored in the storage unit 550.
  • Application processing functions include, for example, an infrared communication function that controls the external input / output unit 560 to perform data communication with the opposite device, an e-mail function that transmits and receives e-mails, and a web browsing function that browses web pages. .
  • the main control unit 501 has an image processing function such as displaying video on the display input unit 520 based on image data (still image data or moving image data) such as received data or downloaded streaming data.
  • the image processing function is a function in which the main control unit 501 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 520.
  • the main control unit 501 executes display control for the display panel 521 and operation detection control for detecting a user operation through the operation unit 540 and the operation panel 522.
  • the main control unit 501 By executing the display control, the main control unit 501 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • a software key such as a scroll bar
  • the scroll bar refers to a software key for accepting an instruction to move a display portion of an image, such as a large image that does not fit in the display area of the display panel 521.
  • the main control unit 501 detects a user operation through the operation unit 540, or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 522. Or a display image scroll request through a scroll bar.
  • the main control unit 501 causes the operation position with respect to the operation panel 522 to overlap with the display panel 521 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 521.
  • a touch panel control function for controlling the sensitive area of the operation panel 522 and the display position of the software key.
  • the main control unit 501 can also detect a gesture operation on the operation panel 522 and execute a preset function according to the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
  • the camera unit 541 is a digital camera that performs electronic photography using an image sensor such as a CMOS (complementary metal oxide semiconductor) image sensor or a CCD (charge coupled device) image sensor.
  • the camera unit 541 converts image data obtained by imaging into compressed image data such as JPEG (joint photographic coding coding experts group) and the like, and records the data in the storage unit 550 under the control of the main control unit 501.
  • the data can be output through the input / output unit 560 and the wireless communication unit 510.
  • the camera unit 541 is mounted on the same surface as the display input unit 520, but the mounting position of the camera unit 541 is not limited thereto, and may be mounted on the back surface of the display input unit 520.
  • a plurality of camera units 541 may be mounted. Note that in the case where a plurality of camera units 541 are mounted, the camera unit 541 used for shooting can be switched to perform shooting alone, or a plurality of camera units 541 can be used for shooting simultaneously.
  • the camera unit 541 can be used for various functions of the smartphone 30.
  • an image acquired by the camera unit 541 can be displayed on the display panel 521, or the image of the camera unit 541 can be used as one of operation inputs of the operation panel 522.
  • the GPS receiving unit 570 detects the position, the position can also be detected with reference to an image from the camera unit 541.
  • the optical axis direction of the camera unit 541 of the smartphone 30 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 541 can be used in the application software.
  • the position information acquired by the GPS receiver 570 to the image data of the still image or the moving image, the voice information acquired by the microphone 532 (the text information may be converted into voice information by the main control unit or the like), Posture information and the like acquired by the motion sensor unit 580 can be added and recorded in the storage unit 550 or output through the external input / output unit 560 or the wireless communication unit 510.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Image Processing (AREA)

Abstract

レンズの光軸回りに不均一な光学特性に起因する像劣化をレンズ鏡筒の回転方向の位置に応じて容易に補正することができる画像処理装置、画像処理システム、及び画像処理方法を提供する。レンズ鏡筒（２４）の回転方向の補正基準位置を示す第１画像及び補正対象の第２画像であって、撮像装置（１０）の撮像により得られた第１画像及び第２画像を入力する通信部（４２）と、第１画像に基づいて、回転方向の補正基準位置を認識する回転位置認識部（６２）と、回転方向の補正基準位置に基づいて、補正情報を取得する補正情報取得部（６６）と、補正情報に基づいて、第２画像を補正する画像補正部（６８）を備える。

Description

画像処理装置、画像処理システム、及び画像処理方法
　本発明は、撮像装置の撮像により得られた画像に対して、レンズの光学特性に対応する補正を行う画像処理装置、画像処理システム、及び画像処理方法に関する。
　撮像装置の撮像により得られた画像に対して、レンズの光学特性に起因した像劣化を補正する画像処理技術が知られている。例えば、点像復元処理は、レンズの収差に因る像劣化の特性を予め求めておき、その特性に応じた復元フィルタにより画像の像劣化をキャンセルする画像処理である。このような画像処理は、レンズのコストダウン及び画像品質のばらつき抑制に有効である。
　特許文献１には、撮像レンズの歪曲収差に対する補正パラメータを撮像レンズの種類ごとに二次元コード化してレンズキャップに印刷しておき、デジタルカメラにより、二次元コードの撮像及び復号化と撮像画像に対する歪曲収差補正とを行うことが記載されている。
　また、特許文献２には、原稿台とデジタルカメラとの接合部位に信号送受信回路を設け、原稿台の角度センサにより原稿の回転角度（傾き角）を検出してデジタルカメラに対して送信し、デジタルカメラにより画像データのタグ部分に回転角度情報を書き込むことが記載されている。
特開２００９－３０２６９７号公報 特開２００５－３５４３０１号公報
　撮像装置にレンズ鏡筒が装脱自在である場合、そのレンズ鏡筒の光学特性に応じた画像処理を行うためには、レンズ鏡筒の種類に対応する補正情報が必要となるだけでなく、レンズ鏡筒の回転方向の位置情報が必要な場合がある。例えば、ねじ込み式で装着されたレンズ鏡筒は、レンズ鏡筒の回転方向の装着位置が一般に不定であるため、レンズの光軸回りに不均一な光学特性に対する補正を行うためには、レンズ鏡筒の回転方向の装着位置を示す情報が必要になってくる。また、回転方向の装着位置が一定であっても、合焦のための繰り出し動作でレンズ鏡筒が回転する場合、そのレンズ鏡筒の回転方向の繰り出し停止位置を示す情報が必要になってくる。
　しかしながら、レンズ鏡筒と撮像装置との接続部位（マウント部）に電気的通信機能が無い場合には、補正に必要な情報をレンズ鏡筒から撮像装置に対して伝達できない。また、レンズ鏡筒と撮像装置との接続部位に電気的通信機能が有る場合でも、共通の通信方式でない場合には、補正に必要な情報をレンズ鏡筒から撮像装置に対して伝達できない。つまり、補正に必要な情報を画像処理装置まで伝達できない。
　補正に必要な情報を人が入力する方法もあるが、補正を行う画像処理装置がレンズ鏡筒の近くに存在するとは限らず、また、画像処理装置がネットワークに非接続であるかもしれない。そのような状況において、人が画像処理装置の近傍まで直接移動して情報入力を行うことは、大変手間が掛かるため現実的でない。
　特許文献１において、レンズキャップに印刷された二次元コードは撮像レンズの種類ごとに決まる補正パラメータを示す情報であり、撮像レンズの回転方向の位置（装着位置又は繰り出し停止位置）を示す情報ではなく、その撮像レンズの回転方向の位置に依って変わる補正パラメータを示す情報でもない。
　特許文献２では、原稿台とデジタルカメラとの接合部位に電気的通信機能が必須である。従って、レンズ鏡筒と撮像装置とが非通信である場合に、特許文献２の技術を応用することができない。
　本発明はこのような事情に鑑みてなされたもので、レンズの光軸回りに不均一な光学特性に起因する像劣化をレンズ鏡筒の回転方向の位置に応じて容易に補正することができる画像処理装置、画像処理システム、及び画像処理方法を提供することを目的とする。
　上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、撮像装置に装着されたレンズ鏡筒の回転方向の補正基準位置を示す第１画像及び補正対象の第２画像であって、撮像装置の撮像により得られた第１画像及び第２画像を入力する画像入力部と、第１画像に基づいて、回転方向の補正基準位置を認識する回転位置認識部と、回転方向の補正基準位置に基づいて、レンズ鏡筒に保持されたレンズの光軸回りに不均一な光学特性に対応する補正情報を取得する補正情報取得部と、補正情報に基づいて、第２画像を補正する画像補正部と、を備える。
　本態様によれば、レンズの光軸回りに不均一な光学特性に起因する像劣化をレンズ鏡筒の回転方向の位置に応じて容易に補正することができる。
　本発明の第２の態様に係る画像処理装置では、第１画像には、補正基準位置を示すマーカが含まれ、回転位置認識部は、第１画像の画面内におけるマーカの傾きを検出し、傾きに基づいて、補正基準位置を認識する。
　本発明の第３の態様に係る画像処理装置では、マーカは、一次元又は二次元のバーコードである。ここで「バーコード」とは、コード化されたパターン（コード化パターン）をいい、単に「コード」と呼ばれることがある。「二次元バーコード」には、「二次元コード」と呼ばれるコード化パターンが含まれる。
　本発明の第４の態様に係る画像処理装置では、バーコードには、補正情報及び識別情報のうち少なくとも一方が含まれ、補正情報取得部は、バーコードのデコード結果と第１画像の画面内におけるバーコードの傾きとに基づいて、補正基準位置に応じた補正情報を取得する。
　本発明の第５の態様に係る画像処理装置では、マーカは、画像表示装置に表示されたマーカ又は物体に印刷されたマーカである。
　本発明の第６の態様に係る画像処理装置では、第１画像には、画像表示装置で取得された補正基準位置情報が含まれ、回転位置認識部は、第１画像から補正基準位置情報を抽出することにより補正基準位置を認識する。
　本発明の第７の態様に係る画像処理装置では、補正基準位置情報は、画像表示装置で検出された画像表示装置の姿勢を示す姿勢情報であり、補正情報取得部は、姿勢情報に基づいて、補正情報を取得する。
　本発明の第８の態様に係る画像処理装置では、補正基準位置情報は、画像表示装置で受け付けたユーザ入力情報であり、補正情報取得部は、ユーザ入力情報に基づいて、補正情報を取得する。
　本発明の第９の態様に係る画像処理装置では、第１画像には、光源の発光による光像が含まれ、回転位置認識部は、第１画像の画面内における光量分布を検出し、光量分布に基づいて、補正基準位置を認識する。
　本発明の第１０の態様に係る画像処理装置では、回転位置認識部は、第１画像の画面内における光像の位置に基づいて、補正基準位置を認識する。
　本発明の第１１の態様に係る画像処理装置では、光源は、点光源であり、回転位置認識部は、第１画像における点光源の光像の位置に基づいて、回転方向の補正基準位置を認識する。
　本発明の第１２の態様に係る画像処理装置では、光量分布は、第１画像における透光領域と遮光領域との光量差によって生じ、回転位置認識部は、第１画像における透光領域及び遮光領域のうち少なくとも一方を検出することにより、補正基準位置を認識する。
　本発明の第１３の態様に係る画像処理装置では、回転位置認識部は、第１画像における光量の時間的変化にも基づいて、回転方向の補正基準位置を認識する。
　本発明の第１４の態様に係る画像処理装置では、補正情報取得部は、単一の補正基準位置に応じた補正情報を変換することにより、他の補正基準位置に応じた補正情報を取得する。
　本発明の第１５の態様に係る画像処理装置では、補正情報取得部は、複数の補正情報から、回転位置認識部により認識された補正基準位置に応じた補正情報を選択する。
　本発明の第１６の態様に係る画像処理装置では、補正情報は、点像復元処理用の補正情報を含む。
　本発明の第１７の態様に係る画像処理システムでは、レンズ及びレンズ鏡筒を含むレンズ装置と、撮像装置と、画像処理装置と、を備える。
　本発明の第１８の態様に係る画像処理方法では、撮像装置に装着されたレンズ鏡筒の回転方向の補正基準位置を示す第１画像及び補正対象の第２画像であって、撮像装置の撮像により得られた第１画像及び第２画像を入力する工程と、第１画像に基づいて、回転方向の補正基準位置を認識する工程と、回転方向の補正基準位置に基づいて、レンズ鏡筒に保持されたレンズの光軸回りに不均一な光学特性に対応する補正情報を取得する工程と、補正情報に基づいて、第２画像を補正する工程と、を含む。尚、「工程」は、以下では「ステップ」ともいう。
　本発明よれば、レンズの光軸回りに不均一な光学特性に起因する像劣化をレンズ鏡筒の回転方向の位置に応じて容易に補正することができる。
図１は、第１の実施形態における画像処理装置を含む画像処理システムの構成例を示すブロック図である。 図２は、レンズ鏡筒の補正基準位置の説明に用いる説明図である。 図３は、レンズ鏡筒の補正基準位置と撮像素子の撮像面との関係の説明に用いる説明図である。 図４は、第１の実施形態における画像処理例の流れを示す第１のフローチャートである。 図５は、第１の実施形態における画像処理例の流れを示す第２のフローチャートである。 図６は、第１の実施形態における二次元コードの向きを補正基準位置に対応付ける一例の説明に用いる説明図である。 図７は、第１の実施形態における二次元コードの向きを補正基準位置に対応付ける他の例の説明に用いる説明図である。 図８は、第１の実施形態における補正基準位置を示す第１画像の一例の説明に用いる説明図である。 図９は、第１の実施形態における効果の説明に用いる説明図である。 図１０は、第２の実施形態における画像処理装置を含む画像処理システムの構成例を示すブロック図である。 図１１は、第２の実施形態における画像処理例の流れを示すフローチャートである。 図１２は、第２の実施形態における効果の説明に用いる説明図である。 図１３は、第３の実施形態における画像処理装置を含む画像処理システムの構成例を示すブロック図である。 図１４は、第３実施形態における画像処理例の流れを示すフローチャートである。 図１５は、第３の実施形態における効果の説明に用いる説明図である。 図１６は、第４の実施形態における画像処理装置を含む画像処理システムの構成例を示すブロック図である。 図１７は、第４実施形態における画像処理例の流れを示すフローチャートである。 図１８は、ユーザ入力例を示す説明図である。 図１９は、第５の実施形態における画像処理装置を含む画像処理システムの構成例を示すブロック図である。 図２０は、第５実施形態における画像処理例の流れを示すフローチャートである。 図２１は、第５の実施形態におけるペンライトの先端を補正基準位置に対応付ける一例の説明に用いる説明図である。 図２２は、第５の実施形態における第１画像の例を示す説明図である。 図２３は、第５の実施形態における効果の説明に用いる説明図である。 図２４は、第６の実施形態における画像処理装置を含む画像処理システムの構成例を示すブロック図である。 図２５は、第６実施形態における画像処理例の流れを示すフローチャートである。 図２６は、第６の実施形態におけるレンズ鏡筒の点光源の一例の説明に用いる説明図である。 図２７は、第６の実施形態における第１画像の例を示す説明図である。 図２８は、第６の実施形態における効果の説明に用いる説明図である。 図２９は、第７の実施形態における画像処理装置を含む画像処理システムの構成例を示すブロック図である。 図３０は、第７の実施形態におけるキャップの一例を示す図である。 図３１は、第７実施形態における画像処理例の流れを示すフローチャートである。 図３２は、第７の実施形態における第１画像の例を示す説明図である。 図３３は、第７の実施形態における効果の説明に用いる説明図である。 図３４は、スマートフォンの一例の外観図である。 図３５は、スマートフォンの一例の構成例を示すブロック図である。
　以下、添付図面に従って本発明に係る画像処理装置、画像処理システム、及び画像処理方法について説明する。
　［第１の実施形態］
　図１は、第１の実施形態における画像処理装置を含む画像処理システムの構成例を示すブロック図である。
　本例の画像処理システムは、撮像装置１０、レンズ装置２０、スマートフォン３０、コンピュータ装置４０（画像処理装置の一例である）、及びデータベース８０によって構成される。
　撮像装置１０は、撮像素子１２を含んで構成される。本例の撮像装置１０は、レンズ交換式 カメラである。撮像素子１２として、例えばＣＭＯＳ（complementary metal oxide semiconductor）撮像センサ、又はＣＣＤ（charge coupled device） 撮像センサを用いる。他の撮像デバイスを用いてもよい。撮像装置１０は、レンズ交換式カメラに限定されない。撮像機能を有し、かつ後述のレンズ装置２０を装着可能であれば、どのような装置を用いてもよい。
　レンズ装置２０は、レンズ２２と、レンズ２２を保持するレンズ鏡筒２４とを含む。本例のレンズ鏡筒２４は、撮像装置１０のマウント部１４に装着及び脱着が可能である。レンズ鏡筒２４は、例えば、撮像装置１０のマウント部１４にねじ込んで装着される、ねじ込み式のレンズ鏡筒２４によって構成される。ねじ込み装着式のレンズ鏡筒は、例えば、ＣＣＴＶ（closed circuit television）カメラ、ＦＡ（factory automation）カメラ、ＭＶ（machinevision）カメラに装着される。もっとも、レンズ鏡筒２４をどのような撮像装置１０にねじ込み装着してもよい。バヨネット式など、他の装着方式で撮像装置１０のマウント部１４に装着してもよい。
　スマートフォン３０は、本発明における「画像表示装置」の一例である。スマートフォン３０の構成例は後述する。
　コンピュータ装置４０は、本発明における「画像処理装置」の一例である。本例のコンピュータ装置４０は、撮像装置１０をクライアント端末として、画像処理及びアプリケーション処理を行うサーバ装置である。コンピュータ装置４０はサーバ装置に限定されない。いわゆるパーソナルコンピュータでもよい。
　コンピュータ装置４０は、外部の装置（本例では撮像装置１０及びデータベース８０）とネットワークＮＷを介して情報の出力及び入力を行う通信部４２と、表示を行う表示部４４と、ユーザから指示入力を受け付ける指示入力部４６と、各種の情報を記憶する記憶部４８と、記憶部４８に記憶されたプログラムに従ってコンピュータ装置４０の各部を制御する制御部５０とを含む。
　通信部４２は、有線又は無線の通信デバイスによって構成される。通信部４２は、「画像入力部」の一例である。
　表示部４４は、画像表示可能な表示デバイスであり、例えばＬＣＤ（liquid crystal display）によって構成される。有機エレクトロルミネッセンス・ディスプレイ等、他の表示デバイスを用いてもよい。
　指示入力部４６は、例えばキーボード及びポインティングデバイス（例えばマウス）によって構成される。タッチパネルによって構成してもよい。音声入力デバイス、ジェスチャ入力デバイス等、他の入力デバイスを用いてもよい。
　記憶部４８は、例えばＲＯＭ（read only memory）、ＲＡＭ（random access memory）及びＥＥＰＲＯＭ（electrically erasable programmable read only memory）を含んで構成される。他の記憶デバイスを用いてもよい。
　制御部５０は、例えばＣＰＵ（central processing unit）によって構成される。
　制御部５０は、通信部４２を制御することにより撮像装置１０に対する入出力制御を行うドライバ５２と、撮像装置１０の撮像により得られた画像（以下「撮像画像」という）に対して画像処理を行う画像処理部５４と、画像処理された撮像画像（以下「アプリケーション画像」という）を用いてアプリケーション処理を行うアプリケーション部５６とを含んで構成される。
　画像処理部５４は、第１の撮像画像（「第１画像」ともいう）の画面内における二次元コード（「二次元バーコード」ともいう）の傾きに基づいて、レンズ鏡筒２４の回転方向の補正基準位置を認識する回転位置認識部６２と、第１の撮像画像中の二次元コードをデコードするデコード部６４と、二次元コードのデコード結果とレンズ鏡筒２４の回転方向の補正基準位置とに基づいて、レンズ鏡筒２４に保持されたレンズ２２の光軸回りに不均一な光学特性に対応する補正情報を取得する補正情報取得部６６と、補正情報に基づいて第２の撮像画像（「第２画像」ともいう）を補正する画像補正部６８と、を含む。
　「補正情報」は、例えば、点像復元処理（「画像回復処理」ともいう）のための補正情報である。「補正情報」は、歪曲収差補正用の補正情報、シェーディング補正（周辺光量補正）用の補正情報、及び色補正用の補正情報のうちいずれか、あるいは組み合わせでもよい。
　二次元コードの代わりに、一次元コード（「一次元バーコード」ともいう）を用いてもよい。
　尚、二次元コード又は一次元コードの「傾き」とは、第１画像の画面内における傾きであり、光軸方向の倒れではない。
　図２は、レンズ鏡筒の補正基準位置の説明に用いる説明図である。レンズ鏡筒２４の回転方向Ｒにおける装着位置（補正基準位置の一例である）が判別できるように、特定の目印Ｍがレンズ鏡筒２４に付されている。尚、目印Ｍは、視認可能な方法であれば、例えば、印刷、貼付、付設などのいかなる方法でレンズ鏡筒２４に付してもよい。
　本例のレンズ鏡筒２４は、撮像装置１０のマウント部１４にねじ込んで装着される。つまり、本例のレンズ鏡筒２４は、ねじ込み式装着である。また、本例のレンズ鏡筒２４は、撮像装置１０と通信不能である。レンズ鏡筒２４が撮像装置１０と通信不能である場合として、次のような場合が挙げられる。第１に、レンズ鏡筒２４が撮像装置１０との通信を行う手段を非実装である場合がある。第２に、撮像装置１０がレンズ鏡筒２４との通信を行う手段を非実装である場合がある。第３に、レンズ鏡筒２４及び撮像装置１０の両方が通信手段を実装していても、共通の通信方式を持たない場合がある。第４に、レンズ鏡筒２４及び撮像装置１０が共通の通信方式を持っていても、コンピュータ装置４０のドライバ５２がレンズ鏡筒２４と撮像装置１０との通信内容を利用する機能を持たないために、レンズ鏡筒２４と撮像装置１０とが実質的に通信不能な場合がある。
　レンズ鏡筒２４を撮像装置１０のマウント部１４にねじ込み装着した際、レンズ鏡筒２４の光軸Ａｘ回りの回転方向Ｒにおけるレンズ鏡筒２４の装着位置（補正基準位置Ｐｃである）が不定となる。図２のレンズ鏡筒２４の回転方向Ｒにおいて、補正基準位置Ｐｃは、検査基準位置Ｐ０（レンズ鏡筒２４に保持されたレンズ２２の光学特性を検査した際の基準位置である）から、角度θＬだけ回転した位置である。このように補正基準位置Ｐｃが不定であり、かつレンズ鏡筒２４と撮像装置１０とが通信不能である場合、コンピュータ装置４０は、補正基準位置Ｐｃを撮像装置１０から得ることができない。そこで、コンピュータ装置４０の回転位置認識部６２は、第１の撮像画像（第１画像）に基づいて補正基準位置Ｐｃを画像認識する。
　図２に示すようにレンズ鏡筒２４において検査基準位置Ｐ０と補正基準位置Ｐｃとで角度θＬだけズレがある場合、図３に示すように撮像素子１２の撮像面においても検査基準位置Ｐ０と補正基準位置Ｐｃとで角度θＬだけズレが生じる。
　そこで、コンピュータ装置４０の補正情報取得部６６は、検査基準位置Ｐ０に対応する単一の補正情報を、回転方向Ｒにおいて角度θＬの分だけ変換するオフセット変換を行う。これにより、現実の補正基準位置Ｐｃ（本発明における「他の補正基準位置」である）に対応する適切な補正情報を得ることができる。
　あるいは、補正情報取得部６６により予め、検査基準位置Ｐ０に対応する補正情報に基づいて、複数の角度θＬｉ（ｉ＝１～Ｎ）にそれぞれ対応する複数の補正情報を生成して、データベース８０（又は記憶部４８）に記憶させおく。そして、補正情報取得部６６により、複数の補正情報から現実の補正基準位置Ｐｃに対応する補正情報を選択する。これにより、現実の補正基準位置Ｐｃに対応する適切な補正情報を得ることができる。
　尚、レンズ鏡筒２４がねじ込み装着式である場合を例に説明したが、他の装着式であっても、検査基準位置Ｐ０と補正基準位置Ｐｃとにズレが生じる場合がある。例えば、バヨネット式装着の場合でも、合焦させるために繰り出し回転を行うタイプのレンズ鏡筒２４である場合には、光軸Ａｘ回りの回転方向Ｒにおいてレンズ鏡筒２４の繰り出し位置（補正基準位置Ｐｃの他の例である）が不定となる。
　図４及び図５は、第１の実施形態における画像処理例の流れを示すフローチャートである。
　図４において、まず、スマートフォン３０により、レンズ鏡筒２４からレンズ固有情報を読み取る（ステップＳ１０２）。レンズ固有情報は、例えば、レンズ鏡筒２４（あるいはレンズ装置２０）の識別情報、又は検査時補正情報の識別情報である。レンズ固有情報は、検査基準位置Ｐ０に対応する補正情報（検査時補正情報）でもよい。レンズ固有情報は、例えば、特定の像劣化特性を示す数値列であってもよいし、特定の像劣化パターンを示すＩＤ（identification）番号でもよい。
　次に、スマートフォン３０により、レンズ固有情報をコード化して二次元コードを表示する（ステップＳ１０４）。二次元コードは、例えばＱＲコード（登録商標）（ＱＲは「quick response」に由来する）である。
　次に、スマートフォン３０に表示された二次元コードの向きがレンズ鏡筒２４の回転方向の補正基準位置と対応付けされる（ステップＳ１０６）。図２に示したように、レンズ鏡筒２４に目印Ｍが付されているので、例えば手でスマートフォン３０の筐体の向きを目印Ｍの位置に対応付けることにより、スマートフォン３０に表示された二次元コードの向きを補正基準位置Ｐｃに対応させることができる。
　図６に示すように、目印Ｍがレンズ鏡筒２４の上向き位置（図中のＹ軸上の位置である）に存在する場合、二次元コードＣｄをレンズ鏡筒２４の上向き方向（図中のＹ軸方向である）に沿って配置させる。つまり、スマートフォン３０の画面の上端を上向き方向Ｙに向ける。
　図７に示すように、目印Ｍがレンズ鏡筒２４の上向き位置（図中のＹ軸上の位置である）から角度θＬだけ傾いた位置に存在する場合、二次元 コードＣｄをレンズ鏡筒２４の上向き方向（図中のＹ軸方向である）に対してほぼ角度θＬだけ傾けて配置させる。つまり、スマートフォン３０の画面の上端を上向き方向Ｙに対してほぼ角度θＬだけ傾ける。ただし、二次元コードＣｄの傾きは、目印Ｍの回転方向Ｒにおける位置と完全に合致している必要はない。例えば、目印Ｍの角度θＬが４５度間隔の複数の角度（０度、４５度、９０度、・・・、３１５度）のうちいずれに最も近いかを、二次元コードＣｄの傾きによって示してよい。
　次に、撮像装置１０により、二次元コードを含む第１画像を取得する（ステップＳ１０８）。例えば、図８に示す第１画像が取得される。
　次に、撮像装置１０から、コンピュータ装置４０に対して、二次元コードを含む第１画像が送信される（ステップＳ１１０）。第１画像は、コンピュータ装置４０の通信部４２により入力される。
　次に、コンピュータ装置４０の回転位置認識部６２により、第１画像の画面内における二次元コードの傾きに基づいて、レンズ鏡筒２４の回転方向の補正基準位置を認識する（ステップＳ１１２）。
　次に、コンピュータ装置４０のデコード部６４により、二次元コードをデコードしてレンズ固有情報を取得する（ステップＳ１１４）。
　次に、コンピュータ装置４０の補正情報取得部６６により、レンズ固有情報とレンズ鏡筒２４の回転方向の補正基準位置とに基づいて、データベース８０から補正情報を取得する（ステップＳ１１６）。
　図４（ステップＳ１０２～Ｓ１１６を示す）から図５（ステップＳ１２２～Ｓ１２６を示す）に移って、次 に、撮像装置１０により、目的の被写体を撮像して、その被写体像を含む第２画像を取得する（ステップＳ１２２）。第２画像は、補正対象の画像である。
　次に、撮像装置１０から、コンピュータ装置４０に対して、被写体像を含む補正対象の第２画像を送信する（ステップＳ１２４）。第２画像は、コンピュータ装置４０の通信部４２により入力される。
　次に、コンピュータ装置４０の画像補正部６８により、補正情報に基づいて、第２画像を補正する（ステップＳ１２６）。
　図９に示すように、本実施形態では、レンズ装置２０ のレンズ固有情報をコード化した二次元コードＣｄであって、レンズ鏡筒２４の補正基準位置を画面上の傾きで示す二次元コードＣｄが、スマートフォン３０に表示される。二次元コードＣｄを含む第１画像ＤIは、撮像装置１０の通常の撮影Ｐｈにより取得されて、コンピュータ装置４０のドライバ５２の通常の処理によりコンピュータ装置４０の画像処理部５４に引き渡される。そして、コンピュータ装置４０の画像処理部５４により、第１画像ＤI中の二次元コードＣｄのデコード結果からレンズ固有情報が取得され、かつ二次元コードＣｄの画面上の傾きから補正基準位置が認識される。このように、撮像装置１０からコンピュータ装置４０のドライバ５２に至る伝送経路Ｒｃ（撮像装置のメーカに依存する画像伝送路である）に対して、レンズ固有情報及び補正基準位置情報を伝送するための新たなハードウェア及び新たなソフトウェアを追加する必要がない。つまり、レンズの光軸回りに不均一な光学特性に起因する像劣化をレンズ鏡筒の回転方向の位置に応じて容易に補正することができる。
　尚、バーコード（マーカの一形態である）が、スマートフォン３０（画像表示装置の一形態である）に表示されたバーコードである場合を例に説明したが、物体に印刷されたバーコードを撮像装置１０により撮像してもよい。つまり、本発明における撮像対象の「マーカ」は、画像表示装置に表示されたマーカに限定されず、物体（例えば箱）に印刷されたマーカでもよい。
　［第２の実施形態］
　図１０は、第２の実施形態における画像処理装置を含む画像処理システムの構成例を示すブロック図である。本図において、図１に示した第１の実施形態における画像処理装置と同じ構成要素には同じ符号を付してあり、以下では既に説明した内容を省略する。
　図１１は、第２の実施形態における画像処理例の流れを示すフローチャートである。
　まず、図１２に示すように、スマートフォン３０によりマーカＭＰ（マーカパターン）が表示され（ステップＳ２０２）、そのマーカＭＰの向きがレンズ鏡筒２４の回転方向の補正基準位置と対応付けされる（ステップＳ２０４）。図２に示したように、レンズ鏡筒２４に目印Ｍが付されているので、例えば手でスマートフォン３０の筐体の向きを目印Ｍの位置に対応付けることにより、スマートフォン３０に表示されたマーカＭＰの向きを補正基準位置Ｐｃに対応させることができる。
　次に、撮像装置１０により、表示されたマーカＭＰを撮像して、そのマーカＭＰを含む第１画像を取得する（ステップＳ２０６）。
　次に、撮像装置１０から、コンピュータ装置４０に対して、マーカＭＰを含む第１画像が送信される（ステップＳ２０８）。第１画像は、コンピュータ装置４０の通信部４２により入力される。
　次に、コンピュータ装置４０の回転位置認識部６２により、第１画像の画面内におけるマーカＭＰの傾きに基づいて、レンズ鏡筒２４の回転方向の補正基準位置を認識する（ステップＳ２１０）。
　次に、コンピュータ装置４０の補正情報取得部６６により、撮像装置１０の識別情報に基づいて、レンズ装置２０のレンズ固有情報を取得する（ステップＳ２１２）。撮像装置１０の識別情報は、撮像装置１０を識別可能な情報であれば、どのような情報を用いてもよい。撮像装置１０の通信用アドレスを用いてもよい。また、データベース８０において、撮像装置１０の識別情報とレンズ装置２０のレンズ固有情報とが関連付けされているものとする。補正情報取得部６６は、データベース８０を参照することにより、撮像装置１０の識別情報に基づいて、レンズ固有情報を取得することができる。
　次に、コンピュータ装置４０の補正情報取得部６６により、レンズ固有情報とレンズ鏡筒２４の回転方向の補正基準位置とに基づいて、データベース８０から補正情報を取得する（ステップＳ２１４）。
　図１２に示すように、本実施形態では、レンズ鏡筒２４の補正基準位置を画面上の傾きで示すマーカＭＰ（マーカパターン）が、スマートフォン３０に表示される。マーカＭＰを含む第１画像ＤIは、撮像装置１０の通常の撮影Ｐｈにより取得されて、コンピュータ装置４０のドライバ５２の通常の処理によりコンピュータ装置４０の画像処理部５４に引き渡される。そして、コンピュータ装置４０の画像処理部５４により、第１画像ＤI中のマーカＭＰの画面上の傾きから補正基準位置が認識される。このように、撮像装置１０からコンピュータ装置４０のドライバ５２に至る伝送経路Ｒｃ（撮像装置のメーカに依存する画像伝送路である）に対して、補正基準位置情報を伝送するための新たなハードウェア及び新たなソフトウェアを追加する必要がない。つまり、レンズの光軸回りに不均一な光学特性に起因する像劣化をレンズ鏡筒の回転方向の位置に応じて容易に補正することができる。
　［第３の実施形態］
　図１３は、第３の実施形態における画像処理装置を含む画像処理システムの構成例を示すブロック図である。本図において、図１に示した第１の実施形態における画像処理装置と同じ構成要素には同じ符号を付してあり、以下では既に説明した内容を省略する。
　スマートフォン３０は、スマートフォン３０の姿勢を検知する姿勢センサ３２を備える。姿勢センサ３２は、例えばジャイロセンサによって構成される。本実施形態において、補正基準位置情報は、姿勢センサ３２で検知したスマートフォン３０の姿勢を示す情報であり、補正情報取得部６６は、第１画像からスマートフォン３０の姿勢を示す情報（補正基準位置情報である）を抽出し、そのスマートフォン３０の姿勢を示す情報に基づいて補正情報を取得する。
　図１４は、第３実施形態における画像処理例の流れを示すフローチャートである。
　まず、スマートフォン３０により、レンズ鏡筒２４からレンズ固有情報を読み取る（ステップＳ３０２）。ステップＳ３０２は、第１実施形態のステップＳ１０２と同様である。
　次に、スマートフォン３０の向きがレンズ鏡筒２４の回転方向の補正基準位置と対応付けされる（ステップＳ３０４）。図２に示したように、レンズ鏡筒２４に目印Ｍが付されているので、例えば手でスマートフォン３０の筐体の向きを目印Ｍの位置に対応付ける。
　次に、スマートフォン３０の姿勢センサ３２により、スマートフォン３０の姿勢を検知して補正基準位置情報を取得する（ステップＳ３０６）。
　次に、スマートフォン３０により、レンズ固有情報及び補正基準位置情報をコード化して二次元コードを表示する（ステップＳ３０８）。
　次に、撮像装置１０により、二次元コードを撮像して、その二次元コードを含む第１画像を取得する（ステップＳ３１０）。
　次に、撮像装置１０から、コンピュータ装置４０に対して、二次元コードを含む第１画像が送信される（ステップＳ３１２）。第１画像は、コンピュータ装置４０の通信部４２により入力される。
　次に、コンピュータ装置４０のデコード部６４により、二次元コードをデコードしてレンズ固有情報及び補正基準位置情報を取得する（ステップＳ３１４）。
　次に、コンピュータ装置４０の補正情報取得部６６により、レンズ固有情報とレンズ鏡筒２４の回転方向の補正基準位置とに基づいて、データベース８０から補正情報を取得する（ステップＳ３１６）。つまり、本例の補正情報取得部６６は、スマートフォン３０の姿勢センサ３２により検知された姿勢情報に基づいて、補正情報を取得する。
　本実施形態では、スマートフォン３０の姿勢センサ３２により補正基準位置が取得されて、図１５に示すように、レンズ鏡筒２４のレンズ固有情報及び補正基準位置をコード化した二次元コードＣｄが、スマートフォン３０に表示される。二次元コードＣｄを含む第１画像ＤIは、撮像装置１０の通常の撮影Ｐｈにより取得されて、コンピュータ装置４０のドライバ５２の通常の処理によりコンピュータ装置４０の画像処理部５４に引き渡される。そして、コンピュータ装置４０の画像処理部５４により、第１画像ＤI中の二次元コードＣｄのデコード結果からレンズ固有情報及び補正基準位置が取得される。このように、撮像装置１０からコンピュータ装置４０のドライバ５２に至る伝送経路Ｒｃ（撮像装置のメーカに依存する画像伝送路である）に対して、レンズ固有情報及び補正基準位置情報を伝送するための新たなハードウェア及び新たなソフトウェアを追加する必要がない。つまり、レンズの光軸回りに不均一な光学特性に起因する像劣化をレンズ鏡筒の回転方向の位置に応じて容易に補正することができる。
　［第４の実施形態］
　図１６は、第４の実施形態における画像処理装置を含む画像処理システムの構成例を示すブロック図である。本図において、図１に示した第１の実施形態における画像処理装置と同じ構成要素には同じ符号を付してあり、以下では既に説明した内容を省略する。
　スマートフォン３０は、ユーザの指示入力を受け付ける操作部３４を備える。操作部３４は、例えばタッチパネルによって構成される。操作部３４により補正基準位置情報の入力を受け付ける。本実施形態において、補正基準位置情報は、スマートフォン３０で受け付けたユーザ入力情報であり、補正情報取得部６６は、第１画像からスマートフォン３０でのユーザ入力情報（補正基準位置情報である）を抽出し、そのスマートフォン３０でのユーザ入力情報に基づいて補正情報を取得する。
　図１７は、第４実施形態における画像処理例の流れを示すフローチャートである。
　まず、スマートフォン３０により、レンズ鏡筒２４からレンズ固有情報を読み取る（ステップＳ４０２）。ステップＳ４０２は、第１実施形態のステップＳ１０２と同様である。
　次に、スマートフォン３０の操作部３４により、レンズ鏡筒２４の回転方向の補正基準位置のユーザ入力を受け付ける（ステップＳ４０４）。尚、図１８に示すように、補正基準位置以外の情報（本例では焦点距離、及び絞り値）の入力を受け付けてもよい。
　ステップＳ４０８からステップＳ４１６は、第３実施形態におけるステップＳ３０８からステップＳ３１６と同様であり、説明を省略する。
　ただし、本例の補正情報取得部６６は、スマートフォン３０で受け付けたユーザ入力情報に基づいて、補正情報を取得する。
　本実施形態でも、第３実施形態と同様に、撮像装置１０からコンピュータ装置４０のドライバ５２に至る伝送経路Ｒｃ（撮像装置のメーカに依存する画像伝送路である）に対して、レンズ固有情報及び補正基準位置情報を伝送するための新たなハードウェア及び新たなソフトウェアを追加する必要がない。つまり、レンズの光軸回りに不均一な光学特性に起因する像劣化をレンズ鏡筒の回転方向の位置に応じて容易に補正することができる。
　尚、第３の実施形態及び第４の実施形態では、レンズ固有情報及び補正基準位置情報を二次元コードにコード化した場合を例に説明したが、他の信号にコード化してよい。他のコード化として、空間的なコード化には限定されず、時間的なコード化（例えば点滅でコート化した信号、例えばモールス信号）を用いてもよい。
　［第５の実施形態］
　図１９は、第５の実施形態における画像処理装置を含む画像処理システムの構成例を示すブロック図である。本図において、図１に示した第１の実施形態における画像処理装置と同じ構成要素には同じ符号を付してあり、以下では既に説明した内容を省略する。
　本実施形態では、レンズ鏡筒２４の補正基準位置を、ペンライトＰＬの発光により示す。回転位置認識部６２は、第１画像の画面内における光量分布を検出し、その光量分布に基づいて、補正基準位置を認識する。
　図２０は、第５実施形態における画像処理例の流れを示すフローチャートである。
　まず、ペンライトＰＬ（発光体）の光像の画面内位置がレンズ鏡筒２４の回転方向の補正基準位置と対応付けされる（ステップＳ５０２）。つまり、図２１に示すように、ペンライトＰＬの先端がレンズ鏡筒２４の目印Ｍの位置に対応付けされる。尚、ペンライトＰＬを点滅させてもよい。
　次に、撮像装置１０により、ペンライトＰＬの光像を撮像して第１画像を取得する（ステップＳ５０４）。つまり、図２２に示すように、ペンライトＰＬから発光された光の光像ＬＩを含む第１画像が取得される。
　次に、撮像装置１０から、コンピュータ装置４０に対して、ペンライトＰＬの光像を含む第１画像が送信される（ステップＳ５０６）。第１画像は、コンピュータ装置４０の通信部４２により入力される。
　次に、コンピュータ装置４０の回転位置認識部６２により、第１画像の画面内におけるペンライトＰＬの光像の位置に基づいて、レンズ鏡筒２４の回転方向の補正基準位置を認識する（ステップＳ５０８）。ペンライトＰＬを点滅させた場合、第１画像における光量の時間的変化にも基づいて、レンズ鏡筒２４の回転方向の補正基準位置を認識する。
　次に、コンピュータ装置４０の補正情報取得部６６により、撮像装置１０の識別情報に基づいて、レンズ固有情報を取得する（ステップＳ５１０）。
　次に、コンピュータ装置４０の補正情報取得部６６により、レンズ固有情報とレンズ鏡筒２４の回転方向の補正基準位置とに基づいて、データベース８０から補正情報を取得する（ステップＳ５１２）。
　図２３に示すように、本実施形態では、レンズ鏡筒２４の補正基準位置を画面上の位置で示すペンライトＰＬの光像ＬＩ（点光源像）を含む第１画像ＤIが、撮像装置１０の通常の撮影Ｐｈにより取得されて、コンピュータ装置４０のドライバ５２の通常の処理によりコンピュータ装置４０の画像処理部５４に引き渡される。そして、コンピュータ装置４０の画像処理部５４により、第１画像ＤI中の光像ＬＩの画面中の位置から補正基準位置が認識される。このように、撮像装置１０からコンピュータ装置４０のドライバ５２に至る伝送経路Ｒｃ（撮像装置のメーカに依存する画像伝送路である）に対して、補正基準位置情報を伝送するための新たなハードウェア及び新たなソフトウェアを追加する必要がない。つまり、レンズの光軸回りに不均一な光学特性に起因する像劣化をレンズ鏡筒の回転方向の位置に応じて容易に補正することができる。
　［第６実の施形態］
　図２４は、第６の実施形態における画像処理装置を含む画像処理システムの構成例を示すブロック図である。本図において、図１に示した第１の実施形態における画像処理装置と同じ構成要素には同じ符号を付してあり、以下では既に説明した内容を省略する。
　レンズ装置２０は、レンズ鏡筒２４の内周に 、点光源２６を備える。レンズ鏡筒２４の外周に点光源２６を設けてもよい。レンズ装置２０の点光源２６は、例えば、ＬＥＤ（light emitting diode）によって構成される。回転位置認識部６２は、第１画像の画面内における光量分布を検出し、その光量分布に基づいて、補正基準位置を認識する。
　図２５は、第５実施形態における画像処理例の流れを示すフローチャートである。
　まず、図２６に示すように、レンズ鏡筒２４に取り付けられた点光源２６を点灯する（ステップＳ６０２）。例えばレンズ鏡筒２４に点光源２６の点灯を指示するスイッチ（図示を省略）を設けておき、そのスイッチをオン操作する。本例の点光源２６は、図２の目印Ｍに相当し、レンズ鏡筒２４の補正基準位置を示す。点光源２６を点滅させてもよい。
　次に、撮像装置１０により、レンズ鏡筒２４の光像を撮像して第１画像を取得する（ステップＳ６０４）。つまり、図２７に示すように、レンズ鏡筒２４の点光源２６から発光された光の光像ＬＩを含む第１画像が取得される。
　次に、撮像装置１０から、コンピュータ装置４０に対して、レンズ鏡筒２４の点光源２６の光像を含む第１画像が送信される（ステップＳ６０６）。第１画像は、コンピュータ装置４０の通信部４２により入力される。
　次に、コンピュータ装置４０の回転位置認識部６２により、第１画像の画面内におけるレンズ鏡筒２４の点光源２６の光像の位置に基づいて、レンズ鏡筒２４の回転方向の補正基準位置を認識する（ステップＳ６０８）。点光源２６を点滅させた場合、第１画像における光量の時間的変化にも基づいて、レンズ鏡筒２４の回転方向の補正基準位置を認識する。
　ステップＳ６１０及びステップＳ６２０は、第５実施形態におけるステップＳ５１０及びステップＳ５１２と同様であり、説明を省略する。
　図２８に示すように、本実施形態では、レンズ鏡筒２４の補正基準位置を画面上の位置で示す点光源２６の光像ＬＩ（点光源像）を含む第１画像ＤIが、撮像装置１０の通常の撮影Ｐｈにより取得されて、コンピュータ装置４０のドライバ５２の通常の処理によりコンピュータ装置４０の画像処理部５４に引き渡される。そして、コンピュータ装置４０の画像処理部５４により、第１画像ＤI中の光像ＬＩの画面中の位置から補正基準位置が認識される。このように、撮像装置１０からコンピュータ装置４０のドライバ５２に至る伝送経路Ｒｃ（撮像装置のメーカに依存する画像伝送路である）に対して、補正基準位置情報を伝送するための新たなハードウェア及び新たなソフトウェアを追加する必要がない。つまり、レンズの光軸回りに不均一な光学特性に起因する像劣化をレンズ鏡筒の回転方向の位置に応じて容易に補正することができる。
　［第７の実施形態］
　図２９は、第７の実施形態における画像処理装置を含む画像処理システムの構成例を示すブロック図である。本図において、図１に示した第１の実施形態における画像処理装置と同じ構成要素には同じ符号を付してあり、以下では既に説明した内容を省略する。
　キャップ２８は、レンズ鏡筒２４の先端に取り付けられる。図３０に示すように、キャップ２８には、外光を通過させる開口部分を含む透光部２８Ｌと、透光部２８Ｌに比較して 外光を遮蔽する遮光部２８Ｍとを有する。つまり、第１画像における透光領域と遮光領域との光量差により、第１画像内の光量分布が生じる。回転位置認識部６２は、第１画像の画面内における透光領域及び遮光領域のうち少なくとも一方を検出することにより、補正基準位置を認識する。
　図３１は、第７実施形態における画像処理例の流れを示すフローチャートである。
　まず、透光部２８Ｌ（透光領域）及び遮光部２８Ｍ（遮光領域）を有するキャップ２８をレンズ鏡筒２４に取り付けた状態で、撮像装置１０により撮像を行って第１画像を取得する（ステップＳ７０２）。つまり、図３２に示すように、キャップ２８の透光部２８Ｌに対応する光像ＬＩを含む第１画像が取得される。尚、レンズ鏡筒２４の回転方向におけるキャップ２８の透光部２８Ｌの位置は、レンズ鏡筒２４の回転方向における目印Ｍの位置に対応付けられている。従って、第１画像における光像ＬＩの位置は、レンズ鏡筒２４おける目印Ｍの位置に対応している。
　次に、撮像装置１０から、コンピュータ装置４０に対して、レンズ鏡筒２４の点光源２６の光像を含む第１画像が送信される（ステップＳ７０４）。第１画像は、コンピュータ装置４０の通信部４２により入力される。
　次に、コンピュータ装置４０の回転位置認識部６２により、第１画像の画面内における光像ＬＩ（透光領域）の位置に基づいて、レンズ鏡筒２４の回転方向の補正基準位置を認識する（ステップＳ７０６）。第１画像の画面内における遮光領域の位置に基づいて、補正基準位置を認識してもよい。
　ステップＳ７０８及びステップＳ７１０は、第５実施形態におけるステップＳ５１０及びステップＳ５１２と同様であり、説明を省略する。
　図３３に示すように、本実施形態では、レンズ鏡筒２４の補正基準位置を画面上の位置で示すキャップ２８の光像ＬＩを含む第１画像ＤIが、撮像装置１０の通常の撮影Ｐｈにより取得されて、コンピュータ装置４０のドライバ５２の通常の処理によりコンピュータ装置４０の画像処理部５４に引き渡される。そして、コンピュータ装置４０の画像処理部５４により、第１画像ＤI中の光像ＬＩの画面中の位置から補正基準位置が認識される。このように、撮像装置１０からコンピュータ装置４０のドライバ５２に至る伝送経路Ｒｃ（撮像装置のメーカに依存する画像伝送路である）に対して、補正基準位置情報を伝送するための新たなハードウェア及び新たなソフトウェアを追加する必要がない。つまり、レンズの光軸回りに不均一な光学特性に起因する像劣化をレンズ鏡筒の回転方向の位置に応じて容易に補正することができる。
　［スマートフォンの構成例 ］
　図３４は、画像表示装置の一例であるスマートフォン３０の外観を示すものである。図３４に示すスマートフォン３０は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
　図３５は、図３４に示すスマートフォン３０の構成を示すブロック図である。図３５に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(global positioning system)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン３０の主たる機能として、基地局装置ＢＳと移動通信網とを介した移動無線通信を行う無線通信機能を備える。
　無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網に収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
　表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。尚、表示入力部５２０は、図１６に示したスマートフォン３０の操作部３４に相当する。
　表示パネル５２１は、ＬＣＤ(liquid crystal display)、ＯＥＬＤ(organic electro-luminescence display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指やペン型入力装置によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指やペン型入力装置 によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
　図３４に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン３０の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
　通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図３４に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。
　操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図３４に示すように、操作部５４０は、スマートフォン３０の筐体５０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部５５０は、主制御部５０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（random access memory）、ＲＯＭ（read only memory）などの格納媒体を用いて実現される。
　外部入出力部５６０は、スマートフォン３０に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（local area network）、ブルートゥース（bluetooth）（登録商標）、ＲＦＩＤ（radio frequency identification）、赤外線通信（infrared data association：ＩｒＤＡ）（登録商標）、ＵＷＢ（ultra wideband）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。
　スマートフォン３０に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（memory card）やＳＩＭ(subscriber identity module card)／ＵＩＭ(user identity module card)カード、オーディオ・ビデオＩ／Ｏ（input/output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ（personal digital assistant）、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン３０の内部の各構成要素に伝達することや、スマートフォン３０の内部のデータが外部機器に伝送されるようにすることができる。
　ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン３０の緯度、経度、高度を含む位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン３０の物理的な動きを検出する。スマートフォン３０の物理的な動きを検出することにより、スマートフォン３０の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
　本例のモーションセンサ部５８０は、図１３の姿勢センサ３２として用いることが可能である。
　電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン３０の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン３０の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
　また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
　更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
　表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
　更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部５４１は、ＣＭＯＳ（complementary metal oxide semiconductor）撮像センサやＣＣＤ（charge coupled device）撮像センサなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ(joint photographic coding experts group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１に示すにスマートフォン３０において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。
　また、カメラ部５４１はスマートフォン３０の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン３０のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
　その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することもできる。
　以上、本発明を実施するための形態に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能である。
１０　撮像装置
１２　撮像素子
１４　マウント部
２０　レンズ装置
２２　レンズ
２４　レンズ鏡筒
２６　点光源
２８　キャップ
２８Ｌ　透光部
２８Ｍ　遮光部
３０　スマートフォン
３２　姿勢センサ
３４　操作部
４０　コンピュータ装置
４２　通信部
４４　表示部
４６　指示入力部
４８　記憶部
５０　制御部
５２　ドライバ
５４　画像処理部
５６　アプリケーション部
６２　回転位置認識部
６４　デコード部
６６　補正情報取得部
６８　画像補正部
８０　データベース
５０１　主制御部
５０２　筐体
５１０　無線通信部
５２０　表示入力部
５２１　表示パネル
５２２　操作パネル
５３０　通話部
５３１　スピーカ
５３２　マイクロホン
５４０　操作部
５４１　カメラ部
５５０　記憶部
５５１　内部記憶部
５５２　外部記憶部
５６０　外部入出力部
５７０　ＧＰＳ受信部
５８０　モーションセンサ部
５９０　電源部
ＢＳ　基地局装置
Ｃｄ　二次元コード
ＤI　第１画像
ＬＩ　光像
Ｍ　目印
ＭＩ　遮光像
ＭＰ　マーカ
ＮＷ　ネットワーク
Ｐ０　検査基準位置
ＰＬ　ペンライト
Ｐｃ　補正基準位置
Ｐｈ　撮影
Ｒ　回転方向
Ｒｃ　伝送経路
ＳＴ　GPS衛星

Claims (18)

  1. 　撮像装置に装着されたレンズ鏡筒の回転方向の補正基準位置を示す第１画像及び補正対象の第２画像であって、前記撮像装置の撮像により得られた前記第１画像及び前記第２画像を入力する画像入力部と、
    　前記第１画像に基づいて、前記回転方向の補正基準位置を認識する回転位置認識部と、
    　前記回転方向の補正基準位置に基づいて、前記レンズ鏡筒に保持されたレンズの光軸回りに不均一な光学特性に対応する補正情報を取得する補正情報取得部と、
    　前記補正情報に基づいて、前記第２画像を補正する画像補正部と、
    　を備える画像処理装置。
  2. 　前記第１画像には、前記補正基準位置を示すマーカが含まれ、
    　前記回転位置認識部は、前記第１画像の画面内における前記マーカの傾きを検出し、当該傾きに基づいて、前記補正基準位置を認識する、
    　請求項１に記載の画像処理装置。
  3. 　前記マーカは、一次元又は二次元のバーコードである、
    　請求項２に記載の画像処理装置。
  4. 　前記バーコードには、前記補正情報及び識別情報のうち少なくとも一方が含まれ、
    　前記補正情報取得部は、前記バーコードのデコード結果と前記第１画像の画面内における前記バーコードの傾きとに基づいて、前記補正基準位置に応じた前記補正情報を取得する、
    　請求項３に記載の画像処理装置。
  5. 　前記マーカは、画像表示装置に表示されたマーカ又は物体に印刷されたマーカである、
    　請求項２から４のうちいずれか一項に記載の画像処理装置。
  6. 　前記第１画像には、画像表示装置で取得された補正基準位置情報が含まれ、
    　前記回転位置認識部は、前記第１画像から前記補正基準位置情報を抽出することにより前記補正基準位置を認識する、
    　請求項１に記載の画像処理装置。
  7. 　前記補正基準位置情報は、前記画像表示装置で検出された前記画像表示装置の姿勢を示す姿勢情報であり、
    　前記補正情報取得部は、前記姿勢情報に基づいて、前記補正情報を取得する、
    　請求項６に記載の画像処理装置。
  8. 　前記補正基準位置情報は、前記画像表示装置で受け付けたユーザ入力情報であり、
    　前記補正情報取得部は、前記ユーザ入力情報に基づいて、前記補正情報を取得する、
    　請求項６に記載の画像処理装置。
  9. 　前記第１画像には、光源の発光による光像が含まれ、
    　前記回転位置認識部は、前記第１画像の画面内における光量分布を検出し、当該光量分布に基づいて、前記補正基準位置を認識する、
    　請求項１に記載の画像処理装置。
  10. 　前記回転位置認識部は、前記第１画像の画面内における前記光像の位置に基づいて、前記補正基準位置を認識する、
    　請求項９に記載の画像処理装置。
  11. 　前記光源は、点光源であり、
    　前記回転位置認識部は、前記第１画像における前記点光源の光像の位置に基づいて、前記回転方向の補正基準位置を認識する、
    　請求項９に記載の画像処理装置。
  12. 　前記光量分布は、前記第１画像における透光領域と遮光領域との光量差によって生じ、
    　前記回転位置認識部は、前記第１画像における前記透光領域及び前記遮光領域のうち少なくとも一方を検出することにより、前記補正基準位置を認識する、
    　請求項９に記載の画像処理装置。
  13. 　前記回転位置認識部は、前記第１画像における光量の時間的変化にも基づいて、前記回転方向の補正基準位置を認識する、
    　請求項９から１２のうちいずれか一項に記載の画像処理装置。
  14. 　前記補正情報取得部は、単一の前記補正基準位置に応じた補正情報を変換することにより、他の前記補正基準位置に応じた前記補正情報を取得する、
    　請求項１から１３のうちいずれか一項に記載の画像処理装置。
  15. 　前記補正情報取得部は、複数の前記補正情報から、前記回転位置認識部により認識された前記補正基準位置に応じた前記補正情報を選択する、
    　請求項１から１３のうちいずれか一項に記載の画像処理装置。
  16. 　前記補正情報は、点像復元処理用の補正情報を含む、
    　請求項１から１５のうちいずれか一項に記載の画像処理装置。
  17. 　前記レンズ及び前記レンズ鏡筒を含むレンズ装置と、前記撮像装置と、請求項１から１６のうちいずれか一項に記載の画像処理装置と、を備える画像処理システム。
  18. 　撮像装置に装着されたレンズ鏡筒の回転方向の補正基準位置を示す第１画像及び補正対象の第２画像であって、前記撮像装置の撮像により得られた前記第１画像及び前記第２画像を入力する工程と、
    　前記第１画像に基づいて、前記回転方向の補正基準位置を認識する工程と、
    　前記回転方向の補正基準位置に基づいて、前記レンズ鏡筒に保持されたレンズの光軸回りに不均一な光学特性に対応する補正情報を取得する工程と、
    　前記補正情報に基づいて、前記第２画像を補正する工程と、
    　を含む画像処理方法。
PCT/JP2017/007874 2016-03-17 2017-02-28 画像処理装置、画像処理システム、及び画像処理方法 WO2017159353A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780016871.4A CN108886575B (zh) 2016-03-17 2017-02-28 图像处理装置、图像处理系统及图像处理方法
JP2018505793A JP6450498B2 (ja) 2016-03-17 2017-02-28 画像処理装置、画像処理システム、及び画像処理方法
US16/129,913 US10594909B2 (en) 2016-03-17 2018-09-13 Image processing device, image processing system, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016054291 2016-03-17
JP2016-054291 2016-03-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/129,913 Continuation US10594909B2 (en) 2016-03-17 2018-09-13 Image processing device, image processing system, and image processing method

Publications (1)

Publication Number Publication Date
WO2017159353A1 true WO2017159353A1 (ja) 2017-09-21

Family

ID=59851571

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/007874 WO2017159353A1 (ja) 2016-03-17 2017-02-28 画像処理装置、画像処理システム、及び画像処理方法

Country Status (4)

Country Link
US (1) US10594909B2 (ja)
JP (1) JP6450498B2 (ja)
CN (1) CN108886575B (ja)
WO (1) WO2017159353A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7612805B2 (en) 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
WO2020188929A1 (ja) * 2019-03-18 2020-09-24 ソニー株式会社 撮像装置、情報処理方法、およびプログラム
CN111158485B (zh) * 2019-12-30 2022-03-04 维沃移动通信有限公司 一种屏幕控制方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010087893A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 撮像装置、撮像方法、およびプログラム
JP2010087859A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 画像処理パラメータ算出装置、画像処理パラメータ算出方法、製造方法、撮像装置、撮像方法、およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6191406B1 (en) * 1998-07-24 2001-02-20 Eastman Kodak Company Data reader and reader system having visible centerless targeting
JP2005354301A (ja) 2004-06-09 2005-12-22 Canon Inc 画像処理装置、画像処理方法、プログラム、記憶媒体、画像処理システムおよび撮像装置
JP4940661B2 (ja) * 2006-01-11 2012-05-30 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
JP2009302697A (ja) 2008-06-11 2009-12-24 Sony Corp 撮像システム、撮像装置、撮像レンズ、歪み補正方法及びプログラム
JP5344647B2 (ja) * 2011-08-01 2013-11-20 キヤノン株式会社 画像処理方法、画像処理装置および画像処理プログラム
JP5646705B1 (ja) * 2013-07-18 2014-12-24 アキュートロジック株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
CN103400131B (zh) * 2013-08-16 2016-12-28 徐宁 一种图像识别中的校正装置及其方法
EP3188660A4 (en) * 2014-07-23 2018-05-16 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10218911B2 (en) * 2017-03-22 2019-02-26 Htc Corporation Mobile device, operating method of mobile device, and non-transitory computer readable storage medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010087893A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 撮像装置、撮像方法、およびプログラム
JP2010087859A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 画像処理パラメータ算出装置、画像処理パラメータ算出方法、製造方法、撮像装置、撮像方法、およびプログラム

Also Published As

Publication number Publication date
CN108886575B (zh) 2019-11-26
JP6450498B2 (ja) 2019-01-09
US20190014244A1 (en) 2019-01-10
US10594909B2 (en) 2020-03-17
CN108886575A (zh) 2018-11-23
JPWO2017159353A1 (ja) 2019-01-10

Similar Documents

Publication Publication Date Title
JP6626954B2 (ja) 撮像装置及びフォーカス制御方法
US9007400B2 (en) Image processing device, image processing method and computer-readable medium
US20170163899A1 (en) Imaging device, imaging method, and program
US10412277B2 (en) Dome-type camera and dome cover
JP6031587B2 (ja) 撮像装置、信号処理方法、信号処理プログラム
US20220114758A1 (en) Camera device, imaging system, control method, and program
US20180073873A1 (en) Distance image acquisition apparatus and distance image acquisition method
US10594909B2 (en) Image processing device, image processing system, and image processing method
JP6364560B2 (ja) 合焦制御装置、撮像装置、合焦制御方法、及び、合焦制御プログラム
US20140292636A1 (en) Head-Worn Infrared-Based Mobile User-Interface
US10079973B2 (en) Imaging device operation device, operation method, and program
WO2017188030A1 (ja) 画像処理装置及び画像処理方法
US20170328976A1 (en) Operation device, tracking system, operation method, and program
US10514591B2 (en) Camera apparatus, image processing device, and image processing method
JP7210517B2 (ja) 撮像装置、撮像制御方法、撮像制御プログラム
US20200404139A1 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018505793

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17766356

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17766356

Country of ref document: EP

Kind code of ref document: A1