WO2017086021A1 - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

画像処理装置、画像処理方法及びコンピュータプログラム Download PDF

Info

Publication number
WO2017086021A1
WO2017086021A1 PCT/JP2016/077870 JP2016077870W WO2017086021A1 WO 2017086021 A1 WO2017086021 A1 WO 2017086021A1 JP 2016077870 W JP2016077870 W JP 2016077870W WO 2017086021 A1 WO2017086021 A1 WO 2017086021A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
magnification
zoom
unit
processing
Prior art date
Application number
PCT/JP2016/077870
Other languages
English (en)
French (fr)
Inventor
小曽根　卓義
洋司 山本
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2017086021A1 publication Critical patent/WO2017086021A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a computer program.
  • zoom lenses are difficult to miniaturize because they need to be mechanically operated, and cannot be mounted on small portable terminals such as smartphones and tablet terminals. Therefore, in such a portable terminal, subject zooming is performed by performing image enlargement processing by signal processing (see, for example, Patent Document 1).
  • the first zoom process using the first image captured by the first imaging unit is performed up to the first magnification, and the peripheral portion of the first image is cut off from the first magnification to the second magnification.
  • An image processing apparatus including a zoom processing unit that performs zoom processing is provided.
  • the first zoom process using the first image captured by the first imaging unit is performed up to the first magnification, and the first image is processed from the first magnification to the second magnification.
  • An image processing method is provided that includes performing a third zoom process using two images.
  • the computer performs a first zoom process using the first image captured by the first imaging unit up to the first magnification, and the first magnification and the second magnification up to the second magnification.
  • Performing a third zoom process using the second image is provided.
  • FIG. 3 is an explanatory diagram illustrating a functional configuration example of an image processing apparatus 100 according to an embodiment of the present disclosure. It is explanatory drawing which shows the example of a distortion correction process. It is explanatory drawing which shows the operation example of the image processing apparatus 100 which concerns on the said embodiment. It is explanatory drawing which shows typically a mode that the synthetic
  • zoom lenses are difficult to miniaturize because they need to be mechanically operated, and cannot be mounted on small portable terminals such as smartphones and tablet terminals. Therefore, in such a portable terminal, zooming of the subject is performed by performing image enlargement processing by signal processing.
  • FIG. 1 is an explanatory diagram for explaining an image enlargement process by signal processing.
  • the original image output by the image sensor is 6144 pixels wide and 3456 pixels long, if the 3840 pixels wide and 2160 pixels high in the center of the original image are cut out, the original image is enlarged by about 1.6 times. An image is obtained.
  • FIG. 2 is an explanatory diagram for explaining an image enlargement process by a combination of signal processing and camera switching.
  • a magnification of about 10 times may be insufficient.
  • a portable terminal from a passenger seat such as a baseball stadium or a soccer field
  • the player cannot be photographed at a magnification of about 10 times, and therefore, a higher magnification is required.
  • the present disclosure person performs zooming with a simple configuration while suppressing deterioration of image quality when performing zooming using images captured by a plurality of cameras having different focal lengths.
  • the present disclosure when performing zooming using images captured by a plurality of cameras having different focal lengths, can perform high-magnification zooming with a simple configuration while suppressing deterioration in image quality. It came to devise the technology that can be done.
  • This method is a method of creating a telephoto effect by cutting out an area with relatively little distortion at the center in an image having an extreme barrel distortion and correcting the distortion.
  • FIG. 3 is an explanatory diagram for explaining image enlargement processing by signal processing for a distorted image.
  • FIG. 3 shows an image in which an enlargement effect due to lens distortion is obtained at the center of the image.
  • FIG. 3 by cutting out an area with relatively little distortion at the center in an image having an extreme barrel distortion and correcting the distortion, the image is simply displayed as shown in FIGS. Compared with the method of cutting out and enlarging the image, a higher zoom effect can be obtained from one image.
  • FIG. 4 is an explanatory diagram illustrating a functional configuration example of the image processing apparatus 100 according to the embodiment of the present disclosure.
  • the image processing apparatus 100 illustrated in FIG. 4 is an apparatus that realizes zooming with high magnification while suppressing deterioration in image quality using a plurality of cameras with different focal lengths that capture a distorted image.
  • a functional configuration example of the image processing apparatus 100 according to the embodiment of the present disclosure will be described with reference to FIG.
  • the image processing apparatus 100 includes imaging units 102a and 102b, an operation unit 104, a display unit 106, and a control unit 110. .
  • the imaging units 102 a and 102 b are each configured with a lens, an imaging device, an A / D converter, and the like, and output captured images to the control unit 110.
  • the imaging units 102a and 102b perform imaging in the same direction, and are desirably provided adjacent to each other so that the imaging ranges substantially coincide.
  • the imaging device may be a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor.
  • the imaging units 102a and 102b are provided with lenses having different focal lengths.
  • the imaging unit 102a captures a wide-angle image
  • the imaging unit 102b captures a telephoto image.
  • the focal length of the imaging unit 102b is set to a focal length that is the same angle of view as the image (image after removing distortion) in the case of the maximum magnification in the zoom process using the image captured by the imaging unit 102a. Can be set.
  • Each of the imaging units 102a and 102b includes a lens that is not a central projection method, and is configured to output a captured image having an extreme barrel distortion as illustrated in FIG.
  • an image on the wide-angle side imaged by the imaging unit 102a will be described as an image with a reference magnification (1 ⁇ ).
  • the operation unit 104 includes, for example, a touch panel and various buttons.
  • the operation unit 104 receives an operation of the user of the image processing apparatus 100 and outputs a signal corresponding to the operation to the control unit 110.
  • the touch panel can be provided on the display unit 106 described later, for example.
  • the operation unit 104 accepts an operation for enlarging or reducing the image captured by the imaging units 102a and 102b by the user.
  • the operation of enlargement or reduction processing by the user may be performed by, for example, a pinch-out operation or a pinch-in operation on the display unit 106 provided with a touch panel, or may be performed by an operation using a button.
  • the display unit 106 is composed of, for example, a liquid crystal display or an organic EL display, and displays various types of information based on the control of the control unit 110.
  • the display unit 106 is a graphical user interface for accepting an operation of enlargement or reduction processing by a user of an image captured by the imaging units 102 a and 102 b or an image captured by the operation unit 104 by the imaging units 102 a and 102 b ( GUI) etc. are displayed.
  • the display unit 106 may include a touch panel on the surface.
  • the control unit 110 includes, for example, a processor such as a CPU (Central Processing Unit), a storage medium such as a ROM (Read Only Memory), and a RAM (Random Access Memory), and controls the operation of the image processing apparatus 100.
  • a processor such as a CPU (Central Processing Unit)
  • a storage medium such as a ROM (Read Only Memory)
  • a RAM Random Access Memory
  • the control unit 110 includes a zoom processing unit 112 and an image composition unit 114.
  • the zoom processing unit 112 performs zoom processing using the images captured by the imaging units 102a and 102b.
  • the zoom processing unit 112 performs zoom processing (first zoom processing) using an image captured by the imaging unit 102a from 1 ⁇ to a predetermined first magnification, from the first magnification to the second magnification.
  • a zoom process for obtaining an enlarged image by combining an image obtained by cutting off the peripheral part of an image captured by the image capturing unit 102a and an image captured by the image capturing unit 102b.
  • the zoom process (third zoom process) using the image picked up in (3) is executed.
  • the images captured by the imaging units 102a and 102b are images having an extreme barrel distortion. Therefore, the zoom processing unit 112 performs processing for removing barrel distortion when performing zoom processing using the images captured by the imaging units 102a and 102b. Then, as shown in FIG. 3, the zoom processing unit 112 cuts out an area with relatively little distortion at the center portion in an image having extreme barrel distortion, and corrects the distortion, thereby correcting the distortion from one image. A high zoom effect can be obtained.
  • FIG. 5 is an explanatory diagram showing an example of distortion correction processing by the zoom processing unit 112.
  • FIG. 5 shows an example of distortion correction processing at the center of the left side of images captured by the imaging units 102a and 102b.
  • the images captured by the imaging units 102 a and 102 b are in a state in which the peripheral part is crushed as the central part is enlarged.
  • the zoom processing unit 112 first performs a process of complementing the pixel after expanding the peripheral part twice vertically and horizontally, and then moving the pixel. A distortion correction process is performed, and the image is finally reduced.
  • the zoom processing unit 112 captures a distorted image by switching the contents of the zoom processing using the images captured by the imaging units 102a and 102b according to the magnification, and has a plurality of different focal lengths. High-magnification zooming using a camera with reduced image quality degradation can be realized.
  • first magnification at which the first zoom processing and the second zoom processing are switched and the second magnification at which the second zoom processing and the third zoom processing are switched may be the same magnification.
  • the image processing apparatus 100 may display a GUI on the display unit 106 so that the first magnification and the second magnification can be understood during zoom processing.
  • the image composition unit 114 performs a composition process of a plurality of images.
  • the image composition unit 114 uses an image obtained by cutting off the peripheral portion of the image captured by the image capturing unit 102a and the image capturing unit 102b. A process of synthesizing the captured image (not cut off) is performed.
  • the image synthesizing unit 114 can generate a higher quality enlarged image by synthesizing the two images while the zoom processing unit 112 is performing the second zoom process.
  • the image synthesizer 114 synthesizes the two images so that the two images match when the two images are synthesized. For example, the image composition unit 114 compares predetermined regions of the two images, aligns the two images so that the pixels in the regions match, and composes the images. The greater the number of regions to be compared, the better the accuracy during synthesis. In addition, for example, the image composition unit 114 may extract feature points from the two images and align the two images so that the feature points coincide with each other.
  • the zoom processing unit 112 may change the image composition ratio in the image composition unit 114 in accordance with the magnification while performing the second zoom process. That is, the zoom processing unit 112 causes the image composition unit 114 to synthesize the ratio of the images captured by the image capturing unit 102a near the first magnification, and then the image captured by the image capturing unit 102b as the magnification increases.
  • the image composition unit 114 may perform composition so that the ratio is increased. This is because, in the vicinity of the first magnification, the image captured by the imaging unit 102a has less overall distortion.
  • the composition ratio of the image captured by the image capturing unit 102a and the image captured by the image capturing unit 102b is 100: 0 near the first magnification, and 0: 100 near the second magnification.
  • the image composition unit 114 may synthesize the image, and the image composition unit 114 may synthesize 50: 5 near the first magnification and 0: 100 near the second magnification.
  • the zoom processing unit 112 may change the image synthesis area in the image synthesis unit 114 while performing the second zoom process. For example, in the vicinity of the first magnification, the distortion at the periphery of the image captured by the imaging unit 102b is stronger than the distortion at the periphery of the image captured by the imaging unit 102a. Accordingly, in the vicinity of the first magnification, the zoom processing unit 112 obtains an enlarged image by combining the peripheral portion of the image captured by the imaging unit 102a and the central portion of the image captured by the imaging unit 102b.
  • the zoom processing unit 112 obtains an enlarged image by combining the peripheral portion of the image captured by the imaging unit 102a and the central portion of the image captured by the imaging unit 102b.
  • the zoom processing unit 112 may change the ratio of the image synthesis area in the image synthesis unit 114 during the second zoom process described above according to the magnification. That is, the zoom processing unit 112 causes the image composition unit 114 to synthesize the area of the image captured by the imaging unit 102a near the first magnification, and then the image captured by the imaging unit 102b as the magnification increases. The image composition unit 114 may synthesize the image so that the area of the image becomes larger.
  • the image processing apparatus 100 according to the embodiment of the present disclosure has the configuration illustrated in FIG. 4, thereby suppressing deterioration in image quality using a plurality of cameras having different focal lengths. High magnification zooming can be realized.
  • the image processing apparatus 100 illustrated in FIG. 4 may be configured as, for example, a mobile phone such as a smartphone, a tablet-type mobile terminal, a laptop computer, or the like. Further, the imaging units 102 a and 102 b of the image processing apparatus 100 illustrated in FIG. 4 may be configured as a device different from the image processing apparatus 100.
  • FIG. 6 is a flowchart illustrating an operation example of the image processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 6 shows an example of the operation of the image processing apparatus 100 when executing zoom processing from a 1 ⁇ image.
  • the first magnification is M times and the second magnification is N times. That is, the relationship of M ⁇ N is established.
  • the image processing apparatus 100 When the image processing apparatus 100 detects a zoom operation using the operation unit 104 from the user, the image processing apparatus 100 performs zoom processing (first zoom processing) from the wide-angle end (1 ⁇ ) using the wide-angle image captured by the imaging unit 102a. ) Is executed (step S101).
  • the zoom processing unit 112 executes the zoom processing in step S101.
  • the image processing apparatus 100 determines whether or not the vicinity of the maximum magnification on the wide-angle side has been reached while executing the first zoom process (step S102).
  • the determination processing in step S102 is executed by the zoom processing unit 112.
  • step S102 if the vicinity of the maximum magnification on the wide angle side has not been reached (No in step S102), the image processing apparatus 100 continues the first zoom process.
  • step S102 if the vicinity of the maximum magnification on the wide-angle side has been reached (step S102, Yes), the image processing apparatus 100 and the imaging unit 102b capture the wide-angle image captured by the imaging unit 102a.
  • a zoom process (second zoom process) for combining the image on the telephoto side picked up in (Step S103) is executed.
  • the zoom processing unit 112 executes the zoom processing in step S103.
  • the image composition processing is executed by the image composition unit 114.
  • the image processing apparatus 100 determines whether or not the maximum magnification on the wide angle side has been exceeded during the execution of the second zoom process (step S104).
  • the determination processing in step S104 is executed by the zoom processing unit 112.
  • step S104 if the maximum magnification on the wide angle side is not exceeded (No in step S104), the image processing apparatus 100 continues the second zoom process.
  • step S104 if the maximum magnification on the wide angle side is exceeded (Yes in step S104), the image processing apparatus 100 performs zoom processing using the telephoto side image captured by the imaging unit 102b ( A third zoom process is executed (step S105).
  • the zoom processing unit 112 executes the zoom processing in step S105.
  • the image composition processing is executed by the image composition unit 114.
  • the image processing apparatus 100 according to the embodiment of the present disclosure suppresses deterioration in image quality using a plurality of cameras having different focal lengths by performing the operation illustrated in FIG. High magnification zooming can be realized.
  • FIG. 7 is an explanatory view schematically showing how the composite ratio of two images is changed in accordance with the magnification when the image processing apparatus 100 executes the second zoom process.
  • the image processing apparatus 100 combines the images captured by the image capturing unit 102a so that the ratio of the images captured by the image capturing unit 102a increases, and then combines the images captured by the image capturing unit 102b so that the ratio increases. You may do it.
  • the zoom processing using the image captured by the imaging unit 102a and the imaging are performed by changing the composition ratio of the two images according to the magnification.
  • the zoom processing using the image picked up by the unit 102ba is switched, it is possible to present an image that does not feel uncomfortable to the user.
  • the image processing apparatus 100 When executing the second zoom process, the image processing apparatus 100 combines the wide-angle image captured by the imaging unit 102a and the telephoto image captured by the imaging unit 102b. Will be explained.
  • FIG. 8 is an explanatory diagram for explaining an effect when the second zoom process is executed by combining the wide-angle image captured by the imaging unit 102a and the telephoto image captured by the imaging unit 102b. .
  • the wide-angle image captured by the image capturing unit 102a and the telephoto image captured by the image capturing unit 102b include a lens in each image capturing unit and zoom processing.
  • the shape of deformation in signal processing in the unit 112 is different. Since the shape of the lens in each imaging unit and the deformation shape in the signal processing in the zoom processing unit 112 are different, the sampling points are different as shown in FIG. In other words, the sampling with respect to the object always shifts due to distortion.
  • the image processing apparatus 100 when executing the second zoom process, the image processing apparatus 100 combines the wide-angle image captured by the image capturing unit 102a and the telephoto image captured by the image capturing unit 102b. Image quality can be improved. In particular, the image processing apparatus 100 improves the accuracy of the DC component (luminance) of the image by combining the wide-angle image captured by the imaging unit 102a and the telephoto image captured by the imaging unit 102b. It can be made.
  • the image processing apparatus 100 When the image processing apparatus 100 synthesizes the wide-angle image captured by the imaging unit 102a and the telephoto image captured by the imaging unit 102b with RAW data, the image processing apparatus 100 can achieve higher image quality. I can plan.
  • an apparatus to which the image processing apparatus 100 according to the embodiment of the present disclosure can be applied is not limited to a portable terminal.
  • the image processing apparatus 100 according to the embodiment of the present disclosure can also be applied to a body-mounted electronic device (wearable device) intended to be used by being worn on a human body.
  • a body-mounted electronic device wearable device
  • an image captured by the wearable device can be enlarged with a simple configuration, high magnification, and high quality. Is possible.
  • the image processing apparatus 100 can also be applied to a case where a camera is mounted on an autonomous flying object (drone) and an image from above is captured by the camera.
  • a camera is mounted on an autonomous flying object (drone) and an image from above is captured by the camera.
  • the control unit 110 provides the above-described two imaging units 102a and 102b and the control unit 110 to the flying object that autonomously flies, an image captured by the flying object can be obtained with a simple configuration, high magnification, and high quality. It becomes possible to enlarge with.
  • FIG. 9 is a block diagram illustrating a hardware configuration example of the information processing apparatus according to the embodiment of the present disclosure.
  • the information processing apparatus 900 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing apparatus 900 may include an imaging device 933 and a sensor 935 as necessary.
  • the information processing apparatus 900 may include a processing circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that supports the operation of the information processing device 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data and instruct processing operations to the information processing device 900.
  • the output device 917 is configured by a device capable of notifying the acquired information to the user using a sense such as vision, hearing, or touch.
  • the output device 917 can be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, an audio output device such as a speaker or headphones, or a vibrator.
  • the output device 917 outputs the result obtained by the processing of the information processing device 900 as video such as text or image, sound such as sound or sound, or vibration.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores, for example, programs executed by the CPU 901 and various data, and various data acquired from the outside.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for connecting a device to the information processing apparatus 900.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 can be, for example, a communication card for LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi, or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931 connected to the communication device 925 is a network connected by wire or wireless, and may include, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • the imaging device 933 uses various members such as an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), and a lens for controlling the formation of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933 may capture a still image or may capture a moving image.
  • the sensor 935 is various sensors such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, an illuminance sensor, a temperature sensor, an atmospheric pressure sensor, or a sound sensor (microphone).
  • the sensor 935 acquires information about the state of the information processing apparatus 900 itself, such as the posture of the information processing apparatus 900, and information about the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900, for example. To do.
  • the sensor 935 may include a GPS receiver that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the device.
  • GPS Global Positioning System
  • the image processing apparatus 100 that performs zoom processing using images captured by a plurality of cameras with different focal lengths that capture an image in the same direction.
  • the image used by the image processing apparatus 100 in the zoom process is a captured image having extreme barrel distortion through a lens that is not a central projection method.
  • the image processing apparatus 100 When performing the zoom process, the image processing apparatus 100 cuts out an image according to the magnification and performs image processing to remove distortion. Then, in the vicinity of the magnification for switching the image to be used, the two images are combined and output.
  • the image processing apparatus 100 according to the embodiment of the present disclosure can output an image enlarged at a higher magnification than the zoom processing in which the image is simply cut out and enlarged.
  • the image processing apparatus 100 according to the embodiment of the present disclosure has a simple configuration that does not require a mechanical mechanism for moving a lens for zoom processing, but simply zooms out by cutting out an image. Compared with processing, an image with a higher magnification can be output.
  • each step in the processing executed by each device in this specification does not necessarily have to be processed in chronological order in the order described as a sequence diagram or flowchart.
  • each step in the processing executed by each device may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
  • each functional block shown in the functional block diagram used in the above description may be realized by a server device connected via a network such as the Internet.
  • the configuration of each functional block shown in the functional block diagram used in the above description may be realized by a single device or a system in which a plurality of devices cooperate.
  • a system in which a plurality of devices are linked may include, for example, a combination of a plurality of server devices, a combination of a server device and a terminal device, or the like.
  • the following configurations also belong to the technical scope of the present disclosure.
  • (1) The first zoom process using the first image picked up by the first image pickup unit up to the first magnification, the image obtained by cutting off the peripheral portion of the first image up to the second magnification to the first magnification and the first
  • a second zoom process for synthesizing the second image captured by the second image capturing unit that captures the same direction as the image capturing unit is performed, and a third zoom process using the second image is performed for the second magnification or more.
  • An image processing apparatus including a zoom processing unit.
  • (2) The image processing apparatus according to (1), wherein the zoom processing unit changes a composition ratio in the second zoom processing according to a magnification.
  • the image processing apparatus (3) The image processing apparatus according to (1) or (2), wherein the first magnification and the second magnification are the same magnification.
  • the image processing apparatus according to any one of (1) to (3), wherein the first image and the second image are images captured through a lens that is not a central projection method.
  • the zoom processing unit performs a process of correcting distortion after cutting off a peripheral part of the first image or the second image according to a magnification as the first zoom process and the third zoom process.
  • the image processing apparatus according to 4).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】焦点距離が異なる複数のカメラで撮像した画像を用いたズーミングを行う際に、画質の劣化を抑えつつ高倍率のズーミングを簡易な構成で行うことが可能な画像処理装置を提供する。 【解決手段】第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を、それぞれ行うズーム処理部を備える、画像処理装置が提供される。

Description

画像処理装置、画像処理方法及びコンピュータプログラム
　本開示は、画像処理装置、画像処理方法及びコンピュータプログラムに関する。
　近年、高倍率のズームレンズを搭載したデジタルスチルカメラが多く普及している。そのようなデジタルスチルカメラは、高倍率のズームレンズを搭載することで遠方の被写体を大きく写せる。
　しかし、そのようなズームレンズは、メカニカルに動作させる必要があるなどの理由で小型化が難しく、スマートフォンやタブレット端末等のような小型の携帯端末に搭載することが出来ない。従って、かかる携帯端末では、信号処理による画像の拡大処理を行うことで被写体のズーミングを行っている（例えば特許文献１等参照）。
特開２００３－１５３０７８号公報
　しかし、信号処理による画像の拡大処理によるズーミングのみでは画質の劣化は避けられない。また、かかる携帯端末の中には、焦点距離が異なる複数のカメラを搭載して、信号処理とカメラの切り替えとを組み合わせることでズーム倍率を上げるものもあるが、焦点距離が異なる複数のカメラを搭載してズーム倍率を上げようとする場合でも、画質を落とさずに高倍率のズームを実現するためにはカメラの数を増やす必要があり、小型化にならない。
　そこで本開示では、焦点距離が異なる複数のカメラで撮像した画像を用いたズーミングを行う際に、画質の劣化を抑えつつ高倍率のズーミングを簡易な構成で行うことが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提案する。
　本開示によれば、第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を、それぞれ行うズーム処理部を備える、画像処理装置が提供される。
　また本開示によれば、第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、を含む、画像処理方法が提供される。
　また本開示によれば、コンピュータに、第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、を実行させる、コンピュータプログラムが提供される。
　以上説明したように本開示によれば、焦点距離が異なる複数のカメラで撮像した画像を用いたズーミングを行う際に、画質の劣化を抑えつつ高倍率のズーミングを簡易な構成で行うことが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供することが出来る。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
信号処理による画像の拡大処理を説明する説明図である。 信号処理とカメラの切り替えとの組み合わせによる画像の拡大処理を説明する説明図である。 歪みのある画像に対する信号処理による画像の拡大処理を説明する説明図である。 本開示の実施の形態に係る画像処理装置１００の機能構成例を示す説明図である。 歪補正処理の例を示す説明図である。 上記実施の形態に係る画像処理装置１００の動作例を示す説明図である。 倍率に応じて２つの画像の合成比率を変化させる様子を模式的に示す説明図である。 画像の合成によるズーム処理を実行する際の効果について説明する説明図である。 ハードウェア構成例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．本開示の実施の形態
　　１．１．概要
　　１．２．構成例
　　１．３．動作例
　２．ハードウェア構成例
　３．まとめ
　＜１．本開示の実施の形態＞
　［１．１．概要］
　まず、本開示の実施の形態の概要について説明する。
　上述したように、近年、高倍率のズームレンズを搭載したデジタルスチルカメラが多く普及している。そのようなデジタルスチルカメラは、高倍率のズームレンズを搭載することで遠方の被写体を大きく写せる。
　しかし、そのようなズームレンズは、メカニカルに動作させる必要があるなどの理由で小型化が難しく、スマートフォンやタブレット端末等のような小型の携帯端末に搭載することが出来ない。従って、かかる携帯端末では、信号処理による画像の拡大処理を行うことで被写体のズーミングを行っている。
　図１は、信号処理による画像の拡大処理を説明する説明図である。例えば、イメージセンサが出力する元画像が横６１４４ピクセル、縦３４５６ピクセルである場合、その元画像の中央部分の横３８４０ピクセル、縦２１６０ピクセルを切り出すと、元画像をおよそ１．６倍に拡大した画像が得られる。
　また、その横３８４０ピクセル、縦２１６０ピクセルの画像の中央部分の横１９２０ピクセル、縦１０８０ピクセルを切り出して、補完処理などの信号処理を施すと、さらに２倍に拡大した画像が得られる。すなわち、この図１に示した方法では、元画像をおよそ３．２倍に拡大した画像を得ることが可能になる。
　しかし、被写体を撮像する場面によっては、３倍程度の倍率では不足する場合があり得る。そこで、焦点距離が異なる複数のカメラを搭載して、信号処理とカメラの切り替えとを組み合わせることでズーム倍率を上げるものもある。
　図２は、信号処理とカメラの切り替えとの組み合わせによる画像の拡大処理を説明する説明図である。図２に示したのは、広角側を撮像するカメラと望遠側を撮像するカメラとの組み合わせによってズーム倍率を上げる場合の例である。例えば、広角側の元画像を３．２倍に拡大した画像を望遠側の元画像として、さらに望遠側の元画像を同じように３．２倍に拡大すると、広角側の元画像を最大で３．２×３．２＝１０．２４倍に拡大した画像を得ることが可能になる。
　しかし、被写体を撮像する場面によっては、１０倍程度の倍率でも不足する場合があり得る。例えば、野球場やサッカー場などの客席から選手を携帯端末で撮像する場合、１０倍程度の倍率では選手を大きく写すことが出来ないため、さらなる高倍率化が求められる。しかし、高倍率化のためとはいえ、さらに焦点距離の異なるレンズを搭載すると小型化が困難になる。
　そこで本件開示者は、上述した点に鑑みて、焦点距離が異なる複数のカメラで撮像した画像を用いたズーミングを行う際に、画質の劣化を抑えつつ高倍率のズーミングを簡易な構成で行うことが可能な技術について鋭意検討を行った。その結果、本件開示者は、以下で説明するように、焦点距離が異なる複数のカメラで撮像した画像を用いたズーミングを行う際に、画質の劣化を抑えつつ高倍率のズーミングを簡易な構成で行うことが可能な技術を考案するに至った。
　被写体のズーミングのさらに別の方法として、画像に極端な樽形歪みを発生させるカメラで撮像した画像に対する信号処理を用いる方法がある。この方法は、極端な樽形歪みのある画像における、中央部分の比較的歪みの少ない領域を切り出して歪みを補正することで望遠効果を作る方法である。
　図３は、歪みのある画像に対する信号処理による画像の拡大処理を説明する説明図である。図３には、画像の中央部にレンズの歪みによる拡大効果が得られている画像が示されている。図３に示したように、極端な樽形歪みのある画像における、中央部分の比較的歪みの少ない領域を切り出して、歪みを補正することで、図１や図２で示したように単に画像を切り出して拡大する方法に比べて、１枚の画像から高いズーム効果を得ることが出来る。
　そこで本実施形態では、歪みのある画像を撮像する、焦点距離が異なる複数のカメラを用いた、画質の劣化を抑えた高倍率のズーミングを実現する技術について説明する。
　以上、本開示の実施の形態の概要について説明した。続いて、本開示の実施の形態にかかる画像処理装置の機能構成例について説明する。
　［１．２．構成例］
　図４は、本開示の実施の形態に係る画像処理装置１００の機能構成例を示す説明図である。図４に示した画像処理装置１００は、歪みのある画像を撮像する、焦点距離が異なる複数のカメラを用いた、画質の劣化を抑えた高倍率のズーミングを実現する装置である。以下、図４を用いて本開示の実施の形態に係る画像処理装置１００の機能構成例について説明する。
　図４に示したように、本開示の実施の形態に係る画像処理装置１００は、撮像部１０２ａ、１０２ｂと、操作部１０４と、表示部１０６と、制御部１１０と、を含んで構成される。
　撮像部１０２ａ、１０２ｂは、それぞれ、レンズ、撮像素子、Ａ／Ｄコンバータなどで構成され、撮像した画像を制御部１１０に出力する。撮像部１０２ａ、１０２ｂは、同一の方向の撮像を行うものであり、撮像範囲がほぼ一致するように隣接して設けられていることが望ましい。撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサであってもよく、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサであってもよい。
　撮像部１０２ａ、１０２ｂには、それぞれ焦点距離が異なるレンズが設けられている。本実施形態では、撮像部１０２ａは広角側の画像を撮像し、撮像部１０２ｂは望遠側の画像を撮像する。撮像部１０２ｂの焦点距離は、撮像部１０２ａで撮像された画像を用いたズーム処理における最大倍率の場合の画像（歪みを除去した後の画像）と同程度の画角となるような焦点距離に設定されうる。また撮像部１０２ａ、１０２ｂは、それぞれ中心射影方式ではないレンズを備えており、図３に示したような、極端な樽形歪みを有するような撮像画像を出力するように構成されている。
　以下の説明では、撮像部１０２ａで撮像された広角側の画像を基準の倍率（１倍）の画像として説明する。
　操作部１０４は、例えばタッチパネルや各種ボタンなどで構成され、本実施形態では、画像処理装置１００のユーザの操作を受け付けて、その操作に応じた信号を制御部１１０に出力する。上記タッチパネルは、例えば後述の表示部１０６に設けられうる。例えば操作部１０４は、撮像部１０２ａ、１０２ｂで撮像された画像の、ユーザによる拡大または縮小処理の操作を受け付ける。ユーザによる拡大または縮小処理の操作は、例えば、タッチパネルを備えた表示部１０６に対するピンチアウト操作やピンチイン操作によって行われても良く、ボタンを使用した操作によって行われても良い。
　表示部１０６は、例えば液晶ディスプレイまたは有機ＥＬディスプレイなどで構成され、各種情報を、制御部１１０の制御に基づいて表示する。例えば表示部１０６は、撮像部１０２ａ、１０２ｂで撮像された画像や、操作部１０４によって撮像部１０２ａ、１０２ｂで撮像された画像の、ユーザによる拡大または縮小処理の操作を受け付けるためのグラフィカルユーザインターフェース（ＧＵＩ）等を表示する。表示部１０６は、表面にタッチパネルを備えていても良い。
　制御部１１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサや、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の記憶媒体などで構成され、画像処理装置１００の動作を制御する。
　制御部１１０は、ズーム処理部１１２と、画像合成部１１４と、を含んで構成される。
　ズーム処理部１１２は、撮像部１０２ａ、１０２ｂで撮像された画像を用いたズーム処理を行う。本実施形態では、ズーム処理部１１２は、１倍から所定の第１倍率までは撮像部１０２ａで撮像された画像を用いたズーム処理（第１ズーム処理）を、第１倍率以上第２倍率までは、撮像部１０２ａで撮像された画像の周辺部を切り落とした画像と、撮像部１０２ｂで撮像された画像とを合成することで拡大画像を得るズーム処理（第２ズーム処理）を、撮像部１０２ｂで撮像された画像を用いたズーム処理（第３ズーム処理）を、それぞれ実行する。
　撮像部１０２ａ、１０２ｂで撮像された画像は、極端な樽形歪みを有する画像である。従って、ズーム処理部１１２は、撮像部１０２ａ、１０２ｂで撮像された画像を用いたズーム処理を行う際に、樽形歪みを除去する処理を行う。そしてズーム処理部１１２は、図３に示したように、極端な樽形歪みのある画像における、中央部分の比較的歪みの少ない領域を切り出して、歪みを補正することで、１枚の画像から高いズーム効果を得ることが出来る。
　図５は、ズーム処理部１１２による歪補正処理の例を示す説明図である。図５には、撮像部１０２ａ、１０２ｂで撮像された画像の左辺中央部の歪補正処理の例が示されている。
　図５に示したように、撮像部１０２ａ、１０２ｂで撮像された画像は、中央部が拡大されている分、周縁部は潰れた状態となっている。この状態から歪みの無い状態にするには、ズーム処理部１１２は、まず周縁部を縦及び横にそれぞれ２倍に拡大した上で画素を補完する処理を行い、続いて画素を移動させることによる歪み補正処理を行って、最後に縮小する。
　ズーム処理部１１２は、このように、倍率に応じて撮像部１０２ａ、１０２ｂで撮像された画像を用いたズーム処理の内容を切り替えることで、歪みのある画像を撮像する、焦点距離が異なる複数のカメラを用いた、画質の劣化を抑えた高倍率のズーミングを実現することができる。
　なお、第１ズーム処理と第２ズーム処理とが切り替わる上記第１倍率と、第２ズーム処理と第３ズーム処理とが切り替わる上記第２倍率とは、同じ倍率であっても良い。
　また、画像処理装置１００は、ズーム処理の際に上記第１倍率と第２倍率とが分かるようなＧＵＩを表示部１０６に表示しても良い。
　画像合成部１１４は、複数の画像の合成処理を実行する。本実施形態では、画像合成部１１４は、ズーム処理部１１２が上述の第２ズーム処理を行っている際に、撮像部１０２ａで撮像された画像の周辺部を切り落とした画像と、撮像部１０２ｂで撮像された（切り落とされていない）画像とを合成する処理を行う。画像合成部１１４は、ズーム処理部１１２が上述の第２ズーム処理を行っている際に上記２つの画像を合成することで、より高品質の拡大画像を生成出来る。
　画像合成部１１４は、上記２つの画像を合成する際に、２つの画像が一致するように合成する。例えば画像合成部１１４は、上記２つの画像の所定の領域を比較してその領域の画素が一致するように２つの画像の位置合わせを行って合成する。比較対象の領域の数が多ければ多いほど、合成時の精度は向上する。また例えば画像合成部１１４は、上記２つの画像から特徴点を抽出し、その特徴点が一致するように２つの画像の位置合わせを行って合成してもよい。
　ズーム処理部１１２は、上述の第２ズーム処理を行っている際に、画像合成部１１４での画像の合成比率を、倍率に応じて変化させても良い。つまり、ズーム処理部１１２は、第１倍率付近では、撮像部１０２ａで撮像された画像の比率が高くなるよう画像合成部１１４に合成させ、その後倍率が高くなるにつれて撮像部１０２ｂで撮像された画像の比率が高くなるよう画像合成部１１４に合成させてもよい。これは、第１倍率付近では、撮像部１０２ａで撮像された画像の方が全体的な歪みが少ないためである。
　なおズーム処理部１１２は、撮像部１０２ａで撮像された画像と、撮像部１０２ｂで撮像された画像との合成比率は、第１倍率付近では１００：０となり、第２倍率付近では０：１００となるように画像合成部１１４で合成させても良く、第１倍率付近では５０：５となり、第２倍率付近では０：１００となるように画像合成部１１４で合成させても良い。
　ズーム処理部１１２は、上述の第２ズーム処理を行っている際に、画像合成部１１４での画像の合成領域を変更しても良い。例えば、第１倍率付近では、撮像部１０２ｂで撮像された画像の周縁部の歪みは、撮像部１０２ａで撮像された画像の周縁部の歪みより強い。従って、第１倍率付近では、ズーム処理部１１２は、撮像部１０２ａで撮像された画像の周縁部分と、撮像部１０２ｂで撮像された画像の中央部分と、を合成することで拡大画像を得るようにしても良い。
　また、ズーム処理部１１２は、上述の第２ズーム処理を行っている際の、画像合成部１１４での画像の合成領域の比率を、倍率に応じて変化させても良い。つまり、ズーム処理部１１２は、第１倍率付近では、撮像部１０２ａで撮像された画像の面積が大きくなるよう画像合成部１１４に合成させ、その後倍率が高くなるにつれて撮像部１０２ｂで撮像された画像の面積が大きくなるよう画像合成部１１４に合成させてもよい。
　以上、図４を用いて本開示の実施の形態に係る画像処理装置１００の機能構成例について説明した。以上説明したように、本開示の実施の形態に係る画像処理装置１００は、図４に示したような構成を有することで、焦点距離が異なる複数のカメラを用いた、画質の劣化を抑えた高倍率のズーミングを実現することができる。
　なお、図４に示した画像処理装置１００は、例えばスマートフォンなどの携帯電話、タブレット型の携帯端末、ノートパソコン等として構成されていても良い。また図４に示した画像処理装置１００の撮像部１０２ａ、１０２ｂが画像処理装置１００とは別の装置として構成されていても良い。
　［１．３．動作例］
　続いて、本開示の実施の形態に係る画像処理装置１００の動作例について説明する。図６は、本開示の実施の形態に係る画像処理装置１００の動作例を示す流れ図である。図６に示したのは、１倍の画像からのズーム処理を実行する際の画像処理装置１００の動作例である。以下、図６を用いて本開示の実施の形態に係る画像処理装置１００の動作例について説明する。なお、図６の説明では、上記第１倍率をＭ倍とし、上記第２倍率をＮ倍とする。すなわち、Ｍ≦Ｎの関係が成り立つ。
　画像処理装置１００は、ユーザからの操作部１０４を用いたズーム操作を検出すると、撮像部１０２ａで撮像された広角側の画像を用いた広角端（１倍）からのズーム処理（第１ズーム処理）を実行する（ステップＳ１０１）。ステップＳ１０１のズーム処理はズーム処理部１１２が実行する。
　画像処理装置１００は、第１ズーム処理を実行している間に、広角側の最大倍率近傍に達したかどうか判断する（ステップＳ１０２）。ステップＳ１０２の判断処理はズーム処理部１１２が実行する。
　ステップＳ１０２の判断処理の結果、広角側の最大倍率近傍に達していなければ（ステップＳ１０２、Ｎｏ）、画像処理装置１００は、第１ズーム処理を継続する。一方、ステップＳ１０２の判断処理の結果、広角側の最大倍率近傍に達していれば（ステップＳ１０２、Ｙｅｓ）、画像処理装置１００は、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とを合成するズーム処理（第２ズーム処理）を実行する（ステップＳ１０３）。ステップＳ１０３のズーム処理はズーム処理部１１２が実行する。また画像の合成処理は画像合成部１１４が実行する。
　画像処理装置１００は、第２ズーム処理を実行している間に、広角側の最大倍率を超えたかどうか判断する（ステップＳ１０４）。ステップＳ１０４の判断処理はズーム処理部１１２が実行する。
　ステップＳ１０４の判断処理の結果、広角側の最大倍率を超えていなければ（ステップＳ１０４、Ｎｏ）、画像処理装置１００は、第２ズーム処理を継続する。一方、ステップＳ１０４の判断処理の結果、広角側の最大倍率を超えていれば（ステップＳ１０４、Ｙｅｓ）、画像処理装置１００は、撮像部１０２ｂで撮像された望遠側の画像を用いたズーム処理（第３ズーム処理）を実行する（ステップＳ１０５）。ステップＳ１０５のズーム処理はズーム処理部１１２が実行する。また画像の合成処理は画像合成部１１４が実行する。
　以上、図６を用いて本開示の実施の形態に係る画像処理装置１００の動作例について説明した。以上説明したように、本開示の実施の形態に係る画像処理装置１００は、図６に示したような動作を実行することで、焦点距離が異なる複数のカメラを用いた、画質の劣化を抑えた高倍率のズーミングを実現することができる。
　図７は、画像処理装置１００が第２ズーム処理を実行する際に、倍率に応じて２つの画像の合成比率を変化させる様子を模式的に示す説明図である。画像処理装置１００は第１倍率付近では、撮像部１０２ａで撮像された画像の比率が高くなるよう合成して、その後倍率が高くなるにつれて撮像部１０２ｂで撮像された画像の比率が高くなるよう合成しても良い。
　このように画像処理装置１００が第２ズーム処理を実行する際に、倍率に応じて２つの画像の合成比率を変化させることで、撮像部１０２ａで撮像された画像を用いたズーム処理と、撮像部１０２ｂａで撮像された画像を用いたズーム処理とが切り替わる際に、ユー－に対して違和感の無い画像を提示することが出来る。
　画像処理装置１００は、第２ズーム処理を実行する際に、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とを合成するが、この合成による効果を説明する。
　図８は、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像との合成による、第２ズーム処理を実行する際の効果について説明する説明図である。
　第２ズーム処理が行われる倍率の範囲では、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とは、それぞれの撮像部でのレンズや、ズーム処理部１１２での信号処理での変形の形状が異なる。それぞれの撮像部でのレンズや、ズーム処理部１１２での信号処理での変形の形状が異なるために、図８に示したようにサンプリングポイントが異なる。つまり、歪みがあるために物体に対するサンプリングは必ずズレが生じる。
　従って、画像処理装置１００は、第２ズーム処理を実行する際に、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とを合成することで、高画質化を図ることができる。特に、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とを合成することで、画像処理装置１００は画像のＤＣ成分（輝度）の正確性を向上させることが出来る。
　なお、画像処理装置１００は、撮像部１０２ａで撮像された広角側の画像と、撮像部１０２ｂで撮像された望遠側の画像とを合成する際に、ＲＡＷデータで合成すると、より高画質化を図ることが出来る。
　もちろん、本開示の実施の形態に係る画像処理装置１００を適用できる装置は携帯端末に限定されるものでは無い。例えば、人間の身体に装着して使用することを目的とする身体装着型電子機器（ウェアラブルデバイス）にも、本開示の実施の形態に係る画像処理装置１００を適用できる。例えば、ウェアラブルデバイスに上述の２つの撮像部１０２ａ、１０２ｂ及び制御部１１０の構成を設けることで、ウェアラブルデバイスで撮像された画像を、簡易な構成で、高倍率に、かつ高品質で拡大することが可能となる。
　また例えば、自律飛行する飛行体（ドローン）にカメラを搭載して、上空からの映像をそのカメラで撮像させる場合にも、本開示の実施の形態に係る画像処理装置１００を適用できる。例えば、上記自律飛行する飛行体に上述の２つの撮像部１０２ａ、１０２ｂ及び制御部１１０の構成を設けることで、飛行体で撮像された画像を、簡易な構成で、高倍率に、かつ高品質で拡大することが可能となる。
　＜２．ハードウェア構成例＞
　次に、図９を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図９は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
　情報処理装置９００は、ＣＰＵ（Central　Processing　unit）９０１、ＲＯＭ（Read　Only　Memory）９０３、およびＲＡＭ（Random　Access　Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、またはＦＰＧＡ（Field-Programmable　Gate　Array）などの処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral　Component　Interconnect/Interface）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置９１７は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid　Crystal　Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard　Disk　Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置９１９は、例えばＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を情報処理装置９００に接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal　Serial　Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small　Computer　System　Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、ＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、またはＷＵＳＢ（Wireless　USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
　撮像装置９３３は、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）またはＣＣＤ（Charge　Coupled　Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、または音センサ（マイクロフォン）などの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global　Positioning　System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳ受信機を含んでもよい。
　以上、情報処理装置９００のハードウェア構成の一例を示した。なお、情報処理装置９００のハードウェア構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　＜３．まとめ＞
　以上説明したように本開示の実施の形態によれば、同一の方向を撮像する、焦点距離が異なる複数のカメラで撮像された画像を用いたズーム処理を行う画像処理装置１００が提供される。画像処理装置１００がズーム処理で使用する画像は、中心射影方式ではないレンズを通じて、極端な樽形歪みを有するような撮像画像である。
　画像処理装置１００は、ズーム処理を行う際に、倍率に応じて画像を切り出して、歪みを除去する画像処理を行う。そして、使用する画像を切り替える倍率の近傍では、２つの画像を合成して出力する。
　本開示の実施の形態に係る画像処理装置１００は、単に画像を切り出して拡大するズーム処理に比べて高倍率に拡大した画像を出力することが出来る。また、本開示の実施の形態に係る画像処理装置１００は、ズーム処理のためにレンズを移動させるメカニカルな機構を必要としない簡易な構成であるにも関わらず、単に画像を切り出して拡大するズーム処理に比べて高倍率の画像を出力することが出来る。
　本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。
　また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの一部又は全部は、たとえばインターネット等のネットワークを介して接続されるサーバ装置で実現されてもよい。また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの構成は、単独の装置で実現されてもよく、複数の装置が連携するシステムで実現されても良い。複数の装置が連携するシステムには、例えば複数のサーバ装置の組み合わせ、サーバ装置と端末装置との組み合わせ等が含まれ得る。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を、それぞれ行うズーム処理部を備える、画像処理装置。
（２）
　前記ズーム処理部は、前記第２ズーム処理の際の合成比率を倍率に応じて変化させる、前記（１）に記載の画像処理装置。
（３）
　前記第１倍率と前記第２倍率は同じ倍率である、前記（１）または（２）に記載の画像処理装置。
（４）
　前記第１画像及び前記第２画像は、中心射影方式ではないレンズを通じて撮像された画像である、前記（１）～（３）のいずれかに記載の画像処理装置。
（５）
　前記ズーム処理部は、前記第１ズーム処理及び前記第３ズーム処理として、前記第１画像または前記第２画像の周縁部を倍率に応じて切り落とした上で歪みを補正する処理を行う、前記（４）に記載の画像処理装置。
（６）
　前記ズーム処理部は、前記第２ズーム処理の際の合成時の面積比を倍率に応じて変化させる、前記（１）に記載の画像処理装置。
（７）
　第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、
　前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、
　前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、
を含む、画像処理方法。
（８）
　コンピュータに、
　第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、
　前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、
　前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、
を実行させる、コンピュータプログラム。
　１００　　画像処理装置
　１０２ａ、１０２ｂ　　撮像部
　１１０　　制御部

Claims (8)

  1. 　第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を、前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を、前記第２倍率以上は前記第２画像を用いた第３ズーム処理を、それぞれ行うズーム処理部を備える、画像処理装置。
  2. 　前記ズーム処理部は、前記第２ズーム処理の際の合成比率を倍率に応じて変化させる、請求項１に記載の画像処理装置。
  3. 　前記第１倍率と前記第２倍率は同じ倍率である、請求項１に記載の画像処理装置。
  4. 　前記第１画像及び前記第２画像は、中心射影方式ではないレンズを通じて撮像された画像である、請求項１に記載の画像処理装置。
  5. 　前記ズーム処理部は、前記第１ズーム処理及び前記第３ズーム処理として、前記第１画像または前記第２画像の周縁部を倍率に応じて切り落とした上で歪みを補正する処理を行う、請求項４に記載の画像処理装置。
  6. 　前記ズーム処理部は、前記第２ズーム処理の際の合成時の面積比を倍率に応じて変化させる、請求項１に記載の画像処理装置。
  7. 　第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、
    　前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、
    　前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、
    を含む、画像処理方法。
  8. 　コンピュータに、
    　第１倍率までは第１撮像部で撮像された第１画像を用いた第１ズーム処理を行うことと、
    　前記第１倍率以上第２倍率までは前記第１画像の周辺部を切り落とした画像と前記第１撮像部と同一方向を撮像する第２撮像部で撮像された第２画像とを合成する第２ズーム処理を行うことと、
    　前記第２倍率以上は前記第２画像を用いた第３ズーム処理を行うことと、
    を実行させる、コンピュータプログラム。
PCT/JP2016/077870 2015-11-20 2016-09-21 画像処理装置、画像処理方法及びコンピュータプログラム WO2017086021A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015227458A JP2017097529A (ja) 2015-11-20 2015-11-20 画像処理装置、画像処理方法及びコンピュータプログラム
JP2015-227458 2015-11-20

Publications (1)

Publication Number Publication Date
WO2017086021A1 true WO2017086021A1 (ja) 2017-05-26

Family

ID=58718658

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077870 WO2017086021A1 (ja) 2015-11-20 2016-09-21 画像処理装置、画像処理方法及びコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP2017097529A (ja)
WO (1) WO2017086021A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003298919A (ja) * 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
JP2004297332A (ja) * 2003-03-26 2004-10-21 Fuji Photo Film Co Ltd 撮像装置
JP2005198155A (ja) * 2004-01-09 2005-07-21 Casio Comput Co Ltd 撮像装置及びその撮像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003298919A (ja) * 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
JP2004297332A (ja) * 2003-03-26 2004-10-21 Fuji Photo Film Co Ltd 撮像装置
JP2005198155A (ja) * 2004-01-09 2005-07-21 Casio Comput Co Ltd 撮像装置及びその撮像方法

Also Published As

Publication number Publication date
JP2017097529A (ja) 2017-06-01

Similar Documents

Publication Publication Date Title
KR102156597B1 (ko) 광학 촬영 방법 및 장치
US9325905B2 (en) Generating a zoomed image
JP5526921B2 (ja) 撮像装置、電子機器および表示制御方法
JP6328255B2 (ja) マルチ撮像装置、マルチ撮像方法、プログラム、及び記録媒体
JP5593772B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP7115593B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2015142971A1 (en) Receiver-controlled panoramic view video share
JP2011044837A (ja) 撮像装置、その制御方法およびプログラム
JP2014007653A (ja) 撮像装置、撮像方法、撮像システム及びプログラム
JP5915514B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2008028606A (ja) パノラマ展開画像撮像装置およびパノラマ展開画像撮像システム
EP2009907A1 (en) Camera apparatus, and image processing apparatus and image processing method
JP2019009822A (ja) 画像処理装置及び画像処理方法
JP6528773B2 (ja) ズーム制御装置、ズーム制御方法およびプログラム
JP2014082768A (ja) 撮像装置およびその制御方法
JPWO2017150238A1 (ja) 表示制御装置、表示制御方法、及び、プログラム
WO2017086021A1 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP5992561B2 (ja) 撮影機器及び撮影方法
JP2012090212A (ja) 画像処理装置、携帯情報端末装置、画像処理方法、及びプログラム
JP2007027914A (ja) デジタルカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16866024

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16866024

Country of ref document: EP

Kind code of ref document: A1