WO2021054235A1 - 撮像装置及び画像処理方法 - Google Patents

撮像装置及び画像処理方法 Download PDF

Info

Publication number
WO2021054235A1
WO2021054235A1 PCT/JP2020/034217 JP2020034217W WO2021054235A1 WO 2021054235 A1 WO2021054235 A1 WO 2021054235A1 JP 2020034217 W JP2020034217 W JP 2020034217W WO 2021054235 A1 WO2021054235 A1 WO 2021054235A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
resolution
block
frame memory
unit
Prior art date
Application number
PCT/JP2020/034217
Other languages
English (en)
French (fr)
Inventor
拓洋 澁谷
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to US17/753,941 priority Critical patent/US11736657B2/en
Priority to JP2021546638A priority patent/JP7244661B2/ja
Publication of WO2021054235A1 publication Critical patent/WO2021054235A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image

Definitions

  • the present invention relates to an image pickup apparatus having a function of enlarging and outputting a designated area in an image captured by an image pickup device.
  • the capacity of the frame memory for recording the image also increases in proportion to the number of pixels, which causes problems such as an increase in component cost and a shortage of mounting area.
  • the memory capacity can be reduced by limiting the image recorded in the frame memory to the magnification, but for low-magnification digital zoom such as 1.1x or 1.2x, the required memory capacity is for full-area recording. Since it is not so different, a large amount of memory is required as a whole. Further, if the magnification of the digital zoom is limited to 2 times or more, the overall memory capacity can be reduced, but this is not preferable for a user who needs a low-magnification image.
  • the present invention has been made in view of the above-mentioned conventional circumstances, and an image pickup apparatus capable of obtaining a high-definition image even with digital zoom while suppressing the capacity of the frame memory used for digital zoom.
  • the purpose is to provide.
  • the image pickup apparatus is configured as follows. That is, the image pickup device according to the present invention acquires an edge component for each block that divides the image captured by the image pickup device in the image pickup device that enlarges and outputs the selected area in the image captured by the image pickup device.
  • An edge acquisition unit for each block, a resolution adjustment unit that writes an image of each block to a frame memory at a resolution corresponding to the amount of the edge component, and an image of one or more blocks corresponding to the selected area are read from the frame memory. It is characterized by having an image enlargement unit that enlarges the image at a magnification corresponding to the size of the selected area, and an enlarged output unit that outputs an enlarged image of the selected area obtained by the image enlargement unit.
  • the resolution adjusting unit preferentially writes the image of the block having a large amount of edge components to the frame memory at the first resolution, and the images of the other blocks have a second resolution lower than the first resolution. It may be configured to write to the frame memory.
  • the image pickup device may be configured to further include a normal output unit that outputs the entire image captured by the image pickup device at the same magnification.
  • an imaging device capable of obtaining a high-definition image even with digital zoom while suppressing the capacity of the frame memory used for digital zoom.
  • FIG. 1 shows a configuration example of an imaging device according to an embodiment of the present invention.
  • the image sensor of this example is an image sensor 10 such as a CMOS (Complementary Metal Oxide Semiconductor) or CCD (Charge Coupled Device) that converts an optical image of a subject into an electric signal (image), and an image captured by the image sensor 10.
  • an image processing unit 20 that performs various image processing including digital zoom, a frame memory 30 used for digital zoom, a normal output unit 40 that outputs the entire captured image at the same magnification, and a selection area in the captured image are used. It is provided with an enlarged output unit 45 that outputs an enlarged image enlarged by a digital zoom.
  • the image processing unit 20 has a function of executing various image processes, and is realized by using various processors such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and a DSP (Digital Signal Processor). It is possible.
  • the image processing unit 20 of this example has an image dividing unit 21, an edge extraction unit 22, a resolution adjusting unit 23, and an image enlarging unit 24 as functional units related to digital zoom.
  • the image dividing unit 21 divides the image captured by the image sensor 10 into a plurality of block images.
  • the edge extraction unit 22 extracts an edge component for each block image divided by the image division unit 21.
  • the resolution adjusting unit 23 writes each block image divided by the image dividing unit 21 into the frame memory 30 at a resolution corresponding to the amount of the edge component extracted by the edge extracting unit 22.
  • the image enlargement unit 24 reads one or more block images corresponding to the selected area from the frame memory 30 and enlarges the image to a magnification corresponding to the size of the selected area.
  • FIG. 2 illustrates a processing flow of digital zoom by the image pickup apparatus of this example.
  • the image dividing unit 21 acquires one frame of the image captured by the image sensor 10 and divides it into a plurality of block images according to a preset division pattern (step S10).
  • the edge extraction unit 22 extracts an edge component from each of the plurality of block images divided by the image division unit 21 (step S12).
  • the edge component can be extracted by various known methods.
  • the resolution adjusting unit 23 writes each block image divided by the image dividing unit 21 into the frame memory 30 at a resolution corresponding to the amount of the edge component extracted by the edge extracting unit 22 (step S14). Specifically, a block image having a large amount of edge components is preferentially written to the frame memory 30 at high resolution, and the remaining block image (that is, a block image having a small amount of edge components) has a large amount of edge components. The frame memory 30 is written so that the resolution is lower than that of the block image.
  • a method is adopted in which a predetermined number (or ratio) of block images are written to the frame memory 30 at high resolution in descending order of the amount of edge components, and the remaining block images are written to the frame memory 30 at low resolution.
  • the upper limit of the number (or ratio) of the block images to be high resolution is determined according to the memory capacity of the frame memory 30.
  • a threshold value is set for the amount of the edge component, and only the block image having the edge component equal to or higher than the threshold value is written to the frame memory 30 at high resolution.
  • the frame memory 30 may be written at a low resolution.
  • the image enlargement unit 24 reads out one or more block images corresponding to the selected area from the frame memory 30, performs digital zoom to enlarge the image to a magnification corresponding to the size of the selected area, and supplies the image to the enlarged output unit 45 (step S16). ).
  • the enlarged output unit 45 outputs an enlarged image of the selected area.
  • the position and size of the selected area in the captured image are preset, the user may directly operate the imaging device to change the selection area, or may change the selection area remotely from another device.
  • FIG. 3 shows how the captured image is recorded in the frame memory after adjusting the resolution for each block.
  • FIG. 3A is an example of the captured image before division
  • FIG. 3B is an example of the captured image after division
  • FIG. 3C is an example of adjusting the resolution for each block.
  • the captured image is divided by a grid-like division pattern, but it may be divided by another division pattern such as a strip shape.
  • a uniform division pattern in which all blocks have the same size and shape is used, but the present invention is not limited to this.
  • a division pattern may be used in which the closer to the center of the image is divided into smaller blocks, and the closer to the periphery of the image is, the larger the blocks are divided.
  • each block is adjusted to a resolution of two levels of high resolution / low resolution, but the resolution may be adjusted to three or more levels.
  • the difference between the conventional method and the method of the present invention will be described with reference to FIG. (1) to (3) of FIG. 4 are conventional methods, and (4) is the method of the present invention.
  • the conventional method (1) is a method of recording the entire area of the captured image in the frame memory at a low resolution, and the memory usage is the same as that of the low resolution camera. In the conventional method (1), the memory usage is small and the influence is small even at a low magnification, but the resolution of the enlarged image is low (the meaning of digital zoom is not so much).
  • the conventional method (2) is a method of recording the entire area of the captured image in the frame memory at a high resolution (in this example, twice in the vertical direction and the horizontal direction as compared with the low resolution), and is the method of the conventional method (1).
  • the memory usage is four times as much.
  • the resolution of the enlarged image is high and the influence is small even at a low magnification, but the memory usage is very large.
  • the conventional method (3) is a method of recording only a preset enlarged area (for example, the central area) of the captured image in the frame memory with high resolution (not recording other areas), and has a minimum magnification or Although it depends on the size of the enlarged area, the memory usage is about 1 to 1.5 times that of the conventional method (1).
  • the resolution of the enlarged image is high and the memory usage is relatively small, but the magnification cannot be lower than the minimum magnification (or, if the magnification is lower than the minimum magnification, the peripheral part of the enlargement area is Since there is no image data, the display is missing).
  • the method (4) of the present invention is a method of recording each block obtained by dividing a captured image at a resolution corresponding to the amount of the edge component thereof, and it depends on the ratio of blocks to be recorded at a high resolution.
  • the memory usage is about 2 to 1.6 times.
  • the resolution of the enlarged image of the block having many edge components is high, the memory usage is relatively small, and even a peripheral portion can be displayed even at a low magnification. That is, the method (4) of the present invention has the merits of the conventional methods (1) to (3).
  • the resolution of the enlarged image is low in a block having a small edge component, the roughness of the image is not noticeable even at a high magnification, so it can be said to be a relatively acceptable demerit.
  • the image dividing unit 21 and the edge extraction unit 22 that acquire the edge components for each block that divides the image captured by the image sensor 10 and each block image are the edge components.
  • the configuration is provided with an enlarged output unit 45 that outputs an enlarged image of the selected area supplied from the image enlargement unit 24.
  • each block image by adjusting each block image to a resolution according to the amount of its edge component, only the area that the user will pay attention to (the area that is likely to be enlarged and confirmed) can be increased in resolution.
  • the resolution adjusting unit 23 preferentially writes a block image having a large amount of edge components to the frame memory 30 at a high resolution, and another block image (that is, a block having a small amount of edge components).
  • the image is configured to be written in the frame memory 30 at a low resolution. In this way, it is possible to effectively reduce the capacity of the frame memory only by dividing each block image into at least two levels of resolution. Of course, it goes without saying that three or more resolutions may be used.
  • the imaging device of this example outputs the entire captured image at the same magnification (that is, digital zoom using the frame memory 30) separately from the enlarged output unit 45 that outputs an enlarged image in which the selected area in the captured image is enlarged.
  • the normal output unit 40 is provided. Therefore, it is possible to display the entire captured image on the first display device and display an enlarged image in which the selected area is enlarged on the second display device. It should be noted that a plurality of enlarged output units 45 may be provided so that enlarged images of different selected areas can be output at the same time.
  • the edge component for each block is acquired by extracting the edge component for each block image after dividing the captured image into a plurality of block images.
  • another method is used. It doesn't matter. For example, an edge image of the entire captured image may be generated, the edge image may be divided into a plurality of blocks, and edge components for each block may be acquired.
  • the process of determining the resolution of each block image according to the amount of the edge component may be performed for each image of one frame, or may be performed for each image of a plurality of N frames. Further, the resolution at which each block image is written may be a fixed resolution of a plurality of stages or a variable resolution calculated according to the amount of edge components.
  • the present invention has been described in detail above, it goes without saying that the present invention is not limited to the above configuration and may be realized by a configuration other than the above. Further, the present invention provides, for example, a method or method for executing a process according to the present invention, a program for realizing such a method or method by a computer having hardware resources such as a processor or memory, and such a program. It can also be provided as a storage medium for storage.
  • the present invention can be used in an image pickup device having a function of enlarging and outputting a designated area in an image captured by an image pickup device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

デジタルズームに使用するフレームメモリの容量を抑えつつ、デジタルズームしても高精細な画像を得ることが可能な撮像装置を提供する。　本発明の撮像装置は、撮像素子により撮像された画像を区分けしたブロック別のエッジ成分を取得する画像分割部２１及びエッジ抽出部２２と、各ブロック画像をそのエッジ成分の量に応じた解像度でフレームメモリ３０に書き込む解像度調整部２３と、選択領域に対応する１以上のブロック画像をフレームメモリ３０から読み出し、選択領域のサイズに応じた倍率に拡大する画像拡大部２４と、画像拡大部２４から供給される選択領域の拡大画像を出力する拡大出力部４５とを備える。

Description

撮像装置及び画像処理方法
　本発明は、撮像素子により撮像された画像内の指定領域を拡大して出力する機能を持つ撮像装置に関する。
　近年、デジタルカメラやビデオカメラ等の撮像装置の高解像度化（例えば、４Ｋ、８Ｋ）が進んでいる。シネマや放送等の用途の撮像装置は、大画面のスクリーン又はテレビモニタに大きく映してもジャギーが目立たないような、高精細な画像を得ることができる。一方、産業や医療等の用途の撮像装置は、撮像した画像の表示装置に大画面のモニタが用いられるとは限らず、小画面・低解像度のモニタが用いられる場合がある。この小画面・低解像度のモニタに高解像度で撮像した画像を映す方法として、画像の一部領域を電気的に拡大して表示する方法（以下、デジタルズーム）が用いられることが多い（例えば、特許文献１参照）。
特開２０１０－１３０５４０号公報
　デジタルズームは、撮像した画像を座標変換し、場合によっては超解像処理を施して出力するために、撮像した画像を一旦フレームメモリに記憶する必要がある。しかしながら、画像の高解像度化により、それを記録するフレームメモリの容量も画素数に比例して増大することになり、部品コストの増加や実装面積の不足といった問題が発生する。フレームメモリに記録する画像を拡大倍率に限定すればメモリ容量を低減することができるが、例えば１．１倍や１．２倍といった低倍率のデジタルズームでは、必要なメモリ容量は全領域記録の場合とさほど変わらないため、結局、全体として大容量のメモリが必要となる。また、デジタルズームの倍率を２倍以上等と限定すれば、全体のメモリ容量を低減することができるが、低倍率の画像を必要としている使用者にとっては好ましくない。
　本発明は、上記のような従来の事情に鑑みて為されたものであり、デジタルズームに使用するフレームメモリの容量を抑えつつ、デジタルズームしても高精細な画像を得ることが可能な撮像装置を提供することを目的とする。
　本発明では、上記目的を達成するために、撮像装置を以下のように構成した。
　すなわち、本発明に係る撮像装置は、撮像素子により撮像された画像内の選択領域を拡大して出力する撮像装置において、前記撮像素子により撮像された画像を区分けしたブロック別のエッジ成分を取得するブロック別エッジ取得部と、各ブロックの画像をそのエッジ成分の量に応じた解像度でフレームメモリに書き込む解像度調整部と、前記選択領域に対応する１以上のブロックの画像を前記フレームメモリから読み出し、前記選択領域のサイズに応じた倍率に拡大する画像拡大部と、前記画像拡大部により得られた前記選択領域の拡大画像を出力する拡大出力部とを有することを特徴とする。
　ここで、前記解像度調整部は、エッジ成分の量が多いブロックの画像を優先して第１の解像度で前記フレームメモリに書き込み、他のブロックの画像は前記第１の解像度より低い第２の解像度で前記フレームメモリに書き込むように構成としてもよい。
　また、前記撮像装置は、前記撮像素子により撮像された画像の全体を等倍で出力する通常出力部を更に備えるように構成してもよい。
　本発明によれば、デジタルズームに使用するフレームメモリの容量を抑えつつ、デジタルズームしても高精細な画像を得ることが可能な撮像装置を提供することができる。
本発明の一実施形態に係る撮像装置の構成例を示す図である。 図１の撮像装置によるデジタルズームの処理フローを例示する図である。 撮像画像をブロック別に解像度調整してフレームメモリに書き込む様子を示す図である。 従来方式と本発明方式との相違について説明する図である。
　本発明の一実施形態に係る撮像装置について、図面を参照して説明する。
　図１には、本発明の一実施形態に係る撮像装置の構成例を示してある。本例の撮像装置は、被写体の光学像を電気信号（画像）に変換するＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子１０と、撮像素子１０により撮像された画像に対し、デジタルズームを含む各種の画像処理を施す画像処理部２０と、デジタルズームに使用されるフレームメモリ３０と、撮像画像の全体を等倍で出力する通常出力部４０と、撮像画像内の選択領域をデジタルズームにより拡大した拡大画像を出力する拡大出力部４５とを備える。
　画像処理部２０は、各種の画像処理を実行する機能を有しており、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などの種々のプロセッサを用いて実現することが可能である。本例の画像処理部２０は、デジタルズームに係る機能部として、画像分割部２１と、エッジ抽出部２２と、解像度調整部２３と、画像拡大部２４とを有している。
　画像分割部２１は、撮像素子１０による撮像画像を複数のブロック画像に分割する。エッジ抽出部２２は、画像分割部２１により分割されたブロック画像毎にエッジ成分を抽出する。解像度調整部２３は、画像分割部２１により分割された各ブロック画像を、エッジ抽出部２２により抽出されたエッジ成分の量に応じた解像度でフレームメモリ３０に書き込む。画像拡大部２４は、選択領域に対応する１以上のブロック画像をフレームメモリ３０から読み出し、選択領域のサイズに応じた倍率に拡大する。
　図２には、本例の撮像装置によるデジタルズームの処理フローを例示してある。
　まず、画像分割部２１が、撮像素子１０による撮像画像を１フレーム分取得し、予め設定された分割パターンに従って複数のブロック画像に分割する（ステップＳ１０）。
　次いで、エッジ抽出部２２が、画像分割部２１により分割された複数のブロック画像のそれぞれからエッジ成分を抽出する（ステップＳ１２）。エッジ成分の抽出は、公知の種々の手法により抽出することが可能である。
　次いで、解像度調整部２３が、画像分割部２１により分割された各ブロック画像を、エッジ抽出部２２により抽出されたエッジ成分の量に応じた解像度でフレームメモリ３０に書き込む（ステップＳ１４）。具体的には、エッジ成分の量が多いブロック画像を優先して高解像度でフレームメモリ３０に書き込み、残りのブロック画像（つまり、エッジ成分の量が少ないブロック画像）を、エッジ成分の量が多いブロック画像よりも低解像度となるようフレームメモリ３０に書き込む。
　本例では、エッジ成分の量が多い順に、所定の個数（又は割合）のブロック画像を高解像度でフレームメモリ３０に書き込み、残りのブロック画像は低解像度でフレームメモリ３０に書き込む方式を採用している。高解像度とするブロック画像の個数（又は割合）の上限は、フレームメモリ３０のメモリ容量に応じて決定される。
　なお、全体的にエッジ成分が少ない撮像画像の場合には、エッジ成分があまり多くないブロック画像であっても、高解像度でフレームメモリ３０に書き込まれる可能性がある。そこで、エッジ成分の量について閾値を設けておき、閾値以上のエッジ成分を持つブロック画像のみを高解像度でフレームメモリ３０に書き込み、エッジ成分の量が上位であっても閾値未満のブロック画像については低解像度でフレームメモリ３０に書き込むようにしてもよい。
　次いで、画像拡大部２４が、選択領域に対応する１以上のブロック画像をフレームメモリ３０から読み出し、選択領域のサイズに応じた倍率に拡大するデジタルズームを施して拡大出力部４５に供給する（ステップＳ１６）。これにより、拡大出力部４５から、選択領域の拡大画像が出力されることになる。撮像画像内における選択領域の位置やサイズは予め設定されているが、ユーザが撮像装置を直接操作して変更してもよいし、他の装置から遠隔的に変更してもよい。
　図３には、撮像画像をブロック別に解像度調整してフレームメモリに記録する様子を示してある。図３（ａ）は分割前の撮像画像の例であり、（ｂ）は分割後の撮像画像の例であり、（ｃ）はブロック別に解像度を調整した例である。本例では、撮像画像を格子状の分割パターンで分割しているが、短冊状などの他の分割パターンで分割してもよい。また、本例では、全てのブロックが同じサイズ・形状となる均一な分割パターンを用いているが、これに限定されない。一例として、画像中心に近いほど小さいブロックに分割し、画像の周縁に近付くに連れて大きいブロックに分割する分割パターンを用いてもよい。また、本例では、各ブロックを高解像度／低解像度の２段階の解像度に調整しているが、３段階以上の解像度に調整してもよい。
　従来方式と本発明方式との相違について、図４を参照して説明する。図４の（１）～（３）は従来方式であり、（４）が本発明方式である。
　従来方式（１）は、撮像画像の全領域を低解像度でフレームメモリに記録する方式であり、低解像度カメラと同様のメモリ使用量となる。従来方式（１）では、メモリ使用量が少なく、低倍率でも影響が少ないが、拡大画像の解像度が低い（デジタルズームの意味があまりない）。
　従来方式（２）は、撮像画像の全領域を高解像度（本例では、低解像度に比べて縦方向／横方向それぞれ２倍）でフレームメモリに記録する方式であり、従来方式（１）の４倍のメモリ使用量となる。従来方式（２）では、拡大画像の解像度が高く、低倍率でも影響が少ないが、メモリ使用量が非常に多くなる。
　従来方式（３）は、撮像画像のうちの予め設定された拡大領域（例えば、中心領域）のみを高解像度でフレームメモリに記録する（他の領域は記録しない）方式であり、最低拡大倍率や拡大領域のサイズによるが、従来方式（１）の１～１．５倍程度のメモリ使用量となる。従来方式（３）では、拡大画像の解像度が高く、メモリ使用量が比較的少ないが、最低拡大倍率より低い倍率にはできない（または、最低拡大倍率より低い倍率にすると、拡大領域の周辺部は画像データがないので表示が欠落してしまう）。
　本発明方式（４）は、撮像画像を分割した各ブロックをそのエッジ成分の量に応じた解像度で記録する方式であり、高解像度で記録するブロックの割合によるが、従来方式（１）の１．２～１．６倍程度のメモリ使用量となる。本発明方式（４）では、エッジ成分の多いブロックの拡大画像の解像度が高く、メモリ使用量が比較的少なく、低倍率でも周辺部まで表示することができる。すなわち、本発明方式（４）は、従来方式（１）～（３）のメリットを併せ持っている。なお、エッジ成分の少ないブロックでは拡大画像の解像度は低いものの、高倍率にしても画像の粗さが目立ちにくいので、比較的許容できるデメリットといえる。
　以上のように、本例の撮像装置は、撮像素子１０により撮像された画像を区分けしたブロック別のエッジ成分を取得する画像分割部２１及びエッジ抽出部２２と、各ブロック画像をそのエッジ成分の量に応じた解像度でフレームメモリ３０に書き込む解像度調整部２３と、選択領域に対応する１以上のブロック画像をフレームメモリ３０から読み出し、選択領域のサイズに応じた倍率に拡大する画像拡大部２４と、画像拡大部２４から供給される選択領域の拡大画像を出力する拡大出力部４５とを備えた構成となっている。
　このように、各ブロック画像をそのエッジ成分の量に応じた解像度に調整することで、ユーザが注目するであろう領域（拡大して確認する可能性が高い領域）のみを高解像度化するなど、想定されるデジタルズームに適した態様でフレームメモリへの書き込みを実現することができる。したがって、本例の撮像装置によれば、デジタルズームに使用するフレームメモリの容量を抑えつつ、デジタルズームしても高精細な画像を得ることが可能となる。
　また、本例の撮像装置は、解像度調整部２３が、エッジ成分の量が多いブロック画像を優先して高解像度でフレームメモリ３０に書き込み、他のブロック画像（つまり、エッジ成分の量が少ないブロック画像）は低解像度でフレームメモリ３０に書き込む構成となっている。このように、各ブロック画像を少なくとも２段階の解像度に分けるだけで、フレームメモリの容量を効果的に低減することが可能である。もちろん、３段階以上の解像度を用いてもよいことは言うまでもない。
　また、本例の撮像装置は、撮像画像内の選択領域を拡大した拡大画像を出力する拡大出力部４５とは別に、撮像画像の全体を等倍で出力（つまり、フレームメモリ３０を用いたデジタルズームを行わずに出力）する通常出力部４０を備えている。したがって、撮像画像の全体を第１の表示装置にて表示すると共に、その中の選択領域を拡大した拡大画像を第２の表示装置にて表示する等の運用が可能となる。なお、拡大出力部４５を複数備え、異なる選択領域の拡大画像を同時に出力できるように構成してもよい。
　ここで、上記の説明では、撮像画像を複数のブロック画像に分割した後に、ブロック画像毎にエッジ成分を抽出することで、ブロック別のエッジ成分を取得しているが、他の手法を用いても構わない。例えば、撮像画像全体のエッジ画像を生成し、このエッジ画像を複数のブロックに分割して、ブロック別のエッジ成分を取得してもよい。
　また、各ブロック画像の解像度をそのエッジ成分の量に応じて決定する処理は、１フレームの画像毎に行ってもよいし、複数であるＮフレームの画像毎に行ってもよい。
　また、各ブロック画像を書き込む際の解像度は、複数段階の固定の解像度でもよいし、エッジ成分の量に応じて算出される可変の解像度でもよい。
　以上、本発明について詳細に説明したが、本発明は上記のような構成に限定されるものではなく、上記以外の構成により実現してもよいことは言うまでもない。
　また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式をプロセッサやメモリ等のハードウェア資源を有するコンピュータにより実現するためのプログラム、そのようなプログラムを記憶する記憶媒体などとして提供することも可能である。
　本発明は、撮像素子により撮像された画像内の指定領域を拡大して出力する機能を持つ撮像装置に利用することができる。
　１０：撮像素子、　２０：画像処理部、　２１：画像分割部、　２２：エッジ抽出部、
　２３：解像度調整部、　２４：画像拡大部、　３０：フレームメモリ、　４０：通常出力部、　４５：拡大出力部

Claims (4)

  1. 　撮像素子により撮像された画像内の選択領域を拡大して出力する撮像装置において、
    　前記撮像素子により撮像された画像を区分けしたブロック別のエッジ成分を取得するブロック別エッジ取得部と、
    　各ブロックの画像をそのエッジ成分の量に応じた解像度でフレームメモリに書き込む解像度調整部と、
    　前記選択領域に対応する１以上のブロックの画像を前記フレームメモリから読み出し、前記選択領域のサイズに応じた倍率に拡大する画像拡大部と、
    　前記画像拡大部により得られた前記選択領域の拡大画像を出力する拡大出力部とを有することを特徴とする撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　前記解像度調整部は、エッジ成分の量が多いブロックの画像を優先して第１の解像度で前記フレームメモリに書き込み、他のブロックの画像は前記第１の解像度より低い第２の解像度で前記フレームメモリに書き込むことを特徴とする撮像装置。
  3. 　請求項１に記載の撮像装置において、
    　前記撮像素子により撮像された画像の全体を等倍で出力する通常出力部を更に備えたことを特徴とする撮像装置。
  4. 　撮像素子により撮像された画像内の選択領域を拡大して出力する撮像装置により実行される画像処理方法において、
    　前記撮像素子により撮像された画像を区分けしたブロック別のエッジ成分を取得するステップと、
    　各ブロックの画像をそのエッジ成分の量に応じた解像度でフレームメモリに書き込むステップと、
    　前記選択領域に対応する１以上のブロックの画像を前記フレームメモリから読み出し、前記選択領域のサイズに応じた倍率に拡大して出力するステップとを有することを特徴とする画像処理方法。
PCT/JP2020/034217 2019-09-20 2020-09-10 撮像装置及び画像処理方法 WO2021054235A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/753,941 US11736657B2 (en) 2019-09-20 2020-09-10 Image capturing device and image processing method that enlarges a selected region within an image
JP2021546638A JP7244661B2 (ja) 2019-09-20 2020-09-10 撮像装置及び画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019171084 2019-09-20
JP2019-171084 2019-09-20

Publications (1)

Publication Number Publication Date
WO2021054235A1 true WO2021054235A1 (ja) 2021-03-25

Family

ID=74884623

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/034217 WO2021054235A1 (ja) 2019-09-20 2020-09-10 撮像装置及び画像処理方法

Country Status (3)

Country Link
US (1) US11736657B2 (ja)
JP (1) JP7244661B2 (ja)
WO (1) WO2021054235A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007336524A (ja) * 2006-05-16 2007-12-27 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理プログラム、および撮像装置
JP2010130540A (ja) * 2008-11-28 2010-06-10 Canon Inc 映像表示装置
JP2011091493A (ja) * 2009-10-20 2011-05-06 Fujitsu Ltd 画像処理方法および画像処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9154698B2 (en) * 2013-06-19 2015-10-06 Qualcomm Technologies, Inc. System and method for single-frame based super resolution interpolation for digital cameras
US10681266B2 (en) * 2018-06-12 2020-06-09 Carl Zeiss Ag Method, apparatus, and system for processing digital images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007336524A (ja) * 2006-05-16 2007-12-27 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理プログラム、および撮像装置
JP2010130540A (ja) * 2008-11-28 2010-06-10 Canon Inc 映像表示装置
JP2011091493A (ja) * 2009-10-20 2011-05-06 Fujitsu Ltd 画像処理方法および画像処理装置

Also Published As

Publication number Publication date
JPWO2021054235A1 (ja) 2021-03-25
US20220377255A1 (en) 2022-11-24
JP7244661B2 (ja) 2023-03-22
US11736657B2 (en) 2023-08-22

Similar Documents

Publication Publication Date Title
US7679657B2 (en) Image sensing apparatus having electronic zoom function, and control method therefor
US7876980B2 (en) Imaging apparatus and imaging method for outputting a specified number of pixels in a specified area
US7202888B2 (en) Electronic imaging device resolution enhancement
US9538085B2 (en) Method of providing panoramic image and imaging device thereof
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
US10110821B2 (en) Image processing apparatus, method for controlling the same, and storage medium
JP2005252626A (ja) 撮像装置および画像処理方法
JP2010003251A (ja) 画像リサイズ処理装置及び画像リサイズ処理方法
JP4105967B2 (ja) デジタルスチルカメラ
JP5950755B2 (ja) 画像処理装置、制御方法、プログラム及び記憶媒体
JP5996418B2 (ja) 撮像装置および撮像方法
WO2021054235A1 (ja) 撮像装置及び画像処理方法
JP5042251B2 (ja) 画像処理装置および画像処理方法
JP4923956B2 (ja) 画像表示装置および画像表示プログラムおよび画像表示方法
US11202019B2 (en) Display control apparatus with image resizing and method for controlling the same
JP2008035124A (ja) 画像再生装置及び画像再生方法
US7389004B2 (en) Image processing apparatus
US11310442B2 (en) Display control apparatus for displaying image with/without a frame and control method thereof
JP2015026891A (ja) 画像処理装置および記憶媒体
US11729348B2 (en) Image processing apparatus allowing display control of de-squeezed image, and control method of image processing apparatus
JP6021556B2 (ja) 画像処理装置
JP6021574B2 (ja) 撮像装置
WO2021124736A1 (ja) 撮像装置
JP6889622B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP6917800B2 (ja) 画像処理装置およびその制御方法ならびにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20864717

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021546638

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20864717

Country of ref document: EP

Kind code of ref document: A1