JP5934844B2 - Image processing apparatus, imaging apparatus, image processing method, and image processing program - Google Patents
Image processing apparatus, imaging apparatus, image processing method, and image processing program Download PDFInfo
- Publication number
- JP5934844B2 JP5934844B2 JP2015536482A JP2015536482A JP5934844B2 JP 5934844 B2 JP5934844 B2 JP 5934844B2 JP 2015536482 A JP2015536482 A JP 2015536482A JP 2015536482 A JP2015536482 A JP 2015536482A JP 5934844 B2 JP5934844 B2 JP 5934844B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- area
- instruction
- divided
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 119
- 238000012545 processing Methods 0.000 title claims description 95
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000001514 detection method Methods 0.000 claims description 86
- 238000003860 storage Methods 0.000 claims description 61
- 230000033001 locomotion Effects 0.000 claims description 46
- 230000003287 optical effect Effects 0.000 claims description 27
- 238000012790 confirmation Methods 0.000 claims description 16
- 210000001747 pupil Anatomy 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 57
- 230000008569 process Effects 0.000 description 42
- 230000006870 function Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 18
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000004907 flux Effects 0.000 description 4
- 230000011514 reflex Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Automatic Focus Adjustment (AREA)
Description
本発明は、画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに関する。 The present invention relates to an image processing device, an imaging device, an image processing method, and an image processing program.
デジタルカメラとして、位相差検出方式やコントラスト検出方式を用いたオートフォーカスの他に、使用者が手動でフォーカス調整を行うことができる、いわゆるマニュアルフォーカスモードを備えるものが広く知られている。 In addition to autofocus using a phase difference detection method and a contrast detection method, digital cameras having a so-called manual focus mode in which a user can manually perform focus adjustment are widely known.
マニュアルフォーカスモードを有するデジタルカメラとしては、被写体を確認しながらフォーカス調整ができるようにレフレックスミラーを設けて、目視による位相差を表示するスプリットマイクロプリズムスクリーンを用いた方法を採用したものが知られている。また、目視によるコントラストの確認を行う方法を採用したデジタルカメラも知られている。 As a digital camera having a manual focus mode, a method using a split micro prism screen that displays a phase difference visually by providing a reflex mirror so that focus adjustment can be performed while checking a subject is known. ing. There is also known a digital camera that employs a method of visually confirming contrast.
ところで、近年普及しているレフレックスミラーを省略したデジタルカメラでは、レフレックスミラーがないため位相差を表示しながら被写体像を確認する方法がなく、コントラスト検出方式に頼らざるを得なかった。しかし、この場合には、LCD(liquid crystal display:液晶ディスプレイ)等の表示装置の解像度以上のコントラストの表示ができず、一部拡大するなどして表示する方法を採らざるを得なかった。 By the way, in a digital camera that omits a reflex mirror that has been widely used in recent years, there is no method for checking a subject image while displaying a phase difference because there is no reflex mirror, and it has been necessary to rely on a contrast detection method. However, in this case, it is impossible to display a contrast higher than the resolution of a display device such as an LCD (liquid crystal display), and it has been necessary to adopt a method of displaying the image by partially enlarging it.
そこで、近年では、マニュアルフォーカスモード時にユーザ(例えば撮影者)が被写体に対してピントを合わせる作業を容易にするために、スプリットイメージをライブビュー画像(スルー画像ともいう)内に表示している。スプリットイメージとは、例えば表示領域が複数に分割された分割画像(例えば上下方向に分割された各画像)であって、ピントのずれに応じて視差発生方向(例えば左右方向)にずれ、ピントが合った状態だと視差発生方向のずれがなくなる分割画像を指す。ユーザは、スプリットイメージ(例えば上下方向に分割された各画像)のずれがなくなるように、マニュアルフォーカスリング(以下、「フォーカスリング」という)を操作してピントを合わせる。 Therefore, in recent years, a split image is displayed in a live view image (also referred to as a through image) in order to facilitate a user (for example, a photographer) to focus on a subject in the manual focus mode. A split image is, for example, a divided image in which a display area is divided into a plurality of parts (for example, each image divided in the vertical direction). In the combined state, it indicates a divided image in which there is no deviation in the parallax generation direction. The user adjusts the focus by operating a manual focus ring (hereinafter referred to as “focus ring”) so that the split image (for example, each image divided in the vertical direction) is not displaced.
ここで、特許文献1に記載の撮像装置を参照して、スプリットイメージの原理を説明する。特許文献1に記載の撮像装置は、撮像光学系からの光束のうち、瞳分割部によって分割された光束により形成された第1の被写体像及び第2の被写体像をそれぞれ光電変換した第1の画像及び第2の画像を生成する。そして、これらの第1及び第2の画像を用いてスプリットイメージを生成し、かつ、瞳分割部によって分割されない光束により形成された第3の被写体像を光電変換して第3の画像を生成する。そして、第3の画像を表示部に表示し、かつ、第3の画像内に、生成したスプリットイメージを表示する。また、特許文献1に記載の撮像装置は、スプリットイメージのうちの指定された領域に含まれる画像を拡大表示する。
Here, the principle of the split image will be described with reference to the imaging device described in
特許文献2には、タッチパネル・ディスプレイに表示されている複数の画像のうちの特定の画像がタッチパネルを介して指示体(例えば指)で指示されることで、指示された特定の画像が拡大表示される技術が開示されている。
In
特許文献3には、タッチパネル・ディスプレイに表示されている画像がタッチパネルを介して指示体で指示された場合に、タッチパネルに接触している指示体と重なっている画像が指示体の指示領域を回避した領域に拡大表示される技術が開示されている。
In
しかしながら、スプリットイメージに含まれる何れかの分割画像を、タッチパネルを介して指示体で指示し、指示した分割画像を拡大表示しても、ユーザが視差の程度を把握することは困難である。また、スプリットイメージのうちの指示体の指示領域と重なっている領域に含まれる画像を、指示体の指示領域を回避した領域に拡大表示しても、拡大表示された画像が視差発生領域の画像でなければ、ユーザが視差の程度を把握することは困難である。拡大表示された画像からユーザが視差を把握することが困難であるということは、合焦状態であるか否かを視覚的に認識し難いことを意味する。 However, it is difficult for the user to grasp the degree of parallax even if any of the divided images included in the split image is indicated with an indicator via the touch panel and the indicated divided image is enlarged and displayed. Further, even if an image included in an area of the split image that overlaps the indication area of the indicator is enlarged and displayed in an area that avoids the indication area of the indicator, the enlarged image is an image of the parallax generation area. Otherwise, it is difficult for the user to grasp the degree of parallax. That it is difficult for the user to grasp the parallax from the enlarged image means that it is difficult to visually recognize whether or not the image is in focus.
本発明は、このような実情を鑑みて提案されたものであり、合焦状態にあるか否かを視覚的に認識し易くすることができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。 The present invention has been proposed in view of such a situation, and is an image processing device, an imaging device, an image processing method, and an image processing capable of easily recognizing whether or not it is in focus. The purpose is to provide a program.
上記目的を達成するために、本発明の第1の態様に係る画像処理装置は、撮影レンズにおける第1及び第2の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第1及び第2の画像信号を出力する第1及び第2の画素群を有する撮像素子から出力された第1及び第2の画像信号に基づく第1及び第2の画像のうちの第1の画像を予め定められた分割方向に分割することにより得た複数の分割画像の一部の第1の分割画像と、第2の画像を分割方向に分割することにより得た複数の分割画像から第1の分割画像に対応する分割領域と隣接する分割領域に対応する第2の分割画像とを分割方向に隣接させて配置した合焦確認に使用する表示用画像を生成する生成部と、表示領域を有し、かつ、表示領域の表面にタッチパネルが設けられた表示部と、タッチパネルに対する指示体の指示領域を検知することにより、表示領域に表示される表示用画像の第1又は第2の分割画像を指示する指示操作を検知する検知部と、生成部により生成された表示用画像を表示領域に表示させ、表示用画像が表示領域に表示された状態で検知部により指示操作が検知された場合、第1及び第2の分割画像のうちの指示操作により指示された指示分割画像の少なくとも一部並びに第1及び第2の分割画像のうちの指示分割画像と予め定められた方向に隣接する隣接分割画像の少なくとも一部を含む部分画像を表示用画像から抽出し、抽出した部分画像を、表示領域における検知部により検知された指示領域とは異なる領域に表示させる制御部と、を含む。これにより、画像処理装置は、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。 In order to achieve the above object, the image processing apparatus according to the first aspect of the present invention is configured such that the subject image that has passed through the first and second regions in the photographing lens is divided into pupils and formed respectively. 1st image of 1st and 2nd image based on 1st and 2nd image signal output from the image pick-up element which has the 1st and 2nd pixel group which outputs 1 and 2nd image signal Is divided into a first divided image obtained by dividing the second image in the dividing direction and a first divided image obtained by dividing the second image in the dividing direction. A generation unit that generates a display image used for focusing confirmation in which a divided region corresponding to the divided image and a second divided image corresponding to the adjacent divided region are arranged adjacent to each other in the dividing direction; And a touch panel on the surface of the display area A detected display unit, and a detection unit that detects an instruction operation that indicates the first or second divided image of the display image displayed in the display region by detecting an instruction region of the indicator on the touch panel; The display image generated by the generation unit is displayed in the display area, and when the instruction operation is detected by the detection unit in a state where the display image is displayed in the display area, the display image is selected from the first and second divided images. Display a partial image including at least a part of the instruction divided image instructed by the instruction operation and at least a part of the adjacent divided image adjacent to the instruction divided image of the first and second divided images in a predetermined direction. A control unit that extracts the partial image extracted from the work image and displays the extracted partial image in a region different from the indication region detected by the detection unit in the display region. Thereby, the image processing apparatus can make it easier to visually recognize whether or not the image processing apparatus is in focus as compared with the case where the present configuration is not provided.
本発明の第2の態様に係る画像処理装置では、本発明の第1の態様において、制御部が、抽出した部分画像を、部分画像に含まれる指示分割画像と隣接分割画像との視差が拡張された状態で、表示領域における検知部により検知された指示領域とは異なる領域に表示させる。これにより、画像処理装置は、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的により一層認識し易くすることができる。 In the image processing apparatus according to the second aspect of the present invention, in the first aspect of the present invention, the control unit expands the parallax between the instruction divided image included in the partial image and the adjacent divided image. In this state, the display area is displayed in an area different from the instruction area detected by the detection unit. As a result, the image processing apparatus can make it easier to visually recognize whether or not the image processing apparatus is in focus as compared with the case where the present configuration is not provided.
本発明の第3の態様に係る画像処理装置では、本発明の第1の態様又は第2の態様において、制御部が、抽出した部分画像を、表示領域における検知部により検知された指示領域とは異なる領域に拡大して表示させる。これにより、画像処理装置は、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的により一層認識し易くすることができる。 In the image processing apparatus according to the third aspect of the present invention, in the first aspect or the second aspect of the present invention, the control unit extracts the extracted partial image from the indication region detected by the detection unit in the display region. Are enlarged and displayed in different areas. As a result, the image processing apparatus can make it easier to visually recognize whether or not the image processing apparatus is in focus as compared with the case where the present configuration is not provided.
本発明の第4の態様に係る画像処理装置では、本発明の第1の態様から第3の態様の何れか1つにおいて、制御部が、抽出した部分画像を、表示領域における検知部により検知された指示領域とは異なる領域に表示させる制御を、表示用画像のうちの指示操作に伴って検知部により検知された指示領域に対応する位置の画像内の明暗差が予め定められた値未満の場合に行わない。これにより、画像処理装置は、抽出した部分画像を、指示領域を回避した領域に表示したとしても合焦状態にあるか否かを視覚的に認識し難い場合に、抽出した部分画像が指示領域を回避した領域に表示されることを抑制することができる。 In the image processing device according to the fourth aspect of the present invention, in any one of the first to third aspects of the present invention, the control unit detects the extracted partial image by the detection unit in the display area. Control for displaying in a different area from the designated instruction area is less than a predetermined value in the brightness difference in the image at a position corresponding to the instruction area detected by the detection unit in accordance with the instruction operation in the display image If not, do not. As a result, the image processing apparatus can display the extracted partial image in the designated area when it is difficult to visually recognize whether or not the extracted partial image is in focus even if it is displayed in the area avoiding the designated area. Can be suppressed from being displayed in the area where the problem is avoided.
本発明の第5の態様に係る画像処理装置では、本発明の第1の態様から第4の態様の何れか1つにおいて、指示領域とは異なる領域が、検知部により検知された指示領域が表示用画像における視差発生方向の中央部に含まれる場合、表示用画像における視差発生方向の中央部以外の領域である。これにより、画像処理装置は、タッチパネルにおける表示領域の中央部に対応する領域に接触している指示体が形成する死角によって、指示領域を回避した領域に表示された部分画像が視認し難くなることを抑制することができる。 In the image processing device according to the fifth aspect of the present invention, in any one of the first to fourth aspects of the present invention, an area different from the designated area is an indication area detected by the detection unit. When included in the central portion of the display image in the parallax generation direction, it is an area other than the central portion of the display image in the parallax generation direction. As a result, the image processing apparatus has difficulty in visually recognizing the partial image displayed in the area avoiding the instruction area due to the blind spot formed by the indicator that is in contact with the area corresponding to the center of the display area on the touch panel. Can be suppressed.
本発明の第6の態様に係る画像処理装置では、本発明の第5の態様において、表示用画像における視差発生方向の中央部以外の領域が、表示領域における視差発生方向の中央部以外の領域である。これにより、画像処理装置は、指示領域を回避した領域に部分画像が表示されることによって表示用画像が視認し難くなることを抑制することができる。 In the image processing device according to the sixth aspect of the present invention, in the fifth aspect of the present invention, the region other than the central portion in the parallax generation direction in the display image is a region other than the central portion in the parallax generation direction in the display region. It is. Thereby, the image processing apparatus can suppress that it becomes difficult to visually recognize the display image by displaying the partial image in the area avoiding the instruction area.
本発明の第7の態様に係る画像処理装置では、本発明の第1の態様から第6の態様の何れか1つにおいて、指示領域とは異なる領域が、検知部により検知された指示領域が表示用画像における視差発生方向の両端部のうちの一方の端部に含まれる場合、表示領域における視差発生方向の両端部のうちの指示領域から遠い方の端部である。これにより、画像処理装置は、タッチパネルにおける表示領域の両端部のうちの一方の端部に対応する領域に接触している指示体が形成する死角によって、指示領域を回避した領域に表示された部分画像が視認し難くなることを抑制することができる。 In the image processing device according to the seventh aspect of the present invention, in any one of the first to sixth aspects of the present invention, an area different from the designated area is an indication area detected by the detection unit. When included in one end of both ends in the parallax generation direction in the display image, it is the end far from the pointing area in both ends in the parallax generation direction in the display area. As a result, the image processing apparatus is a portion displayed in the area that avoids the pointing area by the blind spot formed by the pointer that is in contact with the area corresponding to one of the two ends of the display area on the touch panel. It can suppress that an image becomes difficult to visually recognize.
本発明の第8の態様に係る画像処理装置では、本発明の第1の態様から第7の態様の何れか1つにおいて、制御部が、抽出した部分画像に含まれる画像を、部分画像に含まれる指示分割画像と隣接分割画像との視差に応じて定められた拡大率、彩度、及び輪郭強調度の少なくとも1つに従って調整する。これにより、画像処理装置は、指示領域を回避した領域に表示された部分画像の視認性を良好にすることができる。 In the image processing device according to the eighth aspect of the present invention, in any one of the first to seventh aspects of the present invention, the control unit converts an image included in the extracted partial image into a partial image. The adjustment is performed according to at least one of an enlargement ratio, a saturation, and an edge enhancement level determined according to the parallax between the instruction divided image and the adjacent divided image . Thereby, the image processing apparatus can improve the visibility of the partial image displayed in the area avoiding the designated area.
本発明の第9の態様に係る画像処理装置では、本発明の第1の態様から第8の態様の何れか1つにおいて、撮像素子が、撮影レンズを透過した被写体像が瞳分割されずに結像されて第3の画像信号を出力する第3の画素群を更に有し、生成部が、第3の画像信号に基づく撮影画像を更に生成し、制御部が、生成部により表示用画像及び撮影画像が生成された場合、表示部に、撮影画像を表示させ、かつ、撮影画像内に表示用画像を表示させる。これにより、画像処理装置は、第3の画像信号に基づく撮影画像を生成しない場合と比べ、撮影画像の画質を向上させることができる。 In the image processing device according to the ninth aspect of the present invention, in any one of the first to eighth aspects of the present invention, the image sensor does not divide the subject image transmitted through the photographing lens into pupils. The image forming apparatus further includes a third pixel group that forms an image and outputs a third image signal, the generation unit further generates a captured image based on the third image signal, and the control unit uses the generation unit to display an image for display. When the captured image is generated, the captured image is displayed on the display unit, and the display image is displayed in the captured image. Thereby, the image processing apparatus can improve the image quality of the captured image as compared with the case where the captured image based on the third image signal is not generated.
本発明の第10の態様に係る撮像装置は、本発明の第1の態様から第9の態様の何れか1つの画像処理装置と、第1及び第2の画素群を有する撮像素子と、撮像素子から出力された画像信号に基づいて生成された画像を記憶する記憶部と、を含む撮像装置。これにより、撮像装置は、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。 An imaging device according to a tenth aspect of the present invention is an image processing device according to any one of the first to ninth aspects of the present invention, an imaging element having first and second pixel groups, and imaging. A storage unit that stores an image generated based on an image signal output from the element. Thereby, the imaging apparatus can make it easier to visually recognize whether or not the imaging apparatus is in an in-focus state as compared to the case where the present configuration is not provided.
本発明の第11の態様に係る撮像装置では、本発明の第10の態様において、撮影レンズが、光軸方向に沿って移動可能なフォーカスレンズを有し、フォーカスレンズを光軸方向に移動させる移動部を更に含み、検知部が、指示操作を検知した場合、表示領域に表示用画像が表示された状態で指示領域を分割方向と交差する予め定められた交差方向に移動させる第1移動操作を検知し、制御部が、検知部により第1移動操作が検知された場合に、第1移動操作に応じてフォーカスレンズを光軸方向に移動させる制御を移動部に対して行う。これにより、撮像装置は、フォーカスレンズを合焦位置に容易に移動させることができる。 In the imaging device according to the eleventh aspect of the present invention, in the tenth aspect of the present invention, the photographing lens has a focus lens that is movable along the optical axis direction, and the focus lens is moved in the optical axis direction. A first moving operation that further includes a moving unit, and moves the pointing area in a predetermined crossing direction that intersects the division direction in a state where the display image is displayed in the display area when the detecting unit detects the pointing operation; When the first movement operation is detected by the detection unit, the control unit controls the movement unit to move the focus lens in the optical axis direction according to the first movement operation. Thereby, the imaging device can easily move the focus lens to the in-focus position.
本発明の第12の態様に係る撮像装置では、本発明の第11の態様において、検知部が、指示操作を検知した場合、表示領域に表示用画像が表示された状態で指示領域を交差方向に直交する方向に対する所定の閾値以上の移動操作を第2移動操作として検知し、制御部が、検知部により第2移動操作が検知された場合、部分画像の抽出位置を維持する制御を行う。これにより、撮像装置は、ユーザが意図しない方向に指示領域がずれることに起因して合焦対象領域以外の領域の画像が部分画像として抽出されることを抑制することができる。 In the imaging device according to the twelfth aspect of the present invention, in the eleventh aspect of the present invention, when the detection unit detects an instruction operation, the display area is displayed in the crossing direction with the display image displayed on the display area. When a movement operation equal to or greater than a predetermined threshold in a direction orthogonal to the second threshold value is detected as the second movement operation, the control unit performs control to maintain the extraction position of the partial image when the detection unit detects the second movement operation. As a result, the imaging apparatus can suppress the extraction of an image of a region other than the focus target region as a partial image due to the indication region being shifted in a direction not intended by the user.
本発明の第13の態様に係る撮像装置では、本発明の第11の態様又は第12の態様において、表示用画像のうちの検知部により検知された指示領域に対応する位置における第1の画像と第2の画像との視差に基づいて、第1移動操作による指示領域の移動方向を案内する案内情報を提示する提示部を更に含む。これにより、撮像装置は、案内情報を表示しない場合と比べ、フォーカスレンズを合焦位置に移動させるのに必要な操作をユーザに容易に認識させることができる。 In the imaging device according to the thirteenth aspect of the present invention, in the eleventh aspect or the twelfth aspect of the present invention, the first image at a position corresponding to the indication region detected by the detection unit of the display image. And a presentation unit for presenting guidance information for guiding the moving direction of the designated area by the first movement operation based on the parallax between the first image and the second image. Thereby, the imaging apparatus can make the user easily recognize an operation necessary to move the focus lens to the in-focus position, compared to a case where the guide information is not displayed.
本発明の第14の態様に係る画像処理方法は、撮影レンズにおける第1及び第2の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第1及び第2の画像信号を出力する第1及び第2の画素群を有する撮像素子から出力された第1及び第2の画像信号に基づく第1及び第2の画像のうちの第1の画像を予め定められた分割方向に分割することにより得た複数の分割画像の一部の第1の分割画像と、第2の画像を分割方向に分割することにより得た複数の分割画像から第1の分割画像に対応する分割領域と隣接する分割領域に対応する第2の分割画像とを前記分割方向に隣接させて配置した合焦確認に使用する表示用画像を生成し、表示領域を有し、かつ、表示領域の表面にタッチパネルが設けられた表示部のタッチパネルに対する指示体の指示領域を検知することにより、表示領域に表示される表示用画像の第1又は第2の分割画像を指示する指示操作を検知し、指示操作を検知した場合、第1及び第2の分割画像のうちの指示操作により指示された指示分割画像の少なくとも一部並びに第1及び第2の分割画像のうちの指示分割画像と予め定められた方向に隣接する隣接分割画像の少なくとも一部を含む部分画像を表示用画像から抽出し、抽出した部分画像を、表示領域における検知した指示領域とは異なる領域に表示させることを含む。従って、画像処理方法によれば、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。 In the image processing method according to the fourteenth aspect of the present invention, the subject image that has passed through the first and second regions in the photographic lens is divided into pupils to form the first and second image signals. The first image of the first and second images based on the first and second image signals output from the imaging device having the first and second pixel groups to be output is set in a predetermined division direction. A divided region corresponding to the first divided image from a plurality of divided images obtained by dividing the second image in the dividing direction and a part of the first divided image of the plurality of divided images obtained by dividing. And a second divided image corresponding to the adjacent divided area are generated adjacent to each other in the dividing direction to generate a display image used for in-focus confirmation, having a display area, and on the surface of the display area Touch panel of the display unit provided with a touch panel When the pointing operation for pointing to the first or second divided image of the display image displayed in the display area is detected by detecting the pointing area of the pointing body, and the pointing operation is detected, the first and first At least one part of the instruction divided image instructed by the instruction operation of the two divided images and at least one of the adjacent divided images adjacent to the instruction divided image of the first and second divided images in a predetermined direction. A partial image including a part is extracted from the display image, and the extracted partial image is displayed in an area different from the detected instruction area in the display area. Therefore, according to the image processing method, it is possible to make it easier to visually recognize whether or not the subject is in focus as compared with the case where the present configuration is not provided.
本発明の第15の態様に係る画像処理プログラムは、コンピュータを、本発明の第1の態様から第9の態様の何れか1つの画像処理装置における生成部、検知部及び制御部として機能させるためのものである。従って、画像処理プログラムによれば、本構成を有しない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。 An image processing program according to a fifteenth aspect of the present invention causes a computer to function as a generation unit, a detection unit, and a control unit in any one of the image processing apparatuses according to the first to ninth aspects of the present invention. belongs to. Therefore, according to the image processing program, it is possible to make it easier to visually recognize whether or not the in-focus state is achieved as compared with the case where this configuration is not provided.
本発明によれば、合焦状態にあるか否かを視覚的に認識し易くすることができる、という効果が得られる。 According to the present invention, it is possible to obtain an effect that it is possible to easily visually recognize whether or not the subject is in a focused state.
以下、添付図面に従って本発明に係る撮像装置の実施形態の一例について説明する。 Hereinafter, an example of an embodiment of an imaging device according to the present invention will be described with reference to the accompanying drawings.
[第1実施形態]
図1は、第1実施形態に係る撮像装置100の外観の一例を示す斜視図であり、図2は、図1に示す撮像装置100の背面図である。[First Embodiment]
FIG. 1 is a perspective view illustrating an example of an appearance of the
撮像装置100は、レンズ交換式カメラである。撮像装置100は、撮像装置本体200と、撮像装置本体200に交換可能に装着される交換レンズ300と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ300は、手動操作により光軸方向に移動可能なフォーカスレンズ302を有する撮影レンズ16(図4参照)を含む。また、撮像装置本体200には、ハイブリッドファインダー(登録商標)220が設けられている。ここで言うハイブリッドファインダー220とは、例えば光学ビューファインダー(以下、「OVF」という)及び電子ビューファインダー(以下、「EVF」という)が選択的に使用されるファインダーを指す。
The
交換レンズ300は、撮像装置本体200に対して交換可能に装着される。また、交換レンズ300の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング301が設けられている。フォーカスリング301の手動による回転操作に伴ってフォーカスレンズ302は、光軸方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子20(図3参照)に被写体光が結像される。
The
撮像装置本体200の前面には、ハイブリッドファインダー220に含まれるOVFのファインダー窓241が設けられている。また、撮像装置本体200の前面には、ファインダー切替えレバー(ファインダー切替え部)214が設けられている。ファインダー切替えレバー214を矢印SW方向に回動させると、OVFで視認可能な光学像とEVFで視認可能な電子像(ライブビュー画像)との間で切り換わるようになっている(後述)。なお、OVFの光軸L2は、交換レンズ300の光軸L1とは異なる光軸である。また、撮像装置本体200の上面には、主としてレリーズボタン211及び撮影モードや再生モード等の設定用のダイヤル212が設けられている。
An
撮影準備指示部及び撮影指示部としてのレリーズボタン211は、撮影準備指示状態と撮影指示状態との2段階の押圧操作が検出可能に構成されている。撮影準備指示状態とは、例えば待機位置から中間位置(半押し位置)まで押下される状態を指し、撮影指示状態とは、中間位置を超えた最終押下位置(全押し位置)まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
A
本第1実施形態に係る撮像装置100では、動作モードとして撮影モードと再生モードとがユーザの指示に応じて選択的に設定される。撮影モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン211を半押し状態にすることにより撮影条件の調整が行われ、その後、引き続き全押し状態にすると露光(撮影)が行われる。つまり、レリーズボタン211を半押し状態にすることによりAE(Automatic Exposure)機能が働いて露出状態が設定された後、AF(Auto-Focus)機能が働いて合焦制御され、レリーズボタン211を全押し状態にすると撮影が行われる。
In the
図2に示す撮像装置本体200の背面には、タッチパネル・ディスプレイ213、十字キー222、MENU/OKキー224、BACK/DISPボタン225、及びOVFのファインダー接眼部242が設けられている。
A
タッチパネル・ディスプレイ213は、液晶ディスプレイ(以下、「第1ディスプレイ」という)215及びタッチパネル216を備えている。
The
第1ディスプレイ215は、画像及び文字情報等を表示する。第1ディスプレイ215は、撮影モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像(スルー画像)の表示に用いられる。また、第1ディスプレイ215は、静止画撮影の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、第1ディスプレイ215は、再生モード時の再生画像の表示やメニュー画面等の表示にも用いられる。
The
タッチパネル216は、透過型のタッチパネルであり、第1ディスプレイ215の表示領域の表面に重ねられている。タッチパネル216は、指示体(例えば、指又はスタイラスペン)による接触を検知する。タッチパネル216は、検知結果(タッチパネル216に対する指示体による接触の有無)を示す検知結果情報を所定周期(例えば100ミリ秒)で所定の出力先(例えば、後述のCPU12(図4参照))に出力する。検知結果情報は、タッチパネル216が指示体による接触を検知した場合、タッチパネル216上の指示体による接触位置を特定可能な二次元座標(以下、「座標」という)を含み、タッチパネル12が指示体による接触を検知していない場合、座標を含まない。
The
十字キー222は、1つ又は複数のメニューの選択、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。MENU/OKキー224は、第1ディスプレイ215の画面上に1つ又は複数のメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作キーである。BACK/DISPボタン225は、選択項目など所望の対象の消去や指定内容の取消し、あるいは1つ前の操作状態に戻すときなどに使用される。
The cross key 222 functions as a multifunction key for outputting various command signals such as selection of one or a plurality of menus, zooming, frame advance, and the like. The MENU /
図3は、本第1実施形態に係る撮像装置100の本発明に係る要部機能の一例を示す機能ブロック図である。
FIG. 3 is a functional block diagram illustrating an example of main functions according to the present invention of the
一例として図3に示すように、撮像装置100は、生成部100A、表示部100B、検知部100C、制御部100D、移動部100E、及び提示部100Fを含む。生成部100Aは、合焦確認に使用する表示用画像を生成する。ここで、表示用画像とは、第1の分割画像と第2の分割画像とを予め定められた分割方向(以下、「分割方向」という)に隣接させて配置した画像を指す。第1の分割画像とは、被写体像が瞳分割されて結像される第1及び第2の画素群(後述)を有する撮像素子20(図4参照)から出力された第1及び第2の画像(後述)のうちの第1の画像を分割方向に分割して得た複数の分割画像の一部の分割画像を指す。また、第2の分割画像とは、第2の画像を分割方向に分割して得た複数の分割画像から第1の分割画像に対応する分割領域と隣接する分割領域について抽出した分割画像を指す。
As an example, as illustrated in FIG. 3, the
表示部100Bは、画像を表示する表示領域を有する。表示領域の表面にはタッチパネル216が設けられている。なお、本第1実施形態では、図2に示す表示部100Bの一例として、第1ディスプレイ215(図1及び図4参照)及び第2ディスプレイ247(図4参照)を採用している。
The
検知部100Cは、タッチパネル216に対する指示体の指示領域を検知する。また、検知部100Cは、表示部100Bの表示領域に表示用画像が表示された状態でタッチパネル216に対して行われた第1又は第2の分割画像を指示する指示操作を検知する。
The
制御部100Dは、生成部100Aにより表示用画像が生成された場合、表示部100Bに対して表示領域に表示用画像を表示させる。また、制御部100Dは、表示領域に表示用画像が表示された状態で検知部100Cにより指示操作が検知された場合、表示用画像から部分画像を抽出する。部分画像とは、指示分割画像の少なくとも一部及び隣接分割画像の少なくとも一部を含む画像を指す。指示分割画像とは、第1及び第2の分割画像のうちの指示操作により指示された分割画像を指す。隣接分割画像とは、第1及び第2の分割画像のうちの指示分割画像と予め定められた方向(例えば、視差発生方向と直交する方向のうちの特定の方向)で隣接する分割画像を指す。制御部100Dは、表示用画像から抽出した部分画像を、部分画像に含まれる指示分割画像と隣接分割画像との視差が拡張された状態で、表示部100Bの表示領域における検知部100Cにより検知された指示領域を回避した領域、すなわち、検知部100Cにより検知された指示領域とは異なる領域に表示させる。
When the display image is generated by the
検知部100Cは、指示操作を検知した場合、表示部100Bの表示領域に表示用画像が表示された状態で第1移動操作を検知する。第1移動操作とは、タッチパネル216に対する指示体の指示領域を分割方向と交差する予め定められた交差方向(以下、「交差方向」という)に移動させる操作を指す。ここで、交差方向とは、例えば、視差発生方向を指す。移動部100Eは、フォーカスレンズ302を光軸方向に移動させる。制御部100Dは、検知部100Cにより第1移動操作が検知された場合に、第1移動操作に応じてフォーカスレンズ302を光軸方向に移動させる制御を移動部100Eに対して行う。
When detecting the instruction operation, the
検知部100Cは、指示操作を検知した場合、表示部100Bの表示領域に表示用画像が表示された状態で第2移動操作を検知する。第2移動操作とは、タッチパネル216に対する指示体の指示領域を交差方向以外の方向に移動させる操作を指す。制御部100Dは、検知部100Cにより第2移動操作が検知された場合に、部分画像の抽出位置を維持する制御を行う。
When detecting the instruction operation, the
提示部100Fは、表示用画像のうちの検知部100Cにより検知された指示領域に対応する位置における第1の画像と第2の画像との視差に基づいて、第1移動操作による指示領域の移動方向を案内する案内情報を提示する。
The
図4は、第1実施形態に係る撮像装置100のハードウェア構成の一例を示す電気系ブロック図である。
FIG. 4 is an electric system block diagram illustrating an example of a hardware configuration of the
撮像装置100は、撮像装置本体200に備えられたマウント256と、マウント256に対応する交換レンズ300側のマウント346と、を含む。交換レンズ300は、マウント256にマウント346が結合されることにより撮像装置本体200に交換可能に装着される。
The
交換レンズ300は、図3に示す移動部100Eの一例であるスライド機構303及びモータ304を含む。スライド機構303は、フォーカスリング301の操作が行われることでフォーカスレンズ302を光軸L1に沿って移動させる。スライド機構303には光軸L1に沿ってスライド可能にフォーカスレンズ302が取り付けられている。また、スライド機構303にはモータ304が接続されており、スライド機構303は、モータ304の動力を受けてフォーカスレンズ302を光軸L1に沿ってスライドさせる。
The
モータ304は、マウント256,346を介して撮像装置本体200に接続されており、撮像装置本体200からの命令に従って駆動が制御される。なお、本第1実施形態では、モータ304の一例として、ステッピングモータを適用している。従って、モータ304は、撮像装置本体200からの命令によりパルス電力に同期して動作する。
The
撮像装置100は、撮影した静止画像や動画像を記録するデジタルカメラであり、カメラ全体の動作は、CPU(central processing unit:中央処理装置)12によって制御されている。撮像装置100は、操作部14、インタフェース部24、一次記憶部25、二次記憶部26、画像処理部28(図3に示す生成部100Aの一例)、スピーカ35、表示制御部36、接眼検出部37、及び外部インタフェース(I/F)39を含む。
The
CPU12、操作部14、インタフェース部24、一次記憶部25、二次記憶部26、画像処理部28、スピーカ35、表示制御部36、接眼検出部37、外部I/F39、及びタッチパネル216は、バス40を介して相互に接続されている。
The
一次記憶部25とは、揮発性のメモリを意味し、例えばRAM(Random Access Memory)を指す。二次記憶部26とは、不揮発性のメモリを意味し、例えばフラッシュメモリやHDD(Hard Disk Drive)を指す。
The
二次記憶部26は、本発明に係る画像処理プログラムの一例である表示制御プログラム50を記憶している。CPU12は、二次記憶部26から表示制御プログラム50を読み出して一次記憶部25に展開し、表示制御プログラム50が有する各プロセスを実行する。表示制御プログラム50は、検知プロセス50A、表示制御プロセス50B、及び提示プロセス50Cを有する。CPU12は、検知プロセス50Aを実行することで、図3に示す検知部100Cとして動作する。また、CPU12は、表示制御プロセス50Bを実行することで、図3に示す制御部100Dとして動作する。更に、CPU12は、提示プロセス50Cを実行することで、図3に示す提示部100Fとして動作する。
The
二次記憶部26は、合焦制御プログラム52を記憶している。CPU12は、二次記憶部26から合焦制御プログラム52を読み出して一次記憶部25に展開し、合焦制御プログラム52を実行することで、図3に示す制御部100Dとして動作する。
The
なお、ここでは表示制御プログラム50及び合焦制御プログラム52(以下、これらを区別して説明する必要がない場合は「プログラム」という)を二次記憶部26から読み出す場合を例示したが、必ずしも最初から二次記憶部26に記憶させておく必要はない。例えば、撮像装置100に接続されて使用されるSSD(Solid State Drive)、ICカード、光磁気ディスク、CD−ROMなどの任意の可搬型の記憶媒体に先ずはプログラムを記憶させておいてもよい。そして、CPU12がこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、通信回線を介して撮像装置100に接続されるコンピュータ又はサーバ装置等の外部電子計算機の記憶部にプログラムを記憶させておいてもよい。この場合、CPU12は外部電子計算機からプログラムを取得して実行する。
Here, the case where the
なお、本第1実施形態に係る撮像装置100では、オートフォーカスモード時に、CPU12が、撮像によって得られた画像のコントラスト値が最大となるようにモータ304を駆動制御することによって合焦制御を行う。また、オートフォーカスモード時に、CPU12は、撮像によって得られた画像の明るさを示す物理量であるAE情報を算出する。CPU12は、レリーズボタン211が半押し状態とされたときには、AE情報により示される画像の明るさに応じたシャッタースピード及びF値を導出する。そして、導出したシャッタースピード及びF値となるように関係各部を制御することによって露出状態の設定を行う。
In the
操作部14は、撮像装置100に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部14によって受け付けられた各種指示は操作信号としてCPU12に出力され、CPU12は、操作部14から入力された操作信号に応じた処理を実行する。
The
操作部14は、レリーズボタン211、撮影モード等を選択するダイヤル212、ファインダー切替えレバー214、十字キー222、MENU/OKキー224及びBACK/DISPボタン225を含む。
The
撮像装置本体200は、位置検出部23を含む。位置検出部23は、CPU12に接続されている。位置検出部23は、マウント256,346を介してフォーカスリング301に接続されており、フォーカスリング301の回転角度を検出し、検出結果である回転角度を示す回転角度情報をCPU12に出力する。CPU12は、位置検出部23から入力された回転角度情報に応じた処理を実行する。
The imaging apparatus
撮影モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズ302を含む撮影レンズ16及びシャッタ18を介してカラーの撮像素子(一例としてCMOSセンサ)20の受光面に結像される。撮像素子20に蓄積された信号電荷は、デバイス制御部22から加えられる読出し信号によって信号電荷(電圧)に応じたデジタル信号として順次読み出される。撮像素子20は、いわゆる電子シャッタ機能を有しており、電子シャッタ機能を働かせることで、読出し信号のタイミングによって各フォトセンサの電荷蓄積時間(シャッタスピード)を制御する。なお、本第1実施形態に係る撮像素子20は、CMOS型のイメージセンサであるが、これに限らず、CCDイメージセンサでもよい。
When the photographing mode is set, the image light indicating the subject is incident on the light receiving surface of the color image sensor (for example, a CMOS sensor) 20 via the photographing
撮像素子20は、一例として図5に示すカラーフィルタ21を備えている。カラーフィルタ21は、輝度信号を得るために最も寄与するG(緑)に対応するGフィルタG、R(赤)に対応するRフィルタR及びB(青)に対応するBフィルタを含む。図5に示す例では、撮像素子20の画素数の一例として“4896×3265”画素を採用しており、これらの画素に対してGフィルタ、Rフィルタ及びBフィルタが行方向(水平方向)及び列方向(垂直方向)の各々に所定の周期性で配置されている。そのため、撮像装置100は、R,G,B信号の同時化(補間)処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理である。例えば、RGB3色のカラーフィルタからなる撮像素子の場合、同時化処理とは、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する処理を意味する。
The
撮像素子20は、第1の画素L、第2の画素R及び通常画素N(図6参照)を含む。撮像装置100は、位相差AF機能を働かせることにより、第1の画素Lの画素からの信号出力値(以下、画素値)と第2の画素Rの画素値とに基づいて位相のずれ量を検出する。そして、検出した位相のずれ量に基づいて撮影レンズの焦点位置を調整する。
The
一例として図6に示すように、撮像素子20は、第1の画素行150、第2の画素行152及び第3の画素行154を含む。第1の画素行150は、同一行内に第1の画素組を含み、第1の画素組は、行方向に複数の通常画素N(図6に示す例では、4つの通常画素N)を介在させて周期的に配置されている。第1の画素組とは、行方向に第1の並び方(図中正面視左側に第1の画素Lが位置し、図中正面視右側に第2の画素Rが位置する並び方)で隣接する一対の第1の画素L及び第2の画素Rを指す。
As an example, as illustrated in FIG. 6, the
第2の画素行152は、同一行内に第2の画素組を含み、第2の画素組は、行方向に複数の通常画素N(図6に示す例では、4つの通常画素N)を介在させて周期的に配置されている。第2の画素組とは、行方向に第2の並び方(第1の並び方と逆の並び方)で隣接する一対の第1の画素L及び第2の画素Rを指す。第3の画素行154は、同一行内に複数の通常画素Nが隣接して配置されている。
The
第1の画素行150及び第2の画素行152は、列方向に複数行の第3の画素行154(本第1実施形態では、列方向に所定周期で行数が異なる第3の画素行154)を介在させて交互に配置されている。
The
第1の画素Lは、一例として図7に示すように、遮光部材20Aによって受光面における行方向の左半分(受光面から被写体を臨む場合の左側(換言すると、被写体から受光面を臨む場合の右側))が遮光された画素である。第2の画素Rは、一例として図7に示すように、遮光部材20Bによって受光面における行方向の右半分(受光面から被写体を臨む場合の右側(換言すると、被写体から受光面を臨む場合の左側))が遮光された画素である。なお、以下では、第1の画素L及び第2の画素Rを区別して説明する必要がない場合は「位相差画素」と称する。
As an example, as shown in FIG. 7, the first pixel L has a left half of the light receiving surface in the row direction by the
撮影レンズ16の射出瞳を通過する光束は、左領域通過光及び右領域通過光に大別される。左領域通過光とは、撮影レンズ16の射出瞳を通過する光束のうちの左半分の光束を指し、右領域通過光とは、撮影レンズ16の射出瞳を通過する光束のうちの右半分の光束を指す。撮影レンズ16の射出瞳を通過する光束は、瞳分割部として機能するマイクロレンズ19及び遮光部材20A,20Bにより左右に分割され、第1の画素Lが左領域通過光を受光し、第2の画素Rが右領域通過光を受光する。この結果、左領域通過光に対応する被写体像及び右領域通過光に対応する被写体像は、視差が異なる視差画像(後述する左眼画像及び右眼画像)として取得される。なお、以下では、遮光部材20A,20Bを区別して説明する必要がない場合は符号を付さずに「遮光部材」と称する。
The light flux that passes through the exit pupil of the
撮像素子20は、第1の画素群、第2の画素群及び第3の画素群に分類される。第1の画素群とは、一例として図6に示すように、行列状に配置された複数の第1の画素Lを指す。第2の画素群とは、一例として図6に示すように、行列状に配置された複数の第2の画素Rを指す。第3の画素群とは、一例として図6に示す複数の通常画素Nを指す。ここで、通常画素Nとは、位相差画素以外の画素(例えば遮光部材20A,20Bが設けられていない画素)を指す。なお、以下では、第1の画素群から出力されるRAW画像を「第1の画像」と称し、第2の画素群から出力されるRAW画像を「第2の画像」と称し、第3の画素群から出力されるRAW画像を「第3の画像」と称する。また、以下では、第1〜第3の画像を区別して説明する必要がない場合、「RAW画像」と称する。
The
図4に戻って、撮像素子20は、第1の画素群から第1の画像(各第1の画素Lの画素値を示すデジタル信号)を出力し、第2の画素群から第2の画像(各第2の画素Rの画素値を示すデジタル信号)を出力する。また、撮像素子20は、第3の画素群から第3の画像(各通常画素の画素値を示すデジタル信号)を出力する。なお、第3の画素群から出力される第3の画像は有彩色画像であり、例えば、通常画素Nの配列と同じカラー配列のカラー画像である。撮像素子20から出力された第1の画像、第2の画像、及び第3の画像は、インタフェース部24を介して一次記憶部25のRAW画像記憶領域(図示省略)に一時記憶(上書き保存)される。
Returning to FIG. 4, the
画像処理部28は、一次記憶部25に記憶されている第1〜第3の画像に対して各種の画像処理を施す。画像処理部28は、画像処理に係る複数の機能の回路を1つにまとめた集積回路であるASIC(Application Specific Integrated Circuit)により実現される。但し、ハードウェア構成はこれに限定されるものではなく、例えばプログラマブルロジックデバイスであってもよいし、CPU、ROM及びRAMを含むコンピュータなどの他のハードウェア構成であってもよい。
The
ハイブリッドファインダー220は、電子像を表示する液晶ディスプレイ(以下、「第2ディスプレイ」という)247を有する。
The
表示制御部36は、第1ディスプレイ215及び第2ディスプレイ247に接続されており、第1ディスプレイ215及び第2ディスプレイ247を選択的に制御することで第1ディスプレイ215及び第2ディスプレイ247に対して画像を選択的に表示させる。なお、以下では、第1ディスプレイ215及び第2ディスプレイ247を区別して説明する必要がない場合は「表示装置」と称する。
The
なお、本第1実施形態に係る撮像装置100は、ダイヤル212(フォーカスモード切替え部)によりマニュアルフォーカスモードとオートフォーカスモードとを切り替え可能に構成されている。何れかのフォーカスモードが選択されると、表示制御部36は、スプリットイメージが合成されたライブビュー画像を表示装置に表示させる。また、ダイヤル212によりオートフォーカスモードが選択されると、CPU12は、位相差検出部及び自動焦点調整部として動作する。位相差検出部は、第1の画素群から出力された第1の画像と第2の画素群から出力された第2の画像との位相差を検出する。自動焦点調整部は、検出された位相差に基づいてフォーカスレンズ302のデフォーカス量をゼロにするように、デバイス制御部22からマウント256,346を介してモータ304を制御し、フォーカスレンズ302を合焦位置に移動させる。なお、上記の「デフォーカス量」とは、例えば第1の画像及び第2の画像の位相ずれ量を指す。
Note that the
接眼検出部37は、ユーザ(例えば撮影者)がファインダー接眼部242を覗き込んだことを検出し、検出結果をCPU12に出力する。従って、CPU12は、接眼検出部37での検出結果に基づいてファインダー接眼部242が使用されているか否かを把握することができる。
The
外部I/F39は、LAN(Local Area Network)やインターネットなどの通信網に接続され、通信網を介して、外部装置(例えばプリンタ)とCPU12との間の各種情報の送受信を司る。従って、撮像装置100は、外部装置としてプリンタが接続されている場合、撮影した静止画像をプリンタに出力して印刷させることができる。また、撮像装置100は、外部装置としてディスプレイが接続されている場合は、撮影した静止画像やライブビュー画像をディスプレイに出力して表示させることができる。
The external I /
図8は、第1実施形態に係る撮像装置100の要部機能の一例を示す機能ブロック図である。なお、図4に示すブロック図と共通する部分には同一の符号が付されている。
FIG. 8 is a functional block diagram illustrating an example of main functions of the
通常処理部30及びスプリットイメージ処理部32は、それぞれWBゲイン部、ガンマ補正部及び同時化処理部を有し(図示省略)、一次記憶部25に一時記憶された元のデジタル信号(RAW画像)に対して各処理部で順次信号処理を行う。すなわち、WBゲイン部は、R,G,B信号のゲインを調整することによりホワイトバランス(WB)を実行する。ガンマ補正部は、WBゲイン部でWBが実行された各R,G,B信号をガンマ補正する。同時化処理部は、撮像素子20のカラーフィルタの配列に対応した色補間処理を行い、同時化したR,G,B信号を生成する。なお、通常処理部30及びスプリットイメージ処理部32は、撮像素子20により1画面分のRAW画像が取得される毎に、そのRAW画像に対して並列に画像処理を行う。
The
通常処理部30は、インタフェース部24からR,G,BのRAW画像が入力され、第3の画素群のR,G,B画素を、第1の画素群及び第2の画素群のうちの同色の周辺画素(例えば隣接するG画素)により補間することで、有彩色の通常画像を生成する。
The
一方、スプリットイメージ処理部32は、一次記憶部25に一旦記憶されたRAW画像から第1の画素群及び第2の画素群のG信号(第1及び第2の画像)を抽出し、第1の画素群及び第2の画素群のG信号に基づいて無彩色のスプリットイメージを生成する。RAW画像から抽出される第1の画素群及び第2の画素群の各々に相当する画素群は、上述したようにGフィルタの画素による画素群である。従って、スプリットイメージ処理部32は、第1の画素群及び第2の画素群の各々に相当する画素群のG信号に基づいて、無彩色の左の視差画像及び無彩色の右の視差画像を生成することができる。なお、以下では、説明の便宜上、上記の「無彩色の左の視差画像」を「左眼画像」と称し、上記の「無彩色の右の視差画像」を「右眼画像」と称する。
On the other hand, the split
スプリットイメージは、一例として図9に示すように、表示用左眼画像と表示用右眼画像とを所定方向(ここでは一例として視差発生方向と直交する方向)に隣接させて配置した画像である。表示用左眼画像とは、左眼画像を所定方向に4分割して得た4つの分割画像のうちの一部の分割画像(図9に示す例では、正面視上から1番目及び3番目の分割画像)を指す。表示用右眼画像とは、右眼画像を所定方向に4分割して得た4つの分割画像から表示用左眼画像に対応する分割領域と隣接する分割領域について抽出した分割画像(図9に示す例では、正面視上から2番目及び4番目の分割画像)を指す。 As an example, the split image is an image in which the display left-eye image and the display right-eye image are arranged adjacent to each other in a predetermined direction (here, a direction orthogonal to the parallax generation direction). . The left eye image for display is a partial image of four divided images obtained by dividing the left eye image into four in a predetermined direction (in the example shown in FIG. 9, the first and third images from the front view). Divided image). The right-eye image for display is a divided image extracted from four divided images obtained by dividing the right-eye image into four in a predetermined direction with respect to a divided region adjacent to the divided region corresponding to the left-eye image for display (see FIG. 9). In the example shown, it indicates the second and fourth divided images from the front view).
一例として図10に示すように、スプリットイメージは、表示装置の画面中央部の矩形枠内に表示され、スプリットイメージの外周領域に通常画像が表示される。図10に示す例では、表示用右眼画像と表示用左眼画像とが所定方向に交互に2つずつ配置されたスプリットイメージが示されている。スプリットイメージに含まれる表示用左眼画像及び表示用右眼画像は、合焦状態に応じて視差発生方向にずれる。また、図10に示す例では、人物の周辺領域(例えば、木)に対してピントが合っていて人物に対してピントがあっていない状態が示されている。なお、以下では、説明の便宜上、表示用左眼画像及び表示用右眼画像を区別して説明する必要がない場合、「表示用視差画像」と称する。 As an example, as shown in FIG. 10, the split image is displayed in a rectangular frame at the center of the screen of the display device, and a normal image is displayed in the outer peripheral area of the split image. In the example illustrated in FIG. 10, a split image in which two display right-eye images and two display left-eye images are alternately arranged in a predetermined direction is illustrated. The left eye image for display and the right eye image for display included in the split image are shifted in the parallax generation direction according to the in-focus state. Further, the example shown in FIG. 10 shows a state in which a person's peripheral area (for example, a tree) is in focus and the person is not in focus. In the following, for convenience of explanation, when it is not necessary to distinguish between the display left-eye image and the display right-eye image, they are referred to as “display parallax images”.
なお、本第1実施形態では、通常画像の一部の画像に代えて、スプリットイメージを嵌め込むことにより通常画像にスプリットイメージを合成するようにしているが、これに限らず、例えば、通常画像の上にスプリットイメージを重畳させる合成方法であってもよい。また、スプリットイメージを重畳する際に、スプリットイメージが重畳される通常画像の一部の画像とスプリットイメージとの透過率を適宜調整して重畳させる合成方法であってもよい。これにより、連続的に撮影している被写体像を示すライブビュー画像が表示装置の画面上に表示されるが、表示されるライブビュー画像は、通常画像の表示領域内にスプリットイメージが表示された画像となる。 In the first embodiment, the split image is combined with the normal image by fitting the split image in place of a part of the normal image. However, the present invention is not limited to this. It is also possible to use a synthesis method in which a split image is superimposed on the image. In addition, when the split image is superimposed, a combining method may be used in which the transmittance of a part of the normal image on which the split image is superimposed and the split image are appropriately adjusted and superimposed. As a result, a live view image showing a subject image continuously shot is displayed on the screen of the display device, but the displayed live view image has a split image displayed in the normal image display area. It becomes an image.
一例として図8に示すように、ハイブリッドファインダー220は、OVF240及びEVF248を含む。OVF240は、対物レンズ244と接眼レンズ246とを有する逆ガリレオ式ファインダーであり、EVF248は、第2ディスプレイ247、プリズム245及び接眼レンズ246を有する。
As an example, as shown in FIG. 8, the
また、対物レンズ244の前方には、液晶シャッタ243が配設されており、液晶シャッタ243は、EVF248を使用する際に、対物レンズ244に光学像が入射しないように遮光する。
Further, a
プリズム245は、第2ディスプレイ247に表示される電子像又は各種の情報を反射させて接眼レンズ246に導き、かつ、光学像と第2ディスプレイ247に表示される情報(電子像、各種の情報)とを合成する。
The
ここで、ファインダー切替えレバー214を図1に示す矢印SW方向に回動させると、回動させる毎にOVF240により光学像を視認することができるOVFモードと、EVF248により電子像を視認することができるEVFモードとが交互に切り替えられる。
Here, when the
表示制御部36は、OVFモードの場合、液晶シャッタ243が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、第2ディスプレイ247には、スプリットイメージのみを表示させる。これにより、光学像の一部にスプリットイメージが重畳されたファインダー像を表示させることができる。
In the OVF mode, the
また、表示制御部36は、EVFモードの場合、液晶シャッタ243が遮光状態になるように制御し、接眼部から第2ディスプレイ247に表示される電子像のみが視認できるようにする。なお、第2ディスプレイ247には、第1ディスプレイ215に出力されるスプリットイメージが合成された画像データと同等の画像データが入力される。これにより、第2ディスプレイ247は、第1ディスプレイ215と同様に通常画像の一部にスプリットイメージが合成された電子像を表示することができる。
In the EVF mode, the
次に、本第1実施形態に係る撮像装置100の作用について説明する。先ず、マニュアルフォーカスモード時に画像処理部28によって行われる画像生成処理について、図11を参照して説明する。なお、以下では、画像処理部28が画像生成処理を行う場合を例示するが、本発明はこれに限定されるものではなく、例えばCPU12が画像生成処理プログラムを実行することにより撮像装置100で画像生成処理が行われるようにしてもよい。
Next, the operation of the
図11に示す画像生成処理では、先ず、ステップ400で、画像処理部28は、一次記憶部25のRAW画像記憶領域から第1〜第3の画像を取得し、その後、ステップ402へ移行する。
In the image generation process illustrated in FIG. 11, first, in
ステップ402で、画像処理部28は、ステップ400で取得した第1及び第2の画像に基づく左眼画像及び右眼画像を生成し、生成した左眼画像及び右眼画像を一次記憶部25の視差画像記憶領域(図示省略)に記憶(上書き保存)する。なお、本第1実施形態では、左眼画像は、第1の画像における画素毎に対して所定処理が施された(例えば、ゲインが調整された)画像を指し、右眼画像は、第2の画像における画素毎に対して所定処理が施された第2の画像を指す。従って、左眼画像に含まれる全画素の位置(座標)は第1の画像に含まれる全画素の位置と同一であり、右眼画像に含まれる全画素の位置は第2の画像に含まれる全画素の位置と同一である。
In
次のステップ404で、画像処理部28は、ステップ400で取得した第3の画像に基づいて通常画像(本発明の撮影画像の一例)を生成し、ステップ402で生成した左眼画像及び右眼画像に基づいてスプリットイメージを生成する。そして、生成した通常画像及びスプリットイメージを表示制御部36に出力し、その後、ステップ406に移行する。表示制御部36は、通常画像及びスプリットイメージが入力されると、表示装置に対して通常画像を動画像として連続して表示させ、且つ、通常画像の表示領域内にスプリットイメージを動画像として連続して表示させる制御を行う。これに応じて、表示装置は、一例として図10に示すように、ライブビュー画像を表示する。
In the
ステップ406で、画像処理部28は、ステップ404で生成したスプリットイメージを一次記憶部25のスプリットイメージ記憶領域(図示省略)に記憶(上書き保存)し、その後、本画像生成処理を終了する。
In
次に、タッチパネル216から検知結果情報が入力された場合にCPU12が表示制御プログラム50を実行することで撮像装置100によって行われる表示制御処理について、図12を参照して説明する。なお、表示制御処理の説明に供する図13〜図18に示す例では、説明の便宜上、ライブビュー画像として柱画像80及び背景画像82が第1ディスプレイ215に表示された状態について説明する。柱画像80とは、背景色とは異なる色(例えば、緑色)の主要被写体である縦長柱を撮像装置100により正面から撮影して得た画像を指し、背景画像82とは、縦長柱の背景(例えば、白色の背景)を示す画像を指す。
Next, display control processing performed by the
先ず、ステップ410で、検知部100Cは、タッチパネル216から入力された検知結果情報に基づいて、タッチパネル216に指示体が接触しているか否かを判定する。ステップ410において、タッチパネル216に指示体が接触している場合は、判定が肯定されて、ステップ412へ移行する。ステップ410において、タッチパネル216に指示体が接触していない場合は、判定が否定されてステップ436へ移行する。
First, in
ステップ412で、検知部100Cは、タッチパネル216に対して指示操作が行われたことを示す指示操作フラグがオフか否かを判定する。ステップ412において、指示操作フラグがオフの場合は、判定が肯定されて、ステップ414へ移行する。ステップ412において、指示操作フラグがオンの場合は、判定が否定されて、ステップ420へ移行する。
In
ここで、指示操作とは、一例として図13に示すように、表示領域215Aにスプリットイメージが表示された状態で指示対象領域216Aに指示体が接触することで、表示用右眼画像又は表示用左眼画像を指示分割画像として指示する操作を指す。表示領域215Aとは、第1ディスプレイ215の表示領域のうちのスプリットイメージが表示される領域を指す。指示対象領域216Aとは、タッチパネル216の被接触対象領域(例えば、タッチパネル216における感度を有する面)のうちの表示領域215Aに対応する領域を指す。図13に示す例では、4つの表示用視差画像が視差発生方向と直交する方向に隣接して配置されたスプリットイメージに含まれる図中正面視上下の表示用左眼画像のうち、下の表示用左眼画像が指示操作によって指示分割画像として指示された状態が示されている。一例として図13に示すように、指示体の指示領域62が複数の表示用視差画像(図13に示す例では、表示用左眼画像及び表示用右眼画像の双方)に跨っている場合、中心点64が属する表示用視差画像が指示分割画像として指示される。また、中心点64が表示用視差画像間の境界線上に存在する場合、境界線よりも図13の正面視下側の表示用分割画像が指示分割画像として指示される。なお、中心点64とは、指示領域62に外接する矩形枠68の中心点を指す。
Here, for example, as shown in FIG. 13, the instruction operation is a right eye image for display or display when the indicator touches the
なお、ステップ412において判定が否定される場合とは、例えば、指示操作に継続して(指示操作が行われてからタッチパネル216に対して指示体が接触していない期間を介さずに)タッチパネル216に対して何らかの操作が行われている場合を意味する。ここで言う「何らかの操作」の一例としては、第1移動操作又は第2移動操作が例示できる。第1移動操作とは、一例として図14に示すように、指示領域62を視差発生方向(図14に示す例では、矢印A方向又は矢印B方向)に移動させる操作を指す。第2移動操作とは、指示領域62を視差発生方向以外の方向(図14に示す例では、矢印C方向又は矢印D方向)に移動させる操作を指す。
The case where the determination is negative in
ステップ414で、検知部100Cは、タッチパネル216から入力された検知結果情報に基づいて、タッチパネル216に対して指示操作が行われたか否かを判定する。ステップ414において、タッチパネル216に対して指示操作が行われた場合は、判定が肯定されて、ステップ416へ移行する。ステップ414において、タッチパネル216に対して指示操作が行われていない場合は、判定が否定されて、表示制御処理を終了する。
In
なお、ステップ414において判定が否定される場合とは、例えば、タッチパネル216の被接触対象領域における図14に示す指示対象領域216A以外の領域(例えば、通常画像の表示領域に対応する領域)に指示体が接触した場合を指す。
The case where the determination is negative in
ステップ416で、検知部100Cは、指示操作フラグをオンにし、その後、ステップ418へ移行する。
In
ステップ418で、制御部100Dは、指示座標を一次記憶部25の指示座標記憶領域(図示省略)に記憶(上書き保存)し、その後、ステップ420へ移行する。ここで、指示座標とは、中心点64(図13参照)の座標を指す。
In
ステップ420で、制御部100Dは、一次記憶部25の視差画像記憶領域に記憶されている左眼画像及び右眼画像から、一対の視差算出用画像を取得し、その後、ステップ422へ移行する。ここで、一対の視差算出用画像とは、一例として図15Aに示す矩形左眼画像66A、及び一例として図15Bに示す矩形右眼画像66Bを指す。矩形左眼画像66A及び矩形右眼画像66Bは何れも矩形枠68(一例として図15A及び図15Bに示す破線矩形枠)によって切り出された画像である。すなわち、矩形左眼画像66Aとは、一例として図15Aに示すように、左眼画像における矩形枠68内の全領域の画像を指し、矩形右眼画像66Bとは、一例として図15Bに示すように、右眼画像における矩形枠68内の全領域の画像を指す。
In
ステップ422で、制御部100Dは、画像間視差Δxを算出し、その後、ステップ424へ移行する。ここで、画像間視差Δxとは、ステップ420で取得した一対の視差算出用画像の視差を指す。
In
ステップ424で、制御部100Dは、一次記憶部25のスプリットイメージ記憶領域に記憶されているスプリットイメージから、一例として図13に示す矩形画像70を取得し、その後、ステップ426へ移行する。ここで、矩形画像70とは、一例として図13に示すように、表示用視差画像から矩形枠68によって切り出された画像を指す。
In
ステップ426で、制御部100Dは、ステップ424で取得した矩形画像70の明暗差(ここでは一例として矩形画像70に含まれる全画素における画素値の標準偏差)を算出し、その後、ステップ428へ移行する。
In
ステップ428で、制御部100Dは、ステップ426で算出した明暗差が閾値以上か否かを判定する。ステップ428において、ステップ426で算出した明暗差が閾値以上の場合は、判定が肯定されて、ステップ430へ移行する。ステップ428において、ステップ426で算出した明暗差が閾値未満の場合は、判定が否定されて、表示制御処理を終了する。明暗差が閾値未満の場合とは、例えば、図16に示すように、柱画像80及び背景画像82が表示された状態で、指示対象領域216Aにおける背景画像82に対応する領域に指示領域62が存在する場合を指す。
In
ステップ430で、制御部100Dは、一次記憶部25の指示座標記憶領域に記憶されている指示座標に基づいて、一次記憶部25のスプリットイメージ記憶領域に記憶されているスプリットイメージから一例として図17及び図18に示す部分画像72を特定する。そして、特定した部分画像をスプリットイメージから抽出し、その後、ステップ432へ移行する。
In
部分画像72とは、一例として図17及び図18に示すように、矩形枠74(図17及び図18に示す破線矩形枠)内の全領域の画像を指す。矩形枠74は、点76を中心とした矩形枠である。矩形枠74の一辺の長さは、表示用視差画像の短辺の長さ(表示用視差画像における視差発生方向と直交する方向の一辺の長さ)の2倍である。点76は、中心点64から予め定められた方向に隣接する境界線に下ろした垂線の足である。ここで、境界線とは、表示用視差画像間の境界線を指す。予め定められた方向とは、一例として図17に示すように、図中正面視上下方向に配置された4つの表示用視差画像のうち図中正面視最上段の表示用右眼画像以外の表示用視差画像が指示分割画像として指示された場合、図中正面視上方向(矢印E方向)を指す。また、予め定められた方向とは、一例として図18に示すように、4つの表示用視差画像のうち図中正面視最上段の表示用視差画像が指示分割画像として指示された場合、図中正面視下方向(矢印F方向)を指す。従って、部分画像72とは、矩形枠74内の全領域に含まれる隣接した状態(境界線を介して接触した状態)の表示用右眼画像の一部及び表示用左眼画像の一部を意味する。なお、図17及び図18に示す例では、中心点64が境界線上にない場合が例示されているが、中心点64が境界線上に存在する場合、矩形枠74に代えて、中心点64を中心とした矩形枠(矩形枠74と同じ大きさの矩形枠)により部分画像72を特定すればよい。
As an example, the
ステップ432で、制御部100Dは、一例として図17に示すように、ステップ430で抽出した部分画像72の視差が拡張された視差拡張画像75を、指示領域62を回避した特定領域76に表示(例えば、重畳表示)させ、その後、ステップ434へ移行する。
In
一例として図17に示すように、視差拡張画像75は、矩形状のウィンドウ(矩形枠74と同一の大きさのウィンドウ)内に表示され、視差拡張指示画像75A及び視差拡張隣接画像75Bを有する。視差拡張指示画像75Aは、部分画像72に含まれる指示分割画像を視差発生方向(部分画像72に含まれる隣接分割画像との視差が拡張される方向)へ移動させた画像である。すなわち、視差拡張指示画像75Aは、部分画像72に含まれる指示分割画像(図17に示す例では、表示用左眼画像)を図中正面視左方向へkΔx(ステップ422で算出した画像間視差Δxをk倍した値)だけ移動させた画像である。視差拡張隣接画像75Bは、部分画像72に含まれる隣接分割画像を視差発生方向(部分画像72に含まれる指示分割画像との視差が拡張される方向)へ移動させた画像である。すなわち、視差拡張隣接画像75Bは、部分画像72に含まれる隣接分割画像(指示分割画像である表示用左眼画像に隣接する表示用右眼画像)を図中正面視右方向へkΔxだけ移動させた画像である。
As an example, as illustrated in FIG. 17, the
特定領域76とは、表示領域215Aにおける視差発生方向の中央部78(図17参照)に中心点64が含まれる場合、ディスプレイ両端部79のうちの一方の端部を指す。ディスプレイ両端部79とは、第1ディスプレイ215の表示領域における視差発生方向の両端部(視差発生方向における表示領域215Aの両側の領域)を指す。また、特定領域76とは、スプリットイメージ両端部81のうちの一方の端部に中心点64が含まれる場合、ディスプレイ両端部79のうちの中心点64から遠い方の端部を指す。スプリットイメージ両端部81とは、表示領域215Aにおける視差発生方向の両端部(視差発生方向における中央部78の両側の領域)を指す。なお、図17に示す例では、表示領域215Aにおける視差発生方向の中央部78よりも図中正面視左側の領域に中心点64が属しているので、表示領域215Aよりも図中正面視右側の通常画像内に、視差拡張画像75が表示されている。
The
また、図17に示す例では、視差拡張画像75に含まれる画像の輪郭(例えば、視差拡張指示画像75A及び視差拡張隣接画像75Bにおける所定値以上の高周波成分の領域)が画像間視差Δxに応じた強調度で強調表示されている。ここで、強調表示とは、例えば、輪郭線を所定値以上の濃度で表示することを指す。視差拡張画像75に含まれる画像の輪郭とは、例えば、視差拡張指示画像75Aに含まれる柱画像80の輪郭及び視差拡張隣接画像75Bに含まれる柱画像80の輪郭を指す。画像間視差Δxに応じた強調度とは、例えば、画像間視差Δxが小さいほど大きくなる強調度(例えば、輪郭線の濃度)を指す。なお、視差拡張画像75に含まれる画像の調整は、輪郭の強調表示に限定されるものではなく、視差拡張画像75を画像間視差Δxに応じた拡大率(例えば、画像間視差Δxが小さいほど大きくなる拡大率)で拡大させてもよい。また、視差拡張画像75の彩度を画像間視差Δxに応じた彩度(例えば、画像間視差Δxが小さいほど高くなる彩度)に調整してもよい。また、視差拡張画像75に含まれる画像の輪郭の強調表示、視差拡張画像75の拡大表示、及び視差拡張画像75の彩度の調整の少なくとも2つの画像調整を組み合わせてもよい。
In the example illustrated in FIG. 17, the contour of the image included in the parallax extension image 75 (for example, a region of a high frequency component equal to or greater than a predetermined value in the parallax
ステップ434で、提示部100Fは、ステップ422で算出した画像間視差に応じた案内情報を視差拡張画像75に隣接させて表示領域215Aに表示させ、その後、表示制御処理を終了する。
In
ここで、案内情報とは、非合焦状態から脱するために(合焦状態にするために)第1移動操作により指示領域62を移動させる方向を案内する情報を意味し、例えば、図19Aに示す矢印83を指す。矢印83は、第1移動操作により指示領域62を移動させる方向として推奨する方向を指し示している。矢印83が指し示す方向に第1移動操作が行われると、後述の合焦制御処理により非合焦状態から合焦状態へ遷移し、これに伴って、スプリットイメージが一例として図19Aに示す表示態様から一例として図19Bに示す表示態様へ変化する。図19Aに示す例では、指示対象領域216Aのうちの表示用左眼画像に対応する領域に指示体84が接触しているので(表示用左眼画像が指示分割画像として指示されているので)、矢印83は視差発生方向とは逆方向である図中正面視右方向を指し示している。逆に、指示対象領域216Aのうちの表示用右眼画像に対応する領域に指示体84が接触している場合は、矢印83が指し示す方向と逆方向を指し示す矢印(図示省略)が案内情報として表示される。
Here, the guidance information means information for guiding the direction in which the
ステップ436で、検知部100Cは、指示操作フラグがオンか否かを判定する。ステップ436において、指示操作フラグがオンの場合は、判定が肯定されて、ステップ438へ移行する。ステップ436において、指示操作フラグがオフの場合は、判定が否定されて、表示制御処理を終了する。
In
ステップ438で、検知部100Cは、指示操作フラグをオフにし、その後、表示制御処理を終了する。
In
次に、タッチパネル216から検知結果情報が入力された場合にCPU12が合焦制御プログラム52を実行することで撮像装置100によって行われる合焦制御処理について、図20を参照して説明する。
Next, focusing control processing performed by the
先ず、ステップ450で、制御部100Dは、指示操作フラグがオンか否かを判定する。ステップ450において、指示操作フラグがオンの場合は、判定が肯定されて、ステップ452へ移行する。ステップ450において、指示操作フラグがオフの場合は、判定が否定されて、合焦制御処理を終了する。
First, in
ステップ452で、制御部100Dは、タッチパネル216から入力された検知結果情報に基づいて、タッチパネル216に対して第1移動操作が行われたか否かを判定する。ステップ452において、タッチパネル216に対して第1移動操作が行われた場合は、判定が肯定されて、ステップ454へ移行する。ステップ452において、タッチパネル216に対して第1移動操作が行われていない場合は、判定が否定されて、ステップ456へ移行する。
In
ステップ454で、制御部100Dは、第1移動操作に応じて合焦制御を行い、その後、ステップ456へ移行する。ここで、合焦制御とは、中心点64が一例として図14に示す矢印A又はB方向へ移動することで、フォーカスレンズ302を、光軸方向における中心点64の移動方向に対応する方向へ、中心点64の移動量に対応するレンズ移動量で移動させる制御を指す。
In
ステップ456で、制御部100Dは、指示操作フラグがオフか否かを判定する。ステップ456において、指示操作フラグがオンの場合は、判定が否定されて、ステップ452へ移行する。ステップ456において、指示操作フラグがオフの場合は、判定が肯定されて、合焦制御処理を終了する。
In
以上説明したように、撮像装置100では、スプリットイメージが表示領域215Aに表示された状態で指示操作が検知された場合、指示分割画像及び隣接分割画像を含む部分画像72(図17参照)がスプリットイメージから抽出される。そして、抽出された部分画像72の視差が拡張された画像である視差拡張画像75(図17参照)が特定領域76に表示される。従って、撮像装置100は、視差拡張画像75が特定領域76に表示されない場合と比べ、合焦状態にあるか否かを視覚的に認識し易くすることができる。
As described above, in the
また、撮像装置100では、スプリットイメージが表示された状態で指示操作が検知された場合に視差拡張画像75を表示させる制御が、指示操作に伴って検知された指示領域62に対応する位置の矩形画像70内の明暗差が閾値未満の場合に行われない。従って、撮像装置100は、視差拡張画像75を特定領域76に表示したとしても合焦状態にあるか否かを視覚的に認識し難い場合に、視差拡張画像75が特定領域76に表示されることを抑制することができる。
Further, in the
また、撮像装置100では、中心点64(図17参照)が表示領域215Aの中央部78に含まれる場合、ディスプレイ両端部79(図17参照)のうちの一方の端部に視差拡張画像75が表示される。従って、撮像装置100は、タッチパネル216における表示領域215Aの中央部78に対応する領域に接触している指示体が形成する死角によって視差拡張画像75が視認し難くなることを抑制することができる。
In the
また、撮像装置100では、中心点64が表示領域215Aにおける視差発生方向の両端部のうちの一端部に含まれる場合、ディスプレイ両端部79のうちの中心点64から遠い方の端部である特定領域76に視差拡張画像75が表示される。従って、撮像装置100は、タッチパネル216における表示領域215Aの両端部のうちの一方の端部に対応する領域に接触している指示体が形成する死角によって視差拡張画像75が視認し難くなることを抑制することができる。しかも、ディスプレイ両端部79は表示領域215A以外の領域であるので、視差拡張画像75が表示されることによってスプリットイメージが視認し難くなることを抑制することができる。
Further, in the
また、撮像装置100では、視差拡張画像75が、画像間視差Δxに応じて定められた拡大率、彩度、及び輪郭強調度の少なくとも1つに従って調整される。従って、撮像装置100は、視差拡張画像75の視認性を良好にすることができる。
Further, in the
また、撮像装置100では、第1移動操作が検知された場合に、第1移動操作に応じてフォーカスレンズ302を光軸方向に移動させる制御が行われる。従って、撮像装置100は、本構成を有しない場合と比べ、フォーカスレンズ302を合焦位置に容易に移動させることができる。
Further, in the
また、撮像装置100では、第2移動操作が検知された場合(図12のステップ412で否定判定された場合)、部分画像72の抽出位置が維持される。従って、撮像装置100は、ユーザが意図しない方向に指示領域62がずれることに起因して合焦対象領域以外の領域の画像が部分画像72として抽出されることを抑制することができる。
Further, in the
また、撮像装置100では、画像間視差Δxに基づいて、第1移動操作による指示領域62の移動方向を案内する案内情報として矢印83(図19A参照)が表示される。従って、撮像装置100は、案内情報を表示しない場合と比べ、フォーカスレンズ302を合焦位置に移動させるのに必要な操作をユーザに容易に認識させることができる。
In the
なお、上記第1実施形態では、指示分割画像の一部と隣接分割画像の一部とを部分画像72としたが、これに限らず、指示分割画像の全部と隣接分割画像の全部とを部分画像としてもよい。
In the first embodiment, a part of the instruction divided image and a part of the adjacent divided image are set as the
また、上記第1実施形態では、矢印83を第1ディスプレイ215に表示させる場合を例示したが、これに限らず、例えば、矢印83が指し示す方向を示す音声をスピーカ35に出力させてもよい。また、矢印83を第1ディスプレイ215に表示させずにスピーカ35から出力される音声のみで第1移動操作の操作方向を案内してもよい。
Moreover, although the case where the
また、上記第1実施形態では、4つの表示用視差画像が隣接して配置されたスプリットイメージを例示したが、これに限らず、1つの表示用左眼画像と1つの表示用右眼画像とが隣接して配置されたスプリットイメージであってもよい。また、1つの表示用右眼画像と2つの表示用左眼画像とが互い違いに隣接して配置されたスプリットイメージであってもよい。このように、スプリットイメージは、表示用左眼画像と表示用右眼画像とが直線的に交互に隣接して配置された画像であればよい。 In the first embodiment, the split image in which the four display parallax images are arranged adjacent to each other is illustrated. However, the present invention is not limited to this, and one display left-eye image and one display right-eye image are included. May be split images arranged adjacent to each other. Further, it may be a split image in which one display right eye image and two display left eye images are alternately arranged adjacent to each other. As described above, the split image may be an image in which the display left-eye image and the display right-eye image are arranged alternately and linearly adjacent to each other.
また、上記第1実施形態では、表示領域215Aにおける視差発生方向の中央部78に中心点64が含まれる場合、ディスプレイ両端部79のうちの一方の端部に視差拡張画像75が表示される例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、表示領域215Aのうちの中央部78以外の領域に視差拡張画像75が表示されてもよい。この場合も、タッチパネル216における表示領域215Aの中央部78に対応する領域に接触している指示体が形成する死角によって視差拡張画像75が視認し難くなることを抑制することができる、という上記第1実施形態と同様の効果が期待できる。
In the first embodiment, when the
また、上記第1実施形態では、表示領域215Aにおける視差発生方向の両端部のうちの一端部に中心点64が含まれる場合、特定領域76に視差拡張画像75が表示される例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、図17に示すように中央部78よりも図中正面視左側の領域に中心点64が属する場合、表示領域215Aのうちの中央部78よりも図中正面視右側の領域に視差拡張画像75が表示されてもよい。この場合も、タッチパネル216における表示領域215Aの両端部のうちの一方の端部に対応する領域に接触している指示体が形成する死角によって視差拡張画像75が視認し難くなることを抑制することができる、という効果が期待できる。
Further, in the first embodiment, an example in which the parallax extended
また、上記第1実施形態では、一例として図18に示すように、スプリットイメージに含まれる正面視最上段の表示用視差画像(図18に示す例では、表示用左眼画像)が指示分割画像として指示される場合を例示したが、本発明はこれに限定されるものではない。例えば、タッチパネル216におけるスプリットイメージに含まれる正面視最上段の表示用視差画像以外の表示用視差画像に対応する領域に指示体が接触した場合のみ、表示用視差画像が指示分割画像として指示されるようにしてもよい。このように、スプリットイメージに含まれる複数の表示用視差画像のうちの特定の表示用視差画像のみを指示分割画像として指示可能な表示用視差画像としてもよい。
In the first embodiment, as shown in FIG. 18 as an example, the display parallax image at the top of the front view included in the split image (the display left-eye image in the example shown in FIG. 18) is the instruction divided image. However, the present invention is not limited to this. For example, the display parallax image is instructed as the instruction divided image only when the indicator touches an area corresponding to the display parallax image other than the display parallax image at the topmost front view included in the split image on the
また、上記第1実施形態では、スプリットイメージに含まれる複数の表示用視差画像のうちの1つが合焦制御対象の指示分割画像として指示される場合を例示したが、本発明はこれに限定されるものではない。例えば、スプリットイメージに含まれる複数の表示用視差画像のうちの1つが画質調整(例えば、明るさ調整やシャープネス調整)対象の指示分割画像として指示されてもよい。また、スプリットイメージに含まれる複数の表示用視差画像のうちの1つが拡大表示対象、縮小表示対象、切り取り対象、又はコピー対象の指示分割画像として指示されてもよい。 In the first embodiment, the case where one of the plurality of display parallax images included in the split image is instructed as an instruction divided image to be focused is described. However, the present invention is not limited to this. It is not something. For example, one of a plurality of display parallax images included in the split image may be instructed as an instruction divided image for image quality adjustment (for example, brightness adjustment or sharpness adjustment). Further, one of the plurality of display parallax images included in the split image may be designated as an enlarged divided display target, a reduced display target, a cut target, or a copy target instruction divided image.
また、上記第1実施形態で説明した画像生成処理の流れ(図11参照)、表示制御処理の流れ(図12参照)、及び合焦制御処理(図20参照)はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、上記第1実施形態で説明した画像生成処理に含まれる各処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現されてもよいし、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。また、上記第1実施形態で説明した表示制御処理及び合焦制御処理に含まれる各処理は、ASICやプログラマブルロジックデバイス等のハードウェア構成で実現されてもよいし、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。 In addition, the flow of image generation processing (see FIG. 11), the flow of display control processing (see FIG. 12), and the focus control processing (see FIG. 20) described in the first embodiment are merely examples. Therefore, it goes without saying that unnecessary steps may be deleted, new steps may be added, and the processing order may be changed within a range not departing from the spirit. In addition, each process included in the image generation process described in the first embodiment may be realized by a software configuration using a computer by executing a program, or a combination of a hardware configuration and a software configuration. It may be realized by. In addition, each process included in the display control process and the focus control process described in the first embodiment may be realized by a hardware configuration such as an ASIC or a programmable logic device, or the hardware configuration and the software configuration. It may be realized by a combination.
上記第1実施形態で説明した画像生成処理を、コンピュータによりプログラムを実行することにより実現する場合は、プログラムを所定の記憶領域(例えば二次記憶部26)に予め記憶しておけばよい。なお、必ずしも最初から二次記憶部26に記憶させておく必要はない。例えば、コンピュータに接続されて使用されるSSD(Solid State Drive)、
CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの任意の可搬型の記憶媒体に先ずはプログラムを記憶させておいてもよい。そして、コンピュータがこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、インターネットやLAN(Local Area Network)などを介してコンピュータに接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータがこれらからプログラムを取得して実行するようにしてもよい。When the image generation processing described in the first embodiment is realized by executing a program by a computer, the program may be stored in advance in a predetermined storage area (for example, the secondary storage unit 26). Note that it is not always necessary to store the data in the
First, the program may be stored in an arbitrary portable storage medium such as a CD-ROM, a DVD disk, a magneto-optical disk, or an IC card. Then, the computer may acquire the program from these portable storage media and execute it. Also, each program may be stored in another computer or server device connected to the computer via the Internet, a LAN (Local Area Network), etc., and the computer may acquire and execute the program from these. Good.
また、上記第1実施形態で説明した撮像装置100は、被写界深度を確認する機能(被写界深度確認機能)を有していてもよい。この場合、例えば撮像装置100は被写界深度確認キーを有する。被写界深度確認キーは、ハードキーであってもよいし、ソフトキーであってもよい。ハードキーによる指示の場合は、例えばモーメンタリ動作型のスイッチ(非保持型スイッチ)を適用することが好ましい。ここで言うモーメンタリ動作型のスイッチとは、例えば所定位置に押し込まれている間だけ撮像装置100における特定の動作状態を維持するスイッチを指す。ここで、被写界深度確認キーは、押下されると絞り値が変更される。また、被写界深度確認キーに対する押下が継続して行われている間(所定位置に押し込まれている間)、絞り値は限界値に達するまで変化し続ける。このように、被写界深度確認キーの押下中は、絞り値が変化するため、スプリットイメージを得るために必要な位相差が得られない場合がある。そこで、スプリットイメージが表示されている状態で、被写界深度確認キーが押下された場合、押下中はスプリットイメージから通常のライブビュー表示に変更するようにしてもよい。また、押下状態が解除された際に再度スプリットイメージを表示させるように画面の切り替えをCPU12が行うようにしてもよい。なお、ここでは、被写界深度確認キーの一例としてモーメンタリ動作型のスイッチを適用した場合を例示したが、これに限らず、オルタネイト動作型のスイッチ(保持型スイッチ)を適用してもよい。
In addition, the
[第2実施形態]
上記第1実施形態では、撮像装置100を例示したが、撮像装置100の変形例である携帯端末装置としては、例えばカメラ機能を有する携帯電話機やスマートフォンなどが挙げられる。この他にも、PDA(Personal Digital Assistants)や携帯型ゲーム機など
が挙げられる。本第2実施形態では、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。[Second Embodiment]
In the first embodiment, the
図21は、スマートフォン500の外観の一例を示す斜視図である。図21に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。また、筐体502は、スピーカ531と、マイクロホン532と、操作部540と、カメラ部541とを備えている。なお、筐体502の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド構造を有する構成を採用したりすることもできる。
FIG. 21 is a perspective view illustrating an example of the appearance of the
図22は、図21に示すスマートフォン500の構成の一例を示すブロック図である。図21に示すように、スマートフォン500の主たる構成要素として、無線通信部510と、表示入力部520と、通信部530と、操作部540と、カメラ部541と、記憶部550と、外部入出力部560と、を備える。また、スマートフォン500の主たる構成要素として、GPS(Global Positioning System)受信部570と、モーションセンサ部580と、電源部590と、主制御部501と、を備える。また、スマートフォン500の主たる機能として、基地局装置BSと移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
FIG. 22 is a block diagram showing an example of the configuration of the
無線通信部510は、主制御部501の指示に従って、移動通信網NWに収容された基地局装置BSに対して無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
The
表示入力部520は、いわゆるタッチパネルであって、表示パネル521と、操作パネル522とを備える。そのため、表示入力部520は、主制御部501の制御により、画像(静止画像および動画像)や文字情報などを表示して視覚的にユーザに情報を伝達し、かつ、表示した情報に対するユーザ操作を検出する。なお、生成された3Dを鑑賞する場合には、表示パネル521は、3D表示パネルであることが好ましい。
The
表示パネル521は、LCD、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル522は、表示パネル521の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部501に出力する。次いで、主制御部501は、受信した検出信号に基づいて、表示パネル521上の操作位置(座標)を検出する。
The
図21に示すように、スマートフォン500の表示パネル521と操作パネル522とは一体となって表示入力部520を構成しているが、操作パネル522が表示パネル521を完全に覆うような配置となっている。この配置を採用した場合、操作パネル522は、表示パネル521外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル522は、表示パネル521に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル521に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
As shown in FIG. 21, the
なお、表示領域の大きさと表示パネル521の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル522が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体502の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル522で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
Note that the size of the display area and the size of the
通信部530は、スピーカ531やマイクロホン532を備える。通信部530は、マイクロホン532を通じて入力されたユーザの音声を主制御部501にて処理可能な音声データに変換して主制御部501に出力する。また、通信部530は、無線通信部510あるいは外部入出力部560により受信された音声データを復号してスピーカ531から出力する。また、図21に示すように、例えば、スピーカ531を表示入力部520が設けられた面と同じ面に搭載し、マイクロホン532を筐体502の正面下部に搭載することができる。
The
操作部540は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図21に示すように、操作部540は、スマートフォン500の筐体502の正面下部に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
The
記憶部550は、主制御部501の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータを記憶する。また、記憶部550は、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶する。また、記憶部550は、ストリーミングデータなどを一時的に記憶する。また、記憶部550は、スマートフォン内蔵の内部記憶部551と着脱自在な外部メモリスロットを有する外部記憶部552を有する。なお、記憶部550を構成するそれぞれの内部記憶部551と外部記憶部552は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)などの格納媒体を用いて実現される。格納媒体としては、この他にも、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)が例示できる。
The
外部入出力部560は、スマートフォン500に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等又はネットワークにより直接的又は間接的に接続するためのものである。他の外部機器に通信等としては、例えば、ユニバーサルシリアルバス(USB)、IEEE1394などが挙げられる。ネットワークとしては、例えば、インターネット、無線LAN、ブルートゥース(Bluetooth(登録商標))、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA(登録商標))が挙げられる。また、ネットワークの他の例としては、UWB(Ultra Wideband(登録商標))、ジグビー(ZigBee(登録商標))などが挙げられる。
The external input / output unit 560 serves as an interface with all external devices connected to the
スマートフォン500に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)が挙げられる。外部機器の他の例としては、SIM(Subscriber
Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器が挙げられる。外部オーディオ・ビデオ機器の他にも、無線接続される外部オーディオ・ビデオ機器が挙げられる。また、外部オーディオ・ビデオ機器に代えて、例えば有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホンなども適用可能である。Examples of the external device connected to the
Examples include an Identity Module Card (UIM) / UIM (User Identity Module Card) card and an external audio / video device connected via an audio / video I / O (Input / Output) terminal. In addition to the external audio / video device, an external audio / video device that is wirelessly connected can be used. Also, instead of external audio / video devices, for example, smartphones with wired / wireless connection, personal computers with wired / wireless connection, PDAs with wired / wireless connection, personal computers with wired / wireless connection, earphones, etc. also apply Is possible.
外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン500の内部の各構成要素に伝達することや、スマートフォン500の内部のデータが外部機器に伝送されるようにすることができる。
The external input / output unit may transmit data received from such an external device to each component inside the
GPS受信部570は、主制御部501の指示にしたがって、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン500の緯度、経度、高度からなる位置を検出する。GPS受信部570は、無線通信部510や外部入出力部560(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
The
モーションセンサ部580は、例えば、3軸の加速度センサなどを備え、主制御部501の指示にしたがって、スマートフォン500の物理的な動きを検出する。スマートフォン500の物理的な動きを検出することにより、スマートフォン500の動く方向や加速度が検出される。この検出結果は、主制御部501に出力されるものである。
The
電源部590は、主制御部501の指示にしたがって、スマートフォン500の各部に、バッテリ(図示省略)に蓄えられる電力を供給するものである。
The
主制御部501は、マイクロプロセッサを備え、記憶部550が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン500の各部を統括して制御するものである。また、主制御部501は、無線通信部510を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
The main control unit 501 includes a microprocessor, operates according to a control program and control data stored in the
アプリケーション処理機能は、記憶部550が記憶するアプリケーションソフトウェアにしたがって主制御部501が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部560を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
The application processing function is realized by the main control unit 501 operating according to application software stored in the
また、主制御部501は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部520に表示する等の画像処理機能を備える。画像処理機能とは、主制御部501が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部520に表示する機能のことをいう。
Further, the main control unit 501 has an image processing function such as displaying video on the
更に、主制御部501は、表示パネル521に対する表示制御と、操作部540、操作パネル522を通じたユーザ操作を検出する操作検出制御とを実行する。
Further, the main control unit 501 executes display control for the
表示制御の実行により、主制御部501は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル521の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトキーのことをいう。
By executing the display control, the main control unit 501 displays an icon for starting application software, a soft key such as a scroll bar, or a window for creating an e-mail. Note that the scroll bar refers to a soft key for accepting an instruction to move a display portion of an image such as a large image that cannot be accommodated in the display area of the
また、操作検出制御の実行により、主制御部501は、操作部540を通じたユーザ操作を検出したり、操作パネル522を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたりする。また、操作検出制御の実行により、主制御部501は、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
Further, by executing the operation detection control, the main control unit 501 detects a user operation through the
更に、操作検出制御の実行により主制御部501は、操作パネル522に対する操作位置が、表示パネル521に重なる重畳部分(表示領域)か、それ以外の表示パネル21に重ならない外縁部分(非表示領域)かを判定する。そして、この判定結果を受けて、操作パネル522の感応領域や、ソフトキーの表示位置を制御するタッチパネル制御機能を備える。
Furthermore, by executing the operation detection control, the main control unit 501 causes the operation position with respect to the
また、主制御部501は、操作パネル522に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
The main control unit 501 can also detect a gesture operation on the
カメラ部541は、CMOSやCCDなどの撮像素子を用いて撮像するデジタルカメラであり、図1等に示す撮像装置100と同様の機能を備えている。
The
また、カメラ部541は、マニュアルフォーカスモードとオートフォーカスモードとを切り替え可能である。マニュアルフォーカスモードが選択されると、操作部540又は表示入力部520に表示されるフォーカス用のアイコンボタン等を操作することにより、カメラ部541の撮影レンズのピント合わせを行うことができる。また、マニュアルフォーカスモード時には、スプリットイメージが合成されたライブビュー画像を表示パネル521に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。なお、図8に示すハイブリッドファインダー220をスマートフォン500に設けるようにしてもよい。
The
また、カメラ部541は、主制御部501の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換する。そして、変換して得た画像データを記憶部550に記録したり、入出力部560や無線通信部510を通じて出力することができる。図21に示すにスマートフォン500において、カメラ部541は表示入力部520と同じ面に搭載されているが、カメラ部541の搭載位置はこれに限らず、表示入力部520の背面に搭載されてもよいし、あるいは、複数のカメラ部541が搭載されてもよい。なお、複数のカメラ部541が搭載されている場合には、撮像に供するカメラ部541を切り替えて単独にて撮像したり、あるいは、複数のカメラ部541を同時に使用して撮像したりすることもできる。
Further, the
また、カメラ部541はスマートフォン500の各種機能に利用することができる。例えば、表示パネル521にカメラ部541で取得した画像を表示することや、操作パネル522の操作入力のひとつとして、カメラ部541の画像を利用することができる。また、GPS受信部570が位置を検出する際に、カメラ部541からの画像を参照して位置を検出することもできる。更には、カメラ部541からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン500のカメラ部541の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部541からの画像をアプリケーションソフトウェア内で利用することもできる。
The
その他、静止画又は動画の画像データに各種情報を付加して記憶部550に記録したり、入出力部560や無線通信部510を通じて出力したりすることもできる。ここで言う「各種情報」としては、例えば、静止画又は動画の画像データにGPS受信部570により取得した位置情報、マイクロホン532により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)が挙げられる。この他にも、モーションセンサ部580により取得した姿勢情報等などであってもよい。
In addition, various information can be added to still image or moving image data and recorded in the
なお、上記各実施形態では、上下方向に2分割されたスプリットイメージを例示したが、これに限らず、左右方向又は斜め方向に複数分割された画像をスプリットイメージとして適用してもよい。 In each of the above embodiments, the split image divided into two in the vertical direction is illustrated. However, the present invention is not limited to this, and an image divided into a plurality of parts in the horizontal direction or the diagonal direction may be applied as the split image.
例えば、図23に示すスプリットイメージ66aは、行方向に平行な複数の分割線63aにより奇数ラインと偶数ラインとに分割されている。このスプリットイメージ66aでは、第1の画素群から出力された出力信号に基づいて生成されたライン状(一例として短冊状)の位相差画像66Laが奇数ライン(偶数ラインでも可)に表示される。また、第2の画素群から出力された出力信号に基づき生成されたライン状(一例として短冊状)の位相差画像66Raが偶数ラインに表示される。
For example, the split image 66a shown in FIG. 23 is divided into odd and even lines by a plurality of
また、図24に示すスプリットイメージ66bは、行方向に傾き角を有する分割線63b(例えば、スプリットイメージ66bの対角線)により2分割されている。このスプリットイメージ66bでは、第1の画素群から出力された出力信号に基づき生成された位相差画像66Lbが一方の領域に表示される。また、第2の画素群から出力された出力信号に基づき生成された位相差画像66Rbが他方の領域に表示される。
Also, the split image 66b shown in FIG. 24 is divided into two by a
また、図25A及び図25Bに示すスプリットイメージ66cは、行方向及び列方向にそれぞれ平行な格子状の分割線63cにより分割されている。スプリットイメージ66cでは、第1の画素群から出力された出力信号に基づき生成された位相差画像66Lcがチェッカーパターン状に並べられて表示される。また、第2の画素群から出力された出力信号に基づき生成された位相差画像66Rcがチェッカーパターン状に並べられて表示される。
Further, the split image 66c shown in FIGS. 25A and 25B is divided by grid-
また、スプリットイメージに限らず、2つの位相差画像から他の合焦確認画像を生成し、合焦確認画像を表示するようにしてもよい。例えば、2つの位相差画像を重畳して合成表示し、ピントがずれている場合は2重像として表示され、ピントが合った状態ではクリアに画像が表示されるようにしてもよい。 In addition to the split image, another focus confirmation image may be generated from the two phase difference images, and the focus confirmation image may be displayed. For example, two phase difference images may be superimposed and displayed as a composite image. If the image is out of focus, the image may be displayed as a double image, and the image may be clearly displayed when the image is in focus.
また、上記各実施形態では、第1〜第3の画素群を有する撮像素子20を例示したが、本発明はこれに限定されるものではなく、第1の画素群及び第2の画素群のみからなる撮像素子であってもよい。この種の撮像素子を有するデジタルカメラは、第1の画素群から出力された第1の画像及び第2の画素群から出力された第2の画像に基づいて3次元画像(3D画像)を生成することができるし、2次元画像(2D画像)も生成することができる。この場合、2次元画像の生成は、例えば第1の画像及び第2の画像の相互における同色の画素間で補間処理を行うことで実現される。また、補間処理を行わずに、第1の画像又は第2の画像を2次元画像として採用してもよい。
Moreover, in each said embodiment, although the image pick-up
また、上記各実施形態では、第1〜第3の画像が画像処理部28に入力された場合に通常画像とスプリットイメージとの双方を表示装置の同画面に同時に表示する態様を例示したが、本発明はこれに限定されるものではない。例えば、表示制御部36が、表示装置に対する通常画像の動画像としての連続した表示を抑止し、かつ、表示装置に対してスプリットイメージを動画像として連続して表示させる制御を行うようにしてもよい。ここで言う「通常画像の表示を抑止する」とは、例えば表示装置に対して通常画像を表示させないことを指す。具体的には、通常画像を生成するものの表示装置に通常画像を出力しないことで表示装置に対して通常画像を表示させないことや通常画像を生成しないことで表示装置に対して通常画像を表示させないことを指す。表示装置の画面全体を利用してスプリットイメージを表示させてもよいし、一例として図10に示すスプリットイメージの表示領域の全体を利用してスプリットイメージを表示させてもよい。なお、ここで言う「スプリットイメージ」としては、特定の撮像素子を使用する場合において、位相差画群から出力された画像(例えば第1の画素群から出力された第1の画像及び第2の画素群から出力された第2の画像)に基づくスプリットイメージが例示できる。「特定の撮像素子を使用する場合」としては、例えば位相差画素群(例えば第1の画素群及び第2の画素群)のみからなる撮像素子を使用する場合が挙げられる。この他にも、通常画素に対して所定の割合で位相差画素(例えば第1の画素群及び第2の画素群)が配置された撮像素子を使用する場合が例示できる。
Further, in each of the above embodiments, when the first to third images are input to the
また、通常画像の表示を抑止してスプリットイメージを表示させるための条件としては、様々な条件が考えられる。例えば、スプリットイメージの表示が指示されている状態で通常画像の表示指示が解除された場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、撮影者がハイブリッドファインダーを覗きこんだ場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン211が半押し状態にされた場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン211に対して押圧操作が行われていない場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、被写体の顔を検出する顔検出機能を働かせた場合に表示制御部36が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。なお、ここでは、表示制御部36が通常画像の表示を抑止する変形例を挙げたが、これに限らず、例えば、表示制御部36は、通常画像に全画面のスプリットイメージを上書き表示するように制御を行ってもよい。
Various conditions are conceivable as conditions for suppressing the display of the normal image and displaying the split image. For example, when the display instruction of the normal image is canceled while the display of the split image is instructed, the
また、上記各実施形態では、一例として図6に示すように第1の画素L及び第2の画素Rの各々が1画素単位で配置された撮像素子20を例示したが、本発明はこれに限定されるものではなく、一例として図26に示す撮像素子600を用いてもよい。一例として図26に示す撮像素子600は、撮像素子20と比べ、全画素の各々について、第1の画素L(例えば、左眼画像用の光が入射されるフォトダイオード)及び第2の画素R(例えば、右眼画像用の光が入射されるフォトダイオード)が一組ずつ配置されている点が異なる。図26に示す例では、各画素がマイクロレンズ602を有しており、各画素における第1の画素L及び第2の画素Rはマイクロレンズ602を介して光が入射されるように配置されている。各画素における画素信号の読み出しパターンとしては、例えば、第1〜第4読み出しパターンが例示できる。第1読み出しパターンとは、第1の画素Lのみから画素信号を読み出すパターンを指す。第2読み出しパターンとは、第2の画素Rのみから画素信号を読み出すパターンを指す。第3読み出しパターンとは、第1の画素L及び第2の画素Rの各々から画素信号を別々のルートを介して(例えば、画素毎に設けられた個別の信号線を介して)同時に読み出すパターンを指す。第4読み出しパターンとは、第1の画素L及び第2の画素Rから画素信号を通常画素の画素信号として、画素毎に設けられた1つの信号線を介して読み出すパターンを指す。通常画素の画素信号とは、例えば、1つの画素につき、第1の画素Lの画素信号及び第2の画素Rの画素信号を加算して得た画素信号(例えば、第1の画素Lのフォトダイオードの電荷と第2の画素Rのフォトダイオードの電荷とを合わせた1つの電荷)を指す。
Further, in each of the above embodiments, as an example, as illustrated in FIG. 6, the
また、図26に示す例では、1つの画素につき、1つの第1の画素L及び1つの第2の画素Rが配置されているが、これに限らず、少なくとも1つの第1の画素L及び少なくとも1つの第2の画素Rが1つの画素に配置されていればよい。また、図26に示す例では、1つの画素内において、第1の画素Lと第2の画素Rとが水平方向に配置されているが、これに限らず、第2の画素Lと第2の画素Rとを垂直方向に配置してもよいし、第1の画素Lと第2の画素Rとを斜め方向に配置してもよい。 In the example shown in FIG. 26, one first pixel L and one second pixel R are arranged for each pixel. However, the present invention is not limited to this, and at least one first pixel L and It is sufficient that at least one second pixel R is arranged in one pixel. In the example shown in FIG. 26, the first pixel L and the second pixel R are arranged in the horizontal direction in one pixel. However, the present invention is not limited to this, and the second pixel L and the second pixel R are not limited thereto. The pixels R may be arranged in the vertical direction, and the first pixels L and the second pixels R may be arranged in the oblique direction.
16 撮影レンズ
20,600 撮像素子
100 撮像装置
100A 生成部
100B 表示部
100C 検出部
100D 制御部
100E 移動部
100F 提示部
216 タッチパネル
302 フォーカスレンズ16
Claims (15)
表示領域を有し、かつ、前記表示領域の表面にタッチパネルが設けられた表示部と、
前記タッチパネルに対する指示体の指示領域を検知することにより、前記表示領域に表示される表示用画像の前記第1又は第2の分割画像を指示する指示操作を検知する検知部と、
前記指示操作が検知された場合、前記第1及び第2の分割画像のうちの前記指示操作により指示された指示分割画像の少なくとも一部並びに前記第1及び第2の分割画像のうちの前記指示分割画像と予め定められた方向に隣接する隣接分割画像の少なくとも一部を含む部分画像を前記表示用画像から抽出し、抽出した前記部分画像を、前記表示領域における前記検知部により検知された前記指示領域とは異なる領域に表示させる制御部と、
を含む画像処理装置。 An imaging element having first and second pixel groups that output first and second image signals by subjecting a subject image that has passed through the first and second regions in the photographic lens to pupil division and forming them respectively. One of a plurality of divided images obtained by dividing the first image of the first and second images based on the first and second image signals output from the first and second images in a predetermined division direction. A first divided image corresponding to the divided region adjacent to the divided region corresponding to the first divided image from a plurality of divided images obtained by dividing the second image in the dividing direction. A generating unit that generates a display image to be used for focusing confirmation in which the two divided images are arranged adjacent to each other in the dividing direction;
A display unit having a display area and a touch panel provided on the surface of the display area;
A detection unit that detects an instruction operation for indicating the first or second divided image of the display image displayed in the display area by detecting an instruction area of the indicator on the touch panel;
When the instruction operation is detected, at least a part of the instruction divided image instructed by the instruction operation of the first and second divided images and the instruction of the first and second divided images A partial image including at least a part of an adjacent divided image adjacent to the divided image in a predetermined direction is extracted from the display image, and the extracted partial image is detected by the detection unit in the display area. A control unit to display in a different area from the instruction area;
An image processing apparatus.
前記生成部は、前記第3の画像信号に基づく撮影画像を更に生成し、
前記制御部は、前記生成部により前記表示用画像及び前記撮影画像が生成された場合、前記表示部に、前記撮影画像を表示させ、かつ、前記撮影画像内に前記表示用画像を表示させる請求項1から請求項8の何れか1項に記載の画像処理装置。 The image pickup device further includes a third pixel group that outputs a third image signal by forming a subject image that has passed through the photographing lens without being divided into pupils.
The generation unit further generates a captured image based on the third image signal,
The control unit causes the display unit to display the captured image and display the display image in the captured image when the generation unit generates the display image and the captured image. The image processing apparatus according to any one of claims 1 to 8.
前記第1及び第2の画素群を有する撮像素子と、
前記撮像素子から出力された画像信号に基づいて生成された画像を記憶する記憶部と、
を含む撮像装置。 The image processing apparatus according to any one of claims 1 to 9,
An imaging device having the first and second pixel groups;
A storage unit for storing an image generated based on an image signal output from the image sensor;
An imaging apparatus including:
前記フォーカスレンズを光軸方向に移動させる移動部を更に含み、
前記検知部は、前記指示操作を検知した場合、前記表示領域に前記表示用画像が表示された状態で前記指示領域を前記分割方向と交差する予め定められた交差方向に移動させる第1移動操作を検知し、
前記制御部は、前記検知部により前記第1移動操作が検知された場合に、前記第1移動操作に応じて前記フォーカスレンズを光軸方向に移動させる制御を前記移動部に対して行う請求項10に記載の撮像装置。 The photographing lens has a focus lens movable along the optical axis direction,
A moving unit that moves the focus lens in the optical axis direction;
When the detection unit detects the instruction operation, the detection unit moves the instruction region in a predetermined intersecting direction that intersects the division direction in a state where the display image is displayed in the display region. Detect
The said control part performs control which moves the said focus lens to an optical axis direction according to a said 1st movement operation with respect to the said movement part, when the said 1st movement operation is detected by the said detection part. The imaging device according to 10.
前記制御部は、前記検知部により前記第2移動操作が検知された場合、前記部分画像の抽出位置を維持する制御を行う請求項11に記載の撮像装置。 When the detection unit detects the instruction operation, the detection unit performs a second movement operation that is greater than or equal to a predetermined threshold with respect to a direction orthogonal to the intersecting direction in the indication area with the display image displayed in the display area Detected as an operation,
The imaging apparatus according to claim 11, wherein the control unit performs control to maintain an extraction position of the partial image when the second movement operation is detected by the detection unit.
表示領域を有し、かつ、前記表示領域の表面にタッチパネルが設けられた表示部の前記タッチパネルに対する指示体の指示領域を検知することにより、前記表示領域に表示される表示用画像の前記第1又は第2の分割画像を指示する指示操作を検知し、
前記指示操作を検知した場合、前記第1及び第2の分割画像のうちの前記指示操作により指示された指示分割画像の少なくとも一部並びに前記第1及び第2の分割画像のうちの前記指示分割画像と予め定められた方向に隣接する隣接分割画像の少なくとも一部を含む部分画像を前記表示用画像から抽出し、抽出した前記部分画像を、前記表示領域における検知した前記指示領域とは異なる領域に表示させる
ことを含む画像処理方法。 An imaging element having first and second pixel groups that output first and second image signals by subjecting a subject image that has passed through the first and second regions in the photographic lens to pupil division and forming them respectively. One of a plurality of divided images obtained by dividing the first image of the first and second images based on the first and second image signals output from the first and second images in a predetermined division direction. A first divided image corresponding to a divided region corresponding to the first divided image and a plurality of divided images obtained by dividing the second image in the dividing direction. Generating a display image used for focusing confirmation in which the two divided images are arranged adjacent to each other in the dividing direction;
The first display image displayed in the display area is detected by detecting an instruction area of an indicator with respect to the touch panel of a display unit having a display area and having a touch panel provided on a surface of the display area. Alternatively, an instruction operation for instructing the second divided image is detected,
When the instruction operation is detected, at least part of the instruction divided image instructed by the instruction operation of the first and second divided images and the instruction division of the first and second divided images A partial image including at least a part of an adjacent divided image adjacent to an image in a predetermined direction is extracted from the display image, and the extracted partial image is an area different from the detected instruction area in the display area An image processing method including displaying on a screen.
請求項1から請求項9の何れか1項に記載の画像処理装置における前記生成部、前記検知部及び前記制御部として機能させるための画像処理プログラム。 Computer
The image processing program for functioning as the said production | generation part, the said detection part, and the said control part in the image processing apparatus of any one of Claims 1-9.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013188468 | 2013-09-11 | ||
JP2013188468 | 2013-09-11 | ||
PCT/JP2014/069643 WO2015037343A1 (en) | 2013-09-11 | 2014-07-25 | Image processing device, imaging device, image processing method, and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5934844B2 true JP5934844B2 (en) | 2016-06-15 |
JPWO2015037343A1 JPWO2015037343A1 (en) | 2017-03-02 |
Family
ID=52665465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015536482A Active JP5934844B2 (en) | 2013-09-11 | 2014-07-25 | Image processing apparatus, imaging apparatus, image processing method, and image processing program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5934844B2 (en) |
WO (1) | WO2015037343A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6610227B2 (en) * | 2015-12-09 | 2019-11-27 | 株式会社ニコン | Imaging device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009232288A (en) * | 2008-03-24 | 2009-10-08 | Canon Inc | Imaging apparatus, and image processor |
JP2009237214A (en) * | 2008-03-27 | 2009-10-15 | Canon Inc | Imaging apparatus |
JP2013078074A (en) * | 2011-09-30 | 2013-04-25 | Olympus Imaging Corp | Imaging apparatus, imaging method, and program |
JP2013178324A (en) * | 2012-02-28 | 2013-09-09 | Nikon Corp | Focusing device and optical instrument |
-
2014
- 2014-07-25 JP JP2015536482A patent/JP5934844B2/en active Active
- 2014-07-25 WO PCT/JP2014/069643 patent/WO2015037343A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009232288A (en) * | 2008-03-24 | 2009-10-08 | Canon Inc | Imaging apparatus, and image processor |
JP2009237214A (en) * | 2008-03-27 | 2009-10-15 | Canon Inc | Imaging apparatus |
JP2013078074A (en) * | 2011-09-30 | 2013-04-25 | Olympus Imaging Corp | Imaging apparatus, imaging method, and program |
JP2013178324A (en) * | 2012-02-28 | 2013-09-09 | Nikon Corp | Focusing device and optical instrument |
Also Published As
Publication number | Publication date |
---|---|
JPWO2015037343A1 (en) | 2017-03-02 |
WO2015037343A1 (en) | 2015-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6033454B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
JP6158340B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
JP5931206B2 (en) | Image processing apparatus, imaging apparatus, program, and image processing method | |
JP5960286B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
JP5901801B2 (en) | Image processing apparatus, imaging apparatus, program, and image processing method | |
JP6086975B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
JP5889441B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
JP6000446B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
JP5901781B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
JP5901782B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
JP5833254B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
JP5753323B2 (en) | Imaging apparatus and image display method | |
JPWO2013183406A1 (en) | Imaging apparatus and image display method | |
JP5955417B2 (en) | Image processing apparatus, imaging apparatus, program, and image processing method | |
US10015405B2 (en) | Image processing device, imaging device, image processing method, and image processing program | |
JP5934844B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
JP5901780B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
WO2014045741A1 (en) | Image processing device, imaging device, image processing method, and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160509 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5934844 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |