JP5224951B2

JP5224951B2 - Image processing apparatus, method, and program

Info

Publication number: JP5224951B2
Application number: JP2008182847A
Authority: JP
Inventors: 明光吉田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-07-14
Filing date: 2008-07-14
Publication date: 2013-07-03
Anticipated expiration: 2028-07-14
Also published as: JP2010021945A

Description

本発明は、画像再生時のピント確認を容易に行うことのできる画像処理装置、方法及びプログラムに関する。 The present invention relates to an image processing apparatus, method, and program capable of easily performing focus confirmation during image reproduction.

近年、急速に普及したデジタルカメラは、撮影した画像を背面の液晶モニタに表示することで、撮影直後に画像を確認できることが大きな利点となっている。画像再生方法に関しては、利用者の利便性を向上させる様々な方法がこれまでに提案されている。 In recent years, a digital camera that has been rapidly spread has a great advantage that an image can be confirmed immediately after photographing by displaying the photographed image on a liquid crystal monitor on the back. As for the image reproduction method, various methods for improving user convenience have been proposed so far.

例えば特許文献１では、画像データを部分的に拡大して表示する拡大再生において、顔領域等の特定領域を瞬時に表示させることで、ピント確認を容易に行うことが可能なデジタルカメラが提案されている。
また特許文献２では、記録モードとして画像処理を行わずに記録するＣＣＤ−ＲＡＷ形式が選択されている場合、再生処理に使用するＪＰＥＧ画像（以下、表示用ＪＰＥＧ画像と呼ぶ）をＣＣＤ−ＲＡＷ形式のデータと合わせて記録しておく手法が提案されている。この場合、ＣＣＤ−ＲＡＷデータを信号処理して画像データを生成する必要がなくなるため、再生処理の高速化を図ることができる。 For example, Patent Document 1 proposes a digital camera that can easily perform focus confirmation by instantaneously displaying a specific area such as a face area in enlarged reproduction in which image data is partially enlarged and displayed. ing.
Further, in Patent Document 2, when a CCD-RAW format for recording without performing image processing is selected as a recording mode, a JPEG image used for reproduction processing (hereinafter referred to as a display JPEG image) is a CCD-RAW format. A method of recording the data together with the above data has been proposed. In this case, it is not necessary to generate image data by performing signal processing on the CCD-RAW data, so that the playback process can be speeded up.

特開２００５−１０２１７５号公報JP-A-2005-102175 特開２００３−２４４５０７号公報JP 2003-244507 A

上記の表示用ＪＰＥＧ画像は、処理時間、記録容量等の観点から、ＣＣＤ−ＲＡＷ形式よりも解像度（画素数）を落として記録することが求められるが、その場合、再生時にピントの確認が行いにくいという問題が生じる。 From the viewpoint of processing time, recording capacity, etc., the above display JPEG image is required to be recorded with a resolution (number of pixels) that is lower than that of the CCD-RAW format. The problem of difficulty arises.

本発明では、表示用ＪＰＥＧ画像の容量を抑えつつ、ピントの確認を容易に行えるようにすることを目的とする。 In the present invention, while suppressing the capacity of the display JPEG image, and an object thereof is to obtain easily line confirmation of focus.

本発明の画像処理装置は、撮像装置により得られたＲＡＷ形式の画像データを記憶するメモリと、前記ＲＡＷ形式の画像データに対応する撮影を行った際の撮像装置の距離情報及び絞り値に応じて、トリミング領域を決定する決定手段と、前記メモリに記憶されたＲＡＷ形式の画像データから前記決定手段により決定されたトリミング領域に対応する表示用ＪＰＥＧ画像を生成する生成手段と、前記ＲＡＷ形式の画像データと前記生成手段により生成された表示用ＪＰＥＧ画像の両方を１つのＲＡＷ形式の画像データファイルに記録する記録手段と、前記ＲＡＷ形式の画像データファイルに記録された表示用ＪＰＥＧ画像を表示装置に表示させ、前記表示装置に表示される前記表示用ＪＰＥＧ画像の表示領域の変更指示に応じて、表示画像の制御を行う表示制御手段と、を有し、前記変更指示された表示領域が前記表示用ＪＰＥＧ画像のトリミング領域に含まれない場合、前記表示制御手段は、前記ＲＡＷ形式の画像データを処理することにより、前記変更指示された表示領域に対応する画像を新たに生成し、生成された画像を前記表示装置に表示させ、前記決定手段は、前記距離情報及び絞り値に基づき被写界深度を演算し、前記被写界深度が浅いほど前記領域を小さくし、深いほど前記領域を大きくするように設定することを特徴とする。
また、本発明の画像処理方法は、撮像装置により得られたＲＡＷ形式の画像データに対応する撮影を行った際の撮像装置の距離情報及び絞り値に応じて、トリミング領域を決定する決定ステップと、前記ＲＡＷ形式の画像データから前記決定ステップにおいて決定されたトリミング領域に対応する表示用ＪＰＥＧ画像を生成する生成ステップと、前記ＲＡＷ形式の画像データと前記生成ステップにおいて生成された表示用ＪＰＥＧ画像の両方を１つのＲＡＷ形式の画像データファイルに記録する記録ステップと、前記ＲＡＷ形式の画像データファイルに記録された表示用ＪＰＥＧ画像を表示装置に表示させ、前記表示装置に表示される前記表示用ＪＰＥＧ画像の表示領域の変更指示に応じて、表示画像の制御を行う表示制御ステップと、を有し、前記変更指示された表示領域が前記表示用ＪＰＥＧ画像のトリミング領域に含まれない場合、前記表示制御ステップは、前記ＲＡＷ形式の画像データを処理することにより、前記変更指示された表示領域に対応する画像を新たに生成し、生成された画像を前記表示装置に表示させ、前記決定ステップは、前記距離情報及び絞り値に基づき被写界深度を演算し、前記被写界深度が浅いほど前記領域を小さくし、深いほど前記領域を大きくするように設定することを特徴とする。
また、本発明のプログラムは、撮像装置により得られたＲＡＷ形式の画像データに対応する撮影を行った際の撮像装置の距離情報及び絞り値に応じて、トリミング領域を決定する決定処理と、前記ＲＡＷ形式の画像データから前記決定処理において決定されたトリミング領域に対応する表示用ＪＰＥＧ画像を生成する生成処理と、前記ＲＡＷ形式の画像データと前記生成処理において生成された表示用ＪＰＥＧ画像の両方を１つのＲＡＷ形式の画像データファイルに記録する記録処理と、前記ＲＡＷ形式の画像データファイルに記録された表示用ＪＰＥＧ画像を表示装置に表示させ、前記表示装置に表示される前記表示用ＪＰＥＧ画像の表示領域の変更指示に応じて、表示画像の制御を行う表示制御処理とをコンピュータに実行させ、前記変更指示された表示領域が前記表示用ＪＰＥＧ画像のトリミング領域に含まれない場合、前記表示制御処理は、前記ＲＡＷ形式の画像データを処理することにより、前記変更指示された表示領域に対応する画像を新たに生成し、生成された画像を前記表示装置に表示させ、前記決定処理は、前記距離情報及び絞り値に基づき被写界深度を演算し、前記被写界深度が浅いほど前記領域を小さくし、深いほど前記領域を大きくするように設定することを特徴とする。 The image processing apparatus according to the present invention corresponds to a memory for storing RAW format image data obtained by the imaging apparatus, and distance information and an aperture value of the imaging apparatus when shooting corresponding to the RAW format image data is performed. Determining means for determining a trimming area; generating means for generating a display JPEG image corresponding to the trimming area determined by the determining means from image data in RAW format stored in the memory; Recording means for recording both the image data and the display JPEG image generated by the generating means in one RAW format image data file, and a display device for displaying the display JPEG image recorded in the RAW format image data file In response to an instruction to change the display area of the display JPEG image displayed on the display device. Display control means for performing control, and when the display area instructed to change is not included in the trimming area of the display JPEG image, the display control means processes the image data in the RAW format. To newly generate an image corresponding to the display area instructed to change, display the generated image on the display device, and the determining means calculates a depth of field based on the distance information and the aperture value. The region is set to be smaller as the depth of field is shallower and larger as the depth of field is deeper .
In addition, the image processing method of the present invention includes a determination step of determining a trimming region according to distance information and an aperture value of the imaging device when shooting corresponding to RAW format image data obtained by the imaging device is performed. A generation step for generating a display JPEG image corresponding to the trimming area determined in the determination step from the RAW format image data, and the RAW image data and the display JPEG image generated in the generation step. A recording step of recording both in a RAW format image data file; and a display JPEG image recorded in the RAW format image data file is displayed on a display device, and the display JPEG displayed on the display device A display control step for controlling the display image in response to an instruction to change the image display area. When the display area instructed to change is not included in the trimming area of the display JPEG image, the display control step corresponds to the display area instructed to change by processing the image data in the RAW format. A new image is generated, and the generated image is displayed on the display device, and the determining step calculates a depth of field based on the distance information and an aperture value, and the shallower the depth of field, the more It is characterized in that the region is set to be smaller and the region to be larger as the region is deeper .
In addition, the program of the present invention includes a determination process for determining a trimming area according to distance information and an aperture value of an imaging device when shooting corresponding to RAW format image data obtained by the imaging device is performed. A generation process for generating a display JPEG image corresponding to the trimming area determined in the determination process from RAW format image data, and both the RAW format image data and the display JPEG image generated in the generation process. A recording process for recording in one RAW format image data file, a display JPEG image recorded in the RAW format image data file is displayed on a display device, and the display JPEG image displayed on the display device is displayed. In response to the display area change instruction, the computer executes display control processing for controlling the display image, and When the designated display area is not included in the trimming area of the display JPEG image, the display control process processes the image data in the RAW format to obtain an image corresponding to the change designated display area. A newly generated image is displayed on the display device, and the determination process calculates a depth of field based on the distance information and an aperture value, and the area is reduced as the depth of field is shallower. In addition, the depth is set so as to increase as the depth increases .

本発明では、絞り値と測距情報等を基に計算できる被写界深度に応じて、部分画像データ（表示用ＪＰＥＧ画像）の保存領域を変更させることができる。具体的には、被写界深度が浅い場合にはピントが合う領域が小さいため保存領域を小さく、被写界深度が深い場合にはピントが合う領域が大きいため保存領域を大きくする。このようにすることで、撮影者にとって重要な領域のみを表示用ＪＰＥＧ画像として保存することができ、ピント確認を容易に可能にしながらも、ファイル容量を抑えることができる。そのため、再生処理に要する処理時間、メモリ容量を大幅に削減することが可能となる。また、表示用ＪＰＥＧ画像を本画像（主画像データ）とは異なるパラメータを用いて生成することで、本画像に影響を与えずにピント確認を容易に行うことも可能となる。 In the present invention, the storage area of the partial image data (display JPEG image) can be changed according to the depth of field that can be calculated based on the aperture value and the distance measurement information. Specifically, when the depth of field is shallow, the area to be focused is small and the storage area is small. When the depth of field is deep, the area to be focused is large and the storage area is enlarged. In this way, only the region important for the photographer can be saved as a display JPEG image, and the file capacity can be reduced while facilitating the confirmation of focus. Therefore, the processing time and memory capacity required for the reproduction process can be greatly reduced. Further, by generating a JPEG image for display using parameters different from those of the main image (main image data), it is possible to easily check the focus without affecting the main image.

以下、本発明の実施の形態について図面を参照しながら説明する。図１に本発明を実施するための最良の形態である撮像装置としてのデジタルカメラの構成を示す。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows a configuration of a digital camera as an imaging apparatus which is the best mode for carrying out the present invention.

図１において、１０はデジタルカメラ、１００は撮影レンズ、１０１は絞り、１０３はシャッター、１０４は撮像素子である。撮影レンズ１００に入射した光線は、絞り１０１及びシャッター１０３を通過し、撮像素子１０４によって光学像から電気信号に変換される。撮像素子１０４は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の原色透過フィルタがピクセル単位に市松模様に配列（ベイヤー配列）されたエリアセンサとして構成されている。 In FIG. 1, 10 is a digital camera, 100 is a photographing lens, 101 is an aperture, 103 is a shutter, and 104 is an image sensor. The light beam incident on the photographing lens 100 passes through the aperture 101 and the shutter 103, and is converted from an optical image into an electrical signal by the image sensor 104. The image sensor 104 is configured as an area sensor in which primary color transmission filters of R (red), G (green), and B (blue) are arranged in a checkered pattern (Bayer arrangement) in units of pixels.

１０５は撮像素子１０４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。１０７は撮像素子１０４、Ａ／Ｄ変換器１０５にクロック信号や制御信号を供給するタイミング制御部であり、メモリ制御部１０８及び制御部１０６によって制御される。 Reference numeral 105 denotes an A / D converter that converts an analog signal output from the image sensor 104 into a digital signal. A timing control unit 107 supplies a clock signal and a control signal to the image sensor 104 and the A / D converter 105, and is controlled by the memory control unit 108 and the control unit 106.

１０９は画像処理部であり、Ａ／Ｄ変換器１０５からのデータ或いはメモリ制御部１０８からのデータに対して、所定の信号処理、例えばホワイトバランス調整、画素補間処理、階調処理、色変換処理等を行う。また画像処理部１０９においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて制御部１０６が露光制御部１０２、フォーカス制御部１１３に対して制御を行う。これにより、ＴＴＬ方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理が行われる。 An image processing unit 109 performs predetermined signal processing, such as white balance adjustment, pixel interpolation processing, gradation processing, and color conversion processing, on the data from the A / D converter 105 or the data from the memory control unit 108. Etc. The image processing unit 109 performs predetermined calculation processing using the captured image data, and the control unit 106 controls the exposure control unit 102 and the focus control unit 113 based on the obtained calculation result. Thereby, TTL AF (autofocus) processing and AE (automatic exposure) processing are performed.

１０８はメモリ制御部であり、Ａ／Ｄ変換器１０５、タイミング制御部１０７、画像処理部１０９、メモリ１１０、圧縮・伸長部１１１を制御する。Ａ／Ｄ変換器１０５のデータは、画像処理部１０９及びメモリ制御部１０８を介して、或いは、直接メモリ制御部１０８を介して、メモリ１１０に書き込まれる。 A memory control unit 108 controls the A / D converter 105, the timing control unit 107, the image processing unit 109, the memory 110, and the compression / decompression unit 111. Data of the A / D converter 105 is written to the memory 110 via the image processing unit 109 and the memory control unit 108 or directly via the memory control unit 108.

１１０は撮影した静止画像やライブビュー表示をするための動画像を格納するためのメモリであり、所定枚数の静止画像や動画像を格納するのに十分な記憶量を備えている。メモリ１１０はまた、制御部１０６の作業領域としても使用することが可能である。１１１は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長部であり、メモリ１１０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ１１０に書き込む。 Reference numeral 110 denotes a memory for storing captured still images and moving images for live view display, and has a sufficient storage capacity for storing a predetermined number of still images and moving images. The memory 110 can also be used as a work area for the control unit 106. Reference numeral 111 denotes a compression / decompression unit that compresses and decompresses image data by adaptive discrete cosine transform (ADCT) or the like, reads an image stored in the memory 110, performs compression processing or decompression processing, and stores the processed data in the memory 110. Write to.

１０２は絞り１０１やシャッター１０３を制御する露光制御部である。１１３は撮影レンズ１００のフォーカシングを制御するフォーカス制御部である。１１２は撮影レンズ１００のズーミングを制御するズーム制御部である。露光制御部１０２、フォーカス制御部１１３は、ＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理部１０９が演算した演算結果に基づき、制御部１０６が露光制御部１０２、フォーカス制御部１１３を制御する。 An exposure control unit 102 controls the aperture 101 and the shutter 103. A focus control unit 113 controls the focusing of the photographing lens 100. A zoom control unit 112 controls zooming of the photographing lens 100. The exposure control unit 102 and the focus control unit 113 are controlled using the TTL method, and the control unit 106 controls the exposure control unit 102 and the focus control unit based on the calculation result obtained by calculating the captured image data by the image processing unit 109. 113 is controlled.

１０６はデジタルカメラ１０全体を制御する制御部である。１１４は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。 A control unit 106 controls the entire digital camera 10. Reference numeral 114 denotes an electrically erasable / recordable nonvolatile memory such as an EEPROM.

１１５はシャッタースイッチＳＷ１であり、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。１１６はシャッタースイッチＳＷ２であり、不図示のシャッターボタンの操作完了でＯＮとなる。ＯＮとなった場合は、まず撮像素子１０４から読み出した信号をＡ／Ｄ変換器１０５、メモリ制御部１０８を介してメモリ１１０に画像データを書き込む露光処理の指示を行い、続いて画像処理部１０９やメモリ制御部１０８での演算を用いた現像処理の指示を行う。更に、メモリ１１０から画像データを読み出し、圧縮・伸長部１１１で圧縮を行い、記録媒体１１７に画像データを書き込む記録処理の指示を行う。 Reference numeral 115 denotes a shutter switch SW1, which is turned ON during the operation of a shutter button (not shown) and instructs to start operations such as AF (autofocus) processing, AE (automatic exposure) processing, and AWB (auto white balance) processing. Reference numeral 116 denotes a shutter switch SW2, which is turned on when the operation of a shutter button (not shown) is completed. When turned ON, first, an instruction for an exposure process for writing the image data to the memory 110 via the A / D converter 105 and the memory control unit 108 is given to the signal read from the image sensor 104, and then the image processing unit 109. And instructing development processing using calculation in the memory control unit 108. Further, the image data is read from the memory 110, compressed by the compression / decompression unit 111, and a recording process instruction for writing the image data to the recording medium 117 is given.

１１８は表示制御部であり、記録媒体１１７に記録された画像データやライブビュー画像を表示部１１９に表示するための制御部である。１１９は液晶パネル等からなる表示部である。１２０は画像データから任意の領域をトリミングするトリミング部であり、１２１は画像データを任意の拡大率・縮小率でリサイズするリサイズ部である。 Reference numeral 118 denotes a display control unit, which is a control unit for displaying image data and live view images recorded on the recording medium 117 on the display unit 119. Reference numeral 119 denotes a display unit composed of a liquid crystal panel or the like. A trimming unit 120 trims an arbitrary area from the image data, and a resize unit 121 resizes the image data at an arbitrary enlargement / reduction rate.

１１７はメモリカードやハードディスク等の記録媒体（記録部）である。ここで図２に記録媒体１１７に記録する画像データのファイル構造の模式図を示す。図２（ａ）はＣＣＤ−ＲＡＷ形式の画像データのファイル構造を示し、図２（ｂ）はＪＰＥＧ形式の画像データのファイル構造を示している。これらの画像データのファイル構造のフォーマットは、デジタルカメラで一般的に用いられている電子情報技術産業協会（ＪＥＩＴＡ）によって定められたＥｘｉｆファイルフォーマットの規格に準拠する。以下、それぞれのファイル構造の詳細を説明する。 Reference numeral 117 denotes a recording medium (recording unit) such as a memory card or a hard disk. Here, FIG. 2 shows a schematic diagram of a file structure of image data recorded on the recording medium 117. 2A shows the file structure of image data in the CCD-RAW format, and FIG. 2B shows the file structure of image data in the JPEG format. The format of the image data file structure conforms to the Exif file format standard defined by the Japan Electronics and Information Technology Industries Association (JEITA), which is generally used in digital cameras. Details of each file structure will be described below.

図２（ａ）に示すＣＣＤ−ＲＡＷ形式の画像データ２００は、ヘッダ領域２０１、サムネイル画像領域２０２、表示用ＪＰＥＧ画像領域２０３及びＣＣＤ−ＲＡＷ画像領域２０４を有する。ヘッダ領域２０１には、シャッタースピード、絞り値、ＩＳＯ感度等の撮影条件を示す情報や画像処理に関するパラメータ等が記録される。サムネイル画像領域２０２には、ＣＣＤ−ＲＡＷ形式の場合、後述の表示用ＪＰＥＧ画像Ａ（２０３−１）をリサイズした画像データが記録される。なお、ＤＣＦ（ＤｉｇｉｔａｌＣａｍｅｒａＦｏｒｍａｔ）ではサムネイル画像は、１６０×１２０画素と規定されている。表示用ＪＰＥＧ画像領域２０３には、再生時に使用する表示用ＪＰＥＧ画像が記録される。表示用ＪＰＥＧ画像領域２０３に含まれる表示用ＪＰＥＧ画像Ａ（２０３−１）は、本画像（本発明でいう主画像データに対応）に対して水平・垂直方向にそれぞれ１／２にリサイズした画像データである。また２０３−２に示す表示用ＪＰＥＧ画像Ｐｉ（ｉ＝１〜ｎ）は、本画像の特定領域をトリミングした表示用ＪＰＥＧ画像（本発明でいう、部分画像データに対応する）であり、本画像と同等の解像度を有するように処理されている。ＣＣＤ−ＲＡＷ画像領域２０４には、本画像、即ちに、ＣＣＤ−ＲＡＷ形式の画像データが記録される。
図２（ｂ）に示すＪＰＥＧ形式の画像データ２１０は、ヘッダ領域２１１、サムネイル画像領域２１２、表示用ＪＰＥＧ画像領域２１３及びＪＰＥＧ画像領域２１４を有する。ヘッダ領域２１１、サムネイル画像領域２１２、表示用ＪＰＥＧ画像領域２１３は、ＣＣＤ−ＲＡＷ形式の画像データ２００のものと同様であるため、説明は省略する。ＪＰＥＧ画像領域２１４には、本画像、即ち、ＪＰＥＧ形式の画像データが記録される。 The image data 200 in the CCD-RAW format shown in FIG. 2A includes a header area 201, a thumbnail image area 202, a display JPEG image area 203, and a CCD-RAW image area 204. In the header area 201, information indicating shooting conditions such as shutter speed, aperture value, ISO sensitivity, parameters relating to image processing, and the like are recorded. In the thumbnail image area 202, in the case of the CCD-RAW format, image data obtained by resizing a display JPEG image A (203-1) described later is recorded. Note that a thumbnail image is defined as 160 × 120 pixels in DCF (Digital Camera Format). In the display JPEG image area 203, a display JPEG image used for reproduction is recorded. The display JPEG image A (203-1) included in the display JPEG image area 203 is an image resized in half in the horizontal and vertical directions with respect to the main image (corresponding to the main image data referred to in the present invention). It is data. A display JPEG image Pi (i = 1 to n) indicated by 203-2 is a display JPEG image (corresponding to partial image data in the present invention) obtained by trimming a specific area of the main image. Are processed to have the same resolution. In the CCD-RAW image area 204, the main image, that is, image data in the CCD-RAW format is recorded.
2B includes a header area 211, a thumbnail image area 212, a display JPEG image area 213, and a JPEG image area 214. Since the header area 211, the thumbnail image area 212, and the display JPEG image area 213 are the same as those of the image data 200 in the CCD-RAW format, description thereof is omitted. In the JPEG image area 214, the main image, that is, image data in JPEG format is recorded.

次に図３を用いて本実施の形態において画像データを記録する際のフローを説明する。
ステップＳ１０１において制御部１０６は、シャッタースイッチＳＷ１（１１５）のＯＮを検出すると、ステップＳ１０２において撮像素子１０４の露光を開始し、撮像した画像データから画像処理部１０９が演算して求めた測光情報、測距情報を取得する。 Next, a flow for recording image data in the present embodiment will be described with reference to FIG.
In step S101, when the control unit 106 detects that the shutter switch SW1 (115) is turned ON, exposure of the image sensor 104 is started in step S102, and photometric information obtained by the image processing unit 109 calculating from the captured image data. Get range information.

次にステップＳ１０３において制御部１０６は、シャッタースイッチＳＷ２（１１６）のＯＮを検出すると本露光を行い、取得した画像データ（ＣＣＤ−ＲＡＷ形式の画像データ）をメモリ１１０に保存する。次にステップＳ１０４において制御部１０６は、記録画質がＣＣＤ−ＲＡＷ形式であるかＪＰＥＧ形式であるか判別する。ＣＣＤ−ＲＡＷ形式の場合はステップＳ１０５において、前述した表示用ＪＰＥＧ画像Ａを生成する（図２を参照のこと）。ＪＰＥＧ形式の場合はステップＳ１０６において、ＣＣＤ−ＲＡＷ形式の画像データに所定の画像処理及び圧縮処理等をしてＪＰＥＧ形式の本画像を生成する。 Next, in step S <b> 103, when the control unit 106 detects that the shutter switch SW <b> 2 (116) is turned ON, the control unit 106 performs main exposure and stores the acquired image data (image data in the CCD-RAW format) in the memory 110. In step S104, the control unit 106 determines whether the recording image quality is in the CCD-RAW format or the JPEG format. In the case of the CCD-RAW format, the above-described display JPEG image A is generated in step S105 (see FIG. 2). In the case of the JPEG format, in step S106, the image data in the CCD-RAW format is subjected to predetermined image processing, compression processing, and the like to generate a main image in JPEG format.

次にステップＳ１０７において制御部１０６は、複数の表示用ＪＰＥＧ画像Ｐｉを生成するための変数ｉを初期化し、続いてステップＳ１０８において、表示用ＪＰＥＧ画像Ｐｉの領域、即ち、本画像からトリミングして保存する領域を決定する。 In step S107, the control unit 106 initializes a variable i for generating a plurality of display JPEG images Pi. Subsequently, in step S108, the control unit 106 trims the region of the display JPEG image Pi, that is, the main image. Determine the area to save.

ここで図４、図５を用いてトリミング領域の決定方法について説明する。ステップＳ１０２において、図５に示す撮影画面５００内の合焦点５０１が画像処理部１０９により求められたとする。このとき、制御部１０６は、決定した撮影時の絞り値と、ズーム制御部１１２及びフォーカス制御部１１３により求められるデジタルカメラ１０から被写体までの距離情報と、所定の許容錯乱円とを基に、被写界深度を演算する。ここで得られた被写界深度から図４に示すような関係を用いて、トリミング領域５０２の大きさを決定する。図４は、被写界深度に応じて、トリミング領域の大きさを変更する関数を示しており、予め保持されているものである。具体的に図４では、被写界深度が浅い場合には、ピントが合う領域が小さいためトリミング領域を小さくするようにし、被写界深度が深い場合にはピントが合う領域が大きいためトリミング領域を大きくするようにしている。このようにすることで、重要な領域のみを表示用ＪＰＥＧ画像として保存することができ、ピント確認を容易に可能にしながらも、ファイル容量を抑えることを実現する。なお、ステップＳ１０８の処理は、本発明でいう変更手段の一処理例に対応する。 Here, a method for determining a trimming region will be described with reference to FIGS. In step S102, it is assumed that the focal point 501 in the shooting screen 500 shown in FIG. At this time, the control unit 106, based on the determined aperture value at the time of shooting, the distance information from the digital camera 10 to the subject obtained by the zoom control unit 112 and the focus control unit 113, and a predetermined permissible circle of confusion. Calculate the depth of field. From the depth of field obtained here, the size of the trimming region 502 is determined using the relationship shown in FIG. FIG. 4 shows a function for changing the size of the trimming area in accordance with the depth of field, which is held in advance. Specifically, in FIG. 4, when the depth of field is shallow, the trimming area is small because the focus area is small, and when the depth of field is deep, the trimming area is large because the focus area is large. I try to make it bigger. In this way, it is possible to save only an important area as a display JPEG image, and it is possible to easily reduce the file size while easily enabling focus confirmation. Note that the processing in step S108 corresponds to a processing example of changing means in the present invention.

図３に戻りステップＳ１０９において制御部１０６は、画像処理部１０９で表示用ＪＰＥＧ画像Ｐｉを生成するための画像処理パラメータを決定する。画像処理パラメータは、明るさ、ホワイトバランス、コントラスト、シャープネス等に関するものであり、ｉ＝０のときは、撮影時にデジタルカメラ１０に設定されていた設定値を用いるものとする。続いてステップＳ１１０において制御部１０６は、ステップＳ１０９において決定された画像処理パラメータを用いて画像処理部１０９により画像処理を行い、表示用ＪＰＥＧ画像Ｐiを生成する。なお、生成する表示用ＪＰＥＧ画像Ｐiは本画像と同等の解像度を有するように適宜調整又は変更される。 Returning to FIG. 3, in step S <b> 109, the control unit 106 determines image processing parameters for generating the display JPEG image Pi in the image processing unit 109. The image processing parameters relate to brightness, white balance, contrast, sharpness, etc. When i = 0, the setting values set in the digital camera 10 at the time of shooting are used. Subsequently, in step S110, the control unit 106 performs image processing by the image processing unit 109 using the image processing parameters determined in step S109, and generates a display JPEG image Pi. The generated display JPEG image Pi is appropriately adjusted or changed so as to have the same resolution as the main image.

次にステップＳ１１１において制御部１０６は、表示用ＪＰＥＧ画像（即ち、表示用ＪＰＥＧ画像Ｐｉ＋１）を更に生成するかどうかの判定を行う。判定は、例えば現在ステップＳ１０９で生成された表示用ＪＰＥＧ画像Ｐｉを画像処理部１０９で解析した結果を用いてもよい。具体的には、表示用ＪＰＥＧ画像Ｐｉの輝度ヒストグラムを検出し、明るさ、コントラストに偏りがないかどうか判定をする。そして偏りがある場合には、本来の目的であるピント確認が行いにくい可能性があるため、偏りを補正する画像処理パラメータをステップＳ１０９で設定して、表示用ＪＰＥＧ画像を順次複数枚生成するようにする。ステップＳ１１１で表示用ＪＰＥＧ画像を複数生成すると判定した場合は、ステップＳ１１２において制御部１０６は、変数ｉをインクリメントしてステップＳ１０８に戻る。なお、上述のように本実施の形態では、表示用ＪＰＥＧ画像Ｐｉを生成する際に、本画像とは異なる画像処理パラメータを用いるようにしている（ステップＳ１０９）。これにより、本画像に影響を与えずにピント確認を容易に行うことが可能となる。 Next, in step S111, the control unit 106 determines whether to further generate a display JPEG image (that is, a display JPEG image Pi + 1). For the determination, for example, a result obtained by analyzing the display JPEG image Pi currently generated in step S109 by the image processing unit 109 may be used. Specifically, a luminance histogram of the display JPEG image Pi is detected, and it is determined whether there is no bias in brightness and contrast. If there is a bias, it may be difficult to confirm the focus, which is the original purpose. Therefore, image processing parameters for correcting the bias are set in step S109, and a plurality of JPEG images for display are sequentially generated. To. If it is determined in step S111 that a plurality of JPEG images for display are generated, in step S112, the control unit 106 increments the variable i and returns to step S108. As described above, in the present embodiment, when generating the display JPEG image Pi, image processing parameters different from those of the main image are used (step S109). As a result, it is possible to easily perform focus confirmation without affecting the main image.

ステップＳ１１１で表示用ＪＰＥＧ画像の生成を終了すると判定した場合ステップＳ１１３において制御部１０６は、ステップＳ１０５又はＳ１０６で生成されたＪＰＥＧ画像をリサイズ部１２１によって１６０×１２０画素に縮小してサムネイル画像を生成する。そして処理を終了する。なお、ステップＳ１０３、Ｓ１０５、Ｓ１０６、Ｓ１１０、Ｓ１１３で生成された各画像データは、図２に示した各データ領域に保存され、記録媒体１１７に記録される。 If it is determined in step S111 that the generation of the display JPEG image is to be terminated, in step S113, the control unit 106 generates a thumbnail image by reducing the JPEG image generated in step S105 or S106 to 160 × 120 pixels by the resizing unit 121. To do. Then, the process ends. Note that each image data generated in steps S103, S105, S106, S110, and S113 is stored in each data area shown in FIG. 2 and recorded on the recording medium 117.

上述のようにして記録された画像データは、デジタルカメラ１０の背面に設けられた各種釦を操作することで再生することができる。図６にデジタルカメラ１０の背面図を示す。デジタルカメラ１０は、表示部１１９に画像を再生表示する際のモードとして、画像を１度に１枚のみ表示する１枚再生モード、４枚の画像を１度に再生する４枚再生モード、９枚の画像を１度に再生する９枚再生モードの３つの再生モードを有する。 The image data recorded as described above can be reproduced by operating various buttons provided on the back of the digital camera 10. FIG. 6 shows a rear view of the digital camera 10. The digital camera 10 reproduces and displays an image on the display unit 119 as a mode for displaying only one image at a time, a single-image reproduction mode for displaying four images at a time, a four-image reproduction mode for reproducing four images at a time, 9 There are three playback modes, nine playback modes that play back one image at a time.

図６において、６０７は再生モード変更釦であり、押下するたびに再生モードを変更することができる。６００ａ、６００ｂは、それぞれ拡大釦、縮小釦であり、表示部１１９に表示されている画像の表示領域を拡大・縮小するための表示サイズ変更釦である。６０１ａ〜６０１ｄは表示領域移動釦であり、拡大再生において表示部１１９に表示されている領域を上下左右に移動するための釦である。６０２は回転させることで記録媒体１１７に記録されている画像データを順次、表示部１１９に表示するための画像送りダイアルである。６０３は記録媒体１１７に記録されている画像データを表示部１１９に表示するための再生釦である。６０４は表示用ＪＰＥＧ画像記録領域表示釦であり、表示部１１９に表示されている画像に関連付けられて記録されている表示用ＪＰＥＧ画像の領域を、表示用ＪＰＥＧ画像記録領域表示枠６０６として、画像データと併せて表示・非表示するための釦である。 In FIG. 6, reference numeral 607 denotes a reproduction mode change button, which can change the reproduction mode each time the button is pressed. Reference numerals 600a and 600b denote an enlargement button and a reduction button, respectively, which are display size change buttons for enlarging / reducing the display area of the image displayed on the display unit 119. Reference numerals 601a to 601d denote display area movement buttons, which are buttons for moving the area displayed on the display unit 119 up, down, left, and right in enlarged reproduction. Reference numeral 602 denotes an image feed dial for sequentially displaying the image data recorded on the recording medium 117 on the display unit 119 by rotating. Reference numeral 603 denotes a playback button for displaying the image data recorded on the recording medium 117 on the display unit 119. Reference numeral 604 denotes a display JPEG image recording area display button. A display JPEG image area recorded in association with an image displayed on the display unit 119 is used as a display JPEG image recording area display frame 606. It is a button for displaying / hiding together with data.

次に本実施の形態において記録媒体１１７に記録された画像データを再生する際のフローを図７に示す。 Next, FIG. 7 shows a flow when reproducing the image data recorded on the recording medium 117 in the present embodiment.

再生釦６０３が押下されると画像再生が開始され、ステップＳ２００において制御部１０６は、１枚再生モードかどうかを判定する。１枚再生モードでない場合、即ち再生モードが４枚再生、９枚再生である場合には、ステップＳ２０１に進み、制御部１０６は、サムネイル画像領域に記録された画像データを圧縮・伸長部１１１で伸長し、表示部１１９に表示する。１枚再生モードである場合はステップＳ２０２に進み、制御部１０６は、画像データがＣＣＤ−ＲＡＷ形式であるかどうかを判定する。ＣＣＤ−ＲＡＷ形式である場合にはステップＳ２０３に進み、リサイズした画像である表示用ＪＰＥＧ画像Ａを表示部１１９全体に表示する。一方、画像データがＪＰＥＧ形式である場合にはステップＳ２０４に進み、ＪＰＥＧ画像領域に記録されたＪＰＥＧ画像を表示部１１９全体に表示する。 When the reproduction button 603 is pressed, image reproduction is started, and in step S200, the control unit 106 determines whether or not the single image reproduction mode is set. If the playback mode is not the single playback mode, that is, if the playback mode is 4 playback or 9 playback, the process proceeds to step S201, and the control unit 106 compresses and decompresses the image data recorded in the thumbnail image area. It is expanded and displayed on the display unit 119. If it is in the single-image playback mode, the process proceeds to step S202, and the control unit 106 determines whether the image data is in the CCD-RAW format. If it is in the CCD-RAW format, the process proceeds to step S203, and the display JPEG image A, which is a resized image, is displayed on the entire display unit 119. On the other hand, if the image data is in JPEG format, the process advances to step S204 to display the JPEG image recorded in the JPEG image area on the entire display unit 119.

次にステップＳ２０５において制御部１０６は、拡大釦６００ａが押下されたかどうかを判定し、拡大釦６００ａが押下された場合は、複数の表示用ＪＰＥＧ画像Ｐｉのうちの表示用ＪＰＥＧ画像Ｐ１を表示部１１９全体に表示する。更に拡大釦６００ａが押下され続けた場合にはステップＳ２０６において、表示領域を段階的に拡大させて表示する。 Next, in step S205, the control unit 106 determines whether or not the enlargement button 600a is pressed. If the enlargement button 600a is pressed, the control unit 106 displays the display JPEG image P1 among the plurality of display JPEG images Pi. 119 is displayed throughout. If the enlargement button 600a continues to be pressed, the display area is enlarged in steps and displayed in step S206.

また、ステップＳ２０７において制御部１０６は、縮小釦６００ｂが押下されたかどうかを判定し、縮小釦６００ｂが押下された場合にはステップＳ２０８において、拡大釦６００ａとは逆に表示領域を段階的に縮小させて表示を行う。 In step S207, the control unit 106 determines whether or not the reduction button 600b is pressed. If the reduction button 600b is pressed, the display area is reduced stepwise in step S208, contrary to the enlargement button 600a. To display.

また、ステップＳ２０９において制御部１０６は、表示領域移動釦６０１が押下されたかどうかを判定する。表示領域移動釦６０１が押下された場合はステップＳ２１０において、表示部１１９に表示する画像領域の移動を行うが、このとき表示すべき領域が、表示用ＪＰＥＧ画像Ｐ１に含まれているかどうかの判定を行う。表示領域が表示用ＪＰＥＧ画像Ｐ１に含まれている場合は、該画像の画像データをそのまま使用して表示を行う。表示領域がＰ１に含まれていない場合はステップＳ２１１において、記録モードがＣＣＤ−ＲＡＷ形式かどうかを判定する。ＣＣＤ−ＲＡＷ形式の場合はステップＳ２１２に進み、ＣＣＤ−ＲＡＷ画像から現像処理を行い、表示用の画像データを生成する。ＪＰＥＧ形式の場合にはステップＳ２１３に進む、ＪＰＥＧ画像領域のＪＰＥＧ画像から表示用の画像データを生成する。なお、本処理では、表示用ＪＰＥＧ画像Ｐｉのうちの表示用ＪＰＥＧ画像Ｐ１を再生する処理を説明したが、画像パラメータの異なるその他の表示用ＪＰＥＧ画像を表示することもできる。この場合、ＵＩや操作部を用いて表示用ＪＰＥＧ画像を選択するようにする。 In step S209, the control unit 106 determines whether the display area movement button 601 has been pressed. When the display area movement button 601 is pressed, in step S210, the image area to be displayed on the display unit 119 is moved, and it is determined whether the area to be displayed at this time is included in the display JPEG image P1. I do. When the display area is included in the display JPEG image P1, display is performed using the image data of the image as it is. If the display area is not included in P1, it is determined in step S211 whether the recording mode is the CCD-RAW format. In the case of the CCD-RAW format, the process proceeds to step S212, development processing is performed from the CCD-RAW image, and display image data is generated. In the case of the JPEG format, the process proceeds to step S213, and image data for display is generated from the JPEG image in the JPEG image area. In this process, the process of reproducing the display JPEG image P1 out of the display JPEG images Pi has been described. However, other display JPEG images having different image parameters can also be displayed. In this case, the display JPEG image is selected using the UI or the operation unit.

以上、本実施の形態においては、絞り値と測距情報と許容錯乱円とを基に計算できる被写界深度に応じて、表示用ＪＰＥＧ画像の保存領域を変更させるようにした。具体的には、被写界深度が浅い場合には、ピントが合う領域が小さいため保存領域を小さく、被写界深度が深い場合にはピントが合う領域が大きいため保存領域を大きくするようにした。このようにすることで、撮影者にとって重要な領域のみを表示用ＪＰＥＧ画像として保存することができ、ピント確認を容易に可能にしながらも、ファイル容量を抑えることができる。そのため、再生処理に要する処理時間、メモリ容量を大幅に削減することが可能となる。また、表示用ＪＰＥＧ画像を本画像とは異なる画像処理パラメータを用いて生成することで、本画像に影響を与えずにピント確認を容易に行うことも可能となる。 As described above, in the present embodiment, the storage area of the display JPEG image is changed according to the depth of field that can be calculated based on the aperture value, the distance measurement information, and the allowable circle of confusion. Specifically, when the depth of field is shallow, the area to be focused is small and the storage area is small. When the depth of field is deep, the area to be focused is large and the storage area is large. did. In this way, only the region important for the photographer can be saved as a display JPEG image, and the file capacity can be reduced while facilitating the confirmation of focus. Therefore, the processing time and memory capacity required for the reproduction process can be greatly reduced. Further, by generating a display JPEG image using image processing parameters different from those of the main image, it is possible to easily perform focus confirmation without affecting the main image.

また、本発明を実現するために、上述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記憶媒体を用いても良い。この場合には記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって本発明の目的が達成される。 In order to realize the present invention, a storage medium in which a program code (computer program) of software that realizes the functions of the above-described embodiments may be used. In this case, the object of the present invention is achieved by supplying the storage medium to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus reads and executes the program code stored in the storage medium.

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing the program code constitute the present invention.

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。 As a storage medium for supplying the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.

また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行う場合も含まれることは言うまでもない。 Needless to say, the OS (basic system or operating system) running on the computer performs part or all of the actual processing based on the instruction of the program code.

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。この場合には、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ってもよい。 Furthermore, the program code read from the storage medium may be written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. In this case, based on the instruction of the written program code, the CPU or the like provided in the function expansion board or function expansion unit may perform part or all of the actual processing.

本発明の実施の形態に係る撮像装置の全体構成を示したブロック図である。1 is a block diagram illustrating an overall configuration of an imaging apparatus according to an embodiment of the present invention. 本発明の実施の形態に係る撮像装置が用いる画像データのファイル構造を示した図である。It is the figure which showed the file structure of the image data which the imaging device which concerns on embodiment of this invention uses. 本発明の実施の形態に係る撮像装置が画像データを記録する際の動作を説明するフローチャートである。It is a flowchart explaining the operation | movement at the time of the imaging device which concerns on embodiment of this invention records image data. 本発明の実施の形態に係る撮像装置が表示用ＪＰＥＧ画像を記録する際に用いる、被写界深度と画像の大きさの関係を説明する図である。It is a figure explaining the relationship between the depth of field and the magnitude | size of an image used when the imaging device which concerns on embodiment of this invention records the JPEG image for a display. 本発明の実施の形態に係る撮像装置が撮影した画像の撮影画面の一例を示した図である。It is the figure which showed an example of the imaging | photography screen of the image which the imaging device which concerns on embodiment of this invention image | photographed. 本発明の実施の形態に係る撮像装置の背面図である。It is a rear view of the imaging device concerning an embodiment of the invention. 本発明の実施の形態に係る撮像装置が画像データを再生する際の動作を説明するフローチャートである。6 is a flowchart illustrating an operation when the imaging apparatus according to the embodiment of the present invention reproduces image data.

Explanation of symbols

１０デジタルカメラ
１００撮影レンズ
１０１絞り
１０３シャッター
１０４撮像素子
１０６制御部
１０９画像処理部
１１８表示制御部
１１９表示部
１２０トリミング部
１２１リサイズ部 DESCRIPTION OF SYMBOLS 10 Digital camera 100 Shooting lens 101 Diaphragm 103 Shutter 104 Image pick-up element 106 Control part 109 Image processing part 118 Display control part 119 Display part 120 Trimming part 121 Resizing part

Claims

A memory for storing RAW-format image data obtained by the imaging device;
Determining means for determining a trimming region in accordance with distance information and an aperture value of the imaging device when performing shooting corresponding to the image data in the RAW format;
Generating means for generating a display JPEG image corresponding to the trimming area determined by the determining means from RAW format image data stored in the memory;
Recording means for recording both the RAW format image data and the display JPEG image generated by the generation means in one RAW format image data file;
The display JPEG image recorded in the RAW format image data file is displayed on the display device, and the display image is controlled in response to an instruction to change the display area of the display JPEG image displayed on the display device. Display control means,
When the display area instructed to be changed is not included in the trimming area of the display JPEG image, the display control means processes the image data in the RAW format, thereby corresponding to the display area instructed to be changed. An image is newly generated, and the generated image is displayed on the display device .
The determining means calculates a depth of field based on the distance information and an aperture value, and sets the area to be smaller as the depth of field is shallower and to be larger as the depth is deeper. An image processing apparatus.

A determination step of determining a trimming region according to distance information and an aperture value of the imaging device when shooting corresponding to RAW format image data obtained by the imaging device;
Generating a JPEG image for display corresponding to the trimming area determined in the determining step from the image data in the RAW format;
A recording step of recording both the RAW image data and the display JPEG image generated in the generation step in one RAW image data file;
The display JPEG image recorded in the RAW format image data file is displayed on the display device, and the display image is controlled in response to an instruction to change the display area of the display JPEG image displayed on the display device. A display control step,
When the display area instructed to be changed is not included in the trimming area of the display JPEG image, the display control step corresponds to the display area instructed to change by processing the image data in the RAW format. An image is newly generated, and the generated image is displayed on the display device .
The determining step calculates a depth of field based on the distance information and an aperture value, and sets the area to be smaller as the depth of field is shallower and to be larger as the depth of field is deeper. Image processing method.

A determination process for determining a trimming region according to distance information and an aperture value of the imaging device when shooting corresponding to RAW format image data obtained by the imaging device;
A generation process for generating a display JPEG image corresponding to the trimming area determined in the determination process from the image data in the RAW format;
A recording process for recording both the RAW-format image data and the display JPEG image generated in the generation process in one RAW-format image data file;
The display JPEG image recorded in the RAW format image data file is displayed on the display device, and the display image is controlled in response to an instruction to change the display area of the display JPEG image displayed on the display device. Let the computer execute display control processing,
When the display area instructed to be changed is not included in the trimming area of the display JPEG image, the display control process corresponds to the display area instructed to change by processing the image data in the RAW format. An image is newly generated, and the generated image is displayed on the display device .
The determination process calculates a depth of field based on the distance information and an aperture value, and sets the region to be smaller as the depth of field is shallower and larger as the depth is deeper. Program to do.