JP6245819B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP6245819B2 JP6245819B2 JP2013053244A JP2013053244A JP6245819B2 JP 6245819 B2 JP6245819 B2 JP 6245819B2 JP 2013053244 A JP2013053244 A JP 2013053244A JP 2013053244 A JP2013053244 A JP 2013053244A JP 6245819 B2 JP6245819 B2 JP 6245819B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- development
- raw
- recording medium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置及び画像処理方法に関し、特に、動画又は静止画のRAW画像を扱う技術に関する。 The present invention relates to an image processing apparatus and an image processing method, and more particularly to a technique for handling a RAW image of a moving image or a still image.
従来の撮像装置では、撮像センサーによって撮像された生の画像情報(RAW画像)をデベイヤー処理(デモザイク処理)し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行っている。そして、現像処理された輝度信号及び色差信号を圧縮符号化して、記録媒体に記録するのが一般的である。 In a conventional imaging apparatus, raw image information (RAW image) captured by an imaging sensor is debayered (demosaiced), converted into a signal composed of luminance and color difference, noise removal, and optical distortion for each signal. So-called development processing such as correction and image optimization is performed. In general, the developed luminance signal and color difference signal are compression encoded and recorded on a recording medium.
一方で、RAW画像を記録できる撮像装置も存在する。RAW画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があるので、上級者によって好んで使われている。 On the other hand, there are imaging devices that can record RAW images. RAW images require a large amount of data for recording, but are preferred by advanced users because they have the advantage that correction and deterioration of the original image can be minimized and can be edited after shooting.
RAW画像を記録する撮像装置の構成は特許文献1に開示されている。特許文献1には、RAW画像と共に現像パラメータを記録しておき、再生時に当該現像パラメータを用いてRAW画像の現像及び再生を行う構成が記載されている。 The configuration of an imaging apparatus that records a RAW image is disclosed in Patent Document 1. Patent Document 1 describes a configuration in which development parameters are recorded together with a RAW image, and the RAW image is developed and reproduced using the development parameters during reproduction.
近年の撮像装置は、撮像センサーが進化し、画像1枚あたりの画素数が大幅に増加してきている。また、1秒あたりに連写できる画像の枚数も増える傾向にある。そのため、RAW画像に対するデベイヤー処理や、ノイズ除去、光学歪補正など、現像処理を成すそれぞれの処理量が相乗的に増大し、撮影と並行したリアルタイムの現像処理を行うには、膨大な回路や消費電力を費やしている。時には、現像処理による回路の占有や消費電力上の制限などのために、高い撮影パフォーマンスを実行できないことも起こり得る。 In recent imaging apparatuses, the number of pixels per image has greatly increased due to the evolution of imaging sensors. Also, the number of images that can be taken continuously per second tends to increase. For this reason, each processing amount for development processing such as debayer processing, noise removal, and optical distortion correction for RAW images increases synergistically, and in order to perform real-time development processing in parallel with shooting, enormous circuits and consumption are required. Electricity is spent. In some cases, it may not be possible to execute high photographing performance due to the occupation of the circuit by development processing and the limitation on power consumption.
一方、前述の特許文献1のように、RAW画像を現像せずに記録する構成ならば、撮影時の現像に係る処理量は軽減されるかもしれないが、現像されていない状態で記録されるために、画像を速やかに再生表示することが困難である。さらに、RAW画像特有のデータの特殊性によって、他の機器ではRAW画像を再生(現像)できなかったりするので、従来のRAW画像の記録方式では、ユーザーの利便性を損なうことがあった。 On the other hand, if the configuration is such that the RAW image is recorded without being developed as in Patent Document 1 described above, the processing amount related to the development at the time of shooting may be reduced, but the RAW image is recorded in the undeveloped state. Therefore, it is difficult to quickly reproduce and display the image. Furthermore, the RAW image cannot be reproduced (developed) by other devices due to the uniqueness of the data specific to the RAW image, and the conventional RAW image recording method may impair the convenience of the user.
このように、従来の装置で、高い撮影パフォーマンスを実行し、なおかつ再生画像も高速に出画可能にするには、高コストの回路を搭載して高出力で駆動できるようにするか、RAW画像を記録して高速かつ簡便に再生できるようにしなければならない課題があった。 As described above, in order to perform high shooting performance with a conventional apparatus and to allow a reproduced image to be output at high speed, a high-cost circuit can be installed so that it can be driven at high output, or a RAW image can be driven. There was a problem that had to be recorded so that it could be played back quickly and easily.
そこで、本発明の目的は、RAW画像を記録しながらも、再生画像を速やかに表示させることを可能にする画像処理装置及び画像処理方法を提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to provide an image processing apparatus and an image processing method capable of promptly displaying a reproduced image while recording a RAW image.
上記目的を達成するために、本発明の画像処理装置は、
被写体像を撮像してRAW画像を生成する撮像手段と、RAW画像に対して現像処理を行う第1の現像手段と、RAW画像に対して第1の現像手段よりも高画質な画像を得るためのRAW画像の現像処理を行う第2の現像手段と、撮影指示に応じて、撮像手段により生成されたRAW画像に対して第1の現像手段により現像処理を行った画像と、RAW画像とを、記録媒体に記録するように制御する第1の記録制御手段と、撮影後に、RAW画像に対して第2の現像処理により現像処理を行い、現像処理が行われた画像を記録媒体に記録するように制御する第2の記録制御手段と、画像の再生開始が指示された場合に、第2の現像手段による現像処理が完了しておらず、第2の現像手段による現像処理が行われた画像が記録媒体に記録されていない場合に、記録媒体に記録されている第1の現像手段により現像処理が行われた画像に基づいて画像を再生し、第2の現像手段による現像処理を終えており、記録媒体に第2の現像手段により現像処理が行われた画像がある場合には、第2の現像手段により現像処理が行われた画像に基づいて画像を再生する再生手段と、を有し、第2の記録制御手段は、記録媒体に記録されたRAW画像のうち、直前に撮影されたRAW画像から、第2の現像処理手段による現像処理を行い、記録媒体に記録するように制御することを特徴とする。
In order to achieve the above object, an image processing apparatus of the present invention provides:
An imaging unit that captures a subject image to generate a RAW image, a first developing unit that performs development processing on the RAW image, and a RAW image that is higher in quality than the first developing unit. A second developing means for developing the RAW image, an image obtained by performing the developing process on the RAW image generated by the imaging means by the first developing means in response to the photographing instruction, and a RAW image. A first recording control unit that controls to record on the recording medium, and after shooting, the RAW image is developed by the second developing process, and the developed image is recorded on the recording medium. When the second recording control unit that controls the image and the start of image reproduction is instructed, the development process by the second development unit has not been completed, and the development process by the second development unit has been performed. The image is recorded on the recording medium If not, the image is reproduced based on the image developed by the first developing means recorded on the recording medium, the developing process by the second developing means is finished, and the second developing means And a reproducing unit that reproduces an image based on the image developed by the second developing unit when there is an image developed by the developing unit. The means is characterized in that, from the RAW image recorded on the recording medium, the development processing by the second developing processing means is performed from the RAW image taken immediately before, and the recording is recorded on the recording medium.
本発明によれば、従来よりも利便性が向上したRAW画像を得ることができる。 According to the present invention, it is possible to obtain a RAW image that is more convenient than conventional ones.
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。図1に示した撮像装置100は、被写体を撮像して得られた画像情報を記録媒体に記録するだけでなく、画像情報を記録媒体から再生し、現像処理して表示する機能や、画像情報を外部の装置やサーバ(クラウド)等と送受信する機能を有する。従って、本発明の実施形態に係る撮像装置は、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することができる。
FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus according to an embodiment of the present invention. The
図1において、制御部161は、CPUと、当該CPUが実行する制御プログラムを格納するメモリを含み、撮像装置100の全体の処理を制御する。操作部162は、ユーザーが撮像装置100に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部162からの操作信号は、制御部161によって検出され、操作に応じた動作が実行されるよう制御部161によって制御される。表示部123は、撮像装置100において、撮影、或いは再生された画像や、メニュー画面、各種情報等を表示するための液晶ディスプレイ(LCD)等を含む。
In FIG. 1, the
操作部162によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部101を介して入力され、撮像センサー部102上に結像する。撮影時、撮像光学部101及び撮像センサー部102の動作は、評価値算出部105により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部131によって抽出される顔認識結果等の被写体情報に基づいて、カメラ制御部104によって制御される。
When an
撮像センサー部102は、画素毎に配置される赤、緑、青(RGB)のモザイクカラーフィルターを透過した光を電気信号に変換する。図11は、撮像センサー部102に配置されるカラーフィルターの一例を示す図であり、撮像装置100が扱う画像の画素配列を表している。図11に示すように、赤(R)、緑(G)、青(B)が画素毎にモザイク状に配置されていて、2×2の4画素につき赤1画素、青1画素、緑2画素を1セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤ―配列と呼ばれる。
The
撮像センサー部102によって変換された電気信号は、センサー信号処理部103によって画素の修復処理が施される。修復処理には、撮像センサー部102における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサー信号処理部103から出力される画像情報を、生(未現像)の画像を意味するRAW画像情報(以降、RAW画像)と称す。
The electrical signal converted by the
RAW画像は、現像部110で現像処理される。現像部110は、複数の異なる現像処理部を有し、第1の現像部としての簡易現像部111と、第2の現像部としての高画質現像部112とから成り、それらの出力を選択するスイッチ部121を含んで構成される。簡易現像部111、高画質現像部112は共に、RAW画像に対してデベイヤー処理(デモザイク処理)、即ち色補間処理を施し、輝度と色差(や原色)の信号に変換し、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化する所謂現像処理を行う。
The RAW image is developed by the developing
特に、高画質現像部112は、簡易現像部111よりも各々の処理を高精度に行うものである。高精度であるため、簡易現像部111よりも高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。そこで、本実施形態の高画質現像部112は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後のアイドル期間に時間をかけて分散処理を行うことが可能な構成になっている。このように高画質現像を撮影時ではなく、時間をかけて後から行うようにすることで、回路規模や消費電力の増大(ピーク)を低く抑えることができる。他方、簡易現像部111は、高画質現像部112よりも、画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。簡易現像部111の処理負荷は小さいので、主に撮影動作と並行したリアルタイムの現像の際に簡易現像部111を用いるようにする。スイッチ部121は、操作部162によりユーザーから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部161によって切り替えられる。また、スイッチ部121の切換に連動して、簡易現像部111と高画質現像部112のうち、信号出力の対象となる一方だけが現像動作を行うように構成しても良い。
In particular, the high image
なお、本実施形態では、現像部110の中に簡易現像部111と高画質現像部112が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を選択的に行っても良い。
In the present embodiment, the simple developing unit 111 and the high image
現像部110によって現像処理された画像情報は、表示処理部122によって所定の表示処理がなされた後、表示部123にて表示される。また、現像処理された画像情報は、映像出力端子124により、外部に接続された外部表示機器に出力することもできる。映像出力端子124は、例えばHDMIやSDIのような汎用インタフェースを含む。
The image information developed by the developing
現像部110によって現像処理された画像情報は、評価値算出部105にも供給される。評価値算出部105は、画像情報からフォーカス状態や露出状態などの評価値を算出する。
The image information developed by the developing
現像部110によって現像処理された画像情報は、認識部131にも供給される。認識部131は、画像情報中の顔や人物等の被写体情報を検出及び認識する機能を有する。例えば、画像情報によって表される画面内における顔を検出し、有る場合は顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。
The image information developed by the developing
現像部110によって現像処理された画像情報は、静止画圧縮部141又は動画圧縮部142に供給される。画像情報を静止画として圧縮する場合は、静止画圧縮部141を用いる。画像情報を動画として圧縮する場合は、動画圧縮部142を用いる。静止画圧縮部141及び動画圧縮部142は、それぞれ対象となる画像情報を高能率符号化(圧縮符号化)し、情報量が圧縮された画像情報を生成して、画像ファイル(静止画ファイル、又は、動画ファイル)に変換する。静止画圧縮はJPEGなどを、動画圧縮にはMPEG−2、H.264、H.265等を用いることができる。
Image information developed by the developing
RAW圧縮部113は、センサー信号処理部103が出力したRAW画像のデータを、ウエーブレット変換や、差分符号化等の技術を用いて高能率符号化し、圧縮された状態のRAWファイルに変換して、バッファ部(記憶媒体)115に格納する。RAWファイルは、バッファ部115内に残しておいて再び読み出すことができるが、バッファ部115に格納された後、別の記録媒体に移動して記録する(バッファ部115から削除する)ようにしても良い。
The
RAWファイルと、上述の静止画ファイル及び動画ファイルは、記録再生部151によって、記録媒体152に記録される。記録媒体152は、例えば内蔵式の大容量半導体メモリやハードディスク、又は、着脱式のメモリカード等である。記録再生部151は、記録媒体152から静止画ファイル、動画ファイル、RAWファイルを読み出すこともできる。
The RAW file and the above-described still image file and moving image file are recorded on the
記録再生部151は、通信部153を介して、外部のストレージやサーバに、各種ファイルを書き込んだり、読み出したりすることができる。通信部153は通信端子154を用いて、無線通信や有線通信によりインターネットや外部機器にアクセス可能な構成を有する。
The recording /
再生動作が開始されると、記録再生部151は、記録媒体152から、又は、通信部153を介して、所望のファイルを取得して再生する。再生対象のファイルがRAWファイルであれば、記録再生部151は、取得されたRAWファイルをバッファ部115に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部151は、取得された静止画ファイルを静止画伸張部143に供給する。再生対象のファイルが動画ファイルであれば、記録再生部151は、取得された動画ファイルを動画伸張部144に供給する。
When the reproduction operation is started, the recording / reproducing
RAW伸張部114は、バッファ部115に格納されているRAWファイルを読みだして、圧縮された状態のRAWファイルを復号して伸張する。RAW伸張部114によって伸張されたRAWファイルは、現像部110に供給されて、現像部110内の簡易現像部111や高画質現像部112に入力される。
The
静止画伸張部143は、入力された静止画ファイルを復号して伸張し、静止画の再生画像として表示処理部122に供給する。動画伸張部144は、入力された動画ファイルを復号して伸張し、動画の再生画像として表示処理部122に供給する。
The still
次に、本実施形態の撮像装置100の動作モードに関して、図を用いて詳細に説明する。図2は、撮像装置100における、各動作モードの遷移を示す状態遷移図である。このようなモードの遷移は、操作部162からのユーザー操作指示や、制御部161の判断に応じて実行され、操作に応じて手動で遷移することもあれば、自動で遷移することもある。図2のように、撮像装置100は、アイドル状態(200)を経由して4つのモード、静止画撮影モード(201)、静止画再生モード(202)、動画撮影モード(203)、動画再生モード(204)に適宜切り替わって動作する。
Next, operation modes of the
次に、撮像装置100の静止画撮影モードにおける動作について説明する。
Next, the operation in the still image shooting mode of the
図3に、本実施形態の静止画撮影モードの処理に係るフローチャートを示す。図3のフローチャートは、制御部161によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部161が有するメモリ(ROM)に格納されているプログラムをメモリ(RAM)に展開し、CPUが実行することにより実現される。
FIG. 3 shows a flowchart relating to processing in the still image shooting mode of the present embodiment. The flowchart in FIG. 3 illustrates a processing procedure executed by controlling each processing block by the
図3において静止画撮影モードの処理が開始されると(S300)、制御部161が撮像装置100の処理負荷状況が低いか否かを判定し(S301)、負荷状況に応じた頻度でアイドル状態(S320)へ遷移し、そうでなければS302へ進む。例えば、高速連写中は処理負荷が高いため、S320へは遷移せず、常にS302へ進む。通常の単発の撮影を行う場合においては、第1の撮影と第2の撮影の合間に例えば半分の頻度でS320へ遷移する。
In FIG. 3, when the processing of the still image shooting mode is started (S300), the
S302において、カメラ制御部104が、好適な条件で撮影を行うよう、撮像光学部101や撮像センサー部102の動作を制御する。例えば、ユーザーのズームやフォーカスの指示に従って、撮像光学部101に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサー部102の読み出し領域が設定されたりする。また、後述の評価値算出部105や認識部131から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。
In step S <b> 302, the camera control unit 104 controls the operations of the imaging
S303において、撮像センサー部102によって変換された電気信号に対して、センサー信号処理部103が画素の修復のための信号処理を施す。すなわち、センサー信号処理部103が、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、S303の処理を終えて、センサー信号処理部103から出力される画像情報を、生(未現像)の画像を意味するRAW画像と呼ぶ。
In step S <b> 303, the sensor
S304において、簡易現像部111がRAW画像を現像処理する。このとき、制御部161が現像部110内のスイッチ部121を切り替えて、簡易現像部111で現像処理された画像情報の出力を選択する。
In S304, the simple developing unit 111 develops the RAW image. At this time, the
簡易現像部111は、RAW画像に対してデベイヤー処理(デモザイク処理)、即ち色補間処理を施し、輝度と色差(や原色)から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。ここで、簡易現像部111が行う現像処理(簡易現像)について説明する。簡易現像部111は、現像後の画像サイズを例えば200万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。簡易現像部111が、画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることで、撮像装置100は、例えば200万画素の毎秒60コマというパフォーマンスの撮影を、小さい回路規模で少ない消費電力で実現することができる。
The simple developing unit 111 performs debayer processing (demosaic processing), that is, color interpolation processing, on the RAW image, converts it into a signal composed of luminance and color difference (or primary color), removes noise contained in each signal, optical So-called development processing is performed such as correcting distortion and optimizing the image. Here, the development processing (simple development) performed by the simple development unit 111 will be described. The simple development unit 111 limits the image size after development to, for example, 2 million pixels or less, or restricts or eliminates noise removal and optical distortion correction to limit processing, Simple processing is realized. The simple development unit 111 performs processing after reducing the image size, or restricts a part of the development processing function, so that the
簡易現像部111で現像処理された画像情報は、評価値算出部105に供給される。評価値算出部105は、画像情報に含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する(S305)。なお、評価値算出部105は、現像処理前のRAW画像を取得して、RAW画像から同様に評価値を算出するようにしても良い。
The image information developed by the simple development unit 111 is supplied to the evaluation
また、簡易現像部111で現像処理された画像情報は、認識部131に供給される。認識部131は、画像情報から被写体(顔など)の検出を行い、被写体情報を認識する。例えば、画像情報内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する(S306)。
Further, the image information developed by the simple development unit 111 is supplied to the
また、簡易現像部111で現像処理された画像情報は、表示処理部122に供給される。表示処理部122は、取得した画像情報から表示画像を形成し、表示部123又は外部の表示装置に出力して、表示する(S307)。表示部123による表示画像は、静止画撮影モードにおいて、ユーザーが被写体を適切にフレーミングするためのライブビュー表示(撮影スルー画像表示)のために用いられる。なお、表示画像は、表示処理部122から映像出力端子124を経由して、外部のテレビジョンなどの他の表示装置にて表示されてもよい。さらに、表示処理部122は、評価値算出部105や認識部131から供給される、評価値情報や被写体情報を活用して、例えば、表示画像上のフォーカスの合焦領域にマーキング表示したり、認識された顔の位置に枠を表示したりすることもできる。
Further, the image information developed by the simple developing unit 111 is supplied to the
S308において、制御部161は、ユーザーからの撮影指示の入力を判定し、撮影の指示があった場合は、S310へ進む。S308で撮影指示が無い場合は、S301へ戻って、撮影の準備動作とライブビュー表示を繰り返す。
In S308, the
S308における撮影指示に応答して、簡易現像部111で現像処理された画像情報が、静止画圧縮部141に供給される。静止画圧縮部141は、取得した画像情報に対して高能率符号化処理(静止画圧縮)を施し(S310)、静止画ファイルを生成する。なお、静止画圧縮部141は、JPEGなどの公知の静止画圧縮技術を用いて圧縮処理を行う。
In response to the shooting instruction in S <b> 308, the image information developed by the simple development unit 111 is supplied to the still
S311において、記録再生部151が静止画ファイルを記録媒体152に記録する。
In S <b> 311, the recording /
さらに、S308における撮影指示に応答して、RAW圧縮部113が、撮影された静止画に対応するセンサー信号処理部103から出力されたRAW画像を取得し、RAW画像を高能率符号化(RAW圧縮)してRAWファイルに変換する(S312)。RAWファイルはバッファ部115に格納される。RAW圧縮部113が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。或いは、RAW圧縮部113のRAW圧縮を省略して、RAW画像が非圧縮の状態のままスルー出力されても良い。RAW圧縮の有無に関わらず、本実施形態では、センサー信号処理部103から供給される画像情報を大きく損なわない、高画質ファイルとして復元可能なRAWファイルを生成する。
Further, in response to the shooting instruction in S308, the
S313において、記録再生部151がRAWファイルを記録媒体152に記録した後、フローはS301に遷移する。なお、S311及びS313において、記録再生部151は、静止画ファイル及び/又はRAWファイルを、通信部153を介して、通信端子154から外部のストレージに送って、外部のストレージによって記録するようにしても良い。
In S313, after the recording /
以上が、本実施形態の静止画撮影モードの処理に係るフローの説明である。 This completes the description of the flow relating to the still image shooting mode processing of the present embodiment.
ここで、本実施形態に係る、静止画ファイルの構造と、RAWファイルの構造について説明する。図4(a)、(b)は、静止画ファイル及びRAWファイルの構成例を示す図である。 Here, the structure of the still image file and the structure of the RAW file according to the present embodiment will be described. FIGS. 4A and 4B are diagrams showing examples of the structure of a still image file and a RAW file.
図4(a)に示す静止画ファイル400は、記録再生部151によって、例えば記録媒体152の所定の記録エリアに記録されている。静止画ファイル400は、ヘッダ部401、メタデータ部402、圧縮データ部403から成る。ヘッダ部401には、このファイルが静止画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部403には、高能率符号化された静止画の圧縮データが含まれている。
The
メタデータ部402には、この静止画ファイルと同時に生成されたRAWファイルのファイル名の情報404が含まれる。また、この静止画ファイルが簡易現像部111によって簡易現像されたことを示す現像ステータスの情報405が含まれる。また、評価値算出部105や認識部131で検知された評価値や被写体情報、及び、撮像光学部101や撮像センサー部102からの撮影時の情報(例えば、レンズ種別識別情報、センサー種別識別情報など)を含む撮影メタデータ406が含まれる。また、図示していないが、同時に生成されたRAWファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。
The
図4(b)に示すRAWファイル410は、記録再生部151によって、例えば記録媒体152の所定の記録エリアに記録されている。RAWファイル410は、ヘッダ部411、メタデータ部412、圧縮データ部413から成る。ヘッダ部411には、このファイルがRAWファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部413には、高能率符号化された静止画のRAW圧縮データが含まれている(圧縮されていない静止画のRAW画像データであっても良い)。
A
メタデータ部412には、このRAWファイルと同時に生成された静止画ファイルのファイル名の情報414が含まれる。また、その静止画ファイルが簡易現像部111によって簡易現像されたことを示す現像ステータスの情報415が含まれる。また、評価値算出部105や認識部131で検知された評価値や被写体情報、及び、撮像光学部101や撮像センサー部102からの撮影時の情報(例えば、レンズ種別識別情報、センサー種別識別情報など)を含む撮影メタデータ416が含まれる。撮影メタデータ416のうち、撮影メタデータ406と共通するものは同じデータを用いる。また、図示していないが、同時に生成された静止画ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、同時に生成された静止画ファイルそのものをメタデータ化して、メタデータ部412に格納しても良い。
The
上述した本実施形態に係る各種ファイルの構造は一例であり、DCFやEXIFなどの標準規格と互換性を有する構成であっても良い。なお、DCFとは、Design rule for Camera File systemの意味であり、EXIFとは、Exchangeable Image File formatの意味である。 The structure of the various files according to the present embodiment described above is an example, and a configuration compatible with a standard such as DCF or EXIF may be used. Note that DCF means Design rule for Camera File system, and EXIF means Exchangeable Image File format.
本実施形態に係る撮像装置100は、上述のように、静止画撮影モードにおける、撮影指示が行われるまでのライブビュー表示や、撮影指示に応答して生成される静止画ファイルのための現像処理を、簡易現像部111によって行う。簡易現像部111は、現像後の画像サイズを例えば200万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり、或いは省いたりする。そうすることで、例えば200万画素の毎秒60コマというパフォーマンスの現像処理を、小さい回路規模で少ない消費電力で実現することができる。一方で、本実施形態に係る撮像装置100は、上述のように、静止画の撮影指示に応答して、RAWファイルを生成する。RAWファイルは、センサー信号処理部103から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、画像の画素数や連写のスピードを高めながらも、小規模な回路によって少ない消費電力でRAWファイルを記録することが可能である。
As described above, the
続いて、図3のS301で遷移するステップであるS320について、図5のフローチャートを用いて説明する。図5に、本実施形態のアイドル状態の処理に係るフローチャートを示す。図5のフローチャートは、制御部161によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部161が有するメモリ(ROM)に格納されているプログラムをメモリ(RAM)に展開し、CPUが実行することにより実現される。
Next, step S320, which is a transition step in step S301 in FIG. 3, will be described with reference to the flowchart in FIG. FIG. 5 shows a flowchart relating to the idle state processing of the present embodiment. The flowchart of FIG. 5 illustrates a processing procedure executed by controlling each processing block by the
図5においてアイドル状態の処理が開始されると(S500)、制御部161が、ユーザーの設定により追いかけ現像を行うか否かを判定し(S501)、追いかけ現像を行わない場合はS502に、追いかけ現像を行う場合はS520に遷移する。
In FIG. 5, when the idle state processing is started (S500), the
S501で追いかけ現像を行わない場合、ユーザーからの命令やモード設定に従って、制御部161が図2に示した201,202,203,204の何れかのモードに遷移するか判定する(S502、S503、S504、S505)。そして、制御部161が、選ばれたモードの処理フローへ遷移するよう制御する(S510、S511、S512、S513)。S502〜S505において、静止画撮影モードならばS510に、静止画再生モードならばS511に、動画撮影モードならばS512に、動画再生モードならばS513に、それぞれフローが遷移する。
When the follow-up development is not performed in S501, it is determined whether the
ここで、本実施形態に係る「追いかけ現像」とは、撮影動作を終えた後、バッファ部115又は記録媒体152等に記録されたRAWファイルをソースとして、改めて高画質に現像処理を施し、高画質の表示画像や高画質の静止画ファイルを生成する処理を意味する。本実施形態に係る追いかけ現像の対象となるRAWファイルは、静止画と動画の両方を対象とするが、以下では静止画を例に説明する。
Here, “chase development” according to the present embodiment refers to a high-quality development process using a RAW file recorded in the
上述したように、撮影時に生成される静止画ファイルは、簡易現像部111で現像されているため、画素数が200万画素以下であったり、現像処理を一部省いていたりするために、画質は限定的な品質である。撮影内容の大まかな確認としては有効であるが、画像の細部を確認したり、プリントアウトしたりする用途には十分ではない場合がある。一方、静止画と同時に生成するRAWファイルは、センサー信号処理部103から供給される画像情報を大きく損なわない高品質を有するが、現像処理前のデータであるため、表示やプリントアウトには即時対応ができず、RAW現像のための時間を要してしまう。また、RAWはJPEGなどのように広く普及したファイルではないため、RAWファイルを扱える再生環境も限定されてしまう。
As described above, since the still image file generated at the time of shooting is developed by the simple development unit 111, the number of pixels is 2 million pixels or less, or the development process is partially omitted. Is of limited quality. Although it is effective as a rough confirmation of the photographing content, it may not be sufficient for the purpose of confirming details of an image or printing out. On the other hand, the RAW file that is generated at the same time as the still image has high quality that does not significantly impair the image information supplied from the sensor
そこで、本実施形態の追いかけ現像が有効な機能となる。本実施形態では、追いかけ現像が実行されると、既に記録されているRAWファイルを読みだして、高画質現像部112によって高画質に現像処理を行い、生成した高画質の静止画ファイルを記録媒体152等へ記録する。そして、このような追いかけ現像を、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態において実行させる。追いかけ現像は手動に限らず、制御部161が自動に実行させるように設計すると良い。
Therefore, the chasing development of this embodiment is an effective function. In the present embodiment, when the follow-up development is executed, a RAW file that has already been recorded is read out, and development processing is performed with high image quality by the high-quality
このように構成することにより、その後に、細部の確認表示やプリントアウトなど、高画質な再生の要求においても、その都度現像処理(再生出力)の遅れが発生せず、また、従来の静止画ファイルと同様の一般的な操作環境における使用が可能となる。 With this configuration, there is no delay in development processing (reproduction output) each time a request for high-quality reproduction such as confirmation display of details or printout is made thereafter. It can be used in the same general operating environment as files.
記録媒体152等には、1回の静止画撮影指示に対して、静止画ファイルとRAWファイルが1つずつの組として記録されている。手動または自動によって追いかけ現像を行う場合、制御部161が、各画像の組について、追いかけ現像が処理済みか未処理かを判定する(S520)。判定の方法は、例えば静止画ファイル400のメタデータ部402に格納されている現像ステータス405に含まれる、この静止画ファイルが簡易現像部111で処理されたものなのか否かを識別するためのフラグを参照し、このフラグから判定する方法がある。或いはRAWファイル410の中の現像ステータス415を参照し、同様に判定しても良い。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定しても良い。
In the
制御部161によって、追いかけ現像が処理済みと判断されれば、S502に遷移する。追いかけ現像が未処理の静止画があれば、S521に遷移する。追いかけ現像が未処理の静止画に対応するRAWファイルが、バッファ部115にバッファリングされていれば(S521)、S523に進み、バッファリングされていなければ対応するRAWファイルを記録媒体152等から読み出す(S522)。記録媒体152等から読み出されたRAWファイルは、バッファ部115によって一時保持される。
If the
バッファ部115は、静止画撮影モードで撮影された、新しい画像から優先的に保持されるように、データが更新される。すなわち、過去に撮影された画像から順にバッファから取り除かれる。こうすることにより、直前に撮影された画像は常にバッファに保持されているので、S522をスキップし、高速に処理できる。さらに、直前に撮影された画像から時刻を遡って、追いかけ現像を実行するようにすれば、バッファに保持されている画像から優先的に処理が完了できるため、処理の効率化ができる。
The
S523において、RAW伸張部114が、バッファ部115又は記録媒体152から読み出したRAWファイルを伸張処理し、RAW画像を復元する。
In S523, the
復元されたRAW画像は、高画質現像部112で高画質に現像されて(S524)、スイッチ部121を経由して表示処理部122や静止画圧縮部141に出力される。
The restored RAW image is developed with high image quality by the high image quality development unit 112 (S524), and is output to the
高画質現像部112は、RAW画像をデベイヤー処理(デモザイク処理)、即ち色補間処理を施し、輝度と色差(や原色)から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。高画質現像部112によって生成される現像処理済みの画像のサイズ(画素数)は、撮像センサー部102から読出されたフルサイズのまま、或いはユーザーから設定されたサイズとなり、200万画素以下に制限された簡易現像の画像よりも格段に高品質となる。
The high image
高画質現像部112は簡易現像部111よりも各々の処理が高精度であるため、より高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。本実施形態の高画質現像部112は、撮影と並行したリアルタイムの現像処理を避け、時間をかけて現像処理可能としたことで、回路規模や消費電力の増大を抑える構成となっている。
Since the high-
高画質現像部112で現像処理された画像情報は、静止画圧縮部141に供給され、静止画圧縮部141は、取得した画像情報に対して高能率符号化処理(静止画圧縮)を施し(S525)、高画質の静止画ファイルを生成する。なお、静止画圧縮部141は、JPEGなどの公知の技術により圧縮処理を行う。
The image information developed by the high image
S526において、記録再生部151が高画質の静止画ファイルを記録媒体152等に記録したら、フローはS502に遷移する。なお、追いかけ現像の処理は、追いかけ現像が未処理の静止画がある場合、その画像毎に同様の処理を繰り返して実行可能である。
If the recording /
S526で記録される静止画ファイルは、図4(a)に示す静止画ファイル400のようなファイル構成であり、ヘッダ部401、メタデータ部402、圧縮データ部403から成る。ヘッダ部401には、このファイルが静止画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部403には、高能率符号化された静止画の圧縮データが含まれている。
The still image file recorded in S526 has a file configuration like the
メタデータ部402には、この静止画ファイルの元となったRAWファイルのファイル名の情報404が含まれる。また、この静止画ファイルが高画質現像部112によって高画質現像されたことを示す現像ステータスの情報405が含まれる。また、元のRAWファイルのメタデータから抽出された、評価値算出部105や認識部131で検知された評価値や被写体情報、及び、撮像光学部101や撮像センサー部102からの撮影時の情報を含む撮影メタデータ406が含まれる。
The
記録再生部151は、高画質現像を経て、S526で記録される新たな静止画ファイルには、元となったRAWファイルと同時に記録された簡易現像による静止画ファイルと同じファイル名を与えて、上書き記録する。すなわち簡易現像による静止画ファイルは削除される。そして、記録再生部151は、追いかけ現像の元となったRAWファイルは、メタデータ部412内の現像ステータス415を、高画質現像済(又は追いかけ現像済)を示す情報にて更新する。なお、上書き記録ではなく、例えば、ファイル名はほぼ同じでファイル名の一部(例えば拡張子や末尾の文字)のみを変更した別のファイルとして記録し、元のファイルを削除しても良い(勿論、記録容量に余裕があれば元のファイルを残しておいてもよい)。
The recording /
このように、本実施形態の撮像装置100は、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態(アイドル状態)のときに追いかけ現像を実行する。そして、撮影時の簡易現像による静止画ファイルを、RAWファイルを用いた高画質現像による静止画ファイルに置き換えて行く。撮影時の簡易現像による動画ファイルも、RAWファイルを用いた高画質現像による動画ファイルに置き換えて行く。こうすることにより、細部の確認表示やプリントアウトなど、高画質な再生の要求が与えられた場合であっても、その都度現像処理(再生出力)の遅れが発生せず、また、従来の静止画ファイルと同様の一般的な操作環境における使用が可能となる。
As described above, the
次に、撮像装置100の静止画再生モードにおける動作について説明する。
Next, the operation in the still image playback mode of the
図6に、本実施形態の静止画再生モードの処理に係るフローチャートを示す。図6のフローチャートは、制御部161によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部161が有するメモリ(ROM)に格納されているプログラムをメモリ(RAM)に展開し、CPUが実行することにより実現される。
FIG. 6 shows a flowchart relating to processing in the still image reproduction mode of the present embodiment. The flowchart of FIG. 6 illustrates a processing procedure executed by controlling each processing block by the
図6において静止画再生モードの処理が開始されると(S600)、制御部161が撮像装置100の処理負荷状況が低いか否かを判定し(S601)、負荷状況に応じた頻度でアイドル状態(S610)へ遷移し、そうでなければS602へ進む。例えば、再生指示などのユーザー操作を待っている間は、処理負荷が低いため、S610へ遷移する。ユーザーからの操作に応じて静止画の再生が開始されている(再生中の状態を含む)場合はS602へ進む。
In FIG. 6, when the still image playback mode process is started (S600), the
S602において、制御部161が、再生される静止画について、ユーザーから拡大表示の指示を受けているかを判定する。拡大表示があればS603に進み、拡大表示がなければS620に進む。
In step S602, the
図7に、拡大表示を含む表示形態の種類を説明する。図7(a)、(b)、(c)は、本実施形態の静止画再生モードの表示処理の例を示す図である。 FIG. 7 illustrates types of display forms including enlarged display. 7A, 7B, and 7C are diagrams illustrating an example of display processing in the still image reproduction mode of the present embodiment.
図7(a)の表示例700は、701に示す6つの画像を縮小して表示部123に縮小表示している例である。図7(b)の表示例710は、ある1つの画像711の全体を表示部123に表示している例であり、この表示の状態を通常表示とする。図7(c)の表示例720は、ある1つの画像の一部領域を拡大した画像721を表示部123に拡大表示している例である。例えば、撮影直後にフォーカスの適否の確認を行うような場合に、表示例720のように被写体像の細部を拡大表示する使われ方が一般的である。
A display example 700 in FIG. 7A is an example in which the six
表示例720のように拡大表示する場合、図6のフローはS602からS603へ遷移する。表示例700のように縮小表示する場合は、S602からS620へ遷移する。表示例710のような場合は、表示部123の表示画素数が簡易現像による静止画ファイルの画素数(上述の例ならば200万画素以下)、であれば等倍もしくは縮小での表示であるため、S602からS620へ遷移する。
When the enlarged display is performed as in the display example 720, the flow in FIG. 6 transitions from S602 to S603. When the reduced display is performed as in the display example 700, the process proceeds from S602 to S620. In the case of the display example 710, if the number of display pixels of the
S620において、記録再生部151が、記録媒体152等から再生対象の静止画ファイルを読み出す。そして、S621において、静止画伸張部143が、静止画ファイルを復号して伸張し、S608において、表示処理部122が図7の各図に示すような形態で表示画像を表示部123へ出力する。
In S620, the recording /
表示される画像が、簡易現像による静止画ファイルの画素数(上述の例ならば200万画素以下)で足りる場合は、静止画ファイルが簡易現像部111で現像処理されたものであっても、十分な画質で表示できる。なお、静止画ファイルが高画質現像部112で現像処理されたものであるならば、勿論、表示に十分な画質であるということは言うまでも無い。
If the displayed image is sufficient for the number of pixels of the still image file by simple development (in the above example, 2 million pixels or less), even if the still image file is developed by the simple development unit 111, It can be displayed with sufficient image quality. Needless to say, if the still image file is developed by the high image
一方、拡大表示の場合、表示される画像が、簡易現像による静止画ファイルの画素数(上述の例ならば200万画素以下)では足りないことが起こり得る。すなわち、簡易現像による静止画ファイルを用いて表示したのでは、解像感の低下を招いてしまう。 On the other hand, in the case of enlarged display, the displayed image may not be enough for the number of pixels of the still image file by simple development (in the above example, 2 million pixels or less). In other words, display using a still image file by simple development causes a reduction in resolution.
よって、拡大表示の場合は、S603において、制御部161が、再生対象となって表示されるべき画像の静止画ファイルが、高画質現像部112で現像されたものであるかどうかを判定する。判定の方法は、例えば静止画ファイル400のメタデータ部402に格納されている現像ステータス405に含まれる、この静止画ファイルが簡易現像部111で処理されたものなのか否かを識別するためのフラグを参照し、このフラグから判定する方法がある。或いはRAWファイル410の中の現像ステータス415を参照し、同様に判定しても良い。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定しても良い。
Therefore, in the case of enlarged display, in S603, the
S603で、高画質現像されたものである場合は、拡大されても十分な画質で表示可能な高画質の静止画ファイルであることを意味するので、S620に進み、記録再生部151が該当する高画質の静止画ファイルを記録媒体152等から読み出して、再生表示する。このように、高画質現像部112で現像された静止画ファイルである場合は、このようにS620以降の処理で高画質に表示できる。
If the image is developed with high image quality in S603, it means that it is a high-quality still image file that can be displayed with sufficient image quality even if it is enlarged, and therefore the process proceeds to S620, and the recording /
S603で、高画質現像されたものでない場合は、簡易現像部111で現像処理された静止画ファイルであることを意味するので、S604に進み、高画質現像(上述した、追いかけ現像)を実行する。 If the image is not developed with high image quality in S603, it means that the file is a still image file developed by the simple development unit 111, so that the process proceeds to S604 and high image quality development (following development described above) is executed. .
S604において、再生対象となる静止画に対応するRAWファイルが、バッファ部115にバッファリングされていれば(S604)、S606に進み、バッファリングされていなければ対応するRAWファイルを記録媒体152等から読み出す(S605)。記録媒体152等から読み出されたRAWファイルは、バッファ部115によって一時保持される。
In S604, if the RAW file corresponding to the still image to be reproduced is buffered in the buffer unit 115 (S604), the process proceeds to S606. If not buffered, the corresponding RAW file is read from the
バッファ部115は、静止画撮影モードで撮影された、新しい画像から優先的に保持されるように、データが更新される。すなわち、過去に撮影された画像から順にバッファから取り除かれる。こうすることにより、直前に撮影された画像は常にバッファに保持されているので、S605をスキップし、高速に表示に至れるようになる。
The
S606において、RAW伸張部114が、バッファ部115又は記録媒体152等から読み出したRAWファイルを復号して伸張し、RAW画像を復元する。
In S606, the
復元されたRAW画像は、高画質現像部112で高画質に現像処理されて(S607)、スイッチ部121を経由して表示処理部122に出力される。S608において、表示処理部122が図7(c)に示すような拡大画像を表示部123へ出力する。
The restored RAW image is developed with high image quality by the high image quality developing unit 112 (S607) and output to the
高画質現像部112は、RAW画像をデベイヤー処理(デモザイク処理)、即ち色補間処理を施し、輝度と色差(や原色)から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。高画質現像部112によって生成される現像処理済みの画像のサイズ(画素数)は、撮像センサー部102から読出されたフルサイズのまま、或いはユーザーから設定されたサイズとなり、200万画素以下に制限された簡易現像の画像よりも格段に高品質となる。従って、高画質現像部112で現像された静止画ならば、拡大表示の要求に対して十分な画質で答えることができる。
The high image
なお、S608の表示が停止されると、フローはS601に戻る。S601において、アイドル状態S610に遷移した場合は、上述した図5のフローチャートに従って処理される。 When the display in S608 is stopped, the flow returns to S601. In S601, when transitioning to the idle state S610, processing is performed according to the flowchart of FIG. 5 described above.
図6のS604以降の高画質現像は、上述したように、撮影直後等の、まだ追いかけ現像が実行されていないタイミングで発生することが想定される。本実施形態では、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的装置の処理負荷が小さい状態のときに静止画の追いかけ現像が徐々に終了し、簡易現像による静止画ファイルが自然と高画質現像による静止画ファイルに置き換わる。そうして置き換えが進むに従って、S604以降の高画質現像は発生するケースが減少し、拡大表示に対して速やかに高画質画像を出力できるようになり、操作性が一層高まっていく。 As described above, high-quality development after S604 in FIG. 6 is assumed to occur at a timing at which follow-up development has not yet been performed, such as immediately after shooting. In this embodiment, the chasing development of a still image is gradually ended when the processing load of the apparatus is relatively low, waiting for a user operation such as a shooting mode, a playback mode, a sleep state, and the like. The image file is naturally replaced with a still image file by high-quality development. As the replacement progresses, the number of cases where high-quality image development after S604 occurs decreases, and a high-quality image can be quickly output for enlarged display, further improving the operability.
また、バッファ部115にRAWファイルが保持されている場合には、S605をスキップできるため、素早く表示できるようになると上述した。そこで、バッファ部115になるべくRAWファイルが保持された状態になるよう、図7の表示例700や710の場合に、拡大表示に備え、画像701や画像711に対応するRAWファイルを予め記録媒体から読み出してバッファ部115へ移動すると良い。拡大表示の指示よりも先行して、記録再生部151が記録媒体152等から該当するRAWファイルを読みだしてバッファリングすることで、表示例720のような拡大表示の指示がなされたときに、より素早く表示することができる。
Further, as described above, when the RAW file is held in the
次に、撮像装置100の動画撮影モードにおける動作について説明する。
Next, an operation in the moving image shooting mode of the
図8に、本実施形態の動画撮影モードの処理に係るフローチャートを示す。図8のフローチャートは、制御部161によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部161が有するメモリ(ROM)に格納されているプログラムをメモリ(RAM)に展開し、CPUが実行することにより実現される。
FIG. 8 shows a flowchart relating to the processing of the moving image shooting mode of the present embodiment. The flowchart of FIG. 8 illustrates a processing procedure executed by controlling each processing block by the
図8において動画撮影モードの処理が開始されると(S800)、制御部161が撮像装置100の処理負荷状況が低いか否かを判定し(S801)、負荷状況に応じた頻度でアイドル状態(S820)へ遷移し、そうでなければS802へ進む。例えば、水平解像度が4000画素相当(4K)のように画素数の多い動画や、毎秒120コマ(120P)のようにフレームレートの高い動画が設定されているときは処理負荷が高いため、S820へは遷移せず、常にS802へ進む。画素数が所定値より少なかったり、フレームレートが所定の速度より低かったりする動画の撮影を行う設定のときは、動画の第1のフレームと第2のフレームの処理の合間に、例えば半分の頻度でS820へ遷移する。
In FIG. 8, when the processing in the moving image shooting mode is started (S800), the
S802において、カメラ制御部104が、好適な条件で動画撮影を行うよう、撮像光学部101や撮像センサー部102の動作を制御する。例えば、ユーザーのズームやフォーカスの指示に従って、撮像光学部101に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサー部102の読み出し領域が設定されたりする。また、後述の評価値算出部105や認識部131から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。
In step S <b> 802, the camera control unit 104 controls operations of the imaging
S803において、撮像センサー部102によって変換された電気信号に対して、センサー信号処理部103が画素の修復のための信号処理を施す。すなわち、センサー信号処理部103が、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、S803の処理を終えて、センサー信号処理部103から出力される画像情報を、生(未現像)の動画を意味するRAW画像(特に、RAW動画像)と呼ぶ。
In step S <b> 803, the sensor
S804において、簡易現像部111がRAW画像を現像処理する。このとき、制御部161が現像部110内のスイッチ部121を切り替えて、簡易現像部111で現像処理された画像情報の出力を選択する。
In step S804, the simple development unit 111 develops the RAW image. At this time, the
簡易現像部111は、動画の各フレームを構成するRAW動画像に対してデベイヤー処理(デモザイク処理)を施し、輝度と色差(や原色)から成る信号へ変換し、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。ここで、簡易現像部111が行う動画の現像処理(簡易現像)について説明する。簡易現像部111は、現像後の画像サイズを例えばHD映像の200万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。簡易現像部111が、画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることで、撮像装置100は、例えばHDサイズの動画の高速撮影を、小さい回路規模で少ない消費電力で実現することができる。
The simple development unit 111 performs debayer processing (demosaic processing) on the RAW moving image constituting each frame of the moving image, converts it into a signal composed of luminance and color difference (or primary color), and removes noise included in each signal. Then, so-called development processing such as correcting optical distortion and optimizing the image is performed. Here, a moving image developing process (simple development) performed by the simple developing unit 111 will be described. The simple development unit 111 limits the image size after development to, for example, 2 million pixels or less of HD video, or restricts noise removal and optical distortion correction to a limited process, or omits development processing. Realizes high-speed processing and simple processing. The simple developing unit 111 performs processing after reducing the image size, or restricts a part of the development processing function, so that the
簡易現像部111で現像処理された画像情報は、評価値算出部105に供給される。評価値算出部105は、画像情報に含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する(S805)。なお、評価値算出部105は、現像処理前のRAW動画像を取得して、RAW動画像から同様に評価値を算出するようにしても良い。
The image information developed by the simple development unit 111 is supplied to the evaluation
また、簡易現像部111で現像処理された画像情報は、認識部131に供給される。認識部131は、画像情報から被写体(顔など)の検出を行い、被写体情報を認識する。例えば、画像情報内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する(S806)。
Further, the image information developed by the simple development unit 111 is supplied to the
また、簡易現像部111で現像処理された画像情報は、表示処理部122に供給される。表示処理部122は、取得した画像情報から表示画像を形成し、表示部123又は外部の表示装置に出力して、表示する(S807)。表示部123による表示画像は、動画撮影モードにおいて、ユーザーが被写体を適切にフレーミングするための確認表示のために用いられる。具体的に、動画撮影特有の使用形態として、撮影された動画の記録開始前(スタンバイ中)だけでなく、動画の記録中(REC中)においても、被写体を適切にフレーミングするためのライブビュー表示のために用いられる。なお、表示画像は、表示処理部122から映像出力端子124を経由して、外部のテレビジョンなどの他の表示装置にて表示することもできる。さらに、表示処理部122は、評価値算出部105や認識部131から供給される、評価値情報や被写体情報を活用して、例えば、表示画像上のフォーカスの合焦領域にマーキング表示したり、認識された顔の位置に枠を表示したりすることもできる。
Further, the image information developed by the simple developing unit 111 is supplied to the
S808において、制御部161は、ユーザーからの記録の開始指示を受けて撮影された動画を記録中(REC中)であるか否かを判定し、REC中の場合は、S810へ進む。S808でREC中では無い場合(すなわちスタンバイ中)は、S801へ戻って、動画の記録開始前の撮影動作とライブビュー表示を繰り返す。
In step S808, the
S808によって、撮影された動画のうち、記録開始から記録終了までの記録対象となる動画が、フレーム単位で動画圧縮部142によって圧縮される(S810)。なお、図面を用いての説明は省略するが、動画の撮影と同時に、不図示のマイクロフォンによって入力された音声情報が取得されている。動画圧縮部142は、動画に対応する音声情報に対しても圧縮処理を施すことになる。
In S808, the moving image to be recorded from the start of recording to the end of recording among the captured moving images is compressed by the moving
動画圧縮部142は、取得した簡易現像済の動画の画像情報及び音声情報に対して高能率符号化処理(動画圧縮)を施し、動画ファイルを生成する。なお、動画圧縮部142は、MPEG−2、H.264、H.265などの公知の動画圧縮技術を用いて圧縮処理を行う。
The moving
S811において、記録再生部151が動画ファイルを記録媒体152に記録する。
In S811, the recording /
さらに、S808によって記録対象となった動画に対応する期間のRAW動画像が、センサー信号処理部103からRAW圧縮部113に供給される。RAW圧縮部113は、記録対象となった動画と同じシーンを示すRAW動画像を高能率符号化(RAW圧縮)してRAWファイル(RAW動画ファイル)に変換する(S812)。RAW動画ファイルはバッファ部115に格納される。RAW圧縮部113が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。或いは、RAW圧縮部113のRAW圧縮を省略して、RAW動画像が非圧縮の状態のままスルー出力されても良い。RAW圧縮の有無に関わらず、本実施形態では、センサー信号処理部103から供給される画像情報を大きく損なわない、高画質ファイルとして復元可能なRAW動画ファイルを生成する。
Further, a RAW moving image in a period corresponding to the moving image to be recorded in S808 is supplied from the sensor
S813において、記録再生部151がRAW動画ファイルを記録媒体152に記録した後、フローはS801に遷移する。なお、S811及びS813において、記録再生部151は、動画ファイル及び/又はRAW動画ファイルを、通信部153を介して、通信端子154から外部のストレージに送って、外部のストレージによって記録するようにしても良い。
In step S813, after the recording /
以上が、本実施形態の動画撮影モードの処理に係るフローの説明である。 The above is the description of the flow relating to the processing in the moving image shooting mode of the present embodiment.
ここで、本実施形態に係る、動画ファイルの構造と、RAW動画ファイルの構造について説明する。図9(a)、(b)は、動画ファイル及びRAW動画ファイルの構成例を示す図である。 Here, the structure of the moving image file and the structure of the RAW moving image file according to the present embodiment will be described. FIGS. 9A and 9B are diagrams illustrating configuration examples of a moving image file and a RAW moving image file.
図9(a)に示す動画ファイル900は、記録再生部151によって、例えば記録媒体152の所定の記録エリアに記録されている。動画ファイル900は、ヘッダ部901、メタデータ部902、圧縮データ部903から成る。ヘッダ部901には、このファイルが動画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部903には、高能率符号化された動画と音声の圧縮データが含まれている。
A moving
メタデータ部902には、この動画ファイルと同時に生成されたRAW動画ファイルのファイル名の情報904が含まれる。また、この動画ファイルが簡易現像部111によって簡易現像されたことを示す現像ステータスの情報905が含まれる。また、評価値算出部105や認識部131で検知された評価値や被写体情報、及び、撮像光学部101や撮像センサー部102からの撮影時の情報(例えば、レンズ種別識別情報、センサー種別識別情報など)を含む撮影メタデータ906が含まれる。また、図示していないが、同時に生成されたRAW動画ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。
The
図9(b)に示すRAW動画ファイル910は、記録再生部151によって、例えば記録媒体152の所定の記録エリアに記録されている。RAW動画ファイル910は、ヘッダ部911、メタデータ部912、圧縮データ部913から成る。ヘッダ部911には、このファイルがRAW動画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部913には、高能率符号化された動画のRAW圧縮データが含まれている(圧縮されていない動画のRAW画像データであっても良い)。
The RAW moving
メタデータ部912には、このRAW動画ファイルと同時に生成された動画ファイルのファイル名の情報914が含まれる。また、その動画ファイルが簡易現像部111によって簡易現像されたことを示す現像ステータスの情報915が含まれる。また、評価値算出部105や認識部131で検知された評価値や被写体情報、及び、撮像光学部101や撮像センサー部102からの撮影時の情報(例えば、レンズ種別識別情報、センサー種別識別情報など)を含む撮影メタデータ916が含まれる。撮影メタデータ916のうち、撮影メタデータ906と共通するものは同じデータを用いる。また、図示していないが、同時に生成された動画ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、同時に生成された動画ファイルそのもの全部又は一部(先頭フレームなど)を抽出してメタデータ化して、メタデータ部912に格納しても良い。
The
上述した本実施形態に係る各種ファイルの構造は一例であり、DCF、AVCHD、MXFなどの標準規格と互換性を有する構成であっても良い。なお、AVCHDとは、Advanced Video Codec High Definitionの意味であり、MXFとは、Material eXchange Formatの意味である。 The structure of the various files according to this embodiment described above is an example, and a configuration compatible with standards such as DCF, AVCHD, and MXF may be used. AVCHD means Advanced Video Codec High Definition, and MXF means Material eXchange Format.
本実施形態に係る撮像装置100は、上述のように、動画撮影モードにおける撮影画像表示(ライブビュー表示)や、撮影時に生成される動画ファイルのための現像処理を、簡易現像部111によって行う。簡易現像部111は、現像後の画像サイズを例えば200万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、例えばHDサイズの動画の現像処理を、小さい回路規模で少ない消費電力で実現することができる。一方で、本実施形態に係る撮像装置100は、上述のように、動画ファイルと共に、その動画の記録期間に対応するRAW動画ファイルを生成する。RAW動画ファイルは、センサー信号処理部103から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、4Kや8K(水平解像度が8000画素相当)のように画像の画素数を高めたり、毎秒120コマ(120P)のようにフレームレートを高めたりしても、小規模な回路によって少ない消費電力でRAW動画ファイルを記録することが可能である。
As described above, the
次に、撮像装置100の動画再生モードにおける動作について説明する。
Next, an operation in the moving image reproduction mode of the
図10に、本実施形態の動画再生モードの処理に係るフローチャートを示す。図10のフローチャートは、制御部161によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部161が有するメモリ(ROM)に格納されているプログラムをメモリ(RAM)に展開し、CPUが実行することにより実現される。
FIG. 10 shows a flowchart relating to processing in the moving image playback mode of the present embodiment. The flowchart of FIG. 10 illustrates a processing procedure executed by controlling each processing block by the
図10において動画再生モードの処理が開始されると(S1000)、制御部161が撮像装置100の処理負荷状況が低いか否かを判定し(S1001)、負荷状況に応じた頻度でアイドル状態(S1010)へ遷移し、そうでなければS1002へ進む。例えば、再生指示などのユーザー操作を待っている間は、処理負荷が低いため、S1010へ遷移する。ユーザーからの操作に応じて動画の再生が開始されている(再生中の状態を含む)場合はS1002へ進む。
In FIG. 10, when the processing of the video playback mode is started (S1000), the
S1002において、制御部161が、再生される動画について、ユーザーから再生の一時停止(ポーズ)の指示を受けているかを判定する。S1002で一時停止指示がなければ動画再生を継続するためにフローはS1003に進む。
In step S <b> 1002, the
S1003において、記録再生部151が、記録媒体152等から再生対象の動画ファイルを読み出す。そして、S1004において、動画伸張部144が、動画ファイルを1フレームずつ復号して伸張し、S1005において、表示処理部122が再生された動画の表示画像を表示部123へ出力する。
In S1003, the recording /
S1002で一時停止指示を受けた場合、制御部161が、再生及び表示中の動画を一時停止状態にするともに、一時停止されたときの停止位置のフレームを静止画として表示させるために、S1020へフローを遷移させる。一時停止状態では、画像が静止して表示されるので、動いているときよりも細部の画質を視認しやすい状態になる。さらに、一時停止中には拡大表示の指示を受けやすいと考えられる。そこで、簡易現像されている動画ファイルよりも高画質な画像の表示を提供するため、S1020において、再生中の動画ファイルに対応するRAW動画ファイルの、更に一時停止表示中のフレームに対応するRAW画像のフレームを、記録再生部151が再生する。このとき再生対象となるRAW動画ファイルが、バッファ部115にバッファリングされていればバッファ部115からRAW動画ファイルを読み出し、バッファリングされていなければ記録媒体152等からRAW動画ファイルを読み出す。記録媒体152等から読み出されたRAW動画ファイルは、バッファ部115によって一時保持される。
When receiving a pause instruction in S1002, the
S1021において、RAW伸張部114が、バッファ部115又は記録媒体152等から読み出したRAW動画ファイルを復号して伸張し、RAW動画像を復元する。復元されたRAW動画像は、高画質現像部112で高画質に現像処理される(S1022)。
In S1021, the
撮像装置100は、このように動画のRAWファイルから高画質に現像された、一時停止表示中のフレームに対応する高画質静止画を、新たな静止画ファイルとしてキャプチャすることも可能である。S1023において、制御部161が、静止位置の表示画像を静止画としてキャプチャするユーザー指示を受けつけたか否かを判定する。S1023で静止画キャプチャの指示を受けつけないならば、動画のRAWファイルから高画質に現像された静止画像は表示処理部122に供給され、S1005において、表示処理部122が高画質に現像された静止画像の表示画像を表示部123へ出力する。この処理によって、動画ファイルによる一時停止表示中の画像は、RAW画像から高画質に現像された静止画像の表示画像によって置き換わる。
The
S1023で静止画キャプチャの指示を受けつけたならば、S1022で高画質現像部112によって現像処理された画像情報が静止画圧縮部141に供給される。静止画圧縮部141は、キャプチャによって取得した画像情報に対して高能率符号化処理(静止画圧縮)を施し(S1024)、高画質の静止画ファイルを生成する。なお、静止画圧縮部141は、JPEGなどの公知の技術により圧縮処理を行う。
If a still image capture instruction is received in S1023, the image information developed by the high image
S1025において、記録再生部151が高画質の静止画ファイルを記録媒体152等に記録したら、フローはS1005に遷移する。RAW動画ファイルから高画質に現像された静止画像は表示処理部122に供給され、S1005において、表示処理部122が高画質に現像された静止画像の表示画像を表示部123へ出力する。この処理によって、動画ファイルによる一時停止表示中の画像は、RAW画像から高画質に現像された静止画像の表示画像によって置き換わる。
If the recording /
S1024で静止画圧縮部141によって生成される高画質の静止画ファイルは、図4(a)の静止画ファイル400の構成を成す。メタデータ部402には、RAWファイルのファイル名の情報404として、キャプチャの元となったRAW動画ファイルのファイル名が格納される。また、撮影メタデータ406として、静止画としてキャプチャされたフレームの時刻情報が格納され、RAW動画ファイルの対応するフレーム位置を指し示すことができる。また、RAW動画ファイルの対応するフレームを静止画として抽出して、対となる新たな静止画のRAWファイル410をこのとき作成しても良い。静止画のRAWファイルの生成に関しては、前述の静止画撮影モードのS310〜S313で説明したような方法で、静止画ファイルとRAWファイルを構成する。
The high-quality still image file generated by the still
なお、S1005の表示は1フレーム毎に行われ、動画再生中は、次のフレームの表示を行うため、フローはS1001に戻る。S1001において、アイドル状態S1010に遷移した場合は、上述した図5のフローチャートに従って処理される。 Note that the display in S1005 is performed for each frame, and the flow returns to S1001 to display the next frame during playback of the moving image. In S1001, when transitioning to the idle state S1010, processing is performed according to the flowchart of FIG.
このように、本実施形態の撮像装置100は、撮影時に記録された動画ファイルを用いて、遅延なく容易に動画を再生することができ、一時停止状態では、動画のRAWファイルから高画質に現像した静止画を差し替えて表示できる。さらに、この高画質な静止画を容易に静止画ファイルとしてキャプチャすることができる。
As described above, the
また、図10のS1020以降の高画質現像は、撮影直後等の、まだ追いかけ現像が実行されていないタイミングで発生することが想定される。本実施形態では、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態のときに動画の追いかけ現像が徐々に終了し、簡易現像による動画ファイルが自然と高画質現像による動画ファイルに置き換わる。そうして置き換えが進むに従って、S1020以降の高画質現像は発生するケースが減少し、常時速やかに高画質画像を出力できるようになり、操作性が一層高まっていく。 Further, it is assumed that the high-quality development after S1020 in FIG. 10 occurs at the timing when the follow-up development is not yet executed, such as immediately after shooting. In this embodiment, the chasing development of the video is gradually terminated when the processing load of the apparatus is relatively low, waiting for a user operation such as between shootings, playback mode, sleep mode, etc. The file is naturally replaced with a video file by high-quality development. As the replacement progresses, the number of cases where high-quality development after S1020 occurs decreases, and a high-quality image can be always output promptly, thereby further improving the operability.
以上が本実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。 The above is the description of the present embodiment, but the present invention is not limited to the above-described embodiment within the scope of the technical idea of the present invention, and should be adapted as appropriate by changing the target circuit form. It is.
(その他の実施形態)
さらに、上述した本発明の実施形態におけるフローチャート図に示した各処理は、各処理の機能を実現する為のコンピュータプログラムを本件発明の画像符号化装置が動作するシステムのメモリから読み出してシステムのCPUが実行することによっても実現できる。この場合、メモリに記憶されたプログラムは本件発明を構成する。
(Other embodiments)
Furthermore, each process shown in the flowchart diagram in the above-described embodiment of the present invention reads out a computer program for realizing the function of each process from the memory of the system in which the image encoding apparatus of the present invention operates, and the CPU of the system Can also be realized. In this case, the program stored in the memory constitutes the present invention.
上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。 The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
また、フローチャート図に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、フローチャート図に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。 Moreover, you may implement | achieve the function of all or one part of each process shown to the flowchart figure with exclusive hardware. In addition, a program for realizing the function of each process shown in the flowchart diagram is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. May be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices.
ここで、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置を含む。さらに、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。 Here, the “computer-readable recording medium” includes a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in the computer system. Furthermore, a program that holds a program for a certain period of time, such as a volatile memory (RAM) inside a computer system that becomes a server or client when the program is transmitted via a network such as the Internet or a communication line such as a telephone line Shall also be included.
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、或いは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。 A program product such as a computer-readable recording medium in which the above program is recorded can also be applied as an embodiment of the present invention. The above program, recording medium, transmission medium, and program product are included in the scope of the present invention.
以上、本発明を好ましい実施例により説明したが、本発明は上述した実施例に限ることなくクレームに示した範囲で種々の変更が可能である。 Although the present invention has been described with reference to the preferred embodiments, the present invention is not limited to the above-described embodiments, and various modifications can be made within the scope shown in the claims.
101 撮像光学部
102 撮像センサー部
103 センサー信号処理部
104 カメラ制御部
105 評価値算出部
110 現像部
111 簡易現像部
112 高画質現像部
113 RAW圧縮部
114 RAW伸張部
115 バッファ部
121 スイッチ部
122 表示処理部
123 表示部
124 映像出力端子
131 認識部
141 静止画圧縮部
142 動画圧縮部
143 静止画伸張部
144 動画伸張部
151 記録再生部
152 記録媒体
153 通信部
154 通信端子
DESCRIPTION OF
Claims (13)
RAW画像に対して現像処理を行う第1の現像手段と、
RAW画像に対して前記第1の現像手段よりも高画質な画像を得るためのRAW画像の現像処理を行う第2の現像手段と、
撮影指示に応じて、前記撮像手段により生成されたRAW画像に対して前記第1の現像手段により現像処理を行った画像と、前記RAW画像とを、記録媒体に記録するように制御する第1の記録制御手段と、
撮影後に、RAW画像に対して前記第2の現像処理により現像処理を行い、前記現像処理が行われた画像を前記記録媒体に記録するように制御する第2の記録制御手段と、
画像の再生開始が指示された場合に、前記第2の現像手段による現像処理が完了しておらず、前記第2の現像手段による現像処理が行われた画像が前記記録媒体に記録されていない場合に、前記記録媒体に記録されている前記第1の現像手段により現像処理が行われた画像に基づいて画像を再生し、前記第2の現像手段による現像処理を終えており、前記記録媒体に前記第2の現像手段により現像処理が行われた画像がある場合には、前記第2の現像手段により現像処理が行われた画像に基づいて画像を再生する再生手段と、を有し、
前記第2の記録制御手段は、前記記録媒体に記録されたRAW画像のうち、直前に撮影されたRAW画像から、前記第2の現像処理手段による現像処理を行い、前記記録媒体に記録するように制御することを特徴とする画像処理装置。 Imaging means for capturing a subject image and generating a RAW image;
First developing means for performing development processing on a RAW image;
A second developing means for performing a RAW image developing process for obtaining a higher quality image than the first developing means for the RAW image;
A first control for recording an image obtained by performing development processing on the RAW image generated by the imaging unit by the first developing unit and the RAW image on a recording medium in response to a shooting instruction. Recording control means,
A second recording control means for performing development processing on the RAW image by the second development processing after shooting and controlling to record the image on which the development processing has been performed on the recording medium;
When the start of image reproduction is instructed, the development process by the second development unit is not completed, and the image subjected to the development process by the second development unit is not recorded on the recording medium In this case, the image is reproduced based on the image developed by the first developing unit recorded on the recording medium, and the developing process by the second developing unit is finished. A reproduction unit that reproduces an image based on an image that has been developed by the second developing unit when there is an image that has been developed by the second developing unit.
The second recording control unit performs development processing by the second development processing unit from the RAW image taken immediately before among the RAW images recorded on the recording medium, and records the RAW image on the recording medium. An image processing apparatus that is controlled to
前記第2の記録制御手段は、前記RAW画像に対して前記第2の現像手段により現像処理が行われた画像を前記記録媒体に記録する場合に、前記第2の識別情報を、前記第2の現像手段により現像処理が行われたことを示す情報に更新することを特徴とする請求項1ないし6のいずれか1項に記載の画像処理装置。A second recording control unit configured to record the second identification information in the second recording information when the RAW image is recorded on the recording medium by an image that has been developed by the second developing unit; The image processing apparatus according to claim 1, wherein the image processing apparatus updates information indicating that the development processing has been performed by the development unit.
前記撮像工程で生成されたRAW画像に対して簡易現像処理を行う第1の現像工程と、A first development step for performing a simple development process on the RAW image generated in the imaging step;
撮影指示に応じて、前記第1の現像工程で前記簡易現像処理が行われた簡易現像画像と、前記RAW画像とを、記録媒体に記録する第1の記録工程と、A first recording step of recording, on a recording medium, the simple developed image that has undergone the simple development processing in the first developing step and the RAW image in response to a shooting instruction;
撮影後に、RAW画像に対して前記簡易現像処理よりも高画質な画像を得るための高画質現像処理を行う第2の現像工程と、A second development step of performing high image quality development processing for obtaining a higher quality image than the simple development processing on the RAW image after shooting;
前記高画質現像処理が行われた高画質現像画像を前記記録媒体に記録する第2の記録工程と、A second recording step of recording the high-quality developed image on which the high-quality development processing has been performed on the recording medium;
画像の再生開始が指示された場合に、前記高画質現像処理が完了しておらず、前記高画質現像画像が前記記録媒体に記録されていない場合に、前記記録媒体に記録されている前記簡易現像画像に基づいて画像を再生し、前記高画質現像処理を終えており、前記記録媒体に前記高画質現像画像が記録されている場合には、前記高画質現像画像に基づいて画像を再生する再生工程と、を有し、When the start of image reproduction is instructed, the simple image recorded on the recording medium when the high-quality development processing is not completed and the high-quality developed image is not recorded on the recording medium. When the image is reproduced based on the developed image and the high-quality development processing has been completed, and the high-quality developed image is recorded on the recording medium, the image is reproduced based on the high-quality developed image. A regeneration process,
前記第2の記録工程では、前記記録媒体に記録されたRAW画像のうち、直前に撮影されたRAW画像から、前記第2の現像処理手段による現像処理を行い、前記記録媒体に記録するように制御することを特徴とする画像処理方法。In the second recording step, among the RAW images recorded on the recording medium, a developing process by the second developing processing unit is performed from the RAW image taken immediately before, and the RAW image is recorded on the recording medium. An image processing method characterized by controlling.
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013053244A JP6245819B2 (en) | 2013-03-15 | 2013-03-15 | Image processing apparatus and image processing method |
EP14764514.7A EP2974285B1 (en) | 2013-03-15 | 2014-03-06 | Image processing apparatus and image processing method |
US14/776,587 US9894270B2 (en) | 2013-03-15 | 2014-03-06 | Image processing apparatus and image processing method for handling a raw image, of a moving image or a still image |
CN201480016125.1A CN105144700B (en) | 2013-03-15 | 2014-03-06 | Image processing equipment and image processing method |
EP18211097.3A EP3490250B1 (en) | 2013-03-15 | 2014-03-06 | Image processing apparatus and image processing method |
PCT/JP2014/001234 WO2014141638A1 (en) | 2013-03-15 | 2014-03-06 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013053244A JP6245819B2 (en) | 2013-03-15 | 2013-03-15 | Image processing apparatus and image processing method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014179853A JP2014179853A (en) | 2014-09-25 |
JP2014179853A5 JP2014179853A5 (en) | 2016-04-28 |
JP6245819B2 true JP6245819B2 (en) | 2017-12-13 |
Family
ID=51699361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013053244A Expired - Fee Related JP6245819B2 (en) | 2013-03-15 | 2013-03-15 | Image processing apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6245819B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6465613B2 (en) | 2014-10-10 | 2019-02-06 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, control method for image processing apparatus, and computer program |
JP6429588B2 (en) * | 2014-10-22 | 2018-11-28 | キヤノン株式会社 | Image processing apparatus and image processing method |
JP7008425B2 (en) * | 2017-04-14 | 2022-01-25 | キヤノン株式会社 | Image processing device, image processing method, and program |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4407454B2 (en) * | 2004-09-30 | 2010-02-03 | セイコーエプソン株式会社 | Digital camera and image processing method |
JP4498116B2 (en) * | 2004-12-09 | 2010-07-07 | キヤノン株式会社 | Imaging apparatus and raw data processing method |
JP4560422B2 (en) * | 2005-02-16 | 2010-10-13 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP2007104220A (en) * | 2005-10-03 | 2007-04-19 | Canon Inc | Image processing apparatus and image processing method |
JP2009147743A (en) * | 2007-12-14 | 2009-07-02 | Samsung Techwin Co Ltd | Recording apparatus, reproduction apparatus, recording method, reproduction method, and program |
JP5317547B2 (en) * | 2008-06-19 | 2013-10-16 | キヤノン株式会社 | Image processing apparatus and image processing apparatus control method |
JP5163392B2 (en) * | 2008-09-24 | 2013-03-13 | 株式会社ニコン | Image processing apparatus and program |
JP4997203B2 (en) * | 2008-09-24 | 2012-08-08 | 富士フイルム株式会社 | Imaging device |
JP5508164B2 (en) * | 2010-06-25 | 2014-05-28 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP5843525B2 (en) * | 2010-11-10 | 2016-01-13 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP2012234425A (en) * | 2011-05-06 | 2012-11-29 | Canon Inc | Image processing device and image processing method |
-
2013
- 2013-03-15 JP JP2013053244A patent/JP6245819B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014179853A (en) | 2014-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6373056B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND IMAGE PROCESSING METHOD | |
EP3490250B1 (en) | Image processing apparatus and image processing method | |
EP2974265B1 (en) | Imaging apparatus and imaging apparatus control method | |
JP6465613B2 (en) | Image processing apparatus, imaging apparatus, control method for image processing apparatus, and computer program | |
JP2015195571A (en) | Imaging apparatus and control method of the same | |
JP6406949B2 (en) | Image processing apparatus and image processing method | |
JP5883052B2 (en) | Image processing apparatus and control method thereof | |
JP6245819B2 (en) | Image processing apparatus and image processing method | |
RU2655662C1 (en) | Image processing apparatus and image processing method | |
JP6327939B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2015119403A (en) | Image recording apparatus, image recording method, program, and imaging apparatus | |
JP6192319B2 (en) | Image processing apparatus and image processing method | |
JP6245818B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP6452362B2 (en) | Imaging apparatus and imaging method | |
JP6294725B2 (en) | Image processing apparatus, imaging apparatus, image processing apparatus control method, and program | |
JP2014179851A (en) | Imaging apparatus and control method of the same | |
JP6282136B2 (en) | Imaging apparatus and control method thereof | |
JP2015126252A (en) | Image processing apparatus, image processing method and program | |
JP2016063252A (en) | Image processing device and image processing method | |
JP6376813B2 (en) | Image processing apparatus, image processing method and program, and imaging apparatus | |
JP2016063254A (en) | Imaging apparatus an imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160314 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171114 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6245819 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |