JP6362735B2 - IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD AND CONTROL PROGRAM - Google Patents

IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD AND CONTROL PROGRAM Download PDF

Info

Publication number
JP6362735B2
JP6362735B2 JP2017127842A JP2017127842A JP6362735B2 JP 6362735 B2 JP6362735 B2 JP 6362735B2 JP 2017127842 A JP2017127842 A JP 2017127842A JP 2017127842 A JP2017127842 A JP 2017127842A JP 6362735 B2 JP6362735 B2 JP 6362735B2
Authority
JP
Japan
Prior art keywords
image data
sub
display unit
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017127842A
Other languages
Japanese (ja)
Other versions
JP2017208837A (en
Inventor
真希 戸井田
真希 戸井田
真優 三木
真優 三木
水沼 明子
明子 水沼
野中 修
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2017127842A priority Critical patent/JP6362735B2/en
Publication of JP2017208837A publication Critical patent/JP2017208837A/en
Application granted granted Critical
Publication of JP6362735B2 publication Critical patent/JP6362735B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、撮像装置とその制御方法及び制御プログラムに関する。   The present invention relates to an imaging apparatus, a control method thereof, and a control program.

一般的な電子カメラでは、撮影で取得された画像データは、電子カメラ内のメモリカード(記録部)に記録される。ユーザは、その画像データを任意に再生することができる。ここで例えば、表示されている被写体についてさらに知ろうとしても、ユーザは、その被写体の情報を該画像データから読み取り難い。   In a general electronic camera, image data acquired by photographing is recorded on a memory card (recording unit) in the electronic camera. The user can arbitrarily reproduce the image data. Here, for example, even if the user wants to know more about the displayed subject, it is difficult for the user to read information on the subject from the image data.

特許文献1の電子カメラは、被写体を撮影した一枚の画像データと、該画像データから読み取り可能な被写体の関連情報とを関連付けて記録する。記録された各情報を読み出すことで、該電子カメラは、該画像データを再生しながら被写体の関連情報を再生することができる。   The electronic camera disclosed in Patent Document 1 records one piece of image data obtained by photographing a subject and related information of the subject that can be read from the image data in association with each other. By reading each recorded information, the electronic camera can reproduce the related information of the subject while reproducing the image data.

特開2008−252930号公報JP 2008-252930 A

撮影画像を鑑賞する時に、そこに写っているものの細部や特徴をもっとよく見ることができる撮像装置を提案する。   We propose an imaging device that allows you to see the details and features of what you see when you take a picture.

本発明の一態様の撮像装置は、被写体を撮影する撮像部と、前記撮像部によって撮影された第1の画像データが記録されるとともに、前記第1の画像データの領域毎のコントラスト量、領域毎の距離情報の差異又は領域毎の被写界深度の情報に基づいて被写体の十分な描写が得られていないことが判定された前記領域についてピントの条件を変更しながら前記撮像部によって撮影された複数の第2の画像データが前記領域と対応付けて記録される記録部と、前記第1の画像データに基づく画像を表示する表示部と、前記表示部に対するタッチを検出するタッチパネルと、前記表示部に表示されている前記第1の画像データに基づく画像へのタッチが検出されたときに、タッチされた前記領域と対応する前記第2の画像データを前記表示部に再生する制御部とを具備する。
本発明の一態様の撮像装置は、被写体を撮影する撮像部と、前記撮像部によって撮影された第1の画像データが記録されるとともに、前記第1の画像データの領域毎の露出量に基づいて被写体の十分な描写が得られていないことが判定された前記領域について露出の条件を変更しながら前記撮像部によって撮影された複数の第2の画像データが前記領域と対応付けて記録される記録部と、前記第1の画像データに基づく画像を表示する表示部とを具備する。
According to an imaging device of one embodiment of the present invention, an imaging unit that captures a subject, first image data captured by the imaging unit, and a contrast amount and a region for each region of the first image data are recorded. Photographed by the imaging unit while changing the focus condition for the area determined that a sufficient depiction of the subject is not obtained based on the difference in distance information for each area or information on the depth of field for each area A plurality of second image data recorded in association with the area, a display unit for displaying an image based on the first image data, a touch panel for detecting a touch on the display unit, When a touch on the image based on the first image data displayed on the display unit is detected, the second image data corresponding to the touched area is re-displayed on the display unit. And a control unit for.
According to an imaging device of one embodiment of the present invention, an imaging unit that captures a subject, first image data captured by the imaging unit, and an exposure amount for each region of the first image data are recorded. A plurality of second image data photographed by the imaging unit is recorded in association with the region while changing the exposure condition for the region where it is determined that sufficient depiction of the subject is not obtained. A recording unit; and a display unit that displays an image based on the first image data.

本発明の一態様の撮像装置の制御方法は、撮像部により被写体を撮影して得られた第1の画像データに基づく画像を表示部に表示することと、前記表示部に対するタッチをタッチパネルによって検出することと、前記表示部に表示されている前記第1の画像データに基づく画像へのタッチが検出されたときに、前記第1の画像データの領域毎のコントラスト量、領域毎の距離情報の差異又は領域毎の被写界深度の情報に基づいて被写体の十分な描写が得られていないことが判定された前記領域についてピントの条件を変更して撮影された複数の第2の画像データの中から、タッチされた前記領域と対応する前記第2の画像データを前記表示部に再生することとを具備する。
本発明の一態様の撮像装置の制御方法は、撮像部により被写体を撮影して得られた第1の画像データに基づく画像を表示部に表示することと、前記表示部に対するタッチをタッチパネルによって検出することと、前記表示部に表示されている前記第1の画像データに基づく画像へのタッチが検出されたときに、前記第1の画像データの領域毎の露出量に基づいて被写体の十分な描写が得られていないことが判定された前記領域について露出の条件を変更して撮影された複数の第2の画像データの中から、タッチされた前記領域と対応する前記第2の画像データを前記表示部に再生することとを具備する。
According to an imaging device control method of one embodiment of the present invention, an image based on first image data obtained by photographing a subject with an imaging unit is displayed on a display unit, and a touch on the display unit is detected by a touch panel. And when a touch on the image based on the first image data displayed on the display unit is detected, the contrast amount for each region of the first image data and the distance information for each region The plurality of second image data captured by changing the focus condition for the region determined that the sufficient depiction of the subject is not obtained based on the difference or the depth of field information for each region. Playing the second image data corresponding to the touched area on the display unit.
According to an imaging device control method of one embodiment of the present invention, an image based on first image data obtained by photographing a subject with an imaging unit is displayed on a display unit, and a touch on the display unit is detected by a touch panel. And when a touch to the image based on the first image data displayed on the display unit is detected, a sufficient amount of the subject is determined based on an exposure amount for each area of the first image data. The second image data corresponding to the touched region is selected from among the plurality of second image data captured by changing the exposure condition for the region where it is determined that the depiction is not obtained. Reproducing on the display unit.

本発明の一態様の撮像装置の制御プログラムは、撮像部により被写体を撮影して得られた第1の画像データに基づく画像を表示部に表示することと、前記表示部に対するタッチをタッチパネルによって検出することと、前記表示部に表示されている前記第1の画像データに基づく画像へのタッチが検出されたときに、前記第1の画像データの領域毎のコントラスト量、領域毎の距離情報の差異又は領域毎の被写界深度の情報に基づいて被写体の十分な描写が得られていないことが判定された前記領域についてピントの条件を変更して撮影された複数の第2の画像データの中から、タッチされた前記領域と対応する前記第2の画像データを前記表示部に再生することとをコンピュータに実行させる。
本発明の一態様の撮像装置の制御プログラムは、撮像部により被写体を撮影して得られた第1の画像データに基づく画像を表示部に表示することと、前記表示部に対するタッチをタッチパネルによって検出することと、前記表示部に表示されている前記第1の画像データに基づく画像へのタッチが検出されたときに、前記第1の画像データの領域毎の露出量に基づいて被写体の十分な描写が得られていないことが判定された前記領域について露出の条件を変更して撮影された複数の第2の画像データの中から、タッチされた前記領域と対応する前記第2の画像データを前記表示部に再生することとをコンピュータに実行させる。
The control program for an imaging apparatus according to one embodiment of the present invention displays an image based on first image data obtained by capturing a subject with an imaging unit on a display unit, and detects a touch on the display unit with a touch panel. And when a touch on the image based on the first image data displayed on the display unit is detected, the contrast amount for each region of the first image data and the distance information for each region The plurality of second image data captured by changing the focus condition for the region determined that the sufficient depiction of the subject is not obtained based on the difference or the depth of field information for each region. From the inside, the computer is caused to reproduce the second image data corresponding to the touched area on the display unit.
The control program for an imaging apparatus according to one embodiment of the present invention displays an image based on first image data obtained by capturing a subject with an imaging unit on a display unit, and detects a touch on the display unit with a touch panel. And when a touch to the image based on the first image data displayed on the display unit is detected, a sufficient amount of the subject is determined based on an exposure amount for each area of the first image data. The second image data corresponding to the touched region is selected from among the plurality of second image data captured by changing the exposure condition for the region where it is determined that the depiction is not obtained. Reproduction on the display unit is executed by a computer.

本発明によれば、撮影画像を鑑賞する時に、そこに写っているものの細部や特徴をもっとよく見ることができる。   According to the present invention, when appreciating a photographed image, it is possible to better see details and features of what is shown there.

図1は、本発明の一実施形態に係る撮像装置の撮像機能を概念的に示す図である。FIG. 1 is a diagram conceptually illustrating an imaging function of an imaging apparatus according to an embodiment of the present invention. 図2は、本発明の一実施形態にかかる撮像装置の構成例を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration example of the imaging apparatus according to the embodiment of the present invention. 図3は、撮影例を示す図である。FIG. 3 is a diagram showing an example of photographing. 図4は、主画像の関連情報の例を示す図である。FIG. 4 is a diagram illustrating an example of related information of the main image. 図5は、本発明の一実施形態の撮影動作例を示すフローチャートである。FIG. 5 is a flowchart showing an example of a photographing operation according to an embodiment of the present invention. 図6は、関連情報の取得を決定するためのフローチャートである。FIG. 6 is a flowchart for determining acquisition of related information. 図7は、動画データである副画像データの再生例を示す図である。FIG. 7 is a diagram illustrating an example of reproduction of sub-image data that is moving image data. 図8は、動画データの再生タイミングの例を示す図である。FIG. 8 is a diagram illustrating an example of reproduction timing of moving image data. 図9は、露出補正のための副画像データの再生例を示す図である。FIG. 9 is a diagram illustrating an example of reproduction of sub-image data for exposure correction. 図10は、露出補正のための副画像データの再生タイミングの例を示す図である。FIG. 10 is a diagram illustrating an example of reproduction timing of sub-image data for exposure correction. 図11は、ピント補正のための副画像データの再生例を示す図である。FIG. 11 is a diagram illustrating an example of reproduction of sub-image data for focus correction. 図12は、ピント補正のための副画像データの再生タイミングの例を示す図である。FIG. 12 is a diagram illustrating an example of reproduction timing of sub-image data for focus correction. 図13は、本発明の一実施形態の主画像ファイルと、副画像ファイルとの構成例を示す図である。FIG. 13 is a diagram illustrating a configuration example of a main image file and a sub image file according to an embodiment of the present invention. 図14は、本発明の一実施形態に係る撮像装置の再生機能を概念的に示す図である。FIG. 14 is a diagram conceptually showing the reproduction function of the imaging apparatus according to the embodiment of the present invention. 図15は、本発明の一実施形態に係る撮像装置の再生モードに関わる動作例を示す図である。FIG. 15 is a diagram illustrating an operation example related to the reproduction mode of the imaging apparatus according to the embodiment of the present invention. 図16は、本発明の一実施形態の変形例の撮影動作例を示す図である。FIG. 16 is a diagram illustrating an example of a photographing operation according to a modification of the embodiment of the present invention. 図17は、本発明の一実施形態の変形例の再生動作例を示す図である。FIG. 17 is a diagram illustrating an example of a reproduction operation according to a modification of the embodiment of the present invention. 図18は、本発明の一実施形態の変形例の主画像ファイルと、副画像ファイルとの構成例を示す図である。FIG. 18 is a diagram illustrating a configuration example of a main image file and a sub image file according to a modification of the embodiment of the present invention.

以下、本発明の一実施形態に係る撮像装置について、撮影し画像データを取得する撮影モードと、画像データを再生する再生モードとに分けて説明する。図1は、本発明の一実施形態に係る撮像装置の撮像機能を概念的に示す図である。撮像装置100は、撮像部111と、連続撮影部110とを有する。撮像部111は、被写体を撮影して被写体に係る画像データを取得する。連続撮影部110は、画像領域分類部112と、領域別撮影条件変更部113と、領域別再取得部114と、撮像結果関連付け記録部115とを有する。画像領域分類部112は、撮像部111により取得された画像データを複数のブロックに分割し、分割したブロック毎に再撮影を行うべきか否かを判定する。領域別撮影条件変更部113は、画像領域分類部112により分割された各ブロックの再撮影の条件を設定する。領域別再取得部114は、領域別撮影条件変更部113の設定を基に再撮影を行って画像データを再取得する。撮像結果関連付け記録部115は、再取得された画像データと、最初に取得された画像データとを関連付けて記録する。   Hereinafter, an imaging apparatus according to an embodiment of the present invention will be described separately for a shooting mode for shooting and acquiring image data and a playback mode for playing back image data. FIG. 1 is a diagram conceptually illustrating an imaging function of an imaging apparatus according to an embodiment of the present invention. The imaging apparatus 100 includes an imaging unit 111 and a continuous shooting unit 110. The imaging unit 111 captures a subject and acquires image data related to the subject. The continuous photographing unit 110 includes an image region classification unit 112, a region-specific photographing condition changing unit 113, a region-specific reacquisition unit 114, and an imaging result association recording unit 115. The image area classification unit 112 divides the image data acquired by the imaging unit 111 into a plurality of blocks, and determines whether or not re-photographing should be performed for each of the divided blocks. The area-specific imaging condition changing unit 113 sets conditions for re-imaging each block divided by the image area classifying unit 112. The area-specific reacquisition unit 114 performs re-imaging based on the setting of the area-specific imaging condition change unit 113 to reacquire image data. The imaging result association recording unit 115 records the reacquired image data and the first acquired image data in association with each other.

本発明の一実施形態に係る撮像装置の具体的な構成例を図2のブロック図に示す。図2の撮像装置100は、ネットワーク21を介してサーバ23に通信自在に接続されている。また、ネットワーク21には、スマートフォン(スマホ)22も通信自在に接続されている。スマホ22は、ネットワーク21を介して受信した画像データや音データなどを再生可能な携帯端末の一例である。   A specific configuration example of an imaging apparatus according to an embodiment of the present invention is shown in the block diagram of FIG. The imaging device 100 in FIG. 2 is connected to a server 23 via a network 21 so as to be communicable. In addition, a smartphone (smartphone) 22 is also connected to the network 21 in a communicable manner. The smartphone 22 is an example of a portable terminal that can reproduce image data, sound data, and the like received via the network 21.

本発明の一実施形態において、再取得された画像データは、撮影時に取得される。しかしながら、撮影時に再取得された画像データに加えて、サーバ23やスマホ22を使用して外部から画像データ若しくはテキストデータなどの関連情報をさらに取得しても良い。また、後述する方位センサ7b若しくは場所検出部10などから取得された位置情報をさらに関連付けても良い。   In one embodiment of the present invention, the reacquired image data is acquired at the time of shooting. However, in addition to the image data re-acquired at the time of shooting, related information such as image data or text data may be further acquired from the outside using the server 23 or the smartphone 22. Further, position information acquired from an orientation sensor 7b or a location detection unit 10 described later may be further associated.

撮像装置100は、撮像部111と、制御部1と、表示部8と、タッチパネル8bと、記録部4と、操作判定部5と、通信部6と、アイセンサ3bと、接眼表示部3と、姿勢センサ7aと、方位センサ7bと、場所検出部10と、時計9とを有する。制御部1は、連続撮影部110と対応する機能を有し、撮影及び再生を制御する。表示部8は、画像データに基づく画像を表示する。タッチパネル8bは、タッチを検出して信号を出力する。記録部4は、画像データなどの各種データを記録する。操作判定部5は、撮像装置100を動作させるための操作を判定する。この操作は、例えば、表示部8に表示する画像の切り替え、モードの変更若しくは画像データの送受信などの操作に対応している。通信部6は、撮像装置100とサーバ23との間のデータの送受信を介する。アイセンサ3bは、接眼表示部3へのユーザの接眼状態を検出する。接眼表示部3は、接眼式のファインダ用の表示部である。姿勢センサ7aは例えば、撮像装置100の加速度を検出して撮像装置100の姿勢を検出する。方位センサ7bは、地磁気の方向に対する傾きから撮像装置100の方位を検出する。場所検出部10は、例えばGPSであり、撮影時の位置を検出する。時計9は時刻情報を算出する。   The imaging apparatus 100 includes an imaging unit 111, a control unit 1, a display unit 8, a touch panel 8b, a recording unit 4, an operation determination unit 5, a communication unit 6, an eye sensor 3b, and an eyepiece display unit 3. It has an attitude sensor 7 a, an orientation sensor 7 b, a location detection unit 10, and a clock 9. The control unit 1 has a function corresponding to the continuous photographing unit 110 and controls photographing and reproduction. The display unit 8 displays an image based on the image data. The touch panel 8b detects a touch and outputs a signal. The recording unit 4 records various data such as image data. The operation determination unit 5 determines an operation for operating the imaging device 100. This operation corresponds to, for example, operations such as switching an image displayed on the display unit 8, changing a mode, or transmitting / receiving image data. The communication unit 6 transmits and receives data between the imaging device 100 and the server 23. The eye sensor 3 b detects the eyepiece state of the user on the eyepiece display unit 3. The eyepiece display unit 3 is a display unit for an eyepiece type finder. The attitude sensor 7a detects the attitude of the imaging apparatus 100 by detecting the acceleration of the imaging apparatus 100, for example. The direction sensor 7b detects the direction of the imaging apparatus 100 from the inclination with respect to the direction of geomagnetism. The location detection unit 10 is a GPS, for example, and detects a position at the time of shooting. The clock 9 calculates time information.

撮像部111は、被写体から発せられる光を入射させ像を結ばせるレンズ26と、レンズ26から入射した光を受光面で受けて、光を電気信号(アナログ信号)に変換する撮像素子2とを有する。   The imaging unit 111 includes a lens 26 that enters light emitted from a subject and forms an image, and an imaging device 2 that receives the light incident from the lens 26 on a light receiving surface and converts the light into an electrical signal (analog signal). Have.

レンズ26は、図示しない被写体からの撮影光束を、撮像素子2の受光面上に導くための光学系である。このレンズ26は、フォーカスレンズ等の複数のレンズを有している。撮像素子2は、多数の画素が配列されて構成される受光面を有し、レンズ26を介して受光した被写体からの像を電気的な信号に変換する。   The lens 26 is an optical system for guiding a photographic light beam from a subject (not shown) onto the light receiving surface of the image sensor 2. The lens 26 has a plurality of lenses such as a focus lens. The imaging device 2 has a light receiving surface configured by arranging a large number of pixels, and converts an image from a subject received through the lens 26 into an electrical signal.

表示部8は、例えば液晶ディスプレイ(LCD)又は有機ELディスプレイである。この表示部8は、撮像装置100の背面に設置され、画像データに基づいてライブビュー用の画像及び記録部4に記録された画像及び各種の情報を表示する。表示部8に表示される画像データは複数のブロックに分割される。本実施形態においては、ユーザは複数のブロックから注目するブロックを選別する。このとき、ブロックが可視化させていれば、ユーザは再撮影された画像データの表示の選択が容易になる。そのため例えば、ブロックの分割区画に対応する線を画像に重ねて表示させても良い。   The display unit 8 is, for example, a liquid crystal display (LCD) or an organic EL display. The display unit 8 is installed on the back surface of the imaging device 100 and displays an image for live view, an image recorded in the recording unit 4 and various information based on the image data. The image data displayed on the display unit 8 is divided into a plurality of blocks. In the present embodiment, the user selects a block of interest from a plurality of blocks. At this time, if the block is visualized, the user can easily select display of the recaptured image data. Therefore, for example, a line corresponding to a divided block of a block may be displayed so as to overlap the image.

タッチパネル8bは、表示部8の表示画面上に重なるように形成されており、表示画面上へのユーザの指等によるタッチを検出し、その検出結果を制御部1へ入力する。また、タッチパネルの各タッチ位置は表示部上の各表示位置に対応している。本実施形態においては例えば、タッチパネル8bがタッチされたとき、タッチ位置を含むブロックに対応した表示部8上の表示位置に再撮影された画像データなどを表示する。また、タッチパネル8bは、画像を分割したブロックを指定するための方法の一つであって、ブロックの指定は、タッチによって指定するタッチパネル8b以外の部材によってなされても良い。ブロックを指定するためのタッチパネル8bなどの部材を、指定部と呼ぶことにする。   The touch panel 8 b is formed so as to overlap the display screen of the display unit 8, detects a touch with a user's finger or the like on the display screen, and inputs the detection result to the control unit 1. Each touch position on the touch panel corresponds to each display position on the display unit. In the present embodiment, for example, when the touch panel 8b is touched, image data re-captured is displayed at the display position on the display unit 8 corresponding to the block including the touch position. The touch panel 8b is one of methods for specifying a block obtained by dividing an image, and the block may be specified by a member other than the touch panel 8b specified by touch. A member such as the touch panel 8b for designating a block is referred to as a designation unit.

制御部1は、ピントの位置を調節するか否かを判定するピント判定部1cと、被写体が特定の被写体であるか否かを判定する被写体判定部1hと、画像の陰影を判定する陰影判定部1bと、画像データを表示部8に表示させるための画像処理を制御する表示制御部1eと、画像領域分類部112と領域別撮影条件変更部113とに対応し、画像を複数のブロックに分割し、各ブロックへの関連情報の付与を制御する部位情報部1dと、被写体が動いたか否かを判定する動き判定部1fと、通信部6と外部とのデータの送受信を制御する通信制御部1gとを有する。   The control unit 1 includes a focus determination unit 1c that determines whether or not to adjust the focus position, a subject determination unit 1h that determines whether or not the subject is a specific subject, and a shadow determination that determines the shadow of the image. Corresponding to the unit 1b, the display control unit 1e that controls the image processing for displaying the image data on the display unit 8, the image area classification unit 112, and the imaging condition changing unit 113 for each area, the image is divided into a plurality of blocks. A part information section 1d that controls the assignment of related information to each block, a movement determination section 1f that determines whether or not the subject has moved, and a communication control that controls transmission and reception of data between the communication section 6 and the outside Part 1g.

記録部4は、撮影で取得された画像データが保存された画像ファイルを記録する。また、記録部4は、サーバ23を含む外部から取得された画像データが記録されている接続先DB4bと、画像に表示される被写体の種類を特定するために参照される画像データが記録されている対象物DB4cとを有する。   The recording unit 4 records an image file in which image data acquired by photographing is stored. The recording unit 4 records a connection destination DB 4b in which image data acquired from the outside including the server 23 is recorded, and image data that is referred to in order to specify the type of subject displayed in the image. And the target object DB 4c.

サーバ23は、サーバ23が有する画像データを端末に送信したとき、画像データの送信先での表示を制御する表示制御部23bと、撮像装置100及びスマホ22などからアクセスされたことを判定するアクセス判定部23cと、撮像装置100から求められる画像データに関連する画像を選択する関連づけ部23dと、サーバ23内の画像を記録するサーバ記録部23eとを有する。   When the server 23 transmits the image data held by the server 23 to the terminal, the server 23 accesses the display control unit 23b that controls display at the transmission destination of the image data, and the access that determines that the imaging device 100 and the smartphone 22 are accessed. The determination unit 23c includes an association unit 23d that selects an image related to image data obtained from the imaging apparatus 100, and a server recording unit 23e that records an image in the server 23.

撮影例を図3に示す。ユーザが図3に示されたシーンにおいて人物を撮影するとき、他の被写体も同時に画像に写りこむことがある。図3の例における他の被写体とは例えば、飛んでいる鳥Aと、留まっている鳥Bである。また、図3に示す暗い空間のように、画像上では被写体の状態が分からないような場合もある。撮影の結果、これらの被写体が写りこんだ図4に示すような画像が取得される。通常、人物に適したピントや露出で撮影が行われると、撮影後に得られる画像において他の被写体のピントや露出は適切なものではなくなる。例えば、鳥Bにはピントが合っていない。図4では、鳥Bのピントが合っていないことは点線で示されている。また、暗い空間内の露出は、その内部の花瓶が可視され難い程度になってしまう。ユーザは、ピントが合っていない被写体や露出が合っていない被写体が撮影後に気になったとしても、後から気になった被写体にピント及び露出を合わせて撮影するのは困難である。   An example of photographing is shown in FIG. When the user shoots a person in the scene shown in FIG. 3, other subjects may appear in the image at the same time. Other subjects in the example of FIG. 3 are, for example, a flying bird A and a standing bird B. Further, there may be a case where the state of the subject is not known on the image as in the dark space shown in FIG. As a result of photographing, an image as shown in FIG. 4 in which these subjects are reflected is acquired. Usually, when shooting is performed with focus and exposure suitable for a person, the focus and exposure of other subjects are not appropriate in an image obtained after shooting. For example, bird B is not in focus. In FIG. 4, the fact that the bird B is not in focus is indicated by a dotted line. Further, the exposure in the dark space is such that the vase inside the space is not easily visible. Even if a user is concerned about a subject that is out of focus or a subject whose exposure is not suitable after photographing, it is difficult for the user to photograph the subject concerned later in focus and exposure.

本発明の一実施形態では、ユーザが最初に気になった被写体を写した主画像と、その主画像内でユーザが気になると考えられる被写体の画像を関連情報として写した副画像とが取得される。本発明の一実施形態に係る撮像装置100は、被写体の動画の副画像、ピント補正された被写体の副画像及び適正な露出の被写体を示す副画像を取得することができる。   In one embodiment of the present invention, a main image that captures a subject that the user is first interested in and a sub-image that captures an image of the subject that the user is likely to be interested in as the relevant information in the main image are acquired. Is done. The imaging apparatus 100 according to an embodiment of the present invention can acquire a sub-image of a moving image of a subject, a sub-image of a subject whose focus has been corrected, and a sub-image showing a subject with appropriate exposure.

撮像装置100の動作例を図5のフローチャートで説明する。制御部1は、撮影モードが選択されたか否かを判定する(ステップS201)。撮影モードが選択されなかったと判定するとき(ステップS201でNOのとき)、制御部1は、再生モードを選択する。一方、撮影モードが選択されたと判定するとき(ステップS201でYESのとき)、制御部1は、撮像部111に撮影を開始させまた、被写体の判定を開始する(ステップS202)。この被写体の判定は、後述する後で気になる部位判定に用いる。その後、制御部1は、後で気になる部位判定を図6に示すように行う(ステップS204)。   An example of the operation of the imaging apparatus 100 will be described with reference to the flowchart of FIG. The control unit 1 determines whether or not a shooting mode has been selected (step S201). When determining that the shooting mode has not been selected (NO in step S201), the control unit 1 selects the playback mode. On the other hand, when it is determined that the shooting mode has been selected (YES in step S201), the control unit 1 causes the imaging unit 111 to start shooting and starts to determine the subject (step S202). This determination of the subject is used for determining a part of interest later described. After that, the control unit 1 performs a part determination which will be anxious later as shown in FIG. 6 (step S204).

後で気になる部位判定は、副画像データを取得すべきブロックの位置情報と、各ブロックで取得する副画像データの種類とを決定する処理である。後で気になる部位判定を図6を使用して説明する。図6(a)は動作例を示すフローチャートであり、図6(b)は副画像データを取得すべきブロックを示す。まず、部位情報部1dは、取得された画像データを複数のブロックに分割する(ステップS101)。本発明の一実施形態では、画像データを矩形の15個のブロックに図6(b)に示すように分割する。その後、部位情報部1dは、該画像データに対する副画像データを取得するか否かを判定するための情報を各ブロックから取得する(ステップS102)。該情報は例えば、ブロックの画像が、所定の画像データであるか否かの情報などである。次に、部位情報部1dは、所定露出よりもアンダー露出であるブロック若しくは所定露出よりもオーバー露出であるブロックがあるか否かを判定する(ステップS103)。少なくとも一つのブロックが、オーバーの露出であると判定するとき若しくは、アンダー露出であると判定するとき(ステップS103でYESのとき)、部位情報部1dは、オーバー露出若しくはアンダー露出であると判定されるブロックの位置情報と、このブロックについて後で取得される副画像が露出用として使用される旨を示す情報とを記録部4に記録する(ステップS106)。この情報は、後述する主画像データと副画像データとを関連付けるための情報である。ブロックの位置情報では例えば、図6(b)に示すように2行目のB列目のブロックをB2と呼称する。一方、A1からE3までのすべてのブロックが、オーバー露出若しくはアンダー露出ではなかったと判定するとき(ステップS103でNOのとき)又はステップS106の処理の後、部位情報部1dは、少なくとも一つのブロックが、被写体のピントがボケているブロックであるか否かを判定する(ステップS104)。被写体のピントがボケているブロックがあったと判定するとき(ステップS104でYESのとき)、部位情報部1dは、被写体のピントがボケているブロックの位置情報と、このブロックについて後で取得される副画像データがピント用として使用される旨を示す情報とを記録部4に記録する(ステップS107)。ステップS107の後若しくは、A1からE3までのすべてのブロックが、被写体のピントがボケていなかったと判定するとき(ステップS104でNOのとき)、部位情報部1dは、被写体が動いているブロックがあるか否かを判定する(ステップS105)。被写体が動いているか否かの判定は例えば、主画像の被写体と、その前後に撮影された画像の該被写体の形状の比較によってなされる。被写体が動いているブロックがあると判定するとき(ステップS105でYESのとき)、部位情報部1dは、被写体が動いているブロックの位置情報と、このブロックについて後で取得される副画像データが動画用として使用される旨を示す用途情報とを記録部4に記録する(ステップS108)。ステップ108の後若しくは、被写体が動いているブロックがなかったと判定するとき(ステップS105でNOのとき)、部位情報部1dは、後で気になる部位判定の処理を終了する。   The part determination to be worried later is a process of determining the position information of the block from which the sub image data is to be acquired and the type of sub image data to be acquired in each block. The part determination to be worried later will be described with reference to FIG. FIG. 6A is a flowchart showing an operation example, and FIG. 6B shows a block from which sub-image data is to be acquired. First, the part information unit 1d divides the acquired image data into a plurality of blocks (step S101). In one embodiment of the present invention, the image data is divided into 15 rectangular blocks as shown in FIG. Thereafter, the part information unit 1d acquires information for determining whether to acquire sub-image data for the image data from each block (step S102). The information is, for example, information on whether or not the image of the block is predetermined image data. Next, the part information unit 1d determines whether or not there is a block that is underexposed more than the predetermined exposure or a block that is overexposed than the predetermined exposure (step S103). When it is determined that at least one block is overexposed or underexposed (YES in step S103), the part information portion 1d is determined to be overexposed or underexposed. And the information indicating that a sub-image acquired later for this block is used for exposure is recorded in the recording unit 4 (step S106). This information is information for associating main image data and sub-image data described later. In the block position information, for example, as shown in FIG. 6B, the block in the Bth column of the second row is called B2. On the other hand, when it is determined that all the blocks A1 to E3 are not overexposed or underexposed (NO in step S103) or after the process of step S106, the part information unit 1d includes at least one block. Then, it is determined whether or not the subject is out of focus (step S104). When it is determined that there is a block in which the subject is out of focus (YES in step S104), the part information unit 1d is acquired later regarding the position information of the block in which the subject is out of focus and this block. Information indicating that the sub-image data is used for focusing is recorded in the recording unit 4 (step S107). After step S107 or when all the blocks from A1 to E3 determine that the subject is not out of focus (NO in step S104), the part information unit 1d includes a block in which the subject is moving. Whether or not (step S105). Whether or not the subject is moving is determined, for example, by comparing the shape of the subject of the main image and the shape of the subject of images taken before and after the subject. When it is determined that there is a block in which the subject is moving (YES in step S105), the part information unit 1d receives the position information of the block in which the subject is moving and the sub-image data acquired later for this block. Application information indicating that it is used for moving images is recorded in the recording unit 4 (step S108). After step 108 or when determining that there is no block in which the subject is moving (NO in step S105), the part information unit 1d ends the part determination process of interest later.

ところで、図5において、制御部1は、動画用ブロックが、後で気になる部位判定で取得した各情報を参照した結果あるか否かを判定する(ステップS205)。動画用ブロックがなかったと判定するとき(ステップS205でNOのとき)、制御部1は、主画像データを撮影するか否かを判定する(ステップS211)。主画像データは、副画像データが関連付けられる画像データであって、ユーザが意図して取得しようとしている画像データである。主画像データを撮影しないと判定するとき(ステップS211でNOのとき)、例えばレリーズ操作が所定時間なされなかったとき、制御部1は、処理をステップS201に戻す。一方、主画像データを撮影すると判定するとき(ステップS211でYESのとき)、制御部1は、主画像データを撮影する(ステップS212)。その後、制御部1は、で気になる部位判定で取得した各情報を参照し、副画像データを取得するブロックがあるか否かを判定する(ステップS213)。すなわち、副画像データを取得するブロックは、動画用、露出用及びピント用である。副画像データを取得するブロックがなかったと判定するとき(ステップS213でNOのとき)、制御部1は、主画像データを主画像ファイルとして記録部4に記録する。その後、制御部1は、処理をステップS201に戻す(ステップS214)。   By the way, in FIG. 5, the control unit 1 determines whether or not the moving image block has a result of referring to each piece of information acquired in the part determination to be worried later (step S205). When it is determined that there is no moving image block (NO in step S205), the control unit 1 determines whether to shoot main image data (step S211). The main image data is image data associated with the sub image data, and is image data that the user intends to acquire. When determining that the main image data is not to be captured (NO in step S211), for example, when the release operation is not performed for a predetermined time, the control unit 1 returns the process to step S201. On the other hand, when determining that the main image data is to be captured (YES in step S211), the control unit 1 captures the main image data (step S212). Thereafter, the control unit 1 refers to each piece of information acquired in the part determination to be worried about, and determines whether there is a block from which the sub image data is acquired (step S213). That is, the blocks for acquiring the sub image data are for moving images, for exposure, and for focus. When determining that there is no block from which the sub image data is acquired (NO in step S213), the control unit 1 records the main image data in the recording unit 4 as a main image file. Then, the control part 1 returns a process to step S201 (step S214).

ところで、動画用ブロックがあると判定するとき(ステップS205でYESのとき)、制御部1は、該ブロックにおいて、主画像データの取得前に取得された画像データを動画用副画像データとして記録する(ステップS206)。その後、制御部1は、処理をステップS211に移行させる。   When it is determined that there is a moving image block (YES in step S205), the control unit 1 records the image data acquired before acquiring the main image data as moving image sub image data in the block. (Step S206). Thereafter, the control unit 1 shifts the process to step S211.

ところで、副画像データを取得するブロックがあると判定するとき(ステップS213でYESのとき)、制御部1は、まず、動画用ブロックがあるか否かを判定する(ステップS221)。ステップ221において、動画用ブロックとして判定された場合、主画像データの取得後の画像データが、動画用副画像データとして取得される。動画用ブロックがあったと判定するとき(ステップS221でYESのとき)、制御部1は、該ブロックの画像データを動画用副画像データとして所定時間取得する(ステップS222)。   By the way, when it is determined that there is a block from which sub-image data is acquired (YES in step S213), the control unit 1 first determines whether there is a moving image block (step S221). In step 221, when it is determined as a moving image block, the image data after the acquisition of the main image data is acquired as moving image sub-image data. When it is determined that there is a moving image block (YES in step S221), the control unit 1 acquires the image data of the block as moving image sub image data for a predetermined time (step S222).

動画用副画像データの取得について図7及び図8を使用してさらに説明する。図7(a)は、主画像データ内の動画用ブロックを示す。すなわち、飛んでいる鳥Aが含まれているブロックA1及びB1が、動画用副画像データを取得するブロックである。各ブロックにおける動画用副画像データの取得のタイミングチャート例を図8に示す。横軸方向は時間経過であって、T1、T2、T3・・・というタイミングで、副画像データの像1、像2、像3・・・が取得される。まず、図7(b)のブロックB1に鳥Aが含まれているので、主画像データのブロックB1を動画用の副画像データに置き換えるための副画像データを取得する。時間が進むと、図7(b)に示すように、ブロックB1及びA1に鳥Aが含まれる。したがって、図8(a)に示すようにブロックB1及びブロックA1の動画用の副画像データを同時のタイミングで取得する。つまり、制御部1は、時系列順に取得した複数の画像データを互いに比較することで、動画用の副画像データは取得されるか否かを判定される。また、制御部1は、隣接するブロックを時系列順に取得した複数の画像データを隣接するブロックと互いに比較しても良い。その後、ブロックA1のみに鳥Aが含まれているので、ブロックA1の動画用の副画像データのみが取得される。ここで、図8(a)は、鳥Aが含まれている動画用の副画像データだけが取得される例を示している。これに対し、図8(b)のように鳥Aが含まれているブロックの周辺のブロックも動画用の動画像データとして取得しても良い。このように、本発明の一実施形態では、四辺形の主画像データは、15分割された単純な四辺形のブロックを結合したものとして説明されている。しかしながら、主画像データは、より細かなブロックに分割され、それらのブロックを結合して取得しても良い。若しくは、主画像データは分割されなくとも良い。また、主画像データは、四辺形のブロックを結合した円形若しくは楕円形であっても良い。また、ブロックの形状は、四辺形に限らず例えば、別の多角形若しくは被写体の形状のような主画像データ内の特定の領域であってもよい。すなわち、人物や鳥の輪郭内のブロックの露出用若しくはピント変更用などの副画像データを取得しても良い。ただし、輪郭の検出は難しい。そこで、例えば、ブロックの形状は、輪郭に近似した楕円形であってもよい。   The acquisition of moving image sub-image data will be further described with reference to FIGS. FIG. 7A shows a moving image block in the main image data. That is, the blocks A1 and B1 including the flying bird A are blocks for acquiring moving image sub-image data. FIG. 8 shows an example of a timing chart for obtaining moving image sub-image data in each block. In the horizontal axis direction, time elapses, and image 1, image 2, image 3... Of sub-image data are acquired at timings T1, T2, T3. First, since the bird A is included in the block B1 of FIG. 7B, sub-image data for replacing the block B1 of the main image data with the sub-image data for moving images is acquired. As time advances, a bird A is included in the blocks B1 and A1 as shown in FIG. Therefore, as shown in FIG. 8A, the sub image data for moving images of the block B1 and the block A1 are acquired at the same timing. That is, the control unit 1 determines whether or not sub image data for moving images is acquired by comparing a plurality of pieces of image data acquired in time series with each other. Further, the control unit 1 may compare a plurality of image data obtained by acquiring adjacent blocks in chronological order with adjacent blocks. Thereafter, since the bird A is included only in the block A1, only the moving image sub-image data of the block A1 is acquired. Here, FIG. 8A shows an example in which only the moving image sub-image data including the bird A is acquired. On the other hand, as shown in FIG. 8B, blocks around the block including the bird A may be acquired as moving image data for moving images. Thus, in one embodiment of the present invention, the quadrilateral main image data is described as a combination of simple quadrilateral blocks divided into 15 parts. However, the main image data may be obtained by dividing the block into finer blocks and combining these blocks. Alternatively, the main image data may not be divided. The main image data may be a circle or an ellipse obtained by combining quadrilateral blocks. Further, the shape of the block is not limited to a quadrangle, and may be a specific area in the main image data such as another polygon or the shape of a subject. That is, sub-image data for exposure of a block in the outline of a person or bird or for focus change may be acquired. However, it is difficult to detect the contour. Therefore, for example, the shape of the block may be an ellipse that approximates the contour.

ところで、動画用ブロックがなかったと判定するとき(ステップS221でNOのとき)、制御部1は、動画用の副画像データを取得しない。そして、動画用の副画像データを取得した後若しくは、動画用の副画像データを取得するブロックがなかったと判定するとき(ステップS221でNOのとき)、制御部1は、後で気になる部位判定で取得した各情報を参照し、露出用のブロックがあるか否かを判定する(ステップS223)。露出用のブロックがあると判定するとき(ステップS223でYESのとき)、制御部1は、露出用の副画像データを取得する(ステップS224)。   Incidentally, when it is determined that there is no moving image block (NO in step S221), the control unit 1 does not acquire moving image sub-image data. Then, after acquiring the moving image sub-image data, or when determining that there is no block from which the moving image sub-image data is acquired (NO in step S221), the control unit 1 later becomes a part of interest. With reference to each piece of information acquired in the determination, it is determined whether there is a block for exposure (step S223). When it is determined that there is an exposure block (YES in step S223), the control unit 1 acquires exposure sub-image data (step S224).

ここで、露出用の副画像データ、まず、アンダー露出用の副画像データの取得例について、図9及び図10を使用して説明する。図9(a)は、主画像データ内のアンダー露出用のブロックを示す。すなわち、暗い空間が表示されているブロックD1、D2及びD3が、アンダー露出用画像データを取得するブロックである。アンダー露出を補正したブロックは例えば、同一ブロックについて撮影された複数の副画像データを重ねて輝度を上げることで取得される。各ブロックにおけるアンダー露出用の副画像データの取得のタイミングチャート例を図10に示す。図10の上部では、横軸は、露出用の副画像データ取得のタイミングを示しており、縦軸は、重ね合わせ前の副画像データの輝度を表す。一方、図10の下部は、重ね合わせ後の副画像データの輝度を表す。すなわち、重ね合わせる副画像データの数が多くなるほど、副画像データの輝度が上がる。例えば、副画像データの図9(b)の像1及び図9(c)の像2が重ねられることで、図9(d)の像1+像2のような露出が補正された副画像データが取得される。なお、副画像データの重ね合わせの場合、露出はオーバーに補正される。これに対し、露出がオーバーなブロックの輝度を下げる場合例えば、図1に示すブロック図にアンプをさらに追加して、そのアンプによって輝度を下げるようにしても良い。   Here, an example of acquiring sub-image data for exposure, first, sub-image data for under-exposure will be described with reference to FIGS. FIG. 9A shows a block for underexposure in main image data. That is, the blocks D1, D2, and D3 in which the dark space is displayed are blocks that acquire the underexposure image data. A block in which underexposure is corrected is acquired by, for example, overlapping a plurality of sub-image data photographed for the same block to increase the luminance. FIG. 10 shows an example of a timing chart for acquiring under-exposure sub-image data in each block. In the upper part of FIG. 10, the horizontal axis indicates the timing of acquiring the sub image data for exposure, and the vertical axis indicates the luminance of the sub image data before superimposition. On the other hand, the lower part of FIG. 10 represents the luminance of the sub-image data after superposition. That is, the luminance of the sub image data increases as the number of sub image data to be superimposed increases. For example, the sub-image data in which the exposure is corrected such as the image 1 + image 2 in FIG. 9D by superimposing the image 1 in FIG. 9B and the image 2 in FIG. 9C of the sub-image data. Is acquired. In the case of superimposing sub-image data, the exposure is corrected to over. On the other hand, when lowering the luminance of an overexposed block, for example, an amplifier may be further added to the block diagram shown in FIG. 1, and the luminance may be lowered by the amplifier.

ところで、露出用の副画像データを取得した後又は、露出用ブロックがなかったと判定されるとき、制御部1は、後で気になる部位判定によって記録された各情報を参照して、ピント変更用のブロックがあるか否かを判定する(ステップS225)。ピント変更用のブロックがあると判定するとき(ステップS226でYESのとき)、制御部1は、ブロック内のピント位置を変えながら撮影を行い、その撮影で取得したピント変更用の副画像データを記録する(ステップS226)。このように、主画像データ内のブロックすなわち特定の領域内の露出量若しくはコントラスト量の特徴に応じて、ブロック内の被写体が十分な描写が得られていないことが判定され、副画像データの取得が行われる。この判定は、時系列で取得された複数の画像に対してなされても良い。この判定は、各ブロック間の距離分布情報若しくは被写界深度の情報などの特徴を比較することでなされても良い。つまり、上記再取得判断は、上述の特徴に従って判定される若しくは、時系列に取得された複数の画像の比較に従って判定されても良い。各ブロックの各特徴をそれぞれ判定することで、それぞれのブロックに取得すべき副画像データの種類が決定される。   By the way, after acquiring the sub-image data for exposure or when it is determined that there is no exposure block, the control unit 1 refers to each piece of information recorded by the part determination to be worried later and changes the focus. It is determined whether there is a block for use (step S225). When it is determined that there is a block for changing the focus (YES in step S226), the control unit 1 performs shooting while changing the focus position in the block, and uses the sub-image data for changing the focus acquired by the shooting. Recording is performed (step S226). As described above, it is determined that the subject in the block is not sufficiently depicted according to the feature of the exposure amount or contrast amount in the block in the main image data, that is, the specific area, and the sub image data is acquired. Is done. This determination may be made on a plurality of images acquired in time series. This determination may be made by comparing features such as distance distribution information between blocks or information on depth of field. That is, the re-acquisition determination may be determined according to the above-described feature or may be determined according to a comparison of a plurality of images acquired in time series. By determining each feature of each block, the type of sub-image data to be acquired for each block is determined.

ここで、ピント変更用の副画像データの取得例について図11及び図12を使用してさらに説明する。図11(a)は、主画像データ内のピント変更用のブロックを示す。すなわち、鳥Bが表示されているブロックB2及びB3が、ピント変更用副画像データを取得するブロックである。図11(b)、(c)及び(d)は、ピントを変更して取得した各ブロックの画像データを示す。各ブロックにおけるピント変更用の副画像データの取得のタイミングチャート例を図12に示す。撮像装置100は、山登りAF(オートフォーカス)式に、ピント位置を例えば近方から遠方にかけて順次変更していく。   Here, an example of acquiring sub-image data for focus change will be further described with reference to FIGS. FIG. 11A shows a focus change block in the main image data. That is, the blocks B2 and B3 in which the bird B is displayed are blocks for acquiring the focus change sub-image data. FIGS. 11B, 11C, and 11D show image data of each block acquired by changing the focus. An example of a timing chart for acquiring sub-image data for focus change in each block is shown in FIG. The imaging apparatus 100 sequentially changes the focus position from near to far, for example, in a hill-climbing AF (autofocus) system.

ところで、ピント変更用副画像データの取得が行われた後(ステップS226)若しくは、ピント変更用ブロックがなかったと判定するとき(ステップS225でNOのとき)、制御部1は、主画像データを主画像ファイル化する。主画像ファイルの構成例を図13(a)に示す。主画像ファイルには、主画像データと、部位別タグ情報と、部位情報とが格納されている。部位別タグ情報は、各ブロックと、各ブロックに再生する副画像データの種類とを対応付ける情報である。例えば、主画像データのブロックA1は、動画用の副画像データと対応付けられている。対応付ける副画像データの種類は複数であっても良い。部位情報は、後で気になる部位判定で分割された主画像データの各ブロックが、どのような大きさのブロックであるかを示す情報である。例えば、ブロックA1は、主画像データを横方向に5分割し、縦方向に3分割したときの一ブロックである。それぞれのブロックの大きさは、被写体の大きさなどに応じて非画一であっても良い。   By the way, after the focus change sub-image data is acquired (step S226) or when it is determined that there is no focus change block (NO in step S225), the control unit 1 converts the main image data into the main image data. Create an image file. A configuration example of the main image file is shown in FIG. The main image file stores main image data, site-specific tag information, and site information. The part-specific tag information is information that associates each block with the type of sub-image data to be reproduced for each block. For example, the block A1 of the main image data is associated with moving image sub-image data. There may be a plurality of types of sub-image data to be associated. The part information is information indicating the size of each block of the main image data divided in the part determination to be worried later. For example, the block A1 is one block when the main image data is divided into five in the horizontal direction and three in the vertical direction. The size of each block may be non-uniform depending on the size of the subject.

主画像データを主画像ファイル化した後(ステップS227)、制御部1は、副画像データを副画像ファイルとして記録部4に記録する(ステップS228)。副画像ファイルには、副画像データと、タグ情報とが保存されている。タグ情報は、主画像データのブロックと副画像データとを関連付けるための情報である。図13(b)は、副画像ファイルの構成例である。図13(b)に示す副画像ファイルk及び副画像ファイルlは、副画像データと、タグ情報とを格納している。副画像ファイルkのタグ情報は、副画像データkが対応する主画像データの名称及びその主画像データのブロックと、副画像データを再生するタイミングと、副画像データの用途とに関する情報を有する。例えば、副画像データkは、タグ情報に示されるように図13(a)の主画像データimg1のブロックB1に対応している。主画像データimg1のブロックB1の副画像データkを再生するとき、副画像データkは、図8(a)に示すタイミングT1すなわち、動画再生の最初に再生される。一方、副画像ファイルlの副画像データlにおいて、用途情報は、副画像データが露出用であることを示す。また、タイミング情報は、主画像データimg1のブロックD2にT1のタイミングで再生されることを示す。なお、副画像ファイルには、複数対の副画像データ及びタグ情報を格納しても良い。例えば、複数の動画の副画像及びタグ情報が、副画像ファイルとしてまとめられて扱われることで、ユーザは、動画の副画像ファイルを管理しやすくなる。撮像装置100は、時系列に得られた副画像データを順次に再生する。露出用副画像データでは、ユーザは、見づらかった被写体をだんだん見えるようになる。また、動画用画像データでは、ユーザは、被写体の動きの再現を見ることができる。副画像データをだんだんに再生することによって、撮像装置100は、ユーザの期待感を盛り上げたり、ユーザに興奮を伴わせることができる。つまり、上述のような時系列に沿った再生は、付随情報を単に表示する場合と異なり、ユーザに感覚的な味付けを与えることができる。時系列に沿った再生をスローモーション若しくは早送りに再生しても良い。または、時系列に再生される副画像データを、対応するブロックとは別ブロックにずらして再生しても良い。   After main image data is converted into a main image file (step S227), the control unit 1 records the sub image data as a sub image file in the recording unit 4 (step S228). Sub-image data and tag information are stored in the sub-image file. The tag information is information for associating the main image data block with the sub image data. FIG. 13B is a configuration example of the sub image file. The sub image file k and the sub image file l shown in FIG. 13B store sub image data and tag information. The tag information of the sub-image file k includes information on the name of the main image data corresponding to the sub-image data k and the block of the main image data, the timing for reproducing the sub-image data, and the use of the sub-image data. For example, the sub image data k corresponds to the block B1 of the main image data img1 in FIG. 13A as indicated by the tag information. When reproducing the sub image data k of the block B1 of the main image data img1, the sub image data k is reproduced at the timing T1 shown in FIG. On the other hand, in the sub-image data l of the sub-image file l, the usage information indicates that the sub-image data is for exposure. The timing information indicates that the main image data img1 is reproduced in the block D2 at the timing T1. Note that a plurality of pairs of sub-image data and tag information may be stored in the sub-image file. For example, a plurality of moving image sub-images and tag information are collectively handled as sub-image files, so that the user can easily manage the moving image sub-image files. The imaging apparatus 100 sequentially reproduces the sub-image data obtained in time series. With the sub-image data for exposure, the user gradually sees a subject that is difficult to see. In the moving image data, the user can see the reproduction of the movement of the subject. By gradually reproducing the sub-image data, the imaging apparatus 100 can increase the user's expectation or cause the user to be excited. That is, unlike the case where the accompanying information is simply displayed, the reproduction along the time series as described above can give the user a sensory flavor. Playback along the time series may be played back in slow motion or fast forward. Alternatively, the sub-image data reproduced in time series may be reproduced by shifting to a block different from the corresponding block.

以上、本発明の一実施形態における撮像装置100の撮影モードでは、ユーザが求める主画像データと、主画像データの撮影時の関連情報を示す副画像データとを取得し、それぞれの画像データを関連付けて記録する。副画像データは、動画用途、露出用途若しくはピント変更用途として、主画像データの撮影前後に取得される。ユーザは、主画像データの撮影操作のみによって、主画像データの取得時の関連情報を容易に取得することができる。このように、撮像装置100は、主画像データの四辺形である各ブロックにおいて、露出やピントについて、十分な描写が得られていないことを判定して、各ブロックの画像表現を補足するための副画像データを取得する。この判定の要素は、露出量やコントラスト量である。また、この判定は、時系列で取得された複数の画像の比較によって判定されても良い。各ブロックの形状は、四辺形以外の形状の特定領域であっても良い。この判定の要素は、各部位の距離情報の差異や被写界深度の情報、距離分布情報若しくは画像の特徴量などであってもよく、山登りAF式にピント位置をずらした画像データから再撮影を推奨する判定(再取得判定)をしても良い。   As described above, in the shooting mode of the imaging apparatus 100 according to an embodiment of the present invention, the main image data required by the user and the sub-image data indicating the related information at the time of shooting the main image data are acquired, and the respective image data are associated with each other. Record. The sub-image data is acquired before and after the main image data is photographed for moving image use, exposure use, or focus change use. The user can easily acquire the related information at the time of acquiring the main image data only by the main image data shooting operation. As described above, the imaging apparatus 100 determines that sufficient depiction is not obtained for exposure and focus in each block that is a quadrilateral of the main image data, and supplements the image representation of each block. Obtain sub-image data. Elements of this determination are the exposure amount and the contrast amount. In addition, this determination may be made by comparing a plurality of images acquired in time series. The shape of each block may be a specific area having a shape other than a quadrilateral. The element of this determination may be a difference in distance information of each part, depth of field information, distance distribution information, or an image feature amount, and re-photographed from image data obtained by shifting the focus position in the hill-climbing AF method. It is also possible to make a determination (re-acquisition determination) that recommends.

次に、本発明の一実施形態に係る撮像装置100の再生機能ついて図14及び図15を使用して説明する。再生モードでは、主画像のブロックの位置のタッチ操作によって、ユーザは、そのブロックに再生される副画像データを見ることができる。   Next, the playback function of the imaging apparatus 100 according to an embodiment of the present invention will be described with reference to FIGS. In the reproduction mode, the user can view the sub-image data reproduced in the block by touching the position of the block of the main image.

図14は、本発明の一実施形態に係る撮像装置の再生機能を概念的に示す図である。本発明の第1の実施形態に係る再生装置を備える撮像装置100は、撮像部111と、連写結果記録部116と、指定部120と、再生制御部130と、再生部121とを有する。撮像部111は、被写体を撮影し画像データを取得する。連写結果記録部116は、複数の画像データ及び複数の画像データを関連付けるための情報を記録する。指定部120は、主画像データを分割して形成された複数のブロックから所定のブロックを指定する。再生制御部130は、制御部1に対応しており、画像領域分類部112と、領域切り出し部117と、再生方法変更部118と、取捨選択部119とを有する。画像領域分類部112は、部位情報部1dに対応し、連写結果記録部116から主画像データを読み出して複数のブロックに分割し、各ブロックに関連付けられている副画像データがあるか否かを判定する。領域切り出し部117は、表示制御部1eと対応しており、指定部120に指定されたブロックの位置を切り出す。再生方法変更部118は、部位情報部1dに対応しており、切り出されたブロックの位置に再生する撮影条件(用途)の副画像データを選択する。取捨選択部119は、表示制御部1eに対応しており、再生方法変更部118に選択された撮影条件の副画像データを連写結果記録部116から読み出して、第2の画像データを再生部121に出力する。再生部121は、表示部8に対応しており、画像データを再生し、画像を表示する。撮像装置100は、切り出された四辺形のブロックの位置に再生する撮影条件(用途)の副画像データを記録している。副画像データは、主画像データに対して、露出やピントにおける描写が十分ではないことを判定して、画像表現を補足するために取得される。副画像データの判定の要素は、各ブロックの露出量やコントラスト量から判定される。この判定の対象となる四辺形ブロックの形状は、別の形状の特定領域であっても良い。また、この判定は、時系列で取得された複数の画像の比較によって行われても良い。副画像データの判定の要素は、各部位の距離情報の差異や被写界深度の情報をであっても良く、山登りAF式にピント位置をずらした画像データから再撮影を推奨する判定(再取得判定)をしても良い。   FIG. 14 is a diagram conceptually showing the reproduction function of the imaging apparatus according to the embodiment of the present invention. The imaging apparatus 100 including the reproduction apparatus according to the first embodiment of the present invention includes an imaging unit 111, a continuous shooting result recording unit 116, a designation unit 120, a reproduction control unit 130, and a reproduction unit 121. The imaging unit 111 captures a subject and acquires image data. The continuous shooting result recording unit 116 records a plurality of image data and information for associating the plurality of image data. The designation unit 120 designates a predetermined block from a plurality of blocks formed by dividing the main image data. The reproduction control unit 130 corresponds to the control unit 1, and includes an image region classification unit 112, a region cutout unit 117, a reproduction method change unit 118, and a sorting selection unit 119. The image area classification unit 112 corresponds to the part information unit 1d, reads main image data from the continuous shooting result recording unit 116, divides it into a plurality of blocks, and determines whether there is sub-image data associated with each block. Determine. The area cutout unit 117 corresponds to the display control unit 1e, and cuts out the position of the block designated by the designation unit 120. The reproduction method changing unit 118 corresponds to the part information unit 1d, and selects sub-image data of imaging conditions (uses) to be reproduced at the position of the cut out block. The selection selection unit 119 corresponds to the display control unit 1e, reads out the sub-image data of the shooting condition selected by the reproduction method change unit 118 from the continuous shooting result recording unit 116, and reproduces the second image data as a reproduction unit. It outputs to 121. The reproduction unit 121 corresponds to the display unit 8, reproduces image data, and displays an image. The imaging apparatus 100 records sub-image data of shooting conditions (uses) to be reproduced at the position of the extracted quadrilateral block. The sub-image data is acquired to supplement the image expression by determining that the exposure and focus are not sufficient for the main image data. The determination element of the sub image data is determined from the exposure amount and the contrast amount of each block. The shape of the quadrilateral block to be determined may be a specific area having a different shape. This determination may be performed by comparing a plurality of images acquired in time series. The sub-image data determination element may be a difference in distance information of each part or information on the depth of field, and a determination that recommends re-shooting from image data in which the focus position is shifted in the hill-climbing AF method (re-entry) Acquisition determination).

次に、本発明の一実施形態に係る撮像装置の再生モードの動作例を図15で説明する。まず、制御部1は、記録部4に記録されている複数の図13(a)に示す主画像ファイルを読み込んで、複数の主画像データを表示部8に一覧させるように再生する(ステップS301)。その後、制御部1は、タッチパネル8bへのタッチの検出によって再生する主画像データを判定し、タッチ位置に応じた主画像データを再生する(ステップS302)。その後、制御部1は、再生されている主画像データへのタッチが検出されたか否かを判定する(ステップS303)。再生されている主画像データへのタッチが検出されなかったと判定するとき(ステップS303でNOのとき)、制御部1は、操作判定部5への操作を検出したときに、表示部8に表示する画像の切り替え操作、モードの変更操作若しくは画像データの送受信操作などを行う(ステップS315)。一方、再生されている主画像データへのタッチが検出されたと判定するとき(ステップS303でYESのとき)、制御部1は、主画像ファイルの部位別タグ情報に基づいて、主画像データを複数のブロックに分割する。制御部1は、部位別タグ情報から、ステップS303でタッチが検出された主画像データの位置が、動画用の副画像データと関連付けられているか否かを判定する(ステップS304)。ステップS303でタッチが検出された主画像データの位置例えばブロックB1が、動画用の副画像データと関連付けられていると判定するとき(ステップS304でYESのとき)、制御部1は、図13(b)の副画像ファイルkを読み込んだ後、タッチが検出された位置のブロックB1を切り取って、切り取られたブロックB1に副画像データkを再生する(ステップS311)。この副画像データkの再生のタイミングは、副画像ファイルkのタイミング情報T1である。なお、制御部1は、主画像データを切り取らずに、主画像データのレイヤに副画像データのレイヤを重ねて再生しても良い。   Next, an operation example of the playback mode of the imaging apparatus according to the embodiment of the present invention will be described with reference to FIG. First, the control unit 1 reads a plurality of main image files shown in FIG. 13A recorded in the recording unit 4 and reproduces the plurality of main image data to be listed on the display unit 8 (step S301). ). Thereafter, the control unit 1 determines main image data to be reproduced by detecting touch on the touch panel 8b, and reproduces main image data corresponding to the touch position (step S302). Thereafter, the control unit 1 determines whether or not a touch on the main image data being reproduced is detected (step S303). When it is determined that a touch on the reproduced main image data has not been detected (NO in step S303), the control unit 1 displays on the display unit 8 when an operation on the operation determination unit 5 is detected. An image switching operation, a mode changing operation, an image data transmission / reception operation, and the like are performed (step S315). On the other hand, when determining that a touch on the main image data being reproduced has been detected (YES in step S303), the control unit 1 sets a plurality of pieces of main image data based on the site-specific tag information of the main image file. Divide into blocks. The control unit 1 determines whether or not the position of the main image data where the touch is detected in step S303 is associated with the sub image data for moving image from the part-specific tag information (step S304). When it is determined that the position of the main image data where the touch is detected in step S303, for example, the block B1 is associated with the sub-image data for moving images (YES in step S304), the control unit 1 performs processing shown in FIG. After reading the sub image file k in b), the block B1 at the position where the touch is detected is cut out, and the sub image data k is reproduced in the cut out block B1 (step S311). The reproduction timing of the sub image data k is timing information T1 of the sub image file k. Note that the control unit 1 may reproduce the layer of the sub image data superimposed on the layer of the main image data without cutting the main image data.

一方、ステップS303でタッチが検出された主画像データの位置が、動画用の副画像データと関連付けられていないと判定するとき(ステップS304でNOのとき)、制御部1は、タッチが検出された主画像データの位置が、露出用の副画像データと関連付けられているか否かを判定する(ステップS305)。タッチが検出された主画像データの位置例えばブロックD2が、露出用の副画像データと関連付けられていると判定するとき(ステップS305でYESのとき)、制御部1は、図13(b)の副画像ファイルlを読み込んだ後、ブロックD2を切り取って、切り取られたブロックD2に副画像データlを再生する(ステップS312)。副画像データlの再生のタイミングは、副画像データlのタイミング情報T1である。一方、副画像データlが再生された後若しくは、タッチが検出された主画像データの位置が、露出用の副画像データと関連付けられていなかったと判定するとき(ステップS305でNOのとき)、制御部1は、タッチが検出された主画像データの位置が、ピント変更用の副画像データと関連付けられているか否かを判定する(ステップS306)。タッチが検出された主画像データの位置が、ピント変更用の副画像データと関連付けられていると判定するとき(ステップS306でYESのとき)、制御部1は、図示しないピント変更用の副画像データを読み込んだ後、タッチが検出された主画像データのブロックを切り取って、切り取られたブロックにピント変更用の副画像データを再生する(ステップS313)。一方、ピント変更用の副画像データが再生された後若しくは、タッチが検出された主画像データの位置が、ピント変更用の副画像データと関連付けられていなかったと判定するとき(ステップS306でNOのとき)、再生制御部130は、該位置に主画像データを再生する(ステップS314)。   On the other hand, when it is determined that the position of the main image data where the touch is detected in step S303 is not associated with the sub image data for moving images (NO in step S304), the control unit 1 detects the touch. It is determined whether the position of the main image data is associated with the sub image data for exposure (step S305). When it is determined that the position of the main image data where the touch is detected, for example, the block D2 is associated with the sub image data for exposure (YES in step S305), the control unit 1 in FIG. After reading the sub-image file l, the block D2 is cut out, and the sub-image data l is reproduced in the cut-out block D2 (step S312). The reproduction timing of the sub image data l is the timing information T1 of the sub image data l. On the other hand, after the sub-image data l is reproduced or when it is determined that the position of the main image data where the touch is detected is not associated with the sub-image data for exposure (NO in step S305), the control The unit 1 determines whether or not the position of the main image data where the touch is detected is associated with the sub image data for focus change (step S306). When it is determined that the position of the main image data where the touch is detected is associated with the sub-image data for focus change (YES in step S306), the control unit 1 displays the sub-image for focus change (not shown). After the data is read, the block of the main image data in which the touch is detected is cut out, and the sub image data for changing the focus is reproduced in the cut out block (step S313). On the other hand, after the sub image data for focus change is reproduced or when it is determined that the position of the main image data where the touch is detected is not associated with the sub image data for focus change (NO in step S306). ), The reproduction control unit 130 reproduces the main image data at the position (step S314).

以上、本発明の一実施形態にかかる撮像装置100の再生モードでは、主画像データと、前記主画像データと関連付けられている副画像データとを再生する。ユーザは、再生される主画像データへのタッチによって主画像データの位置を指定すると、主画像データの取得時の関連情報を容易に見ることができる。撮像装置100は、時系列に得られた副画像データを順次に再生する。露出用副画像データでは、ユーザは、見づらかった被写体をだんだん見えるようになる。また、動画用画像データでは、ユーザは、被写体の動きの再現を見ることができる。副画像データをだんだんに再生することによって、撮像装置100は、ユーザの期待感を盛り上げたり、ユーザに興奮を伴わせることができる。つまり、上述のような時系列に沿った再生は、付随情報を単に表示する場合と異なり、ユーザに感覚的な味付けを与えることができる。時系列に沿った再生をスローモーション若しくは早送りに再生しても良い。または、時系列に再生される副画像データを、対応するブロックとは別ブロックにずらして再生しても良い。   As described above, in the reproduction mode of the imaging apparatus 100 according to the embodiment of the present invention, the main image data and the sub image data associated with the main image data are reproduced. When the user designates the position of the main image data by touching the main image data to be reproduced, the related information at the time of acquiring the main image data can be easily viewed. The imaging apparatus 100 sequentially reproduces the sub-image data obtained in time series. With the sub-image data for exposure, the user gradually sees a subject that is difficult to see. In the moving image data, the user can see the reproduction of the movement of the subject. By gradually reproducing the sub-image data, the imaging apparatus 100 can increase the user's expectation or cause the user to be excited. That is, unlike the case where the accompanying information is simply displayed, the reproduction along the time series as described above can give the user a sensory flavor. Playback along the time series may be played back in slow motion or fast forward. Alternatively, the sub-image data reproduced in time series may be reproduced by shifting to a block different from the corresponding block.

次に、本発明の位置実施形態に係る撮像装置100の撮影モード及び再生モードの変形例を図16、図17及び図18を使用して説明する。変形例における副画像データの大きさは、主画像データと同じ大きさである。なお、撮影モード及び再生モードの構成は、図1、図2及び図14に示す構成例と同一である。   Next, modified examples of the shooting mode and the playback mode of the imaging apparatus 100 according to the position embodiment of the present invention will be described with reference to FIGS. 16, 17, and 18. The size of the sub image data in the modification is the same as that of the main image data. Note that the configurations of the shooting mode and the playback mode are the same as the configuration examples shown in FIGS. 1, 2, and 14.

変形例の撮影モードの動作例を図16で説明する。撮影モードが選択され(ステップS201)、撮像部111による撮影が開始された後(ステップS202)、制御部1は、動画用の副画像データを仮記録する(ステップS406)。ここで、変形例における副画像データは、一実施形態とは異なり、画角内の位置及び大きさを限定せずに撮影される。その後、制御部1は、撮影するか否かを判定する(ステップS211)。撮影すると判定するとき(ステップS211でYESのとき)、制御部1は、撮影し主画像データを取得する(ステップS212)。その後、制御部1は、動画用の副画像データを取得する(ステップS422)。その後、制御部1は、露出用の副画像データを取得する(ステップS424)。その後、制御部1は、ピント変更用の複数の副画像データを取得する(ステップS426)。その後、主画像データを主画像ファイルとして記録する(ステップS227)。その後、制御部1は、副画像データを副画像ファイルとして記録する(ステップS228)。   An operation example of the photographing mode of the modification will be described with reference to FIG. After the shooting mode is selected (step S201) and shooting by the imaging unit 111 is started (step S202), the control unit 1 temporarily records moving image sub-image data (step S406). Here, unlike the embodiment, the sub-image data in the modification is photographed without limiting the position and size within the angle of view. Thereafter, the control unit 1 determines whether or not to shoot (step S211). When it is determined that shooting is to be performed (YES in step S211), the control unit 1 performs shooting to acquire main image data (step S212). Thereafter, the control unit 1 obtains moving image sub-image data (step S422). Thereafter, the control unit 1 acquires sub-image data for exposure (step S424). Thereafter, the control unit 1 acquires a plurality of sub-image data for changing the focus (step S426). Thereafter, the main image data is recorded as a main image file (step S227). Thereafter, the control unit 1 records the sub image data as a sub image file (step S228).

以上、図16に示した変形例における撮影の動作例では、全画角の副画像データを記録するので、画像データの取得時において後で気になる部位判定が行われないすなわち、主画像データに対応する副画像データの位置及び大きさは、撮影モードで決定されない。   As described above, in the example of the photographing operation in the modification shown in FIG. 16, the sub-image data with the full angle of view is recorded, and therefore, the part determination which will be anxious later is not performed when acquiring the image data. The position and size of the sub-image data corresponding to is not determined in the shooting mode.

主画像データに対応する副画像データの位置及び大きさは、再生モードで決定される。そこで、変形例の再生モードの動作例を図17で説明する。   The position and size of the sub image data corresponding to the main image data are determined in the reproduction mode. An example of the operation in the reproduction mode of the modification will be described with reference to FIG.

記録部4に記録されている主画像ファイルが読み込まれて、主画像データが表示部8に再生され(ステップS301)、制御部1、選択された主画像データを再生する(ステップS302)。その後、制御部1は、後で気になる部位判定を行う(ステップS204)。変形例では、再生モードにおいて、後で気になる部位判定により、主画像データの位置と、副画像データとが対応付けられる。変形例では、副画像データが再生される位置、大きさ、形状などを、15個のブロックに分割した場合として説明する。当然ながら、副画像データの形状は、被写体を型取った形状であっても良い。したがって、主画像ファイルと副画像ファイルに格納される各情報は、変形例では、後で気になる部位判定の判定に基づいて主画像ファイルの部位別タグ情報と副画像ファイルの部位情報及び候補用途情報を更新される。   The main image file recorded in the recording unit 4 is read, the main image data is reproduced on the display unit 8 (step S301), and the control unit 1 reproduces the selected main image data (step S302). Thereafter, the control unit 1 performs a site determination to be worried later (step S204). In the modified example, in the reproduction mode, the position of the main image data and the sub image data are associated with each other by determining a part of interest later. In the modification, the position, size, shape, and the like where the sub-image data is reproduced will be described as a case where it is divided into 15 blocks. Of course, the shape of the sub-image data may be a shape of a subject. Therefore, in the modified example, the information stored in the main image file and the sub-image file is based on the part-by-part tag information of the main image file, the part information of the sub-image file, and the candidates based on the determination of the part determination to be worried later. Usage information is updated.

変形例における主画像ファイル及び副画像ファイルの図18に示す構成例は、図13に示す構成例と同一である。例えば、図13では、副画像ファイルmのタグ情報は、副画像データmが対応する主画像データの情報と、副画像データmのT1のタイミングでの再生を示すタイミング情報と、副画像データmが動画用かつ露出用の候補用途であることを示す情報とを有する。   The configuration example shown in FIG. 18 of the main image file and sub-image file in the modification is the same as the configuration example shown in FIG. For example, in FIG. 13, the tag information of the sub-image file m includes main image data information corresponding to the sub-image data m, timing information indicating reproduction of the sub-image data m at the timing T1, and sub-image data m. Has information indicating that it is a candidate use for moving images and exposure.

副画像ファイルnのタグ情報は、副画像データnが対応する主画像データの情報と、副画像データnがT8のタイミングで再生されるタイミング情報と、副画像データnがピント変更用である候補用途の情報とを有する。   The tag information of the sub-image file n includes information on the main image data corresponding to the sub-image data n, timing information for reproducing the sub-image data n at the timing T8, and candidates for sub-image data n for changing the focus. Application information.

ところで、後で気になる部位判定が行われた後(ステップS204)、再生制御部130は、主画像へタッチが検出されたか否かを判定する(ステップS303)。主画像へのタッチが検出されたと判定するとき(ステップS303でYESのとき)、再生制御部130は、画像領域分類部112によって、タッチが検出された主画像データの位置が、動画用の副画像データと関連付けられているか否かを判定する(ステップS304)。タッチされた主画像データの位置が、動画用の副画像データと関連付けられていると判定するとき(ステップS304でYESのとき)、再生制御部130は、動画用の副画像データを、タッチされた位置のブロックの大きさに対応するように切り取って、切り取られた副画像データを主画像データのブロックに重ねてタイミング順に再生する(ステップS511)。   By the way, after the part determination to be worried later is performed (step S204), the reproduction control unit 130 determines whether or not a touch is detected on the main image (step S303). When it is determined that a touch on the main image has been detected (YES in step S303), the reproduction control unit 130 determines that the position of the main image data where the touch is detected by the image area classification unit 112 is the sub-picture for the moving image. It is determined whether the image data is associated with the image data (step S304). When it is determined that the position of the touched main image data is associated with the sub image data for moving images (YES in step S304), the reproduction control unit 130 touches the sub image data for moving images. The sub image data is cut out so as to correspond to the size of the block at the position, and the cut sub image data is superimposed on the main image data block and reproduced in the order of timing (step S511).

一方、動画用の副画像データが再生されたあと若しくは、タッチが検出された主画像データの位置が、動画用の副画像データと関連付けられていなかったと判定するとき(ステップS304でNOのとき)、再生制御部130は、タッチが検出されたブロックの位置が、露出用の副画像データと関連付けられているか否かを判定する(ステップS305)。タッチが検出された主画像データの位置が、露出補正された副画像データに関連付けられていると判定するとき(ステップS305でYESのとき)、再生制御部130は、露出用の副画像データを、タッチされた主画像の大きさに対応するように切り取って、切り取られた副画像データを主画像データのブロックに重ねてタイミング順に再生する(ステップS512)。一方、露出用の副画像データが再生された後若しくは、タッチされた主画像データのブロックの位置が露出用の副画像データと関連付けられていなかったと判定するとき(ステップS305でNOのとき)、再生制御部130は、タッチされた主画像データの位置がピント用の副画像データと関連付けられているか否かを判定する(ステップS306)。タッチされた主画像データの位置が、ピント用の副画像データと関連付けられていると判定するとき(ステップS306でYESのとき)、再生制御部130は、ピント用の副画像データを、タッチされた主画像のブロックの大きさに対応するように切り取って、切り取られた副画像データを主画像データのブロックに重ねて再生する(ステップS513)。   On the other hand, after the sub image data for moving images is reproduced or when it is determined that the position of the main image data where the touch is detected is not associated with the sub image data for moving images (NO in step S304). The reproduction control unit 130 determines whether or not the position of the block where the touch is detected is associated with the exposure sub-image data (step S305). When it is determined that the position of the main image data where the touch is detected is associated with the exposure-corrected sub-image data (YES in step S305), the reproduction control unit 130 displays the sub-image data for exposure. Then, the image is cut out so as to correspond to the size of the touched main image, and the cut out sub-image data is superimposed on the main image data block and reproduced in the order of timing (step S512). On the other hand, after the sub-image data for exposure is reproduced or when it is determined that the position of the touched main image data block is not associated with the sub-image data for exposure (NO in step S305), The playback control unit 130 determines whether or not the position of the touched main image data is associated with the focus sub image data (step S306). When it is determined that the position of the touched main image data is associated with the sub image data for focusing (YES in step S306), the reproduction control unit 130 touches the sub image data for focusing. The sub image data is cut out so as to correspond to the size of the main image block, and the cut sub image data is superimposed on the main image data block and reproduced (step S513).

以上、図17に示した変形例における再生の動作例では、主画像データの位置と、その位置に対応する副画像データの判定が行われる。再生部121へのタッチにより、副画像データが対応している主画像データの位置が選択されたとき、副画像データは、主画像ファイルと副画像ファイルとに格納されている各情報に基づいて、選択された位置に所定の大きさに切り取られて再生される。   As described above, in the reproduction operation example in the modification shown in FIG. 17, the position of the main image data and the sub image data corresponding to the position are determined. When the position of the main image data corresponding to the sub image data is selected by touching the playback unit 121, the sub image data is based on the information stored in the main image file and the sub image file. Then, the selected position is cut to a predetermined size and reproduced.

以上、本発明の一実施形態の変形例では、撮影モードにおいて、主画像データと、主画像データと同じ大きさの副画像データとが取得される。そして、再生モードにおいて、主画像データの位置と、副画像データとを関連付ける情報が取得される。その情報は、主画像ファイル及び副画像ファイルに格納される。   As described above, in the modification of the embodiment of the present invention, the main image data and the sub image data having the same size as the main image data are acquired in the shooting mode. In the reproduction mode, information that associates the position of the main image data with the sub image data is acquired. The information is stored in the main image file and the sub image file.

なお、副画像の表示は、主画像に重ねて表示しても良いし、主画像のブロックを切り取って、副画像と置き換えても良い。また、本発明の一実施形態では、副画像データとして動画、露出若しくはピントを補正した画像データを例とした。しかしながら、ユーザが後から見たい副画像データはこれらに限らず例えば、ブロックを光学ズームした副画像データであっても良い。ブロック内を光学ズームで拡大した副画像データを取得しておく。ブロックがタッチされたとき、そのブロックにその副画像データを再生することで、より高解像度の拡大画像をユーザに示すことができる。   The display of the sub image may be displayed so as to overlap the main image, or a block of the main image may be cut out and replaced with the sub image. In one embodiment of the present invention, image data obtained by correcting moving image, exposure, or focus is taken as an example of sub-image data. However, the sub-image data that the user wants to see later is not limited thereto, and may be sub-image data obtained by optically zooming the block. Sub-image data obtained by enlarging the inside of the block with optical zoom is acquired. When a block is touched, the sub-image data is reproduced in the block, so that an enlarged image with higher resolution can be shown to the user.

加えて、上述した一実施形態における撮像装置による各処理の手法、すなわち、各フローチャートに示す処理は、何れも制御部1に実行させることができるプログラムとして記憶される。このプログラムは、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。   In addition, each processing method performed by the imaging apparatus according to the above-described embodiment, that is, the processing illustrated in each flowchart is stored as a program that can be executed by the control unit 1. This program is stored in a storage medium of an external storage device such as a memory card (ROM card, RAM card, etc.), magnetic disk (floppy (registered trademark) disk, hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, etc. The above-described processing can be executed by reading the stored program and controlling the operation by the read program.

1…制御部、 1b…陰影判定部、 1c…ピント判定部、 1d…部位情報部、 1e…表示制御部、 1f…動き判定部、 1g…通信制御部、 1h…被写体判定部、 2…撮像素子、 3…接眼表示部、 3b…アイセンサ、 4…記録部、 4b…接続先DB、 4c…対象物DB、 5…操作判定部、 6…通信部、 7a…姿勢センサ、 7b…方位センサ、 8…表示部、 8b…タッチパネル、 9…時計、 10…場所検出部、 21…ネットワーク、 22…スマホ、 23…サーバ、 23b…表示制御部、 23c…アクセス判定部、 23d…関連付け部、 23e…サーバ記録部、 26…レンズ、 100…撮像装置、 110…連続撮影部、 111…撮像部、 112…画像領域分類部、 113…領域別撮影条件変更部、 114…領域別再取得部、 115…撮像結果関連付け記録部、 116…連射結果記録部、 117…領域切り出し部、 118…再生方法変更部、 119…再生方法変更部、 120…指定部、 121…再生部、 130…再生制御部   DESCRIPTION OF SYMBOLS 1 ... Control part, 1b ... Shadow determination part, 1c ... Focus determination part, 1d ... Part information part, 1e ... Display control part, 1f ... Motion determination part, 1g ... Communication control part, 1h ... Subject determination part, 2 ... Imaging Elements: 3 ... eyepiece display unit, 3b ... eye sensor, 4 ... recording unit, 4b ... connection destination DB, 4c ... target DB, 5 ... operation determination unit, 6 ... communication unit, 7a ... posture sensor, 7b ... direction sensor, DESCRIPTION OF SYMBOLS 8 ... Display part, 8b ... Touch panel, 9 ... Clock, 10 ... Location detection part, 21 ... Network, 22 ... Smartphone, 23 ... Server, 23b ... Display control part, 23c ... Access determination part, 23d ... Association part, 23e ... 1. Server recording unit, 26 ... lens, 100 ... imaging device, 110 ... continuous imaging unit, 111 ... imaging unit, 112 ... image area classification unit, 113 ... imaging condition changing unit for each area, 1 DESCRIPTION OF SYMBOLS 14 ... Re-acquisition part according to area | region, 115 ... Imaging result correlation recording part, 116 ... Continuous fire result recording part, 117 ... Area extraction part, 118 ... Playback method change part, 119 ... Playback method change part, 120 ... Designation part, 121 ... Reproduction unit, 130 ... reproduction control unit

Claims (8)

被写体を撮影する撮像部と、
前記撮像部によって撮影された第1の画像データが記録されるとともに、前記第1の画像データの領域毎のコントラスト量、領域毎の距離情報の差異又は領域毎の被写界深度の情報に基づいて被写体の十分な描写が得られていないことが判定された前記領域についてピントの条件を変更しながら前記撮像部によって撮影された複数の第2の画像データが前記領域と対応付けて記録される記録部と、
前記第1の画像データに基づく画像を表示する表示部と、
前記表示部に対するタッチを検出するタッチパネルと、
前記表示部に表示されている前記第1の画像データに基づく画像へのタッチが検出されたときに、タッチされた前記領域と対応する前記第2の画像データを前記表示部に再生する制御部と、
を具備する撮像装置。
An imaging unit for photographing a subject;
The first image data captured by the imaging unit is recorded, and the first image data is based on the contrast amount for each area, the difference in distance information for each area, or the depth of field information for each area. A plurality of second image data captured by the imaging unit is recorded in association with the area while changing a focus condition for the area determined that a sufficient depiction of the subject is not obtained. A recording section;
A display unit for displaying an image based on the first image data;
A touch panel for detecting a touch on the display unit;
A control unit that reproduces, on the display unit, the second image data corresponding to the touched area when a touch on the image based on the first image data displayed on the display unit is detected. When,
An imaging apparatus comprising:
前記第2の画像データは、対応する前記領域におけるピントが合っている画像データを含む請求項1に記載の撮像装置。   The imaging device according to claim 1, wherein the second image data includes image data in focus in the corresponding region. 前記第2の画像データは、近方から遠方にかけてピントをずらしながらの撮影によって得られた画像データである請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the second image data is image data obtained by photographing while shifting a focus from near to far. 被写体を撮影する撮像部と、An imaging unit for photographing a subject;
前記撮像部によって撮影された第1の画像データが記録されるとともに、前記第1の画像データの領域毎の露出量に基づいて被写体の十分な描写が得られていないことが判定された前記領域について露出の条件を変更しながら前記撮像部によって撮影された複数の第2の画像データが前記領域と対応付けて記録される記録部と、The area where the first image data photographed by the imaging unit is recorded and it is determined that a sufficient depiction of the subject is not obtained based on the exposure amount for each area of the first image data A recording unit that records a plurality of second image data captured by the imaging unit while changing the exposure condition with respect to the region;
前記第1の画像データに基づく画像を表示する表示部と、A display unit for displaying an image based on the first image data;
を具備する撮像装置。An imaging apparatus comprising:
撮像部により被写体を撮影して得られた第1の画像データに基づく画像を表示部に表示することと、
前記表示部に対するタッチをタッチパネルによって検出することと、
前記表示部に表示されている前記第1の画像データに基づく画像へのタッチが検出されたときに、前記第1の画像データの領域毎のコントラスト量、領域毎の距離情報の差異又は領域毎の被写界深度の情報に基づいて被写体の十分な描写が得られていないことが判定された前記領域についてピントの条件を変更して撮影された複数の第2の画像データの中から、タッチされた前記領域と対応する前記第2の画像データを前記表示部に再生することと、
を具備する撮像装置の制御方法。
Displaying an image based on the first image data obtained by photographing the subject with the imaging unit on the display unit;
Detecting a touch on the display unit with a touch panel;
When a touch on an image based on the first image data displayed on the display unit is detected, a contrast amount for each region of the first image data, a difference in distance information for each region, or for each region Touching from among a plurality of second image data shot by changing the focus condition for the area determined that sufficient depiction of the subject has not been obtained based on the depth of field information Reproducing the second image data corresponding to the region that has been reproduced on the display unit;
A method for controlling an imaging apparatus comprising:
撮像部により被写体を撮影して得られた第1の画像データに基づく画像を表示部に表示することと、Displaying an image based on the first image data obtained by photographing the subject with the imaging unit on the display unit;
前記表示部に対するタッチをタッチパネルによって検出することと、Detecting a touch on the display unit with a touch panel;
前記表示部に表示されている前記第1の画像データに基づく画像へのタッチが検出されたときに、前記第1の画像データの領域毎の露出量に基づいて被写体の十分な描写が得られていないことが判定された前記領域について露出の条件を変更して撮影された複数の第2の画像データの中から、タッチされた前記領域と対応する前記第2の画像データを前記表示部に再生することと、When a touch on the image based on the first image data displayed on the display unit is detected, a sufficient depiction of the subject is obtained based on the exposure amount for each area of the first image data. The second image data corresponding to the touched region is displayed on the display unit from among a plurality of second image data photographed by changing the exposure condition for the region determined not to be Playing,
を具備する撮像装置の制御方法。A method for controlling an imaging apparatus comprising:
撮像部により被写体を撮影して得られた第1の画像データに基づく画像を表示部に表示することと、
前記表示部に対するタッチをタッチパネルによって検出することと、
前記表示部に表示されている前記第1の画像データに基づく画像へのタッチが検出されたときに、前記第1の画像データの領域毎のコントラスト量、領域毎の距離情報の差異又は領域毎の被写界深度の情報に基づいて被写体の十分な描写が得られていないことが判定された前記領域についてピントの条件を変更して撮影された複数の第2の画像データの中から、タッチされた前記領域と対応する前記第2の画像データを前記表示部に再生することと、
をコンピュータに実行させるための撮像装置の制御プログラム。
Displaying an image based on the first image data obtained by photographing the subject with the imaging unit on the display unit;
Detecting a touch on the display unit with a touch panel;
When a touch on an image based on the first image data displayed on the display unit is detected, a contrast amount for each region of the first image data, a difference in distance information for each region, or for each region Touching from among a plurality of second image data shot by changing the focus condition for the area determined that sufficient depiction of the subject has not been obtained based on the depth of field information Reproducing the second image data corresponding to the region that has been reproduced on the display unit;
A control program for an image pickup apparatus for causing a computer to execute.
撮像部により被写体を撮影して得られた第1の画像データに基づく画像を表示部に表示することと、Displaying an image based on the first image data obtained by photographing the subject with the imaging unit on the display unit;
前記表示部に対するタッチをタッチパネルによって検出することと、Detecting a touch on the display unit with a touch panel;
前記表示部に表示されている前記第1の画像データに基づく画像へのタッチが検出されたときに、前記第1の画像データの領域毎の露出量に基づいて被写体の十分な描写が得られていないことが判定された前記領域について露出の条件を変更して撮影された複数の第2の画像データの中から、タッチされた前記領域と対応する前記第2の画像データを前記表示部に再生することと、When a touch on the image based on the first image data displayed on the display unit is detected, a sufficient depiction of the subject is obtained based on the exposure amount for each area of the first image data. The second image data corresponding to the touched region is displayed on the display unit from among a plurality of second image data photographed by changing the exposure condition for the region determined not to be Playing,
をコンピュータに実行させるための撮像装置の制御プログラム。A control program for an image pickup apparatus for causing a computer to execute.
JP2017127842A 2017-06-29 2017-06-29 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD AND CONTROL PROGRAM Active JP6362735B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017127842A JP6362735B2 (en) 2017-06-29 2017-06-29 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD AND CONTROL PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017127842A JP6362735B2 (en) 2017-06-29 2017-06-29 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD AND CONTROL PROGRAM

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013259590A Division JP6169963B2 (en) 2013-12-16 2013-12-16 IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018120979A Division JP6550506B2 (en) 2018-06-26 2018-06-26 Recording apparatus, recording method and recording program

Publications (2)

Publication Number Publication Date
JP2017208837A JP2017208837A (en) 2017-11-24
JP6362735B2 true JP6362735B2 (en) 2018-07-25

Family

ID=60416635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017127842A Active JP6362735B2 (en) 2017-06-29 2017-06-29 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD AND CONTROL PROGRAM

Country Status (1)

Country Link
JP (1) JP6362735B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4972579B2 (en) * 2007-09-11 2012-07-11 株式会社リコー Electronic equipment and playback device
JP2012191442A (en) * 2011-03-10 2012-10-04 Sanyo Electric Co Ltd Image reproduction controller
JP2013088579A (en) * 2011-10-17 2013-05-13 Olympus Imaging Corp Imaging apparatus
JP5854826B2 (en) * 2011-12-27 2016-02-09 キヤノン株式会社 Image browsing apparatus, control method thereof, and recording medium

Also Published As

Publication number Publication date
JP2017208837A (en) 2017-11-24

Similar Documents

Publication Publication Date Title
JP4553346B2 (en) Focus adjustment device and focus adjustment method
JP2010010936A (en) Image recording apparatus, image recording method, image processing apparatus, image processing method, and program
JP4509081B2 (en) Digital camera and digital camera program
US8525913B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable storage medium
JP2013088579A (en) Imaging apparatus
KR20100055938A (en) Method and apparatus for displaying scene information, and digital photographing apparatus thereof
JP2019176249A (en) Image processing device, image processing method, image processing program, and imaging device
JP2014050022A (en) Image processing device, imaging device, and program
JP2010113129A (en) Image tracking device, focusing device, and image capturing apparatus
JP2009070374A (en) Electronic device
JP6362735B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD AND CONTROL PROGRAM
JP2010087598A (en) Photographic apparatus, photographic control method and program therefor, image display apparatus, image display method and program therefor, and photographic system, control method therefor and program therefor
US20120229678A1 (en) Image reproducing control apparatus
JP6169963B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP6450879B2 (en) Recording apparatus, recording method, and recording program
JP6550506B2 (en) Recording apparatus, recording method and recording program
JP2009042621A (en) Imaging apparatus and method
JP6375114B2 (en) Image reproducing apparatus and method for controlling image reproducing apparatus
JP4760497B2 (en) Image data generation apparatus and image data generation method
JP5383207B2 (en) Information processing apparatus, control method, computer program, and storage medium
JP4769693B2 (en) Imaging apparatus, method, and program
JP2008160637A (en) Imaging apparatus
JP2005184266A (en) Imaging device
JP2019047436A (en) Image processing device, image processing method, image processing program, and imaging device
JP6645711B2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180327

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180626

R151 Written notification of patent or utility model registration

Ref document number: 6362735

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250