JP5220666B2 - Imaging device and live view display method - Google Patents

Imaging device and live view display method Download PDF

Info

Publication number
JP5220666B2
JP5220666B2 JP2009072235A JP2009072235A JP5220666B2 JP 5220666 B2 JP5220666 B2 JP 5220666B2 JP 2009072235 A JP2009072235 A JP 2009072235A JP 2009072235 A JP2009072235 A JP 2009072235A JP 5220666 B2 JP5220666 B2 JP 5220666B2
Authority
JP
Japan
Prior art keywords
subject
image data
unit
image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009072235A
Other languages
Japanese (ja)
Other versions
JP2010226482A (en
Inventor
猛士 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2009072235A priority Critical patent/JP5220666B2/en
Priority to CN2010101136602A priority patent/CN101848335B/en
Publication of JP2010226482A publication Critical patent/JP2010226482A/en
Application granted granted Critical
Publication of JP5220666B2 publication Critical patent/JP5220666B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮影装置およびライブビュー表示方法に関し、特に撮像素子で生成された画像データを略リアルタイムに再生する電子ファインダを備えた撮影装置およびライブビュー表示方法に関する。   The present invention relates to an image capturing apparatus and a live view display method, and more particularly to an image capturing apparatus including an electronic viewfinder that reproduces image data generated by an image sensor in substantially real time and a live view display method.

近年のデジタルスチルカメラやデジタルビデオカメラ(以下、両者を合わせて単にデジタルカメラという)では、撮影範囲をレンズを介して覗き見る一般的なファインダの代わりに、CCD(Charge Coupled Device)アレイなどの撮像素子で取得した電子画像を略リアルタイムに液晶画面等に表示する、いわゆる電子ファインダが採用されている。   In recent digital still cameras and digital video cameras (hereinafter simply referred to as “digital cameras”), an image pickup such as a CCD (Charge Coupled Device) array is used instead of a general finder that looks into the shooting range through a lens. A so-called electronic viewfinder is employed that displays an electronic image obtained by the element on a liquid crystal screen or the like in substantially real time.

また、例えば以下に示す特許文献1には、遠隔操作用の監視モニタにリアルタイム画像と3次元シミュレーションによって得られたCG(Computer Graphics)画像とを重畳して表示する技術が開示されている。   Further, for example, Patent Document 1 shown below discloses a technique for superimposing and displaying a real-time image and a CG (Computer Graphics) image obtained by three-dimensional simulation on a monitor for remote operation.

特開2003−271993号公報JP 2003-271993 A

ここで、例えば夜間撮影や暗部撮影などの低照度環境下では、デジタルカメラの撮像素子に入射する光の量が明るい場所での撮影時と比較して小さい。このため、デジタルカメラの電子ファインダに表示される略リアルタイムの映像(以下、ライブビュー映像という)は、ほぼ白黒に近いものとなってしまう。これは、光量が少なすぎるために撮像素子で得られた画像信号から色情報を取得できないことに起因している。   Here, for example, in a low illuminance environment such as night photography or dark part photography, the amount of light incident on the image sensor of the digital camera is smaller than that in photography in a bright place. For this reason, a substantially real-time video (hereinafter referred to as a live view video) displayed on the electronic viewfinder of the digital camera becomes almost black and white. This is due to the fact that the color information cannot be acquired from the image signal obtained by the image sensor because the amount of light is too small.

このため、低照度環境下での撮影では、電子ファインダに表示されるライブビュー映像と実際の被写体との色彩が大きく異なってしまい、ユーザにリアルな被写体の映像を表示することができないという問題が存在する。   For this reason, when shooting in a low-light environment, the color of the live view image displayed on the electronic viewfinder and the actual subject are greatly different, and it is impossible to display a real subject image to the user. Exists.

そこで本発明は、上記の問題に鑑みてなされたものであり、低照度環境下であっても電子ファインダを介してユーザにリアルな被写体の映像を表示できる撮影装置およびライブビュー表示方法を提供することを目的とする。   Therefore, the present invention has been made in view of the above problems, and provides a photographing apparatus and a live view display method capable of displaying a real subject image to a user via an electronic viewfinder even in a low illumination environment. For the purpose.

かかる目的を達成するために、本発明による撮影装置は、撮像範囲中の被写体の光学像から画像データを生成する撮像部と、前記被写体を照明する照明部と、前記撮像部で生成された前記被写体の画像データを再生する電子ファインダと、を備えた撮影装置であって、前記照明部によって照明された前記被写体の光学像から前記撮像部が生成した第1画像データに含まれる第1色情報を解析する色情報解析部と、前記照明部が駆動されていない際に前記撮像部が前記被写体の光学像から生成した第2画像データの第2色情報を前記第1色情報で補正する色情報補正部と、を備え、前記電子ファインダが、前記第2色情報が補正された前記第2画像データを再生することを特徴としている。   In order to achieve such an object, an imaging device according to the present invention includes an imaging unit that generates image data from an optical image of a subject in an imaging range, an illumination unit that illuminates the subject, and the imaging unit that is generated by the imaging unit. And a first color information included in the first image data generated by the imaging unit from the optical image of the subject illuminated by the illumination unit. A color information analyzing unit that analyzes the second color information of the second image data generated from the optical image of the subject by the imaging unit when the illumination unit is not driven, and a color that corrects the second color information with the first color information And an information correction unit, wherein the electronic viewfinder reproduces the second image data in which the second color information is corrected.

上記した本発明による撮影装置は、前記第1画像データおよび前記第2画像データに含まれる被写体を識別する被写体識別部を備え、前記色情報解析部が、前記被写体識別部によって識別された前記第1画像データ中の前記被写体ごとに前記第1色情報を解析し、前記色情報補正部が、前記被写体識別部によって識別された前記第2画像データ中の前記被写体ごとに前記第2色情報を前記第1色情報で補正することを特徴としている。   The photographing apparatus according to the present invention includes a subject identifying unit that identifies subjects included in the first image data and the second image data, and the color information analyzing unit is identified by the subject identifying unit. The first color information is analyzed for each subject in one image data, and the color information correction unit calculates the second color information for each subject in the second image data identified by the subject identification unit. The correction is performed using the first color information.

上記した本発明による撮影装置は、前記電子ファインダに前記被写体の映像を表示するカメラ撮影モードのオン/オフを管理するカメラ撮影モード管理部を備え、前記照明部および前記撮像部が、前記カメラ撮影モード管理部が前記カメラ撮影モードをオンにした際、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴としている。   The above-described photographing apparatus according to the present invention includes a camera photographing mode management unit that manages on / off of a camera photographing mode that displays the image of the subject on the electronic viewfinder, and the illumination unit and the imaging unit include the camera photographing unit. When the mode management unit turns on the camera photographing mode, the first image data is generated from an optical image of the illuminated subject while illuminating the subject at least once.

上記した本発明による撮影装置は、前記撮像部の向きの変化を検出する姿勢検出部を備え、前記照明部および前記撮像部が、前記姿勢検出部が前記撮像部の向きの変化を検出した場合、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴としている。   The imaging device according to the present invention described above includes a posture detection unit that detects a change in the orientation of the imaging unit, and the illumination unit and the imaging unit detect a change in the orientation of the imaging unit when the illumination detection unit and the imaging unit are detected. The first image data is generated from an optical image of the illuminated subject while illuminating the subject at least once.

上記した本発明による撮影装置は、前記撮像部に入射する光学像のズーム倍率を変更可能な光学系を備え、前記光学系が、前記撮像部が前記第1画像データを生成する際、前記ズーム倍率をワイド端に設定することを特徴としている。   The above-described photographing apparatus according to the present invention includes an optical system capable of changing a zoom magnification of an optical image incident on the imaging unit, and the optical system generates the first image data when the imaging unit generates the first image data. It is characterized by setting the magnification at the wide end.

上記した本発明による撮影装置は、前記撮像部に入射する光学像の画角を変更可能な光学系を備え、前記照明部および前記撮像部が、前記光学系の前記画角が変更された場合、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴としている。   The imaging apparatus according to the present invention described above includes an optical system capable of changing the angle of view of an optical image incident on the imaging unit, and the illumination unit and the imaging unit have the angle of view of the optical system changed. The first image data is generated from an optical image of the illuminated subject while illuminating the subject at least once.

上記した本発明による撮影装置は、前記撮像部に入射する光を集光する光学系と、前記光学系の焦点を前記被写体に自動的に調整するオートフォーカス部と、前記オートフォーカス部のオン/オフを切り替える切替部と、を備え、前記照明部および前記撮像部が、前記オートフォーカス部がオンに切り替えられた場合、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴としている。   The above-described photographing apparatus according to the present invention includes an optical system that collects light incident on the imaging unit, an autofocus unit that automatically adjusts the focus of the optical system to the subject, and the on / off of the autofocus unit. A switching unit that switches off, and when the autofocus unit is switched on, the illumination unit and the imaging unit are configured to illuminate the subject and illuminate the subject from the optical image of the illuminated subject. The first image data is generated.

上記した本発明による撮影装置は、前記第2画像データ中の被写体が変化したか否かを判定する変化判定部を備え、前記照明部および前記撮像部が、前記第2画像データ中の被写体が変化したと前記変化判定部が判定した場合、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴としている。   The above-described photographing apparatus according to the present invention includes a change determination unit that determines whether or not the subject in the second image data has changed, and the illumination unit and the imaging unit are configured to detect the subject in the second image data. When the change determination unit determines that the change has occurred, the first image data is generated from an optical image of the illuminated subject while illuminating the subject at least once.

上記した本発明による撮影装置は、前記照明部を駆動するフラッシュモードのオン/オフを管理するフラッシュモード管理部を備え、前記照明部および前記撮像部が、前記フラッシュモード管理部が前記フラッシュモードをオンにしている場合、前記第1画像データを生成することを特徴としている。   The above-described photographing apparatus according to the present invention includes a flash mode management unit that manages on / off of a flash mode that drives the illumination unit, and the illumination unit and the imaging unit are configured so that the flash mode management unit performs the flash mode. When it is turned on, the first image data is generated.

また、本発明によるライブビュー表示方法は、撮像部と照明部と電子ファインダとを備えた撮影装置の前記電子ファインダに前記撮像部の撮像範囲に含まれる被写体の映像を表示するライブビュー表示方法であって、前記照明部を駆動しつつ前記撮像部を駆動することで照明された前記被写体の光学像から第1画像データを生成する第1撮像ステップと、前記第1画像データに含まれる第1色情報を解析する色情報解析ステップと、前記照明部が駆動されていない際に前記撮像部を駆動することで前記被写体の光学像から第2画像データを生成する第2撮像ステップと、前記第2画像データの第2色情報を前記第1色情報で補正する色情報補正ステップと、前記第2色情報が補正された前記第2画像データを前記電子ファインダに再生する再生ステップと、を含むことを特徴としている。   The live view display method according to the present invention is a live view display method for displaying an image of a subject included in the imaging range of the imaging unit on the electronic viewfinder of an imaging apparatus including an imaging unit, an illumination unit, and an electronic viewfinder. A first imaging step of generating first image data from an optical image of the subject illuminated by driving the imaging unit while driving the illumination unit, and a first included in the first image data A color information analyzing step for analyzing color information; a second imaging step for generating second image data from the optical image of the subject by driving the imaging unit when the illumination unit is not driven; A color information correcting step of correcting the second color information of the two image data with the first color information; and reproducing the second image data with the second color information corrected on the electronic viewfinder. A step, to include are characterized.

上記した本発明によるライブビュー表示方法は、前記第1画像データおよび前記第2画像データに含まれる被写体を識別する被写体識別ステップを含み、前記色情報解析ステップが、前記被写体識別ステップにおいて識別された前記第1画像データ中の前記被写体ごとに前記第1色情報を解析し、前記色情報補正ステップが、前記被写体識別ステップにおいて識別された前記第2画像データ中の前記被写体ごとに前記第2色情報を前記第1色情報で補正することを特徴としている。   The above-described live view display method according to the present invention includes a subject identification step for identifying subjects included in the first image data and the second image data, and the color information analysis step is identified in the subject identification step. The first color information is analyzed for each of the subjects in the first image data, and the color information correcting step performs the second color for each of the subjects in the second image data identified in the subject identifying step. The information is corrected with the first color information.

上記した本発明によるライブビュー表示方法は、前記電子ファインダに前記被写体の映像を表示するカメラ撮影モードのオン/オフを切り替えるカメラ撮影モード管理ステップを含み、前記第1撮像ステップが、前記カメラ撮影モード管理ステップにおいて前記カメラ撮影モードがオンに切り替えられた際、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴としている。   The live view display method according to the present invention described above includes a camera shooting mode management step of switching on / off a camera shooting mode for displaying an image of the subject on the electronic viewfinder, and the first imaging step includes the camera shooting mode. When the camera photographing mode is switched on in the management step, the first image data is generated from an optical image of the illuminated subject while illuminating the subject at least once.

上記した本発明によるライブビュー表示方法は、前記撮像部の向きの変化を検出する姿勢検出ステップを含み、前記第1撮像ステップが、前記姿勢検出ステップにおいて前記撮像部の向きの変化が検出された場合、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴としている。   The above-described live view display method according to the present invention includes a posture detection step of detecting a change in the orientation of the imaging unit, and the first imaging step detects a change in the orientation of the imaging unit in the posture detection step. In this case, the first image data is generated from the optical image of the illuminated subject while illuminating the subject at least once.

上記した本発明によるライブビュー表示方法は、前記撮影装置が、前記撮像部に入射する光学像のズーム倍率を変更可能な光学系を備え、前記第1撮像ステップが、前記第1画像データを生成する際、前記ズーム倍率をワイド端に設定することを特徴としている。   In the live view display method according to the present invention described above, the photographing apparatus includes an optical system capable of changing a zoom magnification of an optical image incident on the imaging unit, and the first imaging step generates the first image data. In this case, the zoom magnification is set to the wide end.

上記した本発明によるライブビュー表示方法は、前記撮影装置が、前記撮像部に入射する光学像の画角を変更可能な光学系を備え、前記第1撮像ステップが、前記光学系の前記画角が変更された場合、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴としている。   In the live view display method according to the present invention described above, the photographing apparatus includes an optical system capable of changing a field angle of an optical image incident on the imaging unit, and the first imaging step includes the field angle of the optical system. Is changed, the first image data is generated from the optical image of the illuminated subject while illuminating the subject at least once.

上記した本発明によるライブビュー表示方法は、前記撮影装置が、前記撮像部に入射する光を集光する光学系と、前記光学系の焦点を前記被写体に自動的に調整するオートフォーカス部と、前記オートフォーカス部のオン/オフを切り替える切替部と、を備え、前記第1撮像ステップが、前記オートフォーカス部がオンに切り替えられた場合、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴としている。   In the live view display method according to the present invention described above, the photographing apparatus collects an optical system that collects light incident on the imaging unit, an autofocus unit that automatically adjusts the focus of the optical system to the subject, A switching unit that switches on / off of the autofocus unit, and when the autofocus unit is switched on, the first imaging step illuminates the subject at least once. The first image data is generated from an optical image of a subject.

上記した本発明によるライブビュー表示方法は、前記第2画像データ中の被写体が変化したか否かを判定する変化判定ステップを含み、前記第1撮像ステップが、前記変化判定ステップにおいて前記第2画像データ中の被写体が変化したと判定された場合、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴としている。   The above-described live view display method according to the present invention includes a change determination step for determining whether or not a subject in the second image data has changed, and the first imaging step includes the second image in the change determination step. When it is determined that the subject in the data has changed, the first image data is generated from the optical image of the illuminated subject while illuminating the subject at least once.

上記した本発明によるライブビュー表示方法は、前記照明部を駆動するフラッシュモードのオン/オフを管理するフラッシュモード管理ステップを含み、前記第1撮像ステップが、前記フラッシュモード管理ステップにおいて前記フラッシュモードがオンに管理されている場合、前記第1画像データを生成することを特徴としている。   The live view display method according to the present invention described above includes a flash mode management step for managing on / off of a flash mode for driving the illumination unit, wherein the first imaging step is performed when the flash mode is set in the flash mode management step. The first image data is generated when managed on.

本発明によれば、被写体の色を再現するのには十分でない信号強度の第2画像データの第2色情報が被写体の色を再現するのに十分な信号強度の第1画像データの第1色情報でカラー補正されるため、低照度環境下であっても電子ファインダを介してユーザにリアルな被写体の映像を表示することが可能な撮影装置およびライブビュー表示方法を実現することが可能となる。   According to the present invention, the second color information of the second image data having a signal strength that is not sufficient to reproduce the color of the subject is the first of the first image data having a signal strength sufficient to reproduce the color of the subject. Since the color information is color-corrected, it is possible to realize a photographing apparatus and a live view display method capable of displaying a real subject image to the user via an electronic viewfinder even in a low-light environment. Become.

以下、本発明を実施するための最良の形態を図面と共に詳細に説明する。なお、以下の説明において、各図は本発明の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎず、従って、本発明は各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。   Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the drawings. In the following description, each drawing only schematically shows the shape, size, and positional relationship to the extent that the contents of the present invention can be understood. Therefore, the present invention is illustrated in each drawing. It is not limited to only the shape, size, and positional relationship.

<実施の形態1>
以下、本発明の実施の形態1による撮影装置について、図面を用いて詳細に説明する。本実施の形態では、その撮影装置として、いわゆるデジタルスチルカメラやデジタルビデオカメラを例に挙げるが、本発明はこの例に限定されるものではなく、例えばカメラ付き携帯電話機やカメラ付きモバイルPC(パーソナルコンピュータ)など、電子ファインダまたはそれと同等の機能を備えた各種電子機器に本実施の形態1を適用することが可能である。
<Embodiment 1>
Hereinafter, an imaging apparatus according to Embodiment 1 of the present invention will be described in detail with reference to the drawings. In this embodiment, a so-called digital still camera or digital video camera is taken as an example of the photographing device, but the present invention is not limited to this example. For example, a camera-equipped mobile phone or a camera-equipped mobile PC (personal) The first embodiment can be applied to an electronic finder such as a computer) or various electronic devices having functions equivalent to the electronic finder.

本実施の形態で例示する撮影装置1は、後述するように、例えば、撮像範囲中の被写体の光学像から画像データを生成する撮像部と、被写体を照明する照明部と、被写体の映像を表示する電子ファインダと、を備え、さらに、照明部によって照明された被写体の光学像から撮像部が生成した第1画像データに含まれる第1色情報を解析する色情報解析部と、照明部が駆動されていない際に撮像部が被写体の光学像から生成した第2画像データの第2色情報を第1色情報で補正する色情報補正部と、を備える。撮影装置1の電子ファインダには、第2色情報が補正された第2画像データが再生される。   As will be described later, the imaging apparatus 1 exemplified in the present embodiment displays, for example, an imaging unit that generates image data from an optical image of a subject in an imaging range, an illumination unit that illuminates the subject, and an image of the subject. A color information analysis unit that analyzes first color information included in the first image data generated by the imaging unit from the optical image of the subject illuminated by the illumination unit, and the illumination unit is driven A color information correction unit that corrects the second color information of the second image data generated from the optical image of the subject by the first color information when the imaging unit is not performed. The second image data in which the second color information is corrected is reproduced on the electronic viewfinder of the photographing apparatus 1.

また、撮影装置1は、外部装置との間で無線または有線によるデータ通信を行う通信部を備える。通信部から送信された画像データは、外部装置によって受信される。外部装置としては、例えば、パーソナルコンピュータやPDA(Personal Digital Assistants)等の表示機能を備えた各種情報処理装置、プリンタやデジタル複合機等の印刷エンジンを備えた画像処理装置、および、フラッシュメモリ(登録商標)や外付けHD(ハードディスク)等の各種ストレージを適用することが可能である。   In addition, the imaging device 1 includes a communication unit that performs wireless or wired data communication with an external device. The image data transmitted from the communication unit is received by an external device. As an external device, for example, various information processing devices having a display function such as a personal computer or PDA (Personal Digital Assistants), an image processing device having a print engine such as a printer or a digital multifunction peripheral, and a flash memory (registration) Various storages such as a trademark and an external HD (hard disk) can be applied.

ここで、本実施の形態1による撮影装置1の概略内部構成例を、図面を用いて詳細に説明する。図1は、撮影装置1の概略内部構成例を示すブロック図である。図2は、撮影装置1のカメラ撮影モード時の概略動作を示すフローチャートである。図3は、図2における疑似カラーライブビューモード時の概略動作を示すフローチャートである。   Here, a schematic internal configuration example of the imaging apparatus 1 according to the first embodiment will be described in detail with reference to the drawings. FIG. 1 is a block diagram illustrating a schematic internal configuration example of the imaging apparatus 1. FIG. 2 is a flowchart showing a schematic operation of the photographing apparatus 1 in the camera photographing mode. FIG. 3 is a flowchart showing a schematic operation in the pseudo color live view mode in FIG.

図1に示すように、撮影装置1は、1つ以上のレンズ101よりなる光学系(以下、説明の都合上、光学系をレンズ101とする)、撮像素子102、アクチュエータ駆動回路103、アクチュエータ104、撮像回路105、フラッシュ106、EEPROM(Electrically Erasable and Programmable Read Only Memory)107と、手ブレ補正用ジャイロセンサ108と、CPU(Central Processing Unit)110および120、A/D変換回路131、FIFOメモリ132、フレームメモリ(SDRAM)133、記録バッファ134、記録媒体インタフェース(I/F)135、記録媒体136、TFT液晶駆動回路141、ビデオ出力回路142、バックライトユニット143、TFT液晶パネル144、キーマトリクス150、LCD(Liquid Crystal Display)表示回路161、LCDパネル162、電池171、バックアップ電源172、電源回路173、ならびに、電池状態検出回路174を備える。   As shown in FIG. 1, the photographing apparatus 1 includes an optical system including one or more lenses 101 (hereinafter, for convenience of explanation, the optical system is referred to as a lens 101), an image sensor 102, an actuator drive circuit 103, and an actuator 104. , Imaging circuit 105, flash 106, EEPROM (Electrically Erasable and Programmable Read Only Memory) 107, image stabilization gyro sensor 108, CPU (Central Processing Unit) 110 and 120, A / D conversion circuit 131, FIFO memory 132 , Frame memory (SDRAM) 133, recording buffer 134, recording medium interface (I / F) 135, recording medium 136, TFT liquid crystal drive circuit 141, video output circuit 142 , A backlight unit 143, a TFT liquid crystal panel 144, a key matrix 150, an LCD (Liquid Crystal Display) display circuit 161, an LCD panel 162, a battery 171, a backup power supply 172, a power supply circuit 173, and a battery state detection circuit 174.

上記において、撮像素子102、撮像回路105、CPU110およびA/D変換回路131を含む構成は、撮像範囲中の被写体の光学像から画像データ(スルー画データを含む)を生成する撮像部として機能する。また、フラッシュ106およびCPU110を含む構成は、被写体を照明する照明部として機能する。CPU110、FIFOメモリ132、フレームメモリ133、TFT液晶駆動回路141、バックライトユニット143およびTFT液晶パネル144を含む構成は、被写体の映像を表示する電子ファインダとして機能する。さらに、CPU120における画像認識機能121、被写体識別機能124および色情報解析・再現機能123を含む構成は、照明部によって照明された被写体の光学像から撮像部が生成した画像データ(第1画像データ)に含まれる色情報(第1色情報)を解析する色情報解析部として機能する。さらにまた、CPU120における色情報解析・再現機能123を含む構成は、照明部が駆動されていない際に撮像部が被写体の光学像から生成したスルー画データ(第2画像データ)の色情報(第2色情報)を画像データ(第1画像データ)の色情報(第1色情報)で補正する色情報補正部として機能する。そこで、電子ファインダは、色情報(第2色情報)が補正されたスルー画データ(第2画像データ)を再生してユーザに表示する。   In the above, the configuration including the imaging element 102, the imaging circuit 105, the CPU 110, and the A / D conversion circuit 131 functions as an imaging unit that generates image data (including through image data) from an optical image of a subject in the imaging range. . The configuration including the flash 106 and the CPU 110 functions as an illumination unit that illuminates the subject. The configuration including the CPU 110, the FIFO memory 132, the frame memory 133, the TFT liquid crystal drive circuit 141, the backlight unit 143, and the TFT liquid crystal panel 144 functions as an electronic viewfinder that displays an image of a subject. Further, the configuration including the image recognition function 121, the subject identification function 124, and the color information analysis / reproduction function 123 in the CPU 120 is image data (first image data) generated by the imaging unit from the optical image of the subject illuminated by the illumination unit. Functions as a color information analysis unit that analyzes color information (first color information) included in the. Furthermore, the configuration including the color information analysis / reproduction function 123 in the CPU 120 has color information (second image data) of through image data (second image data) generated by the imaging unit from the optical image of the subject when the illumination unit is not driven. It functions as a color information correction unit that corrects (two-color information) with color information (first color information) of image data (first image data). Therefore, the electronic viewfinder reproduces the through image data (second image data) in which the color information (second color information) is corrected and displays it to the user.

具体的には、レンズ101は、撮像素子102の受光面に光学的な被写体像を結像する。撮像素子102は、レンズ101によって受光面に結像される光学的な被写体像を電気信号に変換する光電変換処理を行うことで、電気的な信号を生成する。この撮像素子102には、高速読み出しが可能な固体撮像素子、例えばCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)、またはその他の各種撮像素子を適用することができる。   Specifically, the lens 101 forms an optical subject image on the light receiving surface of the image sensor 102. The imaging element 102 generates an electrical signal by performing a photoelectric conversion process for converting an optical subject image formed on the light receiving surface by the lens 101 into an electrical signal. A solid-state imaging device capable of high-speed reading, such as a charge coupled device (CCD), a complementary metal oxide semiconductor (CMOS), or other various imaging devices can be applied to the imaging device 102.

撮像回路105は、撮像素子102の各光電変換素子に蓄積された電荷に応じた電気信号を画像信号として読み出し、この画像信号に垂直同期信号および水平同期信号等を組み合わせる。なお、読み出し直後の画像信号は、アナログ信号である。撮像回路105は、読み出した画像信号に対して各種アナログ信号処理を実行し、処理後の画像信号をA/D変換回路131に入力する。A/D変換回路131は、撮像回路105から出力されたアナログの画像信号に対してA/D変換処理を実行する。これにより、アナログの画像信号がデジタルの画像データに変換される。   The imaging circuit 105 reads out an electrical signal corresponding to the electric charge accumulated in each photoelectric conversion element of the imaging element 102 as an image signal, and combines the image signal with a vertical synchronization signal, a horizontal synchronization signal, and the like. Note that the image signal immediately after reading is an analog signal. The imaging circuit 105 performs various analog signal processing on the read image signal, and inputs the processed image signal to the A / D conversion circuit 131. The A / D conversion circuit 131 performs A / D conversion processing on the analog image signal output from the imaging circuit 105. As a result, the analog image signal is converted into digital image data.

A/D変換回路131から出力された画像データは、CPU120、フレームメモリ133、FIFO(First−In First−Out)メモリ132または記録バッファ134に適宜入力される。A/D変換回路131、CPU120、フレームメモリ133、FIFOメモリ132および記録バッファ134は、例えば内部バス130を介して相互に接続されている。   The image data output from the A / D conversion circuit 131 is appropriately input to the CPU 120, the frame memory 133, the FIFO (First-In First-Out) memory 132, or the recording buffer 134. The A / D conversion circuit 131, the CPU 120, the frame memory 133, the FIFO memory 132, and the recording buffer 134 are connected to each other via an internal bus 130, for example.

フレームメモリ133は、CPU120によってデジタル信号処理された画像データ(この画像データに関する各種データ等を含んでもよい)をフレームごとに一時的に記憶する。このフレームメモリ133には、例えばSDRAM(Synchronous DRAM)等の半導体記憶素子等を適用することができる。   The frame memory 133 temporarily stores image data digital signal processed by the CPU 120 (may include various data related to the image data) for each frame. For this frame memory 133, for example, a semiconductor memory element such as SDRAM (Synchronous DRAM) can be applied.

CPU120は、主に、画像データや各種データを取り扱う信号処理制御を実行する複数の集積回路により構成され、A/D変換回路131から入力されたデジタルの画像データに対して各種デジタル信号処理を実行する。即ち、CPU120は、フレームメモリ133に一時的に記憶されている画像データに対し、各種信号処理を施す1つ以上の機能を実現する。この機能には、例えば、画像認識機能121、画像圧縮伸長機能122、色情報解析・再現機能123、被写体識別機能124、記録媒体アクセス機能125および撮影感度判定機能126等が存在する。   The CPU 120 is mainly composed of a plurality of integrated circuits that execute signal processing control for handling image data and various data, and executes various digital signal processing on digital image data input from the A / D conversion circuit 131. To do. In other words, the CPU 120 realizes one or more functions for performing various signal processing on the image data temporarily stored in the frame memory 133. These functions include, for example, an image recognition function 121, an image compression / decompression function 122, a color information analysis / reproduction function 123, a subject identification function 124, a recording medium access function 125, a photographing sensitivity determination function 126, and the like.

画像圧縮伸長機能122は、フレームメモリ133に記憶されている画像データ等を読み出して、例えばJPEG圧縮処理等を行ったり記録媒体136から読み出された圧縮画像データの伸張処理を行ったりなどの各種処理を実行する。画像認識機能121は、画像データに含まれる色彩などの変化から画像中の特徴点を抽出し、この抽出結果に基づいて画像中の領域等を認識する。被写体識別機能124は、画像認識機能121によって認識された領域の配置等から画像中に含まれる被写体の形状等を識別する。色情報解析・再現機能123は、例えば、被写体識別機能124によって識別された被写体の各領域の色情報を特定し、この色もしくは模様のテクスチャを別の画像に含まれる同一被写体の対応領域にマッピングする。記録媒体アクセス機能125は、記録媒体インタフェース135による記録媒体136へのアクセスを制御する。撮影感度判定機能126は、A/D変換回路131から出力されたデジタルの画像データから撮像素子102に入射する光学像の光量があらかじめ設定しておいた閾値(通常最低感度)より小さいか否かを判定する。なお、通常最低感度とは、撮影によって得られた画像信号に要求する明度や色彩等の最低限の値である。したがって、通常最低感度は、この通常最低感度以上の撮影感度が得られた場合にはフラッシュを必要とせずに十分な明度や色彩等の画像信号が得られる値に設定される。   The image compression / decompression function 122 reads image data stored in the frame memory 133 and performs various processes such as JPEG compression processing or decompression processing of compressed image data read from the recording medium 136. Execute the process. The image recognition function 121 extracts feature points in the image from changes in color and the like included in the image data, and recognizes a region in the image based on the extraction result. The subject identifying function 124 identifies the shape or the like of the subject included in the image from the arrangement of the area recognized by the image recognition function 121. The color information analysis / reproduction function 123 specifies, for example, the color information of each area of the subject identified by the subject identification function 124, and maps the texture of this color or pattern to the corresponding area of the same subject included in another image. To do. The recording medium access function 125 controls access to the recording medium 136 by the recording medium interface 135. The photographing sensitivity determination function 126 determines whether or not the light quantity of the optical image incident on the image sensor 102 from the digital image data output from the A / D conversion circuit 131 is smaller than a preset threshold value (usually the lowest sensitivity). Determine. The normal minimum sensitivity is a minimum value such as brightness and color required for an image signal obtained by photographing. Therefore, the normal minimum sensitivity is set to a value at which an image signal such as sufficient brightness and color can be obtained without requiring a flash when a photographing sensitivity higher than the normal minimum sensitivity is obtained.

FIFOメモリ132は、表示対象とするフレームの画像信号を各種表示装置へ出力する際にこの画像信号を一時的にバッファする、いわゆるビデオメモリとして機能する。   The FIFO memory 132 functions as a so-called video memory that temporarily buffers the image signal when outputting the image signal of the frame to be displayed to various display devices.

なお、撮影装置1においては、上述のレンズ101、撮像素子102、撮像回路105、A/D変換回路131、CPU120およびフレームメモリ133を含む構成が、光学レンズ等からなる撮像光学系が撮像素子の受光面に結像した光学像を電気的な信号に変換して画像信号を生成する撮影手段を実現する。また、撮影装置1は、画像信号以外の情報、例えば音声信号等を取得するマイクロフォン等よりなる集音機能等を備えていてもよい。   In the imaging apparatus 1, the configuration including the lens 101, the imaging device 102, the imaging circuit 105, the A / D conversion circuit 131, the CPU 120, and the frame memory 133 described above is an imaging optical system including an optical lens. An imaging means for generating an image signal by converting an optical image formed on the light receiving surface into an electrical signal is realized. Moreover, the imaging device 1 may include a sound collection function including a microphone that acquires information other than an image signal, for example, an audio signal.

TFT液晶駆動回路141は、FIFOメモリ132から例えば1ラインごとに出力される画像信号に基づいてTFT液晶パネル144を駆動する。TFT液晶パネル144は、TFT液晶駆動回路141によって駆動されることで、表示対象の画像や各種情報等を表示する。このTFT液晶パネル144には、カラー表示可能なパネルが用いられる。また、バックライトユニット143は、TFT液晶パネル144の背面側に設けられ、TFT液晶パネル144を背面側から照明する。   The TFT liquid crystal drive circuit 141 drives the TFT liquid crystal panel 144 based on, for example, an image signal output from the FIFO memory 132 for each line. The TFT liquid crystal panel 144 is driven by the TFT liquid crystal driving circuit 141 to display an image to be displayed, various information, and the like. As the TFT liquid crystal panel 144, a panel capable of color display is used. The backlight unit 143 is provided on the back side of the TFT liquid crystal panel 144 and illuminates the TFT liquid crystal panel 144 from the back side.

ビデオ出力回路142は、FIFOメモリ132からの画像信号を例えばNTSC(National Television System Committee)形式のビデオ信号に変換する。また、ビデオ出力回路142は、変換したビデオ信号をビデオ出力端子145に接続された外部装置(例えば外部画像表示装置201等)へ出力する。なお、ビデオ出力端子145は、ビデオ信号の伝送媒体であるビデオケーブル等の信号線が接続される接続端子である。   The video output circuit 142 converts the image signal from the FIFO memory 132 into, for example, an NTSC (National Television System Committee) format video signal. The video output circuit 142 outputs the converted video signal to an external device (for example, the external image display device 201) connected to the video output terminal 145. The video output terminal 145 is a connection terminal to which a signal line such as a video cable that is a transmission medium of a video signal is connected.

また、本実施の形態1では、上述のFIFOメモリ132、TFT液晶駆動回路141、TFT液晶パネル144およびバックライトユニット143を含む構成が、撮像手段が生成した画像データを再生することで被写体の静止画または動画をユーザへ表示する表示手段を実現する。   In the first embodiment, the configuration including the FIFO memory 132, the TFT liquid crystal driving circuit 141, the TFT liquid crystal panel 144, and the backlight unit 143 described above reproduces the image data generated by the imaging unit, thereby stopping the subject. A display means for displaying a picture or a moving picture to the user is realized.

記録バッファ134は、フレームメモリ133に一時的に保持されている画像信号等を記録媒体136に画像データとして記録するときや、記録媒体136から画像データを読み出してフレームメモリ133に一時的に保持させるとき等に用いられるバッファ(一時保存領域)である。   The recording buffer 134 records an image signal or the like temporarily stored in the frame memory 133 as image data on the recording medium 136, or reads out the image data from the recording medium 136 and temporarily stores it in the frame memory 133. This is a buffer (temporary storage area) used at times.

記憶媒体インタフェース(I/F)135は、記録媒体136への画像データ等の記憶処理や、記録媒体136からの画像データ等の読み出し処理等を制御するための回路である。   The storage medium interface (I / F) 135 is a circuit for controlling storage processing of image data and the like to the recording medium 136 and reading processing of image data and the like from the recording medium 136.

記録媒体136は、画像データやその他の各種データを記録するストレージである。この記録媒体136には、例えば薄板形状またはカード形状からなるメモリカード等の不揮発性の記憶媒体を用いることができる。なお、記録媒体136としては、撮影装置1等の機器に対して着脱自在のものや、撮影装置1等の機器内部の電気回路に固設されるもの等、如何なるものを適用してもよい。   The recording medium 136 is a storage for recording image data and other various data. As the recording medium 136, for example, a nonvolatile storage medium such as a memory card having a thin plate shape or a card shape can be used. As the recording medium 136, any recording medium such as a recording medium that can be attached to and detached from the photographing apparatus 1 or a device that is fixed to an electric circuit inside the photographing apparatus 1 or the like may be used.

また、上述の記録バッファ134、記憶媒体インタフェース135、記録媒体136を含む構成が、画像信号(画像データを含む)などの各種情報を記憶する記憶手段を実現する。   In addition, the configuration including the recording buffer 134, the storage medium interface 135, and the recording medium 136 described above implements a storage unit that stores various types of information such as image signals (including image data).

CPU110は、主(メイン)CPUとして配設される。このCPU110は、撮影装置1内部の各回路を統括的に制御すると共に、各種機能を実現するために各構成部を制御する、いわゆるメイン制御手段として機能する。そこでCPU110は、撮影装置1内部の各構成部を適宜制御(コントロール)することでシステム全体を制御するシステムコントロール部110Aを備えている。   The CPU 110 is arranged as a main CPU. The CPU 110 functions as so-called main control means that controls each circuit in the photographing apparatus 1 in an integrated manner and controls each component to realize various functions. Therefore, the CPU 110 includes a system control unit 110A that controls the entire system by appropriately controlling (controlling) each component in the photographing apparatus 1.

システムコントロール部110Aは、撮影装置1の動作を制御する各種機能を実現する。この機能としては、例えば、撮像部の画角を判定するカメラ撮影画角判定機能111、フラッシュモードのオン/オフを管理および制御するフラッシュ制御機能112、および、撮影装置1内部で時間を管理する時計機能113など存在する。また、この他にも、外部有線データI/F163を介してデータの入出力を制御する機能や、主電源である電池171の残量をLCDパネル162等に表示する機能や、撮影手段にて撮影動作を実行する際の各種の撮影条件を設定する機能や、撮影動作により取得した画像信号と画像信号に関連する各種情報(関連情報データ)とを合わせて画像データを含む画像ファイルを生成する機能や、録音機能により取得される音声信号を音声ファイルとして管理する機能や、記録媒体に記録済みの各種データファイルに基いてアルバム機能や印刷機能を実行したり登録設定を行って各種登録設定データ等を生成しこれを記録媒体に記憶したりする機能や、生成された画像ファイルや音声ファイルや登録設定データ等を適切な形態で記録媒体136に記録する制御を行う機能や、画像ファイルに基づく画像や関連情報を表示手段に視覚的に表示させる機能や、音声ファイルに基づく音声をスピーカ等(図示せず)に出力させる機能など、撮影装置1における各種動作及び各種機能を制御するためのさまざまな機能がシステムコントロール部110Aにおいて実現される。   The system control unit 110 </ b> A implements various functions that control the operation of the imaging apparatus 1. As this function, for example, a camera shooting angle-of-view determination function 111 that determines the angle of view of the imaging unit, a flash control function 112 that manages and controls on / off of the flash mode, and time management within the imaging device 1 There is a clock function 113 and the like. In addition, a function for controlling input / output of data via the external wired data I / F 163, a function for displaying the remaining amount of the battery 171 as a main power source on the LCD panel 162, etc. A function for setting various shooting conditions when executing a shooting operation, and an image file including image data are generated by combining the image signal acquired by the shooting operation and various information related to the image signal (related information data). Functions, the function to manage audio signals acquired by the recording function as audio files, the album function and print function based on various data files already recorded on the recording medium, and various registration setting data And the like, and the generated image file, audio file, registration setting data, etc. in the recording medium 136 in an appropriate form. The photographing apparatus 1 includes a function of performing recording control, a function of visually displaying an image based on an image file and related information on a display unit, and a function of outputting sound based on an audio file to a speaker (not shown). Various functions for controlling various operations and various functions are implemented in the system control unit 110A.

なお、撮影装置1は、無線通信機能を備えた外部装置(図示せず)との間で無線による画像ファイル等のデータ信号の送受信を行うための無線通信機能を備えていてもよい。この無線通信機能を実現する方式には、例えば、ワイヤレスUSB(WUSB)方式や、超広帯域(UWB)無線接続方式や、IrDA(Infrared Data Association)方式による光無線接続等が存在する。   Note that the photographing apparatus 1 may have a wireless communication function for transmitting and receiving data signals such as image files wirelessly with an external device (not shown) having a wireless communication function. Methods for realizing this wireless communication function include, for example, a wireless USB (WUSB) method, an ultra-wideband (UWB) wireless connection method, an optical wireless connection by an IrDA (Infrared Data Association) method, and the like.

アクチュエータ104は、レンズ101を駆動することで、自動焦点調節(オートフォーカス(AF))動作やズーミング動作等を行うための駆動源である。アクチュエータ駆動回路103は、CPU110の制御に基づいてアクチュエータ104を駆動する回路である。   The actuator 104 is a drive source for performing an automatic focus adjustment (autofocus (AF)) operation, a zooming operation, and the like by driving the lens 101. The actuator drive circuit 103 is a circuit that drives the actuator 104 based on the control of the CPU 110.

すなわち、アクチュエータ104及びアクチュエータ駆動回路103を含む構成は、レンズ101をその光軸に沿って移動させることで被写体像のオートフォーカス動作や変倍動作等を行うレンズ駆動手段として機能する。   In other words, the configuration including the actuator 104 and the actuator driving circuit 103 functions as a lens driving unit that performs an autofocus operation, a zooming operation, or the like of the subject image by moving the lens 101 along the optical axis.

また、EEPROM107は、CPU110、CPU120により実行される処理プログラム(アプリケーションソフトウエア)等や、外部装置と通信するための通信設定情報等のデータ等、撮影装置1における各種の設定データや固有データ等を記憶し保持するための不揮発性記憶媒体であって、通信設定メモリとして機能する。このEEPROM107には、例えば電気的に消去可能な不揮発性メモリである公知のフラッシュロム(Flash ROM)等を適用することができる。   The EEPROM 107 also stores various setting data and unique data in the photographing apparatus 1, such as processing programs (application software) executed by the CPU 110 and CPU 120, data such as communication setting information for communicating with external devices, and the like. A non-volatile storage medium for storing and holding, and functions as a communication setting memory. For example, a known flash ROM that is an electrically erasable nonvolatile memory can be applied to the EEPROM 107.

また、フラッシュ106は、撮影時に被写体を照明する光を放射する光源であり、例えばキセノンランプやLED(Light Emitting Diode)等で構成される。手ブレ補正用ジャイロセンサ108は、撮影装置1に生じているヨー方向およびピッチ方向の角速度を検出し、検出した角速度に基づき撮影装置1のブレを検出する。   The flash 106 is a light source that emits light that illuminates a subject at the time of shooting. The flash 106 includes, for example, a xenon lamp or an LED (Light Emitting Diode). The camera shake correction gyro sensor 108 detects the angular velocities in the yaw direction and the pitch direction generated in the photographing apparatus 1, and detects the shake of the photographing apparatus 1 based on the detected angular velocities.

キーマトリクス150は、ファーストレリーズ151やセカンドレリーズ152等、撮影装置1の各種操作スイッチや操作ボタン等を含む。なお、ファーストレリーズ151とは例えばユーザによるシャッタボタン(不図示)の半押しを検出するキーであり、セカンドレリーズ152とは例えばユーザによるシャッタボタンの全押しを検出するキーである。例えばファーストレリーズ151によってシャッタボタンの半押しが検出された場合、CPU110によってオートフォーカス動作が実行される。一方、例えばセカンドレリーズ152によってシャッタボタンの全押しが検出された場合、CPU110によって撮像動作が実行される。   The key matrix 150 includes various operation switches and operation buttons of the photographing apparatus 1 such as the first release 151 and the second release 152. The first release 151 is a key that detects, for example, half-pressing of a shutter button (not shown) by the user, and the second release 152 is a key that detects, for example, full-pressing of the shutter button by the user. For example, when half-pressing of the shutter button is detected by the first release 151, the CPU 110 performs an autofocus operation. On the other hand, for example, when the second release 152 detects that the shutter button is fully pressed, the CPU 110 executes an imaging operation.

また、キーマトリクス150に含まれるその他の操作部材には、例えば撮影装置1の電源状態をオン又はオフ状態に切り換える電源ボタン、撮影動作時には撮影倍率を変更するズームボタンとして機能し再生動作時には再生画像の拡大表示や縮小表示等の表示切換ボタンとして機能するズームボタン(TWボタン)153、メニュー画面を呼び出す等の各種機能に割り当てられる複数の各種操作ボタン、メニュー画面等における選択設定を行う四方向選択キー(十字キーともいう)、各種操作ボタンを用いて選択した項目を決定指示するOKボタン等が含まれる。   The other operation members included in the key matrix 150 function as, for example, a power button for switching the power state of the photographing apparatus 1 to ON or OFF, a zoom button for changing the photographing magnification during the photographing operation, and a reproduced image during the reproducing operation. Zoom button (TW button) 153 that functions as a display switching button for enlargement display, reduction display, etc., a plurality of operation buttons assigned to various functions such as calling a menu screen, and four-way selection for selecting and setting the menu screen A key (also referred to as a cross key), an OK button for instructing an item selected using various operation buttons, and the like are included.

そして、このキーマトリクス150には、上述の各種操作部材と、これら操作部材のそれぞれに連動して所定の指示信号を発生させるスイッチ部材や各スイッチ部材からの指示信号を伝達する電気回路等が含まれる。また、ユーザが操作することでキーマトリクス150が発生した各種指示信号は、CPU110へ入力される。   The key matrix 150 includes the above-described various operation members, a switch member that generates a predetermined instruction signal in conjunction with each of these operation members, an electric circuit that transmits an instruction signal from each switch member, and the like. It is. Various instruction signals generated by the key matrix 150 by the user's operation are input to the CPU 110.

LCD表示回路161は、CPU110からの制御に従ってLCDパネル162を駆動することで、LCDパネル162に各種情報を表示させる。LCDパネル162は、例えば小型の液晶表示装置(LCD)等によって構成され、LCD表示回路161による駆動に応じて、撮影装置1において設定済みの撮影条件や、例えば撮影モード等の動作モード情報や記録媒体136に記憶可能な画像の枚数情報や撮影時のシャッタ速度や絞り値等の露出に関する情報等の各種設定情報を表示する。   The LCD display circuit 161 displays various information on the LCD panel 162 by driving the LCD panel 162 according to the control from the CPU 110. The LCD panel 162 is configured by, for example, a small liquid crystal display device (LCD) or the like, and in accordance with driving by the LCD display circuit 161, shooting conditions set in the shooting device 1, operation mode information such as shooting mode, and recording are recorded. Various setting information such as information on the number of images that can be stored in the medium 136 and information on exposure such as a shutter speed and an aperture value at the time of shooting is displayed.

外部有線データインタフェース(I/F)163は、撮影装置1と外部装置(図示せず)との間で画像データ等の伝送(送受信)を行うための接続インタフェースである。この外部有線データI/F163には、例えばUSB(Universal Serial Bus)規格やIEEE1394規格等に準拠したインタフェースを適用することができる。本実施の形態では、USB規格に準拠したインタフェースを外部有線データI/F163として用いた場合を例に挙げる。   The external wired data interface (I / F) 163 is a connection interface for transmitting (transmitting / receiving) image data and the like between the photographing apparatus 1 and an external apparatus (not shown). For example, an interface conforming to the USB (Universal Serial Bus) standard or the IEEE 1394 standard can be applied to the external wired data I / F 163. In the present embodiment, an example in which an interface conforming to the USB standard is used as the external wired data I / F 163 is taken as an example.

電池171は、撮影装置1における主(メイン)電源である。この電池171には、例えば乾電池等の一次電池や充電可能な蓄電池等の二次電池などが適用される。バックアップ電源172は、撮影装置1の内部メモリや内部時計等に対して常に電力を供給するために設けられた副(サブ)電源である。このバックアップ電源172からの電力は、例えば撮影装置1における各種設定値や日時情報等を保持したり日時情報をLCDパネル162等に常時表示したりするための電力として用いられる。   The battery 171 is a main power source in the photographing apparatus 1. For example, a primary battery such as a dry battery or a secondary battery such as a rechargeable storage battery is applied to the battery 171. The backup power source 172 is a sub power source provided to always supply power to the internal memory, the internal clock, and the like of the photographing apparatus 1. The power from the backup power source 172 is used, for example, as power for holding various setting values and date / time information in the photographing apparatus 1 and displaying the date / time information on the LCD panel 162 or the like at all times.

電源回路173は、CPU110からの制御に基づいて、電池171またはバックアップ電源172からの電力を撮影装置1内部の各電気回路へ適宜供給する。電池状態検出回路174は、電池171からの電源電圧などから電池171の残量などの状態を検出し、この検出結果をCPU110へ出力する。   The power supply circuit 173 appropriately supplies power from the battery 171 or the backup power supply 172 to each electric circuit in the photographing apparatus 1 based on control from the CPU 110. The battery state detection circuit 174 detects a state such as the remaining amount of the battery 171 from the power supply voltage from the battery 171 and outputs the detection result to the CPU 110.

その他、本発明に関連しない部分の構成については、通常一般のデジタルスチルカメラ等の撮影装置と略同様の構成であるものとして、その詳細な図示及び説明は省略する。   In addition, about the structure of the part which is not related to this invention, the detailed illustration and description are abbreviate | omitted as what is substantially the same structure as imaging | photography apparatuses, such as a general digital still camera.

次に、図2および図3を参照して、本実施の形態1による撮影装置1の動作を詳細に説明する。ただし、以下の説明では、電子ファインダの一部として機能するTFT液晶パネル144に略リアルタイムに撮像素子102からの映像(以下、スルー画という)を表示する際の動作(カメラ撮影モード時の動作)に着目して説明する。その他の動作は、通常一般のデジタルスチルカメラ等の撮影装置と略同様の動作とすることが可能である。例えば、撮影装置1の起動後の主動作は、通常一般のデジタルスチルカメラ等の撮影装置と略同様である。したがって、以下では、説明の簡略化を目的として、その詳細な図示及び説明は省略する。   Next, with reference to FIG. 2 and FIG. 3, operation | movement of the imaging device 1 by this Embodiment 1 is demonstrated in detail. However, in the following description, an operation for displaying an image (hereinafter referred to as a through image) from the image sensor 102 on the TFT liquid crystal panel 144 functioning as a part of the electronic viewfinder in substantially real time (operation in the camera photographing mode). This will be explained with a focus on. Other operations can be substantially the same as those of an ordinary photographing apparatus such as a digital still camera. For example, the main operation after activation of the photographing apparatus 1 is substantially the same as that of a photographing apparatus such as a general digital still camera. Therefore, in the following, detailed illustration and description are omitted for the purpose of simplifying the description.

ユーザがキーマトリクス150中の電源ボタンやレンズカバー等を操作すると、撮影装置1は、主動作の流れにおいて図2に示すカメラ撮影モード時の動作を起動する(カメラ撮影モード管理ステップ)。なお、カメラ撮影モードとは、電子ファインダ(特にTFT液晶パネル144)に被写体の映像を表示するモードである。このカメラ撮影モードのオン/オフは、例えばCPU110において管理される。言い換えれば、CPU110は、カメラ撮影モードのオン/オフを管理するカメラ撮影モード管理部として機能する。   When the user operates a power button, a lens cover, or the like in the key matrix 150, the photographing apparatus 1 starts an operation in the camera photographing mode shown in FIG. 2 in the main operation flow (camera photographing mode management step). The camera shooting mode is a mode for displaying an image of a subject on an electronic viewfinder (in particular, the TFT liquid crystal panel 144). The on / off of the camera shooting mode is managed by the CPU 110, for example. In other words, the CPU 110 functions as a camera shooting mode management unit that manages on / off of the camera shooting mode.

カメラ撮影モード時の動作では、図2に示すように、撮影装置1は、まず、CPU110の制御の下で初期化処理を実行する(ステップS101)。具体的には、例えばCPU110が、アクチュエータ駆動回路103よりアクチュエータ104を駆動してレンズ101を初期位置へ移動させると共に、撮像素子102をリフレッシュする。   In the operation in the camera photographing mode, as shown in FIG. 2, the photographing apparatus 1 first executes an initialization process under the control of the CPU 110 (step S101). Specifically, for example, the CPU 110 drives the actuator 104 from the actuator drive circuit 103 to move the lens 101 to the initial position, and refreshes the image sensor 102.

次に撮影装置1は、ライブビュー撮影を実行する(ステップS102)。具体的には、CPU110の制御の下で撮像回路105を駆動して撮像素子102から電荷蓄積量に応じた電気信号を読み出してアナログの画像信号を生成し、この画像信号をA/D変換回路131に入力する。A/D変換回路131は、入力されたアナログの画像信号に対してA/D変換処理を実行することでデジタルの画像データを生成する。A/D変換された画像データは、内部バス130によるバスコントロールによって直接またはCPU120での所定のデジタル信号処理が施された後にFIFOメモリ132に入力される。一方で、CPU110の制御の下でTFT液晶駆動回路141を駆動することで、FIFOメモリ132から1ラインごとに画像データを読み出し、これをTFT液晶パネル144に入力する。この際、CPU110はバックライトユニット143を点灯しておく。これにより、電子ファインダの一部であるTFT液晶パネル144には、撮像素子102から読み出された画像データによる映像が略リアルタイムにスルー画として表示される。   Next, the photographing apparatus 1 performs live view photographing (step S102). Specifically, the image pickup circuit 105 is driven under the control of the CPU 110 to read out an electrical signal corresponding to the charge accumulation amount from the image pickup element 102 to generate an analog image signal, and the image signal is converted into an A / D conversion circuit. Input to 131. The A / D conversion circuit 131 generates digital image data by performing A / D conversion processing on the input analog image signal. The A / D converted image data is input to the FIFO memory 132 either directly by the bus control by the internal bus 130 or after being subjected to predetermined digital signal processing by the CPU 120. On the other hand, by driving the TFT liquid crystal driving circuit 141 under the control of the CPU 110, image data is read out from the FIFO memory 132 for each line and input to the TFT liquid crystal panel 144. At this time, the CPU 110 keeps the backlight unit 143 on. Thereby, on the TFT liquid crystal panel 144 which is a part of the electronic viewfinder, an image based on the image data read from the image sensor 102 is displayed as a through image in substantially real time.

次に撮影装置1は、ステップS102のライブビュー撮影において生成した画像データから撮像素子102での撮影感度があらかじめ設定しておいた通常最低感度よりも小さいか否かを判定する(ステップS103)。具体的には、A/D変換回路131から出力されたデジタルの画像データが内部バス130の制御の下でCPU120に入力される。CPU120は、撮影感度判定機能126を起動し、これを動作させることで、入力された画像データから撮像素子102に入射する光学像の光量を算出し、この算出値より求まる撮影感度があらかじめ設定しておいた通常最低感度より小さいか否かを判定する。   Next, the photographing apparatus 1 determines whether or not the photographing sensitivity of the image sensor 102 is lower than the preset normal minimum sensitivity from the image data generated in the live view photographing in step S102 (step S103). Specifically, digital image data output from the A / D conversion circuit 131 is input to the CPU 120 under the control of the internal bus 130. The CPU 120 activates the shooting sensitivity determination function 126 and operates it to calculate the light quantity of the optical image incident on the image sensor 102 from the input image data, and the shooting sensitivity obtained from this calculated value is set in advance. It is determined whether the sensitivity is lower than the normal minimum sensitivity.

ステップS103の判定の結果、撮影感度が通常最低感度以上である場合(ステップS103のNo)、撮影装置1は、通常ライブビューモードへ移行し、この動作を実行する(ステップS104)。通常ライブビューモードでは、撮像素子102から得られた画像信号が、A/D変換回路131およびFIFOメモリ132を介してTFT液晶駆動回路141に入力される。したがって、TFT液晶パネル144には、そのままの画像がスルー画として表示される。   As a result of the determination in step S103, if the shooting sensitivity is equal to or higher than the normal minimum sensitivity (No in step S103), the shooting apparatus 1 shifts to the normal live view mode and executes this operation (step S104). In the normal live view mode, an image signal obtained from the image sensor 102 is input to the TFT liquid crystal driving circuit 141 via the A / D conversion circuit 131 and the FIFO memory 132. Therefore, the image as it is is displayed on the TFT liquid crystal panel 144 as a through image.

一方、ステップS103の判定の結果、撮影感度が通常最低感度よりも小さい場合(ステップS103のYes)、撮影装置1は、疑似カラーライブビューモードへ移行し、この動作を実行する(ステップS105)。なお、疑似カラーライブビューモードの詳細については、以下に図3と共に触れる。   On the other hand, as a result of the determination in step S103, if the photographing sensitivity is smaller than the normal minimum sensitivity (Yes in step S103), the photographing apparatus 1 shifts to the pseudo color live view mode and executes this operation (step S105). The details of the pseudo color live view mode will be described below with reference to FIG.

ステップS104の通常ライブビューモードまたはステップS105の疑似カラーライブビューモード時の動作を実行後、撮影装置1は、主動作へリターンする。   After performing the operation in the normal live view mode in step S104 or the pseudo color live view mode in step S105, the photographing apparatus 1 returns to the main operation.

次に、図2のステップS105に示す疑似カラーライブビューモード時の動作について、図3を用いて詳細に説明する。疑似カラーライブビューモード時の動作では、図3に示すように、撮影装置1は、まず、CPU110の制御の下でズーム倍率をワイド端に設定する(ステップS111)。すなわち、レンズ101を含む光学系は、撮像部が画像データ(第1画像データ)を生成する際、ズーム倍率をワイド端に設定する。具体的には、例えばCPU110が、アクチュエータ駆動回路103よりアクチュエータ104を駆動してレンズ101をワイド端へ移動する。これにより、撮像素子102の受光面には、撮影装置1のスペックにおいて最も広角な光学像が結像される。   Next, the operation in the pseudo color live view mode shown in step S105 of FIG. 2 will be described in detail with reference to FIG. In the operation in the pseudo color live view mode, as shown in FIG. 3, the photographing apparatus 1 first sets the zoom magnification to the wide end under the control of the CPU 110 (step S111). That is, the optical system including the lens 101 sets the zoom magnification to the wide end when the imaging unit generates image data (first image data). Specifically, for example, the CPU 110 drives the actuator 104 from the actuator driving circuit 103 to move the lens 101 to the wide end. As a result, an optical image having the widest angle in the spec of the photographing apparatus 1 is formed on the light receiving surface of the image sensor 102.

次に撮影装置1は、CPU110の特にフラッシュ制御機能112の制御の下でフラッシュ106を駆動する(ステップS112)。これにより、少なくとも撮影装置1の撮影範囲が照明されると共に、撮像素子102の受光面に色情報を再現するのに十分な光量の光学像が結像される。   Next, the photographing apparatus 1 drives the flash 106 under the control of the flash control function 112 of the CPU 110 (step S112). Thereby, at least the photographing range of the photographing apparatus 1 is illuminated, and an optical image having a sufficient amount of light to reproduce color information is formed on the light receiving surface of the image sensor 102.

続いて撮影装置1は、CPU110の制御の下で撮像回路105を駆動することで、撮像素子102から画像信号を読み出す(ステップS113:第1撮像ステップ)。この際、ステップS112の制御によってフラッシュ106が駆動されているため、撮像素子102には十分な光量の光学像が結像される。したがって、撮像素子102から読み出された画像IM0の画像信号は、図4に示すように被写体OB0や背景BK0の色を再現するのに十分な信号強度(色情報)を持つ。なお、図4は、フラッシュ106を駆動した際に取得される画像IM0の一例を示す図である。また、読み出された画像信号は、A/D変換回路131に入力されてA/D変換処理された後、デジタルの画像データ(第1画像データ)として内部バス130に出力される。内部バス130は、所定のバスコントロールに従って、デジタルの画像データをCPU120に入力する。   Subsequently, the imaging apparatus 1 reads the image signal from the imaging element 102 by driving the imaging circuit 105 under the control of the CPU 110 (step S113: first imaging step). At this time, since the flash 106 is driven by the control in step S112, an optical image having a sufficient amount of light is formed on the image sensor 102. Therefore, the image signal of the image IM0 read from the image sensor 102 has signal intensity (color information) sufficient to reproduce the colors of the subject OB0 and the background BK0 as shown in FIG. FIG. 4 is a diagram illustrating an example of an image IM0 acquired when the flash 106 is driven. The read image signal is input to the A / D conversion circuit 131 and subjected to A / D conversion processing, and then output to the internal bus 130 as digital image data (first image data). The internal bus 130 inputs digital image data to the CPU 120 according to predetermined bus control.

このように本実施の形態では、照明部および撮像部が、CPU110(カメラ撮影モード管理部)がカメラ撮影モードをオンにした際、少なくとも1回、前記被写体を照明しつつ照明された被写体の光学像から画像データ(第1画像データ)を生成する。   As described above, in the present embodiment, the illumination unit and the imaging unit are optical elements of a subject illuminated while illuminating the subject at least once when the CPU 110 (camera photographing mode management unit) turns on the camera photographing mode. Image data (first image data) is generated from the image.

次に撮影装置1は、CPU120に入力された画像データに対し、これに含まれる被写体(またはその領域)ごとの色情報(第1色情報)を抽出し、これを例えば不図示のキャッシュメモリ等に記憶しておく(ステップS114:色情報解析ステップ)。具体的には、CPU120は、まず画像認識機能121を呼出し、この画像認識機能121に、画像データに含まれる色の成分および階調などから画像中の特徴点を抽出させ、この抽出結果に基づいて画像中の領域等を認識させる。続いてCPU120は、被写体識別機能124を呼出し、この被写体識別機能124に、画像認識機能121によって認識された領域の配置等から画像中に含まれる被写体の形状等を識別させる(被写体識別ステップ)。続いてCPU120は、色情報解析・再現機能123を呼出し、この色情報解析・再現機能123に、被写体識別機能124によって識別された被写体の各領域の色情報を特定させる。これにより得られた被写体の各領域の色情報は、上述したように不図示のキャッシュメモリ等に記憶される。なお、記憶される色情報には、被写体の形状の情報、例えば色の領域の情報も含まれている。   Next, the photographing apparatus 1 extracts color information (first color information) for each subject (or its area) included in the image data input to the CPU 120, and uses this information, for example, a cache memory (not shown) or the like. (Step S114: Color information analysis step). Specifically, the CPU 120 first calls the image recognition function 121, causes the image recognition function 121 to extract feature points in the image from color components and gradations included in the image data, and based on the extraction result. To recognize areas in the image. Subsequently, the CPU 120 calls the subject identification function 124, and causes the subject identification function 124 to identify the shape of the subject included in the image from the arrangement of the area recognized by the image recognition function 121, etc. (subject identification step). Subsequently, the CPU 120 calls the color information analysis / reproduction function 123 and causes the color information analysis / reproduction function 123 to specify color information of each area of the subject identified by the subject identification function 124. The color information of each area of the subject thus obtained is stored in a cache memory (not shown) or the like as described above. The stored color information includes information on the shape of the subject, for example, information on a color area.

次に撮影装置1は、CPU110の制御の下でアクチュエータ駆動回路103よりアクチュエータ104を駆動することで、レンズ101を初期位置へ戻す(ステップS115)。   Next, the photographing apparatus 1 drives the actuator 104 from the actuator drive circuit 103 under the control of the CPU 110, thereby returning the lens 101 to the initial position (step S115).

次に撮影装置1は、CPU110の制御の下で撮像回路105を駆動することで、撮像素子102から画像信号をスルー画(第2画像データ)として読み出す(ステップS116:第2撮像ステップ)。この際、フラッシュ106は駆動されていないため、撮像素子102の受光面に結像される光学像の光量は小さい。したがって、撮像素子102から読み出されたカラー補正前のスルー画IM1の画像信号の信号強度(色情報)は、図5(a)に示すように被写体OB1や背景BK1の色を再現するのには十分でない信号強度(色情報)となる。なお、図5は、本実施の形態によるカラー補正前のスルー画IM1とカラー補正後のスルー画IM2(図5(b)参照)とを示す図である。また、図5(a)における被写体OB1ならびに背景BK1の実体は、図4および図5(b)における被写体OB0およびOB2ならびに背景BK0およびBK2の実体と同一である。さらに、ステップS116で読み出された画像信号は、A/D変換回路131に入力されたA/D変換処理された後、デジタルの画像データとして内部バス130に入力される。内部バス130は、所定のバスコントロールに従って、デジタルの画像データをCPU120に入力する。   Next, the imaging apparatus 1 reads the image signal as a through image (second image data) from the imaging element 102 by driving the imaging circuit 105 under the control of the CPU 110 (step S116: second imaging step). At this time, since the flash 106 is not driven, the amount of light of the optical image formed on the light receiving surface of the image sensor 102 is small. Therefore, the signal intensity (color information) of the image signal of the through image IM1 before color correction read from the image sensor 102 is used to reproduce the colors of the subject OB1 and the background BK1, as shown in FIG. Becomes insufficient signal intensity (color information). FIG. 5 is a diagram showing a through image IM1 before color correction and a through image IM2 after color correction (see FIG. 5B) according to the present embodiment. The entities of the subject OB1 and the background BK1 in FIG. 5A are the same as those of the subjects OB0 and OB2 and the backgrounds BK0 and BK2 in FIGS. 4 and 5B. Further, the image signal read in step S116 is subjected to A / D conversion processing input to the A / D conversion circuit 131 and then input to the internal bus 130 as digital image data. The internal bus 130 inputs digital image data to the CPU 120 according to predetermined bus control.

次に撮影装置1は、CPU120に入力された画像データの画像解析を実行する(ステップS117)。なお、説明の都合上、本ステップS117で解析対象とする画像データをスルー画データといい、これによる画像をスルー画という。ステップS117では、具体的には、CPU120は、まず画像認識機能121を呼出し、この画像認識機能121に、スルー画データに含まれる色の成分および階調などから画像中の特徴点を抽出させ、この抽出結果に基づいて画像中の領域等を認識させる。続いてCPU120は、被写体識別機能124を呼出し、この被写体識別機能124に、画像認識機能121によって認識された領域の配置等からスルー画中に含まれる被写体の形状等を識別させる。   Next, the photographing apparatus 1 performs image analysis of the image data input to the CPU 120 (step S117). For convenience of explanation, the image data to be analyzed in this step S117 is referred to as through image data, and the resulting image is referred to as a through image. Specifically, in step S117, the CPU 120 first calls the image recognition function 121 and causes the image recognition function 121 to extract feature points in the image from color components and gradations included in the through image data. Based on the extraction result, an area in the image is recognized. Subsequently, the CPU 120 calls the subject identification function 124 and causes the subject identification function 124 to identify the shape of the subject included in the through image from the arrangement of the areas recognized by the image recognition function 121.

次に撮影装置1は、ステップS114で記憶しておいた被写体(またはその領域)ごとの色情報(第1色情報)を読み出し、読み出した色情報とステップS117の画像解析で特定した被写体(またはその領域)とを照合する(ステップS118)。具体的には、CPU120は、色情報解析・再現機能123を呼出すと共に、ステップS114で記憶しておいた被写体(またはその領域)ごとの色情報を読み出し、色情報解析・再現機能123に、本ステップS117で被写体識別機能124が識別した被写体(またはその領域)ごとの色情報を特定させる。   Next, the photographing apparatus 1 reads out the color information (first color information) for each subject (or its area) stored in step S114, and the subject (or the subject specified in the image analysis in step S117) That area) is collated (step S118). Specifically, the CPU 120 calls the color information analysis / reproduction function 123, reads out the color information for each subject (or its area) stored in step S114, and stores the color information in the color information analysis / reproduction function 123. In step S117, the color information for each subject (or its area) identified by the subject identifying function 124 is specified.

被写体(またはその領域)ごとの色情報の特定は、例えば、ステップS114の画像データと本ステップS117のスルー画データとの間で各領域の動きベクトルを算出し、この動きベクトルに基づいて画像データとスルー画との間で対応する領域を特定し、この対応する領域の色情報をステップS114で記憶した色情報から特定することで実現することができる。   For specifying the color information for each subject (or its region), for example, a motion vector of each region is calculated between the image data in step S114 and the live view data in step S117, and the image data is based on this motion vector. This can be realized by specifying a corresponding area between the image and the through image and specifying the color information of the corresponding area from the color information stored in step S114.

次に撮影装置1は、ステップS118で特定した被写体(またはその領域)ごとの色情報(第1色情報)に基づいて、ステップS116でスルー画として読み出した画像データに含まれる被写体(またはその領域)ごとの色情報(第2色情報)を補正する(ステップS119:色情報補正ステップ)。これにより、図5(a)に示すカラー補正前のスルー画IM1から図5(b)に示すカラー補正後のスルー画IM2のように、電子ファインダの一部であるTFT液晶パネル144に表示されるスルー画がカラー補正される(再生ステップ)。なお、ここで各被写体(またはその領域)の補正後の色情報は、画像データにおける各領域の平均色の情報や、ステップS114で特定した被写体(またはその領域)の色彩をそのままテクスチャとして用いた情報など、種々変形することが可能である。また、カラー補正後のスルー画データは、内部バス130を介してFIFOメモリ132に一旦バッファされる。その後、CPU110の制御の下にTFT液晶駆動回路141が駆動されてFIFOメモリ132から1ラインごとにスルー画データが読み出され、このスルー画データに基づいてTFT液晶パネル144が駆動される。これにより、カラー補正後のスルー画IM2(図5(b)参照)がTFT液晶パネル144に表示される。   Next, based on the color information (first color information) for each subject (or area) identified in step S118, the photographing apparatus 1 subjects (or the area) included in the image data read out as a through image in step S116. ) Is corrected (second color information) (step S119: color information correction step). Accordingly, the through image IM1 before color correction shown in FIG. 5A to the through image IM2 after color correction shown in FIG. 5B are displayed on the TFT liquid crystal panel 144 which is a part of the electronic viewfinder. The live view image is color corrected (playback step). Here, the corrected color information of each subject (or its region) uses the average color information of each region in the image data or the color of the subject (or its region) specified in step S114 as the texture as it is. Various modifications such as information can be made. The through image data after color correction is once buffered in the FIFO memory 132 via the internal bus 130. Thereafter, the TFT liquid crystal driving circuit 141 is driven under the control of the CPU 110, and the through image data is read out from the FIFO memory 132 for each line, and the TFT liquid crystal panel 144 is driven based on the through image data. As a result, the through image IM2 after color correction (see FIG. 5B) is displayed on the TFT liquid crystal panel 144.

その後、撮影装置1は、撮影装置1自身の姿勢(言い換えれば、撮像素子102の向き)であるカメラ姿勢情報を検出する(ステップS120:姿勢検出ステップ)。すなわち、本実施の形態による撮影装置1は、撮像部の向きの変化を検出する姿勢検出部を備える。このカメラ姿勢情報の検出は、例えばステップS116で取り込んだスルー画データから撮影装置1のカメラ姿勢を特定してその姿勢が大きく変わったかを判定する方法や、撮影装置1内に設けられている手ブレ補正用ジャイロセンサ108(図1参照)を姿勢検出に使用して撮影装置1の姿勢を検出する方法など、種々の方法で実現することが可能である。   Thereafter, the photographing apparatus 1 detects camera posture information that is the posture of the photographing device 1 itself (in other words, the direction of the image sensor 102) (step S120: posture detection step). That is, the imaging device 1 according to the present embodiment includes a posture detection unit that detects a change in the orientation of the imaging unit. This camera posture information is detected by, for example, a method of determining the camera posture of the photographing apparatus 1 from the through image data captured in step S116 and determining whether the posture has changed significantly, or a hand provided in the photographing apparatus 1. It can be realized by various methods such as a method of detecting the posture of the photographing apparatus 1 using the shake correction gyro sensor 108 (see FIG. 1) for posture detection.

次に撮影装置1は、カメラ姿勢情報があらかじめ定めておいたリミット(閾値)を超えたか否か、すなわち撮影装置1の撮影方向の向きや撮像素子102に結像された光学像の構図が大きく変わったか否かを判定し(ステップS121)、カメラ姿勢の変化がリミットを超えていた場合(ステップS121のYes)、ステップS111へ帰還して、再度、フラッシュ106を駆動した際の画像データから被写体(またはその領域)ごとの色情報を取得する。   Next, the photographing apparatus 1 has a large composition as to whether or not the camera posture information exceeds a predetermined limit (threshold), that is, the direction of the photographing direction of the photographing apparatus 1 and the optical image formed on the image sensor 102. It is determined whether or not the camera has changed (step S121). If the change in the camera posture has exceeded the limit (Yes in step S121), the process returns to step S111, and the subject from the image data when the flash 106 is driven again. Get color information for each (or area).

すなわち、本実施の形態1では、照明部および撮像部は、姿勢検出部が撮像部の向きの変化を検出した場合、少なくとも1回、被写体を照明しつつ照明された被写体の光学像から画像データ(第1画像データ)を生成し、これの色情報(第1色情報)を取得する。   That is, in the first embodiment, when the posture detection unit detects a change in the orientation of the imaging unit, the illumination unit and the imaging unit obtain image data from an optical image of the subject illuminated while illuminating the subject at least once. (First image data) is generated, and the color information (first color information) is acquired.

ただし、本発明は、上記のカメラ姿勢が変化した場合に限らず、例えばズーム倍率または画角が手動または自動で変更された場合などを検出した際に、照明部および撮像部が、少なくとも1回、被写体を照明しつつ照明された被写体の光学像から画像データ(第1画像データ)を生成し、これの色情報(第1色情報)を取得するように構成してもよい。   However, the present invention is not limited to the case where the camera posture is changed, and when the zoom magnification or the angle of view is changed manually or automatically, for example, the illumination unit and the imaging unit are at least once. The image data (first image data) may be generated from the optical image of the illuminated subject while illuminating the subject, and the color information (first color information) may be acquired.

一方、ステップS121の判定の結果、リミットを超えたカメラ姿勢の変化が無ければ(ステップS121のNo)、撮影装置1は、カラー補正後のスルー画をTFT液晶パネル144に表示する動作の終了指示が例えばキーマトリクス150から入力された否かを判定し(ステップS122)、このスルー画表示の終了指示が入力されていない場合(ステップS122のNo)、ステップS116へ帰還して、新たなスルー画を取得し、これをカラー補正した後、カラー補正後のスルー画をTFT液晶パネル144に表示する。これにより、電子ファインダの一部であるTFT液晶パネル144にはカラー補正後のスルー画がライブビュー映像として表示される。一方、スルー画表示の終了指示が入力されていた場合(ステップS122のYes)、撮影装置1は、図2のカメラ撮影モード時の動作へリターンする。   On the other hand, as a result of the determination in step S121, if there is no change in the camera posture beyond the limit (No in step S121), the photographing apparatus 1 instructs the end of the operation of displaying the through image after color correction on the TFT liquid crystal panel 144. Is input from the key matrix 150, for example (step S122), and if no instruction to end the through image display is input (No in step S122), the process returns to step S116 and a new through image is displayed. Is obtained, and the color correction is performed, and then the through image after the color correction is displayed on the TFT liquid crystal panel 144. Thereby, a through image after color correction is displayed as a live view image on the TFT liquid crystal panel 144 which is a part of the electronic viewfinder. On the other hand, if a through image display end instruction has been input (Yes in step S122), the photographing apparatus 1 returns to the operation in the camera photographing mode of FIG.

以上で説明したように、本実施の形態1では、背景を含む被写体の色を再現するのには十分でない信号強度のスルー画データ(第2画像データ)の色情報(第2色情報)が、背景を含む被写体の色を再現するのに十分な信号強度の画像データ(第1画像データ)の色情報(第1色情報)でカラー補正される。この結果、本実施の形態では、低照度環境下であっても電子ファインダを介してユーザにリアルな被写体の映像を表示することが可能となる。   As described above, in the first embodiment, the color information (second color information) of the through image data (second image data) having a signal intensity that is not sufficient to reproduce the color of the subject including the background is obtained. Then, color correction is performed with color information (first color information) of image data (first image data) having a signal intensity sufficient to reproduce the color of the subject including the background. As a result, in the present embodiment, it is possible to display a real subject image to the user via the electronic viewfinder even in a low illumination environment.

また、フラッシュ106を駆動したときの画像と同様の画像を電子ファインダに表示することが可能となるため、画像を取り込む際の画像と取り込まれた画像との色合いの差を低減することが可能である。この結果、暗所でもユーザに違和感の少ない操作性を提供することが可能となる。   In addition, since an image similar to the image when the flash 106 is driven can be displayed on the electronic viewfinder, it is possible to reduce the difference in color between the captured image and the captured image. is there. As a result, it is possible to provide operability with less discomfort to the user even in a dark place.

なお、CPU120における被写体識別機能124は、画像データ(第1画像データ)およびスルー画データ(第2画像データ)に含まれる被写体を識別する被写体識別部として機能する。そこで、色情報抽出部は、被写体識別部によって識別された画像データ(第1画像データ)中の被写体ごとに色情報(第1色情報)を解析する。また、色情報補正部は、被写体識別部によって識別されたスルー画データ(第2画像データ)中の被写体ごとに色情報(第2色情報)を画像データ(第1画像データ)の色情報(第1色情報)で補正する。   Note that the subject identifying function 124 in the CPU 120 functions as a subject identifying unit that identifies subjects included in the image data (first image data) and the through image data (second image data). Therefore, the color information extraction unit analyzes the color information (first color information) for each subject in the image data (first image data) identified by the subject identification unit. Further, the color information correction unit converts the color information (second color information) into color information (first image data) for each subject in the through image data (second image data) identified by the subject identification unit (color information (first image data)). First color information) is corrected.

(変形例1−1)
なお、被写体の色情報の更新は、カメラ姿勢の変化がリミットを超えた場合(図3のステップS121のYes)に限るものではない。例えばユーザが特定の被写体をねらった際にその被写体の色情報を更新するように構成してもよい。以下、この場合を本実施の形態1の変形例1−1として説明する。なお、被写体をねらった際とは、例えばファーストレリーズ151がシャッタボタンの半押しを検出した際などである。
(Modification 1-1)
The update of the subject color information is not limited to the case where the change in the camera posture exceeds the limit (Yes in step S121 in FIG. 3). For example, when the user aims at a specific subject, the color information of the subject may be updated. Hereinafter, this case will be described as a modified example 1-1 of the first embodiment. Note that when the subject is aimed, for example, when the first release 151 detects a half-press of the shutter button.

図6は、本変形例1−1による疑似カラーライブビューモード時の概略動作を示すフローチャートである。なお、撮影装置1の構成ならびにその主動作およびカメラ撮影モード時の動作は、上記実施の形態1と同様であるため、ここでは詳細な説明を省略する。   FIG. 6 is a flowchart showing a schematic operation in the pseudo color live view mode according to the modification 1-1. Note that the configuration of the photographing apparatus 1, the main operation thereof, and the operation in the camera photographing mode are the same as those in the first embodiment, and thus detailed description thereof is omitted here.

図6に示すように、本変形例1−1による疑似カラーライブビューモード時の動作では、撮影装置1は、まず、図3に示す疑似カラーライブビューモード時の動作のステップS111〜S121と同様に、レンズ101をワイド端に設定した状態で取得した画像データからこれに含まれる被写体(またはその領域)ごとの色情報を取得して記憶しておき、その後、順次取得したスルー画に含まれる被写体(またはその領域)の色を記憶しておいた色情報を用いてカラー補正する。   As shown in FIG. 6, in the operation in the pseudo color live view mode according to the modification 1-1, the photographing apparatus 1 firstly performs the same as steps S111 to S121 in the operation in the pseudo color live view mode shown in FIG. 3. In addition, color information for each subject (or its region) included in the image data acquired with the lens 101 set to the wide end is acquired and stored, and then included in the sequentially acquired through image. Color correction is performed using color information stored in the color of the subject (or its area).

次に撮影装置1は、キーマトリクス150におけるファーストレリーズ151がシャッタボタン(不図示)の半押しを検出したか否かを判定し(ステップS131)、半押しを検出した場合(ステップS131のYes)、オートフォーカス(AF)のターゲットとなる被写体に対して最適な発光量となるようにCPU110の特にフラッシュ制御機能112の制御の下でフラッシュ106を駆動する(ステップS132)。具体的には、通常のオートフォーカス動作と同様の動作にて撮像範囲に含まれる被写体を特定し、これに対して最適となるフラッシュ106の発光量をあらかじめ登録しておいた発光量を管理するテーブルから取得する。   Next, the photographing apparatus 1 determines whether or not the first release 151 in the key matrix 150 has detected half-pressing of a shutter button (not shown) (step S131), and if it has detected half-pressing (Yes in step S131). Then, the flash 106 is driven under the control of the flash control function 112 of the CPU 110 so as to obtain the optimum light emission amount for the subject that is the target of autofocus (AF) (step S132). Specifically, the subject included in the imaging range is identified by the same operation as the normal autofocus operation, and the light emission amount registered in advance for the light emission amount of the flash 106 that is optimal for this is managed. Get from table.

なお、オートフォーカス動作は、CPU110のフラッシュ制御機能112およびCPU120とアクチュエータ駆動回路103とアクチュエータ104とを含むオートフォーカス部によって実行される。すなわち、CPU120における画像解析により被写体を特定し、この特定した被写体にレンズ101の焦点が合うように、CPU110のフラッシュ制御機能112が自動的にアクチュエータ駆動回路103を駆動してアクチュエータ104の光軸上の位置を制御する。   Note that the autofocus operation is executed by an autofocus unit including the flash control function 112 of the CPU 110 and the CPU 120, the actuator drive circuit 103, and the actuator 104. That is, a subject is identified by image analysis in the CPU 120, and the flash control function 112 of the CPU 110 automatically drives the actuator drive circuit 103 so that the identified subject is in focus on the optical axis of the actuator 104. Control the position of the.

また、オートフォーカス部のオン/オフは、ファーストレリーズ151がシャッタボタン(不図示)の半押しを検出したか否かによって切り替えられる。すなわち、キーマトリクス150におけるファーストレリーズ151およびCPU110は、オートフォーカス部のオン/オフを切り替える切替部として機能する。   The autofocus unit is switched on / off depending on whether the first release 151 detects a half-press of a shutter button (not shown). That is, the first release 151 and the CPU 110 in the key matrix 150 function as a switching unit that switches on / off of the autofocus unit.

以上のように、被写体に対する最適な発光量を取得すると、その後、CPU110のフラッシュ制御機能112は、特定した発光量にてフラッシュ106を駆動する。なお、ステップS131の判定の結果、ファーストレリーズ151によって半押しが検出されなかった場合(ステップS131のNo)、撮影装置1はステップS122へ移行する。   As described above, when the optimum light emission amount for the subject is acquired, the flash control function 112 of the CPU 110 then drives the flash 106 with the specified light emission amount. Note that, as a result of the determination in step S131, when the half-press is not detected by the first release 151 (No in step S131), the imaging device 1 proceeds to step S122.

次に撮影装置1は、CPU110の制御の下で撮像回路105を駆動することで、撮像素子102から画像信号を読み出す(ステップS133)。この際、ステップS132の制御によってフラッシュ106が駆動されているため、撮像素子102には十分な光量の光学像が結像される。したがって、撮像素子102から読み出された画像の画像信号は、図4に示す場合と同様に、被写体や背景の色を再現するのに十分な信号強度を持つ。また、読み出された画像信号は、A/D変換回路131に入力されてA/D変換処理された後、デジタルの画像データとして内部バス130に出力される。内部バス130は、所定のバスコントロールに従って、デジタルの画像データをCPU120に入力する。   Next, the imaging device 1 reads the image signal from the imaging element 102 by driving the imaging circuit 105 under the control of the CPU 110 (step S133). At this time, since the flash 106 is driven by the control in step S132, an optical image having a sufficient amount of light is formed on the image sensor 102. Therefore, the image signal of the image read from the image sensor 102 has sufficient signal strength to reproduce the color of the subject or the background, as in the case shown in FIG. The read image signal is input to the A / D conversion circuit 131 and subjected to A / D conversion processing, and then output to the internal bus 130 as digital image data. The internal bus 130 inputs digital image data to the CPU 120 according to predetermined bus control.

次に撮影装置1は、ステップS114と同様に、CPU120に入力された画像データに対し、これに含まれる被写体(またはその領域)ごとの色情報を抽出し、これを例えば不図示のキャッシュメモリ等に記憶しておく(ステップS134)。その後、撮影装置1は、ステップS116へ帰還する。   Next, as in step S114, the photographing apparatus 1 extracts color information for each subject (or its region) included in the image data input to the CPU 120, and uses this to extract, for example, a cache memory (not shown). (Step S134). Thereafter, the photographing apparatus 1 returns to step S116.

以上のように、本変形例1−1では、照明部および撮像部は、オートフォーカス部がオンに切り替えられた場合、少なくとも1回、被写体を照明しつつ照明された被写体の光学像から画像データ(第1画像データ)を生成して色情報(第1色情報)を取得する。これにより、ユーザが被写体として最も正しく色を識別したいと思っているものに対して、より正しい色情報を表示することが可能となる。   As described above, in Modification 1-1, when the autofocus unit is switched on, the illuminating unit and the imaging unit obtain image data from an optical image of the illuminated subject at least once while illuminating the subject. (First image data) is generated to obtain color information (first color information). This makes it possible to display more correct color information for what the user wants to identify the color most correctly as a subject.

なお、その他の構成および動作ならびに効果は、上記した実施の形態1またはその変形例と同様である。   Other configurations, operations, and effects are the same as those in the first embodiment or the modification thereof.

(変形例1−2)
さらに、例えば画像に含まれる被写体の向きが変わったり被写体そのものが別の被写体に換わったりした際に被写体の色情報を更新するように構成してもよい。以下、この場合を本実施の形態1の変形例1−2として説明する。
(Modification 1-2)
Further, for example, the color information of the subject may be updated when the orientation of the subject included in the image is changed or when the subject itself is changed to another subject. Hereinafter, this case will be described as a modified example 1-2 of the first embodiment.

図7は、本変形例1−2による疑似カラーライブビューモード時の概略動作を示すフローチャートである。なお、撮影装置1の構成ならびにその主動作およびカメラ撮影モード時の動作は、上記実施の形態1と同様であるため、ここでは詳細な説明を省略する。   FIG. 7 is a flowchart showing a schematic operation in the pseudo color live view mode according to the modification 1-2. Note that the configuration of the photographing apparatus 1, the main operation thereof, and the operation in the camera photographing mode are the same as those in the first embodiment, and thus detailed description thereof is omitted here.

図7に示すように、本変形例1−2による疑似カラーライブビューモード時の動作では、撮影装置1は、まず、図3に示す疑似カラーライブビューモード時の動作のステップS111〜S121と同様に、レンズ101をワイド端に設定した状態で取得した画像データからこれに含まれる被写体(またはその領域)ごとの色情報を取得して記憶しておき、その後、順次取得したスルー画に含まれる被写体(またはその領域)の色を記憶しておいた色情報を用いてカラー補正する。   As shown in FIG. 7, in the operation in the pseudo color live view mode according to the modification 1-2, the photographing apparatus 1 firstly performs the same operation as steps S111 to S121 in the operation in the pseudo color live view mode shown in FIG. In addition, color information for each subject (or its region) included in the image data acquired with the lens 101 set to the wide end is acquired and stored, and then included in the sequentially acquired through image. Color correction is performed using color information stored in the color of the subject (or its area).

次に撮影装置1は、ステップS116で取得したスルー画データに含まれる被写体とステップS113で取得した画像データに含まれる被写体との類似度を認識する(ステップS141)。具体的には、ステップS116で取得したスルー画データを内部バス130を介してCPU120に入力する。CPU120は、スルー画データが入力されると、まず画像認識機能121を呼出し、この画像認識機能121に、画像データに含まれる色の成分および階調などから画像中の特徴点を抽出させ、この抽出結果に基づいて画像中の領域等を認識させる。続いてCPU120は、被写体識別機能124を呼出し、この被写体識別機能124に、画像認識機能121によって認識された領域の配置等から画像中に含まれる被写体の形状等を識別させる。続いてCPU120は、色情報解析・再現機能123を呼出し、この色情報解析・再現機能123に、被写体識別機能124によって識別されたスルー画データに含まれる被写体の形状等とステップS114で色情報と共に記憶しておいた画像データに含まれる被写体の形状等とを比較させ、この比較結果から類似度(または相関度であってもよい)を認識する。   Next, the photographing apparatus 1 recognizes the similarity between the subject included in the through image data acquired in step S116 and the subject included in the image data acquired in step S113 (step S141). Specifically, the through image data acquired in step S116 is input to the CPU 120 via the internal bus 130. When the through image data is input, the CPU 120 first calls the image recognition function 121 and causes the image recognition function 121 to extract feature points in the image from color components and gradations included in the image data. Based on the extraction result, the region in the image is recognized. Subsequently, the CPU 120 calls the subject identification function 124 and causes the subject identification function 124 to identify the shape of the subject included in the image from the arrangement of the areas recognized by the image recognition function 121. Subsequently, the CPU 120 calls the color information analysis / reproduction function 123. The color information analysis / reproduction function 123 includes the shape of the subject included in the through image data identified by the subject identification function 124 and the color information in step S114. The shape of the subject included in the stored image data is compared, and the similarity (or the correlation) may be recognized from the comparison result.

次に撮影装置1は、ステップS141で認識した類似度があらかじめ設定しておいた閾値を超えたか否かを判定し(ステップS142:変化判定ステップ)、閾値を超えた場合(ステップS142のYes)、上述した変形例1−1において図6のステップS132〜S134を用いて説明した動作と同様に、フラッシュ106を駆動しつつ画像データを取り出し、この画像データに含まれる色情報を取得して記憶しておく。その後、撮影装置1は、ステップS116へ帰還する。なお、ステップS142の判定の結果、類似度が閾値以下であった場合(ステップS142のNo)、撮影装置1は、撮影装置1はステップS122へ移行する。   Next, the imaging device 1 determines whether or not the similarity recognized in step S141 exceeds a preset threshold (step S142: change determination step), and if the threshold is exceeded (Yes in step S142). Similarly to the operation described using the steps S132 to S134 in FIG. 6 in the above-described modification 1-1, the image data is extracted while the flash 106 is driven, and the color information included in the image data is acquired and stored. Keep it. Thereafter, the photographing apparatus 1 returns to step S116. Note that, as a result of the determination in step S142, if the similarity is equal to or less than the threshold value (No in step S142), the photographing apparatus 1 proceeds to step S122.

すなわち、本変形例では、CPU120における画像認識機能121、被写体識別機能124および色情報解析・再現機能123を含む構成が、スルー画データ(第2画像データ)中の被写体が変化したか否かを判定する変化判定部として機能する。   That is, in this modification, the configuration including the image recognition function 121, the subject identification function 124, and the color information analysis / reproduction function 123 in the CPU 120 determines whether or not the subject in the through image data (second image data) has changed. It functions as a change determination unit for determination.

以上のように、本変形例1−2では、照明部および撮像部は、スルー画データ(第2画像データ)中の被写体が変化したと変化判定部が判定した場合、少なくとも1回、被写体を照明しつつ照明された被写体の光学像から画像データ(第1画像データ)を生成して色情報(第1色情報)を取得する。これにより、スルー画中の被写体が大きく変化したときなど、被写体の色情報を補正し難くなった際に自動的に色情報を更新することが可能となる。   As described above, in Modification 1-2, when the change determination unit determines that the subject in the through image data (second image data) has changed, the illumination unit and the imaging unit remove the subject at least once. Color data (first color information) is acquired by generating image data (first image data) from the optical image of the illuminated object while illuminating. This makes it possible to automatically update the color information when it becomes difficult to correct the color information of the subject, such as when the subject in the through image changes greatly.

なお、その他の構成および動作ならびに効果は、上記した実施の形態1またはその変形例と同様である。   Other configurations, operations, and effects are the same as those in the first embodiment or the modification thereof.

<実施の形態2>
また、上記した実施の形態1では、ユーザの意識に関わらず自動的にフラッシュ106が発光する。ただし、撮影状況によっては、ユーザが意図しないタイミングでフラッシュ106が発光することを回避したい場合や、フラッシュ106の発光自体を避けたい場合などが存在する。このような場合に対応するには、例えば、撮影装置1のフラッシュモードがオンに設定されている場合に上記実施の形態1に示した疑似カラーライブビューモードが実行されるように構成するとよい。以下、この場合を本発明の実施の形態2として図面を用いて詳細に説明する。なお、フラッシュモードとは、撮影時、すなわちセカンドレリーズ152がシャッタボタンの全押しを検出した際にフラッシュ106を駆動して被写体を照明する動作を実行するモードである。また、以下において、上記実施の形態1またはその変形例と同様の構成および動作については、簡略化のため、その詳細な説明を省略する。
<Embodiment 2>
In the first embodiment, the flash 106 automatically emits light regardless of the user's consciousness. However, depending on the shooting situation, there are cases where it is desired to avoid that the flash 106 emits light at a timing unintended by the user, or where it is desired to avoid the flash 106 itself. In order to cope with such a case, for example, the pseudo color live view mode described in the first embodiment may be executed when the flash mode of the photographing apparatus 1 is set to ON. Hereinafter, this case will be described in detail as Embodiment 2 of the present invention with reference to the drawings. The flash mode is a mode in which the flash 106 is driven to illuminate the subject at the time of shooting, that is, when the second release 152 detects that the shutter button is fully pressed. In the following, detailed description of the same configurations and operations as those of the first embodiment or the modification thereof will be omitted for the sake of brevity.

本実施の形態2による撮影装置は、上記実施の形態1で例示した撮影装置1と同様の構成とすることができる。このため、本実施の形態2では、撮影装置1を引用して説明する。   The photographing apparatus according to the second embodiment can have the same configuration as the photographing apparatus 1 illustrated in the first embodiment. For this reason, the second embodiment will be described with reference to the photographing apparatus 1.

図8は、本実施の形態2による撮影装置1のカメラ撮影モード時の概略動作を示すフローチャートである。図8に示すように、ユーザがキーマトリクス150中の電源ボタンやレンズカバー等を操作すると、撮影装置1は、上記実施の形態1において図2のステップS101〜S103を用いて説明したカメラ撮影モード時の動作と同様の動作を実行することで、現在の撮影感度が通常最低感度として設定した閾値よりも小さいか否かを判定する。   FIG. 8 is a flowchart showing a schematic operation in the camera photographing mode of the photographing apparatus 1 according to the second embodiment. As shown in FIG. 8, when the user operates a power button, a lens cover or the like in the key matrix 150, the photographing apparatus 1 uses the camera photographing mode described in steps S101 to S103 in FIG. By executing an operation similar to the operation at the time, it is determined whether or not the current photographing sensitivity is smaller than the threshold set as the normal minimum sensitivity.

ステップS103の判定の結果、撮影感度が通常最低感度以上である場合(ステップS103のNo)、撮影装置1は、通常ライブビューモードへ移行し、この動作を実行する(ステップS104)。一方、ステップS103の判定の結果、撮影感度が通常最低感度よりも小さい場合(ステップS103のYes)、撮影装置1は、フラッシュモードがオンに設定されているか否かを判定する(ステップS201)。この判定は、例えばCPU110のフラッシュ制御機能112がEEPROM107等に格納されている撮影装置1の設定データを参照することで実行することが可能である。   As a result of the determination in step S103, if the shooting sensitivity is equal to or higher than the normal minimum sensitivity (No in step S103), the shooting apparatus 1 shifts to the normal live view mode and executes this operation (step S104). On the other hand, if the result of determination in step S103 is that the shooting sensitivity is smaller than the normal minimum sensitivity (Yes in step S103), the shooting apparatus 1 determines whether or not the flash mode is set to on (step S201). This determination can be executed, for example, by referring to the setting data of the photographing apparatus 1 stored in the EEPROM 107 or the like by the flash control function 112 of the CPU 110.

ステップS201の判定の結果、フラッシュモードがオンに設定されている場合(ステップS201のYes)、撮影装置1は、疑似カラーライブビューモードへ移行し、この動作を実行する(ステップS105)。一方、フラッシュモードがオンに設定されていない場合(ステップS201のNo)、撮影装置1は、通常ライブビューモードへ移行し、この動作を実行する(ステップS104)。なお、疑似カラーライブビューモード時の動作および通常ライブビューモード時の動作については、上記実施の形態1またはその変形例と同様であるため、ここでは詳細な説明を省略する。また、疑似カラーライブビューモードへ移行後または通常ライブビューモードへ移行後、撮影装置1は、主動作へリターンする。   As a result of the determination in step S201, when the flash mode is set to ON (Yes in step S201), the photographing apparatus 1 shifts to the pseudo color live view mode and executes this operation (step S105). On the other hand, when the flash mode is not set to ON (No in step S201), the photographing apparatus 1 shifts to the normal live view mode and executes this operation (step S104). The operation in the pseudo color live view mode and the operation in the normal live view mode are the same as those in the first embodiment or the modification thereof, and thus detailed description thereof is omitted here. In addition, after the transition to the pseudo color live view mode or the transition to the normal live view mode, the photographing apparatus 1 returns to the main operation.

なお、フラッシュモードには、例えば撮影感度判定機能126において判定された撮影感度が通常最低感度を下回ったか否かに基づいて自動的に移行したり、ユーザの操作によって手動で移行したりする。このフラッシュモードのオン/オフは、例えばCPU110のフラッシュ制御機能112において管理される(フラッシュモード管理ステップ)。言い換えれば、CPU110のフラッシュ制御機能112は、フラッシュモードのオン/オフを管理するフラッシュモード管理部として機能する。   For example, the flash mode is automatically shifted based on whether or not the shooting sensitivity determined by the shooting sensitivity determination function 126 is lower than the normal minimum sensitivity, or is manually shifted by a user operation. This on / off of the flash mode is managed by, for example, the flash control function 112 of the CPU 110 (flash mode management step). In other words, the flash control function 112 of the CPU 110 functions as a flash mode management unit that manages on / off of the flash mode.

以上のように、本実施の形態2では、照明部および撮像部は、CPU110(フラッシュモード管理部)がフラッシュモードをオンにしている場合、画像データ(第1画像データ)を生成して色情報(第1色情報)を取得する。これにより、フラッシュ106の駆動が必要でない、もしくは、フラッシュ106を駆動したくないときに、自動的にフラッシュ106が駆動されることを回避することが可能となる。   As described above, in the second embodiment, the illumination unit and the imaging unit generate image data (first image data) and color information when the CPU 110 (flash mode management unit) turns on the flash mode. (First color information) is acquired. Accordingly, it is possible to avoid the flash 106 being automatically driven when the flash 106 is not required to be driven or when the flash 106 is not desired to be driven.

なお、その他の構成および動作ならびに効果は、上記した実施の形態1またはその変形例と同様である。   Other configurations, operations, and effects are the same as those in the first embodiment or the modification thereof.

また、上記実施の形態は本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、仕様等に応じて種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施の形態が可能であることは上記記載から自明である。例えば、上記各実施の形態およびその変形例では、色情報が全体的に欠落または低減してしまう低照明環境下(例えば暗所)等での撮影をする際にカラー補正をする場合を例に挙げたが、本発明はこれに限定されず、例えば水中などのような色成分の一部が欠落または低減してしまう環境下での撮影においても本発明を適用できる。   Further, the above embodiment is merely an example for carrying out the present invention, and the present invention is not limited to these, and various modifications according to specifications and the like are within the scope of the present invention. It is obvious from the above description that various other embodiments are possible within the scope of the present invention. For example, in the above-described embodiments and modifications thereof, color correction is performed as an example when shooting in a low illumination environment (for example, in a dark place) where color information is lost or reduced as a whole. Although described above, the present invention is not limited to this, and the present invention can also be applied to photographing in an environment where a part of color components such as underwater is missing or reduced.

本発明の実施の形態1による撮影装置の概略内部構成例を示すブロック図である。It is a block diagram which shows the example of a schematic internal structure of the imaging device by Embodiment 1 of this invention. 本発明の実施の形態1による撮影装置のカメラ撮影モード時の概略動作を示すフローチャートである。It is a flowchart which shows schematic operation | movement at the time of the camera photographing mode of the imaging device by Embodiment 1 of this invention. 本発明の実施の形態1による疑似カラーライブビューモード時の概略動作を示すフローチャートである。It is a flowchart which shows schematic operation | movement at the time of pseudo | simulation color live view mode by Embodiment 1 of this invention. 本発明の実施の形態1においてフラッシュを駆動した際に取得される画像の一例を示す図である。It is a figure which shows an example of the image acquired when the flash is driven in Embodiment 1 of this invention. 本発明の実施の形態1によるカラー補正前のスルー画とカラー補正後のスルー画とを示す図である。It is a figure which shows the through image before color correction by the Embodiment 1 of this invention, and the through image after color correction. 本発明の実施の形態1の変形例1−1による疑似カラーライブビューモード時の概略動作を示すフローチャートである。It is a flowchart which shows schematic operation | movement at the time of pseudo | simulation color live view mode by the modification 1-1 of Embodiment 1 of this invention. 本発明の実施の形態1の変形例1−2による疑似カラーライブビューモード時の概略動作を示すフローチャートである。It is a flowchart which shows schematic operation | movement at the time of pseudo | simulation color live view mode by the modification 1-2 of Embodiment 1 of this invention. 本発明の実施の形態2による撮影装置のカメラ撮影モード時の概略動作を示すフローチャートである。It is a flowchart which shows schematic operation | movement at the time of camera imaging | photography mode of the imaging device by Embodiment 2 of this invention.

1 撮影装置
101 レンズ
102 撮像素子
103 アクチュエータ駆動回路
104 アクチュエータ
105 撮像回路
106 フラッシュ
107 EEPROM
108 手ブレ補正用ジャイロセンサ
110、120 CPU
110A システムコントロール部
111 カメラ撮影画角判定機能
112 フラッシュ制御機能
113 時計機能
121 画像認識機能
122 画像圧縮伸長機能
123 色情報解析・再現機能
124 被写体識別機能
125 記録媒体アクセス機能
126 撮影感度判定機能
130 内部バス
131 A/D変換回路
132 FIFOメモリ
133 フレームメモリ
134 記録バッファ
135 記録媒体インタフェース
136 記録媒体
141 TFT液晶駆動回路
142 ビデオ出力回路
143 バックライトユニット
144 TFT液晶パネル
145 ビデオ出力端子
150 キーマトリクス
151 ファーストレリーズ
152 セカンドレリーズ
153 ズームボタン
161 LCD表示回路
162 LCDパネル
163 外部有線データI/F
171 電池
172 バックアップ電源
173 電源回路
174 電池状態検出回路
201 外部画像表示装置
BK0、BK1、BK2 背景
IM0 画像
IM1 カラー補正前のスルー画
IM2 カラー補正後のスルー画
OB0、OB1、OB2 被写体
DESCRIPTION OF SYMBOLS 1 Image pick-up apparatus 101 Lens 102 Image pick-up element 103 Actuator drive circuit 104 Actuator 105 Image pickup circuit 106 Flash 107 EEPROM
108 Camera shake correction gyro sensor 110, 120 CPU
110A System control unit 111 Camera shooting angle of view determination function 112 Flash control function 113 Clock function 121 Image recognition function 122 Image compression / decompression function 123 Color information analysis / reproduction function 124 Subject identification function 125 Recording medium access function 126 Shooting sensitivity determination function 130 Internal Bus 131 A / D conversion circuit 132 FIFO memory 133 Frame memory 134 Recording buffer 135 Recording medium interface 136 Recording medium 141 TFT liquid crystal driving circuit 142 Video output circuit 143 Backlight unit 144 TFT liquid crystal panel 145 Video output terminal 150 Key matrix 151 First release 152 Second Release 153 Zoom Button 161 LCD Display Circuit 162 LCD Panel 163 External Wired Data I / F
171 Battery 172 Backup power supply 173 Power supply circuit 174 Battery state detection circuit 201 External image display device BK0, BK1, BK2 Background IM0 Image IM1 Through image before color correction IM2 Through image after color correction OB0, OB1, OB2 Subject

Claims (17)

撮像範囲中の被写体の光学像から画像データを生成する撮像部と、前記被写体を照明する照明部と、前記撮像部で生成された前記被写体の画像データを再生する電子ファインダと、を備えた撮影装置であって、
前記照明部によって照明された前記被写体の光学像から前記撮像部が生成した第1画像データに含まれる第1色情報を解析する色情報解析部と、
前記照明部が駆動されていない際に前記撮像部が前記被写体の光学像から生成した第2画像データの第2色情報を前記第1色情報で補正する色情報補正部と、
前記第1画像データおよび前記第2画像データに含まれる被写体を識別する被写体識別部と、
を備え、
前記色情報解析部は、前記被写体識別部によって識別された前記第1画像データ中の前記被写体ごとに前記第1色情報を解析し、
前記色情報補正部は、前記被写体識別部によって識別された前記第2画像データ中の前記被写体ごとに前記第2色情報を前記第1色情報で補正し、
前記電子ファインダは、前記第2色情報が補正された前記第2画像データを再生することを特徴とする撮影装置。
An imaging unit including an imaging unit that generates image data from an optical image of a subject in an imaging range, an illumination unit that illuminates the subject, and an electronic viewfinder that reproduces the image data of the subject generated by the imaging unit A device,
A color information analysis unit that analyzes first color information included in first image data generated by the imaging unit from an optical image of the subject illuminated by the illumination unit;
A color information correction unit that corrects second color information of second image data generated by the imaging unit from the optical image of the subject when the illumination unit is not driven with the first color information;
A subject identifying unit for identifying a subject included in the first image data and the second image data;
With
The color information analysis unit analyzes the first color information for each subject in the first image data identified by the subject identification unit,
The color information correction unit corrects the second color information with the first color information for each subject in the second image data identified by the subject identification unit,
The electronic finder reproduces the second image data in which the second color information is corrected.
前記電子ファインダに前記被写体の映像を表示するカメラ撮影モードのオン/オフを管理するカメラ撮影モード管理部を備え、
前記照明部および前記撮像部は、前記カメラ撮影モード管理部が前記カメラ撮影モードをオンにした際、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴とする請求項1に記載の撮影装置。
A camera shooting mode management unit for managing on / off of a camera shooting mode for displaying the image of the subject on the electronic viewfinder;
The illuminating unit and the image capturing unit are configured to display the first image data from an optical image of the illuminated subject while illuminating the subject at least once when the camera photographing mode management unit turns on the camera photographing mode. The imaging apparatus according to claim 1 , wherein:
前記撮像部の向きの変化を検出する姿勢検出部を備え、
前記照明部および前記撮像部は、前記姿勢検出部が前記撮像部の向きの変化を検出した場合、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴とする請求項1または2に記載の撮影装置。
A posture detection unit that detects a change in the orientation of the imaging unit;
The illumination unit and the imaging unit, when the posture detection unit detects a change in the orientation of the imaging unit, the first image data from an optical image of the illuminated subject while illuminating the subject at least once. The imaging device according to claim 1 , wherein the imaging device generates the image.
前記撮像部に入射する光学像のズーム倍率を変更可能な光学系を備え、
前記光学系は、前記撮像部が前記第1画像データを生成する際、前記ズーム倍率をワイド端に設定することを特徴とする請求項1〜3のいずれか一つに記載の撮影装置。
An optical system capable of changing a zoom magnification of an optical image incident on the imaging unit;
Wherein the optical system, when the imaging unit generates the first image data, imaging apparatus according to any one of claims 1 to 3, characterized in that to set the zoom factor to the wide end.
前記撮像部に入射する光学像の画角を変更可能な光学系を備え、
前記照明部および前記撮像部は、前記光学系の前記画角が変更された場合、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴とする請求項1〜4のいずれか一つに記載の撮影装置。
An optical system capable of changing the angle of view of an optical image incident on the imaging unit;
The illumination unit and the imaging unit generate the first image data from the optical image of the illuminated subject while illuminating the subject at least once when the angle of view of the optical system is changed. The imaging device according to any one of claims 1 to 4 , wherein:
前記撮像部に入射する光を集光する光学系と、
前記光学系の焦点を前記被写体に自動的に調整するオートフォーカス部と、
前記オートフォーカス部のオン/オフを切り替える切替部と、
を備え、
前記照明部および前記撮像部は、前記オートフォーカス部がオンに切り替えられた場合、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴とする請求項1〜5のいずれか一つに記載の撮影装置。
An optical system for collecting light incident on the imaging unit;
An autofocus unit that automatically adjusts the focus of the optical system to the subject;
A switching unit for switching on / off of the autofocus unit;
With
The illumination unit and the imaging unit generate the first image data from an optical image of the illuminated subject while illuminating the subject at least once when the autofocus unit is switched on. The imaging device according to any one of claims 1 to 5 , wherein
前記第2画像データ中の被写体が変化したか否かを判定する変化判定部を備え、
前記照明部および前記撮像部は、前記第2画像データ中の被写体が変化したと前記変化判定部が判定した場合、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴とする請求項1〜6のいずれか一つに記載の撮影装置。
A change determination unit for determining whether or not the subject in the second image data has changed,
When the change determination unit determines that the subject in the second image data has changed, the illuminating unit and the imaging unit are configured to illuminate the subject from the optical image of the illuminated subject at least once. The imaging apparatus according to claim 1 , wherein the first image data is generated.
前記照明部を駆動するフラッシュモードのオン/オフを管理するフラッシュモード管理部を備え、
前記照明部および前記撮像部は、前記フラッシュモード管理部が前記フラッシュモードをオンにしている場合、前記第1画像データを生成することを特徴とする請求項1〜7のいずれか一つに記載の撮影装置。
A flash mode management unit for managing on / off of a flash mode for driving the illumination unit;
The said illumination part and the said imaging part produce | generate the said 1st image data, when the said flash mode management part has turned on the said flash mode, The said 1st image data are produced | generated. Shooting device.
撮像部と照明部と電子ファインダとを備えた撮影装置の前記電子ファインダに前記撮像部の撮像範囲に含まれる被写体の映像を表示するライブビュー表示方法であって、
前記照明部を駆動しつつ前記撮像部を駆動することで照明された前記被写体の光学像から第1画像データを生成する第1撮像ステップと、
前記第1画像データに含まれる第1色情報を解析する色情報解析ステップと、
前記照明部が駆動されていない際に前記撮像部を駆動することで前記被写体の光学像から第2画像データを生成する第2撮像ステップと、
前記第2画像データの第2色情報を前記第1色情報で補正する色情報補正ステップと、
前記第2色情報が補正された前記第2画像データを前記電子ファインダに再生する再生ステップと、
を含むことを特徴とするライブビュー表示方法。
A live view display method for displaying an image of a subject included in an imaging range of the imaging unit on the electronic viewfinder of an imaging apparatus including an imaging unit, an illumination unit, and an electronic viewfinder,
A first imaging step of generating first image data from an optical image of the subject illuminated by driving the imaging unit while driving the illumination unit;
A color information analyzing step of analyzing first color information included in the first image data;
A second imaging step of generating second image data from the optical image of the subject by driving the imaging unit when the illumination unit is not driven;
A color information correction step of correcting second color information of the second image data with the first color information;
A reproduction step of reproducing the second image data in which the second color information is corrected on the electronic viewfinder;
A live view display method characterized by comprising:
前記第1画像データおよび前記第2画像データに含まれる被写体を識別する被写体識別ステップを含み、
前記色情報解析ステップは、前記被写体識別ステップにおいて識別された前記第1画像データ中の前記被写体ごとに前記第1色情報を解析し、
前記色情報補正ステップは、前記被写体識別ステップにおいて識別された前記第2画像データ中の前記被写体ごとに前記第2色情報を前記第1色情報で補正することを特徴とする請求項9に記載のライブビュー表示方法。
A subject identifying step for identifying a subject included in the first image data and the second image data;
The color information analysis step analyzes the first color information for each subject in the first image data identified in the subject identification step,
The color information correction step, according to claim 9, characterized in that correcting the second color information for each of the subject of the second in the image data that has been identified in the subject identification step by the first color information Live view display method.
前記電子ファインダに前記被写体の映像を表示するカメラ撮影モードのオン/オフを切り替えるカメラ撮影モード管理ステップを含み、
前記第1撮像ステップは、前記カメラ撮影モード管理ステップにおいて前記カメラ撮影モードがオンに切り替えられた際、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴とする請求項9または10に記載のライブビュー表示方法。
Including a camera shooting mode management step for switching on / off a camera shooting mode for displaying the subject image on the electronic viewfinder,
In the first imaging step, when the camera shooting mode is switched on in the camera shooting mode management step, the first image data is obtained from an optical image of the illuminated subject while illuminating the subject at least once. The live view display method according to claim 9, wherein the live view display method is generated.
前記撮像部の向きの変化を検出する姿勢検出ステップを含み、
前記第1撮像ステップは、前記姿勢検出ステップにおいて前記撮像部の向きの変化が検出された場合、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴とする請求項9〜11のいずれか一つに記載のライブビュー表示方法。
A posture detecting step for detecting a change in the orientation of the imaging unit;
In the first imaging step, when a change in the orientation of the imaging unit is detected in the posture detection step, the first image data is obtained from an optical image of the illuminated subject while illuminating the subject at least once. It produces | generates, The live view display method as described in any one of Claims 9-11 characterized by the above-mentioned.
前記撮影装置は、前記撮像部に入射する光学像のズーム倍率を変更可能な光学系を備え、
前記第1撮像ステップは、前記第1画像データを生成する際、前記ズーム倍率をワイド端に設定することを特徴とする請求項9〜12のいずれか一つに記載のライブビュー表示方法。
The photographing apparatus includes an optical system capable of changing a zoom magnification of an optical image incident on the imaging unit,
The live view display method according to claim 9 , wherein the first imaging step sets the zoom magnification to a wide end when generating the first image data.
前記撮影装置は、前記撮像部に入射する光学像の画角を変更可能な光学系を備え、
前記第1撮像ステップは、前記光学系の前記画角が変更された場合、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴とする請求項9〜13のいずれか一つに記載のライブビュー表示方法。
The photographing apparatus includes an optical system capable of changing a field angle of an optical image incident on the imaging unit,
In the first imaging step, when the angle of view of the optical system is changed, the first image data is generated from an optical image of the illuminated subject while illuminating the subject at least once. The live view display method according to any one of claims 9 to 13 .
前記撮影装置は、前記撮像部に入射する光を集光する光学系と、前記光学系の焦点を前記被写体に自動的に調整するオートフォーカス部と、前記オートフォーカス部のオン/オフを切り替える切替部と、を備え、
前記第1撮像ステップは、前記オートフォーカス部がオンに切り替えられた場合、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴とする請求項9〜14のいずれか一つに記載のライブビュー表示方法。
The imaging apparatus includes an optical system that collects light incident on the imaging unit, an autofocus unit that automatically adjusts the focus of the optical system to the subject, and a switch that switches on / off of the autofocus unit. And comprising
In the first imaging step, the first image data is generated from an optical image of the illuminated subject while illuminating the subject at least once when the autofocus unit is switched on. The live view display method according to any one of claims 9 to 14 .
前記第2画像データ中の被写体が変化したか否かを判定する変化判定ステップを含み、
前記第1撮像ステップは、前記変化判定ステップにおいて前記第2画像データ中の被写体が変化したと判定された場合、少なくとも1回、前記被写体を照明しつつ該照明された被写体の光学像から前記第1画像データを生成することを特徴とする請求項9〜15のいずれか一つに記載のライブビュー表示方法。
A change determination step for determining whether or not the subject in the second image data has changed,
In the first imaging step, when it is determined in the change determination step that the subject in the second image data has changed, the first imaging step is performed from the optical image of the illuminated subject while illuminating the subject at least once. The live view display method according to any one of claims 9 to 15 , wherein one image data is generated.
前記照明部を駆動するフラッシュモードのオン/オフを管理するフラッシュモード管理ステップを含み、
前記第1撮像ステップは、前記フラッシュモード管理ステップにおいて前記フラッシュモードがオンに管理されている場合、前記第1画像データを生成することを特徴とする請求項9〜16のいずれか一つに記載のライブビュー表示方法。
A flash mode management step for managing on / off of a flash mode for driving the illumination unit;
The first imaging step, the case where the flash mode in the flash mode management step is managed on, according to any one of claims 9 to 16, characterized in that to generate the first image data Live view display method.
JP2009072235A 2009-03-24 2009-03-24 Imaging device and live view display method Expired - Fee Related JP5220666B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009072235A JP5220666B2 (en) 2009-03-24 2009-03-24 Imaging device and live view display method
CN2010101136602A CN101848335B (en) 2009-03-24 2010-02-05 Imaging apparatus and real-time view-finding display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009072235A JP5220666B2 (en) 2009-03-24 2009-03-24 Imaging device and live view display method

Publications (2)

Publication Number Publication Date
JP2010226482A JP2010226482A (en) 2010-10-07
JP5220666B2 true JP5220666B2 (en) 2013-06-26

Family

ID=42772776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009072235A Expired - Fee Related JP5220666B2 (en) 2009-03-24 2009-03-24 Imaging device and live view display method

Country Status (2)

Country Link
JP (1) JP5220666B2 (en)
CN (1) CN101848335B (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014175234A1 (en) * 2013-04-26 2014-10-30 富士フイルム株式会社 Image capture device and image display method
KR102204596B1 (en) * 2017-06-02 2021-01-19 삼성전자주식회사 Processor, image processing device comprising the same, and method for image processing
EP3922967A4 (en) * 2019-02-05 2022-05-11 Toppan Printing Co., Ltd. Color conversion information generation method, color conversion information generation system, and program
KR102017826B1 (en) * 2019-02-22 2019-09-03 (주) 세종보안시스템 Monitoring camera for providing night color image of high quality
US11417079B2 (en) 2020-07-14 2022-08-16 International Business Machines Corporation Viewfinder assistant for visually impaired

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296720A (en) * 2002-04-02 2003-10-17 Nikon Corp Image processor and image processing method
JP2005223898A (en) * 2004-01-09 2005-08-18 Sony Corp Image processing method and imaging apparatus
JP5261922B2 (en) * 2006-11-24 2013-08-14 株式会社ニコン Image processing method, image processing program, and digital camera
JP5040600B2 (en) * 2007-11-09 2012-10-03 カシオ計算機株式会社 IMAGING DEVICE, IMAGING DEVICE CONTROL PROGRAM, AND IMAGING DEVICE CONTROL METHOD
JP2009284078A (en) * 2008-05-20 2009-12-03 Olympus Imaging Corp Camera system and image generating method thereof

Also Published As

Publication number Publication date
JP2010226482A (en) 2010-10-07
CN101848335B (en) 2012-06-06
CN101848335A (en) 2010-09-29

Similar Documents

Publication Publication Date Title
JP5173453B2 (en) Imaging device and display control method of imaging device
JP5363157B2 (en) Imaging device and live view display method
JP5383356B2 (en) IMAGING DEVICE, INFORMATION PROCESSING DEVICE, IMAGING DEVICE CONTROL METHOD, INFORMATION PROCESSING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM
JP2006197243A (en) Imaging apparatus and method, program, and storage medium
JP2012222495A (en) Image processor, image processing method, and program
JP5220666B2 (en) Imaging device and live view display method
KR101690261B1 (en) Digital image processing apparatus and controlling method thereof
JP5094665B2 (en) Imaging apparatus, control method thereof, and program
JP2010226495A (en) Photographing device
KR101613619B1 (en) A digital photographing apparatus, a method for controlling the same, and a computer-readable medium
JP5350850B2 (en) Imaging apparatus, imaging method, and program
JP2010226497A (en) Photographing device, and method of displaying live view
JP2008227925A (en) Photographing apparatus and lighting control method for back light
JP4948011B2 (en) Imaging apparatus, control method therefor, computer program, and storage medium
JP2007173985A (en) Imaging apparatus, imaging method, program, and storage medium
JP4401974B2 (en) Imaging apparatus and control method thereof
JP2009049639A (en) Image pick-up device
JP6611566B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
JP4801013B2 (en) Imaging device
JP5828722B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP5137343B2 (en) Imaging apparatus and imaging method
JP2012039178A (en) Imaging apparatus, exposure control method and program
JP5178438B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
JP5164775B2 (en) Imaging apparatus, control method thereof, and program
JP2009296143A (en) Imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130306

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5220666

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees