JP5092961B2 - Imaging apparatus, imaging method, and program - Google Patents

Imaging apparatus, imaging method, and program Download PDF

Info

Publication number
JP5092961B2
JP5092961B2 JP2008187327A JP2008187327A JP5092961B2 JP 5092961 B2 JP5092961 B2 JP 5092961B2 JP 2008187327 A JP2008187327 A JP 2008187327A JP 2008187327 A JP2008187327 A JP 2008187327A JP 5092961 B2 JP5092961 B2 JP 5092961B2
Authority
JP
Japan
Prior art keywords
range
imaging
image
unit
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008187327A
Other languages
Japanese (ja)
Other versions
JP2010028446A5 (en
JP2010028446A (en
Inventor
敬輔 島田
大聖 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2008187327A priority Critical patent/JP5092961B2/en
Publication of JP2010028446A publication Critical patent/JP2010028446A/en
Publication of JP2010028446A5 publication Critical patent/JP2010028446A5/ja
Application granted granted Critical
Publication of JP5092961B2 publication Critical patent/JP5092961B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、撮像装置、撮像方法及びプログラムに関する。   The present invention relates to an imaging apparatus, an imaging method, and a program.

セルフ撮影を行なう際に、被写体側で自ら予め定められているジェスチャーを行なうことによって、撮影のタイミングのみならず、カメラのパン、チルト、ズームなどの動作を指示する技術が考えられている。(例えば、特許文献1)
特開2005−051472号公報
When performing self-photographing, a technique for instructing not only the timing of photographing but also operations such as panning, tilting, and zooming of the camera by performing a predetermined gesture on the subject side has been considered. (For example, Patent Document 1)
JP-A-2005-051472

上記特許文献では、被写体側で撮影範囲を正確に把握することは困難であるため、カメラが撮影している画像を表示する表示画面を有する画像表示装置をカメラとは別に用意している。しかしながら、適正な指示を行なうには、この画像表示装置に表示されている撮影範囲を確認した上で、カメラ本体に対して撮影範囲を再度指示する、という動作をしなければならず、所望の撮影範囲とするには手間がかかった。   In the above-mentioned patent document, since it is difficult to accurately grasp the shooting range on the subject side, an image display device having a display screen for displaying an image taken by the camera is prepared separately from the camera. However, in order to give an appropriate instruction, it is necessary to confirm the shooting range displayed on the image display device and then to instruct the camera body to set the shooting range again. It took time and effort to make the shooting range.

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、撮影装置の撮影範囲を確認せずとも、被写体側で所望する撮影範囲を指定することが可能な撮像装置、撮像方法及びプログラムを提供することにある。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an imaging device capable of specifying a desired shooting range on the subject side without checking the shooting range of the shooting device. Another object is to provide an imaging method and program.

請求項1記載の発明は、被写体像を撮影する撮像手段と、上記撮像手段で撮影される被写体像から所定の特徴を有する物体を検出する検出手段と、上記検出手段で検出した所定の特徴を有する物体が所定時間静止しているかを判断する静止判断手段と、上記静止判断手段で静止と判断された上記所定の特徴を有する物体の当該画像中での位置に基づいて当該画像中の一部範囲を指定する範囲指定手段と、上記範囲指定手段で当該画像中の一部範囲が指定された場合に、当該一部範囲が決定したことを報知する報知手段と、上記報知手段による報知後に自動で、上記範囲指定手段で指定された当該一部範囲を撮影して記録するよう制御する撮影制御手段とを具備することを特徴とする。 According to the first aspect of the present invention, there is provided imaging means for photographing a subject image, detection means for detecting an object having a predetermined characteristic from the subject image photographed by the imaging means, and the predetermined feature detected by the detection means. A stationary determination unit that determines whether the object has been stationary for a predetermined time, and a part of the image based on a position in the image of the object having the predetermined characteristic that is determined to be stationary by the stationary determination unit A range specifying means for specifying a range, a notification means for notifying that the partial range has been determined when a partial range in the image is specified by the range specifying means, and an automatic operation after the notification by the notification means. And a photographing control means for controlling to photograph and record the partial range designated by the range designation means.

請求項3記載の発明は、上記請求項1または2記載の発明において、上記範囲指定手段は、上記検出した所定の特徴を有する物体の当該被写体像での位置を、上記一部範囲とそれ以外の範囲との境界上の1点として指定することを特徴とする。 According to a third aspect of the present invention, in the first or second aspect of the invention, the range designating unit determines the position of the detected object having the predetermined characteristic in the subject image and the partial range and the others. It is specified as one point on the boundary with the range.

請求項4記載の発明は、上記請求項1または2記載の発明において、上記範囲指定手段は、上記検出した所定の特徴を有する物体の当該被写体像での位置を、上記一部範囲の中心として指定することを特徴とする。 According to a fourth aspect of the present invention, in the first or second aspect of the invention, the range specifying means uses the detected position of the object having the predetermined characteristic in the subject image as the center of the partial range. It is characterized by specifying.

請求項5記載の発明は、上記請求項1または2記載の発明において、上記検出手段は、上記撮像手段での撮影により得る被写体像から所定の特徴を有する物体を複数検出し、上記範囲指定手段は、当該被写体像での上記複数検出した所定の特徴を有する物体の夫々の位置に基づいて上記一部範囲を指定することを特徴とする。 According to a fifth aspect of the present invention, in the first or second aspect of the invention, the detecting means detects a plurality of objects having predetermined characteristics from a subject image obtained by photographing with the imaging means, and the range specifying means Is characterized in that the partial range is specified based on the positions of the plurality of detected objects having the predetermined characteristics in the subject image.

請求項6記載の発明は、上記請求項5記載の発明において、上記一部の範囲は矩形であり、上記範囲指定手段は、当該被写体像での上記複数検出した所定の特徴を有する物体の夫々の位置を、上記矩形を形成する頂点として指定することを特徴とする。 According to a sixth aspect of the present invention, in the fifth aspect of the present invention, the partial range is a rectangle, and the range specifying means is configured to each of the objects having the plurality of predetermined features detected in the subject image. Is designated as a vertex forming the rectangle.

請求項7記載の発明は、上記請求項5記載の発明において、上記一部の範囲は矩形であり、上記範囲指定手段は、当該被写体像での上記複数検出した所定の特徴を有する物体の夫々の位置を、上記矩形を形成する辺上の1点として指定することを特徴とする。 According to a seventh aspect of the present invention, in the fifth aspect of the present invention, the partial range is a rectangle, and the range designating unit is configured to detect each of the objects having the plurality of predetermined features detected in the subject image. Is designated as one point on the side forming the rectangle.

請求項8記載の発明は、上記請求項1乃至7の何れかに記載の発明において、上記検出手段は、上記撮像手段で撮影される被写体像から、上記所定の特徴を有する物体として所定の形状をした人の手を検出することを特徴とする。 According to an eighth aspect of the present invention, in the invention according to any one of the first to seventh aspects, the detection unit has a predetermined shape as an object having the predetermined characteristic from a subject image photographed by the imaging unit. It is characterized by detecting the hand of a person who has performed.

請求項9記載の発明は、上記請求項1乃至8の何れかに記載の発明において、上記撮影制御手段は、上記範囲指定手段で指定された一部範囲が撮影範囲に含まれるように上記撮像手段を制御することを特徴とする。 According to a ninth aspect of the present invention, in the invention according to any one of the first to eighth aspects, the imaging control unit is configured to capture the imaging range so that a partial range specified by the range specifying unit is included in the imaging range. The means is controlled.

請求項10記載の発明は、上記請求項9記載の発明において、上記撮像手段での撮像により得る画像の撮影範囲を変更する光学ズーム手段をさらに具備し、上記撮影制御手段は、撮影に先立ち上記範囲指定手段で指定された一部範囲を拡大するように上記光学ズーム手段を制御することを特徴とする。 The invention described in claim 10 further comprises optical zoom means for changing a shooting range of an image obtained by imaging by the imaging means in the invention described in claim 9, wherein the shooting control means is configured to perform the shooting prior to shooting. The optical zoom unit is controlled to enlarge a partial range designated by the range designation unit.

請求項11記載の発明は、上記請求項10記載の発明において、上記撮影制御手段での撮影により得た画像に基づき、上記撮像手段での撮像により得る画像をトリミングして上記一部範囲の画像を記録させる記録手段をさらに具備したことを特徴とする。 According to an eleventh aspect of the present invention, in the tenth aspect of the present invention, the image of the partial range is obtained by trimming an image obtained by imaging with the imaging means based on an image obtained by imaging with the imaging control means. It further comprises recording means for recording

請求項12記載の発明は、上記請求項11記載の発明において、上記記録手段は、トリミングした上記一部範囲の画像を所定の倍率まで拡大して記録させることを特徴とする。 According to a twelfth aspect of the invention, in the invention according to the eleventh aspect , the recording means records the trimmed image of the partial range up to a predetermined magnification.

請求項13記載の発明は、上記請求項1乃至12の何れかに記載の発明において、上記撮像手段が撮像する方向を移動させる移動手段をさらに具備し、上記撮影制御手段は、上記範囲指定手段で指定された一部範囲が、上記撮像手段が撮像する方向の中心となるように上記移動手段を制御することを特徴とする。 A thirteenth aspect of the present invention is the information processing apparatus according to any one of the first to twelfth aspects of the present invention, further comprising a moving unit that moves a direction in which the imaging unit captures an image. The photographing control unit includes the range specifying unit. The moving means is controlled so that the partial range specified in (2) is the center of the image capturing direction of the image capturing means.

請求項14記載の発明は、上記請求項1乃至13の何れかに記載の発明において、上記撮影制御手段は、上記範囲指定手段で指定した一部範囲に含まれる被写体像に応じて合焦動作、及び露出調整動作の少なくとも一方を制御することを特徴とする。   According to a fourteenth aspect of the present invention, in the invention according to any one of the first to thirteenth aspects, the photographing control means performs a focusing operation according to a subject image included in a partial range designated by the range designation means. , And controlling at least one of the exposure adjustment operations.

請求項15記載の発明は、撮像部で撮影される被写体像から所定の特徴を有する物体を検出する検出ステップと、上記検出手段で検出した所定の特徴を有する物体が所定時間静止しているかを判断する静止判断ステップと、上記静止判断ステップで静止と判断された上記所定の特徴を有する物体の当該画像中での位置に基づいて当該画像中の一部範囲を指定する範囲指定ステップと、上記範囲指定ステップで当該画像中の一部範囲が指定された場合に、当該一部範囲が決定したことを報知する報知ステップと、上記報知ステップによる報知後に自動で、上記範囲指定ステップにて指定された当該一部範囲を撮影して記録するよう制御する撮影制御ステップとを含むことを特徴とする撮像方法。 According to a fifteenth aspect of the present invention, there is provided a detection step of detecting an object having a predetermined characteristic from a subject image photographed by the imaging unit, and whether the object having the predetermined characteristic detected by the detection means is stationary for a predetermined time. A stillness determining step for determining; a range specifying step for specifying a partial range in the image based on a position in the image of the object having the predetermined characteristic determined to be stationary in the stillness determining step; When a partial range in the image is specified in the range specifying step, a notification step for notifying that the partial range has been determined, and automatically specified after the notification in the notification step is specified in the range specifying step. And an imaging control step for controlling to capture and record the partial range.

請求項16記載の発明は、写体像を撮影する撮像部を備えた装置が内蔵したコンピュータを、上記撮像部で撮影される被写体像から所定の特徴を有する物体を検出する検出手段、上記検出手段で検出した所定の特徴を有する物体が所定時間静止しているかを判断する静止判断手段、上記静止判断手段で静止と判断された上記所定の特徴を有する物体の当該画像中での位置に基づいて当該画像中の一部範囲を指定する範囲指定手段、上記範囲指定手段で当該画像中の一部範囲が指定された場合に、当該一部範囲が決定したことを報知する報知手段、上記報知手段による報知後に自動で、上記範囲指定手段によって指定された当該一部範囲を撮影して記録するよう制御する撮影制御手段として機能させることを特徴とする。 According to a sixteenth aspect of the present invention, there is provided a detection unit for detecting an object having a predetermined characteristic from a subject image photographed by the imaging unit, the computer having an apparatus having an imaging unit for photographing a body image, the detection A stationary judgment means for judging whether the object having the predetermined feature detected by the means is stationary for a predetermined time, based on a position in the image of the object having the predetermined feature judged to be stationary by the stationary judgment means A range specifying means for specifying a partial range in the image, a notification means for notifying that the partial range is determined when the partial range in the image is specified by the range specifying means, and the notification It is made to function as an imaging | photography control means which controls to image | photograph and record the said partial range designated by the said range designation | designated means automatically after alert | reporting by the means.

本発明によれば、撮像装置の撮影範囲を確認せずとも、被写体側で所望する撮影範囲をより確実に指定することが可能となる。 According to the present invention, it is possible to more reliably specify a desired shooting range on the subject side without checking the shooting range of the imaging apparatus.

以下本発明をデジタルカメラに適用した場合の一実施形態について図面を参照して説明する。
図1は、本実施形態に係るデジタルカメラ10の回路構成を示すものである。同図で、レンズ光学系11により固体撮像素子であるCCD12の撮像面上に被写体の光像が結像される。
An embodiment in which the present invention is applied to a digital camera will be described below with reference to the drawings.
FIG. 1 shows a circuit configuration of a digital camera 10 according to the present embodiment. In the figure, a lens optical system 11 forms an optical image of a subject on the imaging surface of a CCD 12 that is a solid-state imaging device.

モニタ状態では、このCCD12での撮像により得た画像信号が画像処理部13に送られ、相関二乗サンプリングや自動ゲイン調整、A/D変換処理が実行されてデジタル化された後に画素補間処理、γ補正処理を含むカラープロセス処理が施され、その後にシステムバスSBを介してバッファメモリ14に一時的に保持される。   In the monitor state, an image signal obtained by imaging with the CCD 12 is sent to the image processing unit 13 and subjected to correlation square sampling, automatic gain adjustment, A / D conversion processing and digitized, and then pixel interpolation processing, γ Color process processing including correction processing is performed, and then temporarily stored in the buffer memory 14 via the system bus SB.

このバッファメモリ14に保持された画像データがシステムバスSBを介して画像処理部13に読出され、再びシステムバスSBを介して表示部15へ送られ、モニタ画像として表示される。   The image data held in the buffer memory 14 is read to the image processing unit 13 via the system bus SB, sent again to the display unit 15 via the system bus SB, and displayed as a monitor image.

制御部16はCPUで構成され、メインメモリ17、プログラムメモリ18と直接接続される。メインメモリ17は、SDRAM(シンクロナスDRAM)で構成され、ワークメモリとして機能する。プログラムメモリ18は、後述するセルフシャッタモード時の記録制御を含む動作プログラムや特徴情報を含む固定データ等を記憶した、電気的に書換可能な不揮発性メモリで構成される。   The control unit 16 includes a CPU and is directly connected to the main memory 17 and the program memory 18. The main memory 17 is composed of SDRAM (synchronous DRAM) and functions as a work memory. The program memory 18 includes an electrically rewritable nonvolatile memory that stores an operation program including recording control in the self-shutter mode, which will be described later, fixed data including feature information, and the like.

制御部16はプログラムメモリ18から必要なプログラムやデータ等を読出し、メインメモリ17に適宜一時的に展開記憶させながら、システムバスSBを介してこのデジタルカメラ10全体の制御動作を実行する。   The control unit 16 reads out necessary programs and data from the program memory 18 and executes the control operation of the entire digital camera 10 via the system bus SB while temporarily developing and storing the program in the main memory 17 as appropriate.

さらに上記制御部16は、キー入力部19から直接入力されるキー操作信号に対応して各種制御動作を実行するもので、システムバスSBを介して上記画像処理部13、バッファメモリ14、表示部15の他、レンズ光学系駆動部20、フラッシュ駆動部21、CCDドライバ22、メモリカードコントローラ23、音声処理部24、USBインタフェース(I/F)25、画像認識部33、及び圧縮伸長処理部34とも接続される。   Further, the control unit 16 executes various control operations in response to a key operation signal directly input from the key input unit 19, and the image processing unit 13, the buffer memory 14, and the display unit via the system bus SB. 15, lens optical system drive unit 20, flash drive unit 21, CCD driver 22, memory card controller 23, audio processing unit 24, USB interface (I / F) 25, image recognition unit 33, and compression / decompression processing unit 34. Also connected.

キー入力部19は、例えば電源キー、シャッタキー、撮影モードキー、再生モードキー、メニューキー、カーソル(「↑」「→」「↓」「←」)キー、セットキー、シーンプログラムキー等を備える。   The key input unit 19 includes, for example, a power key, a shutter key, a shooting mode key, a playback mode key, a menu key, cursor (“↑”, “→”, “↓”, “←”) keys, a set key, a scene program key, and the like. .

レンズ光学系駆動部20は、制御部16からの制御信号を受けてレンズモータ(M)26の回動を制御し、上記レンズ光学系11を構成する複数のレンズ中の一部、具体的にはフォーカスレンズ及びズームレンズの位置を夫々個別に光軸方向に沿って移動させる。   The lens optical system drive unit 20 receives a control signal from the control unit 16 to control the rotation of the lens motor (M) 26, and specifically, a part of a plurality of lenses constituting the lens optical system 11, specifically, Moves the positions of the focus lens and the zoom lens individually along the optical axis direction.

フラッシュ駆動部21は、静止画像撮影時に制御部16からの制御信号を受けて複数の白色高輝度LEDで構成されるフラッシュ部27を撮影タイミングに同期して点灯駆動する。   The flash drive unit 21 receives a control signal from the control unit 16 during still image shooting, and drives the flash unit 27 including a plurality of white high-intensity LEDs to be lit in synchronization with the shooting timing.

メモリカードコントローラ23は、カードコネクタ28を介してメモリカード29と接続される。メモリカード29は、このデジタルカメラ10に着脱自在に装着され、このデジタルカメラ10の記録媒体となる画像データ等の記録用メモリであり、内部にはブロック単位で電気的に書換え可能な不揮発性メモリであるフラッシュメモリとその駆動回路とが設けられる。   The memory card controller 23 is connected to the memory card 29 via the card connector 28. The memory card 29 is a memory for recording image data or the like that is detachably attached to the digital camera 10 and serves as a recording medium for the digital camera 10, and has a nonvolatile memory that can be electrically rewritten in units of blocks. The flash memory and its driving circuit are provided.

音声処理部24は、PCM音源等の音源回路を備え、音声の録音時にはこのデジタルカメラ10の筐体前面側に配設されたマイクロホン部30より入力される音声信号をデジタル化し、所定のデータファイル形式、例えばAAC(moving picture experts group−4 Advanced Audio Coding)形式でデータ圧縮して音声データファイルを作成し、システムバスSBを介して上記メモリカード29へ送出する。   The audio processing unit 24 includes a sound source circuit such as a PCM sound source, and digitizes an audio signal input from the microphone unit 30 disposed on the front side of the casing of the digital camera 10 when recording audio. An audio data file is created by compressing data in a format, for example, AAC (moving picture experts group-4 Advanced Audio Coding) format, and sent to the memory card 29 via the system bus SB.

一方、音声処理部24は、音声の再生時にシステムバスSBを介してメモリカード29から読出されてきた音声データファイルの圧縮を解いてアナログ化し、このデジタルカメラ10の背面側に設けられるスピーカ部31を駆動して、拡声放音させる。   On the other hand, the audio processing unit 24 uncompresses and converts the audio data file read from the memory card 29 via the system bus SB during audio reproduction into an analog signal, and a speaker unit 31 provided on the back side of the digital camera 10. To sound a loud sound.

USBインタフェース25は、USBコネクタ32を介してこのデジタルカメラ10を外部機器、例えばパーソナルコンピュータと接続する際のデータの送受を司る。   The USB interface 25 controls transmission / reception of data when the digital camera 10 is connected to an external device such as a personal computer via the USB connector 32.

画像認識部33は、制御部16からの制御信号を受けるとシステムバスSBを介してバッファメモリ14に保持される画像データに対して輪郭抽出及び特徴点の抽出を行なって、プログラムメモリ18に予め記憶される所定の経時特徴を有した物体、具体的には人間の手の特徴情報との類似度を算出することで人間の手の識別処理を実行する。   Upon receiving the control signal from the control unit 16, the image recognition unit 33 performs contour extraction and feature point extraction on the image data held in the buffer memory 14 via the system bus SB, and stores it in the program memory 18 in advance. The human hand identification process is executed by calculating the degree of similarity with the stored object having a predetermined temporal feature, specifically, the human hand feature information.

圧縮伸長処理部34は、上記キー入力部19のシャッタキー操作に伴う画像撮影時に、制御部16からの制御信号を受けると、システムバスSBを介してバッファメモリ14に保持される画像データを所定のデータファイル形式、例えばJPEG(Joint Photographic Experts Group)であればDCT(離散コサイン変換)やハフマン符号化等のデータ圧縮処理を施す。この処理によってデータ量を大幅に削減し、作成された画像データファイルはシステムバスSBを介して上記メモリカード29に記録される。   When the compression / decompression processing unit 34 receives a control signal from the control unit 16 at the time of image capturing associated with the shutter key operation of the key input unit 19, the compression / decompression processing unit 34 stores image data held in the buffer memory 14 via the system bus SB in a predetermined manner. In the case of a data file format such as JPEG (Joint Photographic Experts Group), data compression processing such as DCT (Discrete Cosine Transform) or Huffman coding is performed. The amount of data is greatly reduced by this processing, and the created image data file is recorded on the memory card 29 via the system bus SB.

また圧縮伸長処理部34は、再生モード時にメモリカード29からシステムバスSBを介して読出されてくる画像データを記録時とは逆の手順で圧縮を解く伸長処理により元のサイズの画像データを得、これをバッファメモリ14に保持させるもので、バッファメモリ14に保持された画像データにより表示部15で再生のための表示が実行される。   Further, the compression / decompression processing unit 34 obtains image data of the original size by decompression processing that decompresses image data read from the memory card 29 via the system bus SB in the playback mode in the reverse procedure of recording. This is held in the buffer memory 14, and display for reproduction is executed on the display unit 15 by the image data held in the buffer memory 14.

次に上記実施形態の動作について説明する。
なお、プログラムメモリ18は、セルフシャッタモード時の記録制御を含む動作プログラムと共に、所定の物体である人の手の外観形状の特徴情報を上述した如く予め記憶しているものとする。
Next, the operation of the above embodiment will be described.
Note that the program memory 18 preliminarily stores the feature information of the external shape of the human hand, which is a predetermined object, together with the operation program including the recording control in the self-shutter mode.

図2は、プログラムメモリ18に記憶される被撮影者の手の外観形状を例示するものである。ここでは、いずれも親指と人差し指を伸ばして「L」字状とした場合の、右手の手のひら側(図2(A))、左手の手のひら側(図2(B))、左手の手の甲側(図2(C))、及び右手の手の甲側(図2(D))の計4パターンを示している。   FIG. 2 exemplifies the appearance shape of the subject's hand stored in the program memory 18. Here, the palm side of the right hand (Fig. 2 (A)), the palm side of the left hand (Fig. 2 (B)), the back side of the left hand (when the thumb and index finger are extended to form an "L" shape) FIG. 2 (C)) and the back side of the right hand (FIG. 2 (D)) show a total of four patterns.

本実施形態では、上記した被撮影者の手の2つを組み合わせて撮影範囲を指定するもので、その組合せは図3に示すようになる。
すなわち、図3では、右手の手のひら側と左手の手のひら側(図3(A))、右手の手のひら側と左手の手の甲側(図3(B))、右手の手の甲側と左手の手のひら側(図3(C))、右手の手の甲側と左手の手の甲側(図3(D))、右手の手のひら側と左手の手のひら側(図3(E))、右手の手のひら側と左手の手の甲側(図3(F))、右手の手の甲側と左手の手のひら側(図3(G))、右手の手の甲側と左手の手の甲側(図3(H))の計8パターンの組合せを示している。
In the present embodiment, the shooting range is designated by combining two of the above-mentioned subject's hands, and the combination is as shown in FIG.
That is, in FIG. 3, the palm side of the right hand and the palm side of the left hand (FIG. 3A), the palm side of the right hand and the back side of the left hand (FIG. 3B), the back side of the right hand and the palm side of the left hand ( 3 (C)), right hand back side and left hand back side (FIG. 3 (D)), right hand palm side and left hand palm side (FIG. 3 (E)), right hand palm side and left hand back side. (FIG. 3 (F)), showing the combination of a total of 8 patterns, the back side of the right hand and the palm side of the left hand (FIG. 3 (G)), the back side of the right hand and the back side of the left hand (FIG. 3 (H)). Yes.

図3(A)〜図3(D)はいずれも、右手側が矩形の撮影範囲の(デジタルカメラ10から見て)左上の頂点の位置を、左手側が矩形の撮影範囲の(デジタルカメラ10から見て)右下の頂点の位置を夫々指定しており、これら2点を1組の対角とする矩形を撮影範囲として認識する。   In each of FIGS. 3A to 3D, the position of the top left vertex of the rectangular shooting range (viewed from the digital camera 10) on the right hand side and the rectangular shooting range (viewed from the digital camera 10) of the left hand side are shown. The position of the lower right vertex is specified, and a rectangle having these two points as a pair of diagonals is recognized as a shooting range.

同様に、図3(E)〜図3(H)はいずれも、右手側が矩形の撮影範囲の(デジタルカメラ10から見て)左下の頂点の位置を、左手側が矩形の撮影範囲の(デジタルカメラ10から見て)右上の頂点の位置を夫々指定しており、これら2点を1組の対角とする矩形を撮影範囲として認識する。   Similarly, in all of FIGS. 3E to 3H, the right-hand side is the position of the lower left vertex of the rectangular shooting range (as viewed from the digital camera 10), and the left-hand side is the rectangular shooting range (digital camera). The position of the top right vertex is designated (see 10), and a rectangle having these two points as a pair of diagonals is recognized as a shooting range.

このように本実施形態では、一対の手の形状が検出された時点でその一対の手により指定される矩形範囲を撮影範囲として撮影を実行するものである。   As described above, in the present embodiment, at the time when the shape of a pair of hands is detected, shooting is performed using the rectangular range specified by the pair of hands as the shooting range.

図4は、このデジタルカメラ10でシーンプログラム機能の1つとして用意されたセルフシャッタモードでの動作処理内容を示す。同処理内容は、制御部16がプログラムメモリ18に記憶されている動作プログラムを読出してメインメモリ17に保持させた上で実行する。この場合、デジタルカメラ10は予め三脚等に固定して載置されており、レンズ光学系11による
その当初には、所定のフレームレート、例えば30[フレーム/秒]で連続的に撮影を行ない、その撮影画像をバッファメモリ14に順次保持した上で表示部15により表示を行なう、所謂スルー画像の入力と表示の動作を開始させることで、表示部15によるモニタ表示を実行させる(ステップS101)。
FIG. 4 shows the operation processing contents in the self-shutter mode prepared as one of scene program functions in the digital camera 10. The processing contents are executed after the control unit 16 reads out the operation program stored in the program memory 18 and stores it in the main memory 17. In this case, the digital camera 10 is fixed and mounted on a tripod or the like in advance, and the lens optical system 11 is used.
Initially, a so-called through-image is obtained in which images are continuously captured at a predetermined frame rate, for example, 30 [frames / second], and the captured images are sequentially stored in the buffer memory 14 and displayed on the display unit 15. By starting the input and display operations, monitor display by the display unit 15 is executed (step S101).

このスルー画像の表示状態において、画像認識部33がプログラムメモリ18に記憶される人の手の外観形状の特徴情報を用い、バッファメモリ14に保持される画像データ中に類似度の高い特徴情報を検出することで(ステップS102)、スルー画像中から被撮影者の一対の手が検出されたか否かを判断する(ステップS103)。   In this through-image display state, the image recognition unit 33 uses the feature information of the appearance shape of the human hand stored in the program memory 18, and uses the feature information having a high similarity in the image data held in the buffer memory 14. By detecting (step S102), it is determined whether or not a pair of hands of the subject is detected from the through image (step S103).

ここで、一対の手が検出されなかった場合には、上記ステップS102の検出処理に戻る。以後、ステップS102,S103の処理を繰返し実行することで、スルー画像中から撮影範囲を指定するための一対の手の形状が検出されるのを待機する。   Here, when a pair of hands is not detected, the process returns to the detection process of step S102. Thereafter, the processing in steps S102 and S103 is repeatedly executed to wait for detection of a pair of hand shapes for designating a shooting range from the through image.

しかして、上記ステップS103で一対の手の形状が検出されたと判断した場合、次いで画像データ中でその手の形状部分が略静止しているか否かを、バッファメモリ14に記憶した前回のフレーム分の画像データ中の手の形状部分の位置と比較することで判断する(ステップS104)。   If it is determined in step S103 that the shape of the pair of hands has been detected, then whether or not the shape of the hand in the image data is substantially stationary is stored in the buffer memory 14 for the previous frame. Judgment is made by comparing with the position of the hand-shaped portion in the image data (step S104).

ここで、前回のフレームと今回のフレームとで手の形状部分の位置が異なり、略静止していないと判断した場合には、再び上記ステップS102からの処理に戻る。   Here, when it is determined that the position of the hand-shaped portion is different between the previous frame and the current frame and the frame is not substantially stationary, the process returns to step S102 again.

また、ステップS104で画像データ中の手の形状部分が略静止していると判断した場合には、次いでその時間のカウントを開始した上で(ステップS105)、そのカウント値が所定の時間、例えば0.5[秒]を経過したか否かを判断する(ステップS106)。   If it is determined in step S104 that the hand-shaped portion in the image data is substantially stationary, the time is then counted (step S105), and the count value is a predetermined time, for example, It is determined whether 0.5 [second] has elapsed (step S106).

ここで、所定の時間が結果していないと判断した場合は上記ステップS104からの静止判断に戻り、以後略静止している時間が所定のカウント値となるのを待機する。   If it is determined that the predetermined time has not been obtained, the process returns to the stationary determination from step S104 and waits until the substantially stationary time reaches a predetermined count value.

こうして手の形状部分が略静止している時間をカウントしている過程で、手の形状部分の略静止が解かれた場合、上記ステップS104でそれを判断し、上記ステップS102からの処理に戻る。   In the process of counting the time during which the hand-shaped part is substantially stationary in this way, when the substantially stationary state of the hand-shaped part is solved, it is determined in step S104, and the process returns to step S102. .

また、手の形状部分が所定時間連続して略静止した場合、上記ステップS106でそれを判断し、画像データ中の一対の手で指定される画像生成範囲を算出して決定する(ステップS107)。   If the hand-shaped portion is substantially stationary for a predetermined time, it is determined in step S106, and the image generation range designated by the pair of hands in the image data is calculated and determined (step S107). .

以下に、画像生成範囲の決定について詳述しておく。
画像生成領域がレンズ光学系11及びCCD12による撮影画像として最大となるように、ズーム倍率と切出し倍率とを決定する。
Hereinafter, determination of the image generation range will be described in detail.
The zoom magnification and the cut-out magnification are determined so that the image generation area is maximized as a photographed image by the lens optical system 11 and the CCD 12.

撮影する画像サイズの横をX、縦をYとし、画像生成範囲の対角の頂点の座標を(xmin,ymin)(xmax,ymax)、ズーム中心位置の座標を(xz,yz)、レンズ光学系11の光学ズームの最大倍率をZmaxとする。   The horizontal size of the image to be captured is X, the vertical length is Y, the coordinates of the diagonal vertices of the image generation range are (xmin, ymin) (xmax, ymax), the coordinates of the zoom center position are (xz, yz), lens optics The maximum magnification of the optical zoom of the system 11 is assumed to be Zmax.

まず、撮影画像と画像生成範囲のアスペクト比(縦横比)が一致するように、画像生成範囲の大きさを調整する。この場合、調整後の画像生成範囲の対角の頂点の座標を(x'min,y'min)(x'max,y'max)とすると、次式で計算できる。

Figure 0005092961
First, the size of the image generation range is adjusted so that the captured image and the aspect ratio (aspect ratio) of the image generation range match. In this case, if the coordinates of the diagonal vertices of the adjusted image generation range are (x′min, y′min) (x′max, y′max), the following formula can be used.
Figure 0005092961

次にズーム倍率を決定する。ここではまず、x方向とy方向における、ズーム中心と矩形領域の距離の最大値を求める。夫々の最大値をx,yとすると、
x=max(|xz−x'max|,|xz−x'min|),
y=max(|yz−y'max|,|yz−y'min|)
となり、x,yの比率とX,Yの比率とを比較して、ズーム倍率Zを以下の式から計算する。すなわち、
Y/X>y/xならば、y方向を基準にして倍率Z=Y/2y、
Y/X≦y/xならば、x方向を基準にして倍率Z=X/2x
(但し、Zmax<Zならば、Z=Zmax
(Zmax:レンズ光学系11の最大ズーム倍率)。)
とする。
Next, the zoom magnification is determined. Here, first, the maximum value of the distance between the zoom center and the rectangular area in the x and y directions is obtained. If each maximum value is x, y,
x = max (| xz−x′max |, | xz−x′min |),
y = max (| yz−y′max |, | yz−y′min |)
Then, the ratio of x and y is compared with the ratio of X and Y, and the zoom magnification Z is calculated from the following equation. That is,
If Y / X> y / x, the magnification Z = Y / 2y with reference to the y direction,
If Y / X ≦ y / x, magnification Z = X / 2x with reference to x direction
(However, if Zmax <Z, Z = Zmax
(Zmax: maximum zoom magnification of the lens optical system 11). )
And

画像生成範囲として切出す矩形領域の対角の頂点を(x"min,y"min)(x"max,y"max)、切出し倍率をZ'とすると、次式で計算できる。

Figure 0005092961
Assuming that the diagonal vertex of the rectangular area to be cut out as the image generation range is (x "min, y" min) (x "max, y" max) and the cutting magnification is Z ', the following expression can be used.
Figure 0005092961

以下、実際の撮影時に得られる画像を用いて説明する。
図5は、上記図3(A)と同様に、画像データIM中で被撮影者の一対の手の形状、具体的には右手の手のひら側の形状RHと左手の手のひら側の形状LHとを検出し、検出した手の位置から、指定されている画像生成範囲FRを算出して決定する過程を例示している。
Hereinafter, description will be made using images obtained during actual photographing.
FIG. 5 shows the shape of a pair of hands of the subject in the image data IM, specifically, the shape RH on the palm side of the right hand and the shape LH on the palm side of the left hand, as in FIG. The process of detecting and calculating and determining the designated image generation range FR from the detected hand position is illustrated.

上記のように画像形成範囲を決定すると、次いで決定した旨の通知を、例えば音声処理部24によりスピーカ部31で所定のビープ音を拡声出力することにより報知する(ステップS108)。   When the image forming range is determined as described above, a notification that the image forming range has been determined is then notified by, for example, outputting a predetermined beep sound from the speaker unit 31 by the audio processing unit 24 (step S108).

そして、この報知状態が所定時間、例えば2[秒]経過したか否かを判断し(ステップS109)、経過していなければ上記ステップS108に戻る。
こうして画像生成範囲と決定信号とを所定時間報知し、該所定時間が経過したと判断すると、次いで決定した画像生成範囲が撮影可能な最大倍率まで、レンズ光学系11中のズームレンズを光軸に沿って移動させ、光学ズーム処理を実行する(ステップS110)。
Then, it is determined whether or not this notification state has passed for a predetermined time, for example, 2 [seconds] (step S109). If not, the process returns to step S108.
In this way, the image generation range and the determination signal are notified for a predetermined time, and if it is determined that the predetermined time has elapsed, then the zoom lens in the lens optical system 11 is set to the optical axis up to the maximum magnification at which the determined image generation range can be captured. The optical zoom process is executed (step S110).

この際に、画像生成範囲が撮影可能な最大倍率が、光学ズーム処理で拡大可能な倍率よりも大きい場合には、光学ズーム処理で拡大可能な最大倍率までズーム倍率を上げるものとする。 At this time, if the maximum magnification that can be captured in the image generation range is larger than the magnification that can be enlarged by the optical zoom process, the zoom magnification is increased to the maximum magnification that can be enlarged by the optical zoom process.

図6は、上記のようにズーム倍率を上げる過程を例示している。同図では、上記図5で示した如く、画像生成範囲FRが画像の上下方向ではほぼ中央に位置するものの、左右方向では左側に寄って位置しているため、光学ズーム処理により画像生成範囲FRの左辺が撮影範囲の左辺と一致する位置までズーム倍率を上げることができる。   FIG. 6 illustrates the process of increasing the zoom magnification as described above. In FIG. 5, as shown in FIG. 5 above, the image generation range FR is positioned at the center in the vertical direction of the image, but is positioned closer to the left side in the horizontal direction. Therefore, the image generation range FR is obtained by optical zoom processing. The zoom magnification can be increased to a position where the left side of the image coincides with the left side of the shooting range.

このように画像生成範囲FRに合わせてズーム倍率を上げ、その時点で設定されている画像サイズ(構成画素数)に対して画像生成範囲FRの画像サイズ(構成画素数)を最大限に設定した状態から、さらにAF処理及びAE処理を実行する(ステップS111,S112)。   In this way, the zoom magnification is increased in accordance with the image generation range FR, and the image size (number of constituent pixels) of the image generation range FR is set to the maximum with respect to the image size (number of constituent pixels) set at that time. From the state, AF processing and AE processing are further executed (steps S111 and S112).

このとき、AF処理及びAE処理はいずれも撮影範囲全体、あるいはその時点での撮影範囲の中心位置に基づいて行なうのではなく、画像生成範囲FRに限定し、例えば画像生成範囲FRの中心位置、あるいは画像生成範囲FR中で顔認識等を行なうことができればその認識結果に基づいた位置に応じてスポットAF処理及びスポットAE処理を行なうこととしてもよい。   At this time, the AF process and the AE process are not performed based on the entire shooting range or the center position of the shooting range at that time, but limited to the image generation range FR, for example, the center position of the image generation range FR, Alternatively, if face recognition or the like can be performed in the image generation range FR, spot AF processing and spot AE processing may be performed according to the position based on the recognition result.

上記AF処理及びAE処理の実行後、画像生成範囲FRでの適正な合焦位置及び露出に基づいてあらためて撮影処理を実行する(ステップS113)。そして、バッファメモリ14に保持される、撮影により得た画像データに対して、上記画像生成範囲FRのみを切出すトリミング処理を実行する(ステップS114)。   After the AF process and the AE process are performed, a shooting process is performed again based on the proper focus position and exposure in the image generation range FR (step S113). Then, a trimming process for cutting out only the image generation range FR is executed on the image data obtained by photographing held in the buffer memory 14 (step S114).

図7は、このトリミング処理により切出した画像生成範囲FRの画像データを例示するものである。
次いで、トリミング処理により切出した画像生成範囲に対して画素加算処理による拡大処理を施して所定の画像サイズの画像データを得る(ステップS115)。
図8は、上記拡大処理により得た画像データIM'を例示するものである。こうして所定のアスペクト比、例えば縦3:横4に基づいて補正した画像生成範囲FRの画像を画像データとして取得することができる。
FIG. 7 illustrates image data of the image generation range FR cut out by this trimming process.
Next, enlargement processing by pixel addition processing is performed on the image generation range cut out by trimming processing to obtain image data of a predetermined image size (step S115).
FIG. 8 illustrates the image data IM ′ obtained by the enlargement process. In this way, an image of the image generation range FR corrected based on a predetermined aspect ratio, for example, vertical 3: horizontal 4 can be acquired as image data.

その後、拡大処理により取得した画像データをあらためて圧縮伸長処理部34でデータ圧縮してデータファイル化した上でメモリカード29に記録する(ステップS116)。以上でセルフシャッタモードでの撮影から記録に至る一連の処理を完了し、再び次の撮影に備えるべく上記ステップS101からの処理に戻る。   Thereafter, the image data obtained by the enlargement process is again compressed by the compression / decompression processing unit 34 into a data file, and then recorded in the memory card 29 (step S116). As described above, a series of processing from photographing to recording in the self-shutter mode is completed, and the processing returns to step S101 to prepare for the next photographing again.

以上詳記した如く本実施形態によれば、セルフシャッタモードでは、被撮影者自身がデジタルカメラ10のモニタ画像が表示される表示部15を視認せずとも、簡単な指示により所望する撮影範囲を指定して撮影を実行させることが可能となる。   As described in detail above, according to the present embodiment, in the self-shutter mode, the user can select a desired shooting range by a simple instruction without viewing the display unit 15 on which the monitor image of the digital camera 10 is displayed. It becomes possible to specify and execute shooting.

加えて上記実施形態では、スルー画像中から所定の特徴を有した物体、例えば手の形状を複数検出し、検出した当該画像中での複数の位置により画像中の一部範囲を示す枠を画像生成範囲FRとして指定するものとした。   In addition, in the above-described embodiment, a plurality of objects having predetermined characteristics, for example, the shape of the hand, are detected from the through image, and a frame indicating a partial range in the image is displayed based on the detected plurality of positions in the image. The generation range FR is designated.

これにより、被撮影者は必要な撮影範囲を明確に指示することができ、撮影したい対象が撮影範囲から外れてしまうことを確実に回避できる。   Thereby, the person to be photographed can clearly indicate the necessary photographing range, and it is possible to surely avoid that the target to be photographed is out of the photographing range.

特に上記実施形態の場合、画像生成範囲の矩形領域をその頂点位置で指定するものとし、例えば1組の対角の各位置を2つの手の形状により指定するようにしたので、少ない指定位置ながら、必要な画像生成範囲を把握し易い形態で指定することが可能となる。   In particular, in the case of the above embodiment, the rectangular area of the image generation range is designated by its vertex position. For example, each pair of diagonal positions is designated by the shape of two hands. Therefore, it is possible to specify a necessary image generation range in a form that makes it easy to grasp.

また、上記実施形態のように矩形領域の一組の対角を指定するのではなく、矩形領域の一辺あるいは2辺の両端を指定するものとしても良い。この場合、例えば両手によって矩形の下辺の両端を指定する場合など、対角の頂点で指定できる範囲よりも広い範囲を指定できるようになる。   Further, instead of designating a set of diagonals of a rectangular area as in the above-described embodiment, both ends of one side or two sides of the rectangular area may be designated. In this case, for example, when both ends of the lower side of the rectangle are designated by both hands, a range wider than the range that can be designated by the diagonal vertex can be designated.

さらに、上記実施形態とは異なり、画像生成範囲の矩形領域における夫々異なる辺上の1点を指定するようにしてもよい。こうすることで、指定する点位置は頂点を指定する場合に比して多く必要となるものの、必要な画像生成範囲を非常に把握し易い形態で指定することが可能となる。   Further, unlike the above embodiment, one point on each different side in the rectangular region of the image generation range may be designated. In this way, although a larger number of point positions are required than when a vertex is specified, it is possible to specify a necessary image generation range in a form that is very easy to grasp.

また、上記実施形態の如く複数の点位置を指定するのではなく、画像生成範囲を示す矩形領域と、それ以外の領域との境界上の1点のみを指定するものとしてもよく、これにより、指定に要する手間をきわめて簡略化することができる。   Further, instead of designating a plurality of point positions as in the above-described embodiment, only one point on the boundary between the rectangular area indicating the image generation range and the other area may be designated. The time and effort required for designation can be greatly simplified.

さらに、同じく1点を指定するにしても、画像生成範囲を示す矩形領域の中心位置を指定するものとしてもよく、この場合には、指定に要する手間をきわめて簡略化できることに加え、所望の被写体像を中心に据えて確実に撮影できる。   Furthermore, even if one point is designated, the center position of the rectangular area indicating the image generation range may be designated. In this case, the labor required for designation can be greatly simplified, and a desired subject can be designated. You can shoot reliably with the image at the center.

また、上記実施形態では、プログラムメモリ18に人の手の外観形状を特徴情報として登録しておき、スルー画像中から人の手の外観形状を検出することで位置指定を行なうものとしたので、被撮影者は位置指定用の特別な道具等を必要とせず、手軽に位置指定を行なうことができる。   Further, in the above embodiment, the external shape of the human hand is registered as feature information in the program memory 18, and the position designation is performed by detecting the external shape of the human hand from the through image. The subject does not need a special tool for specifying the position and can easily specify the position.

この場合、上記実施形態のように両手を同時に検出するのではなく、一方を検出してその旨を報知した後に、他方を検出する、というように時間差を設けて検出を行なうものとしてもよい。この場合、被撮影者は場所を途中で移動して広い範囲を画像生成範囲として指定することができ、より広い被写体に対処できる。   In this case, instead of detecting both hands at the same time as in the above-described embodiment, detection may be performed with a time difference, such as detecting one and notifying the other, and then detecting the other. In this case, the person to be photographed can move the place in the middle to designate a wide range as the image generation range, and can deal with a wider subject.

なお、上記実施形態では親指と人差し指を伸ばして「L」字状の手の形状を検出するようにしたが、手の形状はこれに限定されない。また、本発明は上記実施形態のような人の手を検出する場合に限らず、所定の形状をした物体や特定の色を検出するものとしてもよい。この場合、所定の物体や特定の色のついた物体をスルー画像で表示される撮影範囲内に置くことで、広い範囲を画像生成範囲として指定することができる。   In the above embodiment, the “L” -shaped hand shape is detected by extending the thumb and index finger, but the shape of the hand is not limited to this. Further, the present invention is not limited to the case of detecting a human hand as in the above-described embodiment, and may detect an object having a predetermined shape or a specific color. In this case, a wide range can be specified as the image generation range by placing a predetermined object or an object with a specific color within the shooting range displayed as a through image.

また、上記実施形態では、撮影画像と画像生成範囲のアスペクト比(縦横比)が一致するように、画像生成範囲の大きさを調整するようにしたが、調整は行なわずにトリミングによって、画像生成範囲の画像データをそのままのアスペクト比で得るようにしてもよい。   In the above embodiment, the size of the image generation range is adjusted so that the captured image and the aspect ratio (aspect ratio) of the image generation range match. However, the image generation is performed by trimming without adjustment. The image data in the range may be obtained with the same aspect ratio.

さらに、上記実施形態では画像生成範囲を指定するための手の形状が所定時間静止していると判断した時点で画像生成範囲を決定するものとしたが、判断条件として静止時間を用いるのではなく、例えば特定の音声を検出した場合や、画像生成範囲を指定する手の形状とは異なる他の形状の手を検出した場合を用いるものとしてもよい。これにより、所望するタイミングで指定している領域を画像生成範囲とすることができる。   Further, in the above embodiment, the image generation range is determined when it is determined that the shape of the hand for specifying the image generation range is stationary for a predetermined time. However, the stationary time is not used as a determination condition. For example, a case where a specific sound is detected, or a case where a hand having a shape different from the shape of the hand specifying the image generation range is detected may be used. Thereby, an area designated at a desired timing can be set as an image generation range.

また、上記実施形態では画像生成範囲を指定するための特定の手の形状を画像データ内から検出するものとしたが、手の形状を検出する前に、画像データ内から顔を検出し、顔が検出された場合に、検出した顔から所定の範囲内において画像生成範囲を指定するための特定の手の形状を検出するようにしてもよい。これにより、撮影者が自らを被写体とする、所謂「自分撮り」を行なう場合において、適正な範囲を画像生成範囲として指定することが可能となる。   In the above embodiment, a specific hand shape for designating the image generation range is detected from the image data. However, before detecting the hand shape, the face is detected from the image data, and the face is detected. May be detected, a specific hand shape for designating an image generation range within a predetermined range from the detected face may be detected. This makes it possible to specify an appropriate range as the image generation range when the photographer performs the so-called “self-portrait” with the subject as the subject.

さらに、上記実施形態では、画像生成範囲を決定した後、所定の時間だけ報知を行なうことで、結果として撮影までのカウントダウンを行なうものとした。このカウントダウンは、実施形態のように画像生成範囲を決定した後に即時開始するのではなく、さらに画像生成範囲の検出に用いた特定の対象とは異なる他の特定の対象、例えば顔、笑顔、特定の形状の手などを検出した場合に開始するものとしてもよい。   Furthermore, in the above-described embodiment, after the image generation range is determined, notification is performed only for a predetermined time, and as a result, countdown until photographing is performed. This countdown does not start immediately after the image generation range is determined as in the embodiment, but is further different from the specific target used to detect the image generation range, for example, face, smile, specific It may be started when a hand of the shape is detected.

また、上記実施形態のようなカウントダウン動作をあえて実行せずに、画像生成範囲の検出に用いた特定の対象とは異なる他の特定の対象、例えば顔、笑顔、特定の形状の手などを検出した場合、直ちに撮影に移行するものとしてもよい。この場合、セルフ撮影を行なう際に、被撮影者が所望するタイミングで撮影を実行させることができるようになる。   In addition, a specific object different from the specific object used for detecting the image generation range, such as a face, a smile, a hand with a specific shape, or the like, is detected without executing the countdown operation as in the above embodiment. In such a case, it is possible to immediately shift to shooting. In this case, when performing self-photographing, it becomes possible to perform photographing at a timing desired by the subject.

さらに、上記実施形態では、画像生成範囲の指定後に、指定した該範囲を含んだレンズ光学系11での最小の撮影画角で撮影を実行させるものとした。これにより、最終的に得られる画像データの解像度の低下を極力抑制して、撮像素子の構成画素数を有効に活用できる。   Further, in the above-described embodiment, after the image generation range is specified, shooting is performed with the minimum shooting angle of view in the lens optical system 11 including the specified range. As a result, a decrease in resolution of the finally obtained image data can be suppressed as much as possible, and the number of constituent pixels of the image sensor can be effectively utilized.

特に上記実施形態の如く、レンズ光学系11が撮影画角を無段階に可変する光学ズーム機能を有している場合には、そのズーム機能により画像生成範囲を含む最望遠側に撮影画角を可変設定することにより、撮像素子であるCCD12の構成画素数を充分に活かして、画像データの解像度の低下を最小限に止めることができる。   In particular, as in the above embodiment, when the lens optical system 11 has an optical zoom function that changes the shooting angle of view steplessly, the zoom function sets the shooting angle of view to the most telephoto side including the image generation range. By variably setting, it is possible to minimize the decrease in the resolution of the image data by making full use of the number of constituent pixels of the CCD 12 that is the image sensor.

加えて、上記実施形態では、ズーム機能実行後に画像生成範囲をトリミングするものとしたので、指定した画像生成範囲以外の不要な周辺画像をカットして、ユーザである被撮影者の撮影意図を優先したより高い解像度での画像データを取得できる。   In addition, in the above embodiment, since the image generation range is trimmed after the zoom function is executed, unnecessary peripheral images other than the designated image generation range are cut to give priority to the shooting intention of the user who is the user. It is possible to acquire image data at a higher resolution.

しかしながら、本発明はこれに限らず、ズーム処理、撮影により得た画像中からの画像生成範囲のトリミング、及びトリミング後の画像の拡大処理夫々の実行の有無を任意に設定可能として、ユーザがズーム処理、トリミング処理、及び拡大処理の夫々望む処理を選択して実行するものとしてもよい。   However, the present invention is not limited to this. The user can arbitrarily set whether or not to execute zoom processing, trimming of an image generation range from an image obtained by shooting, and enlargement processing of an image after trimming. Processing desired for processing, trimming processing, and enlargement processing may be selected and executed.

また、上記実施形態では、トリミング後の画像データを所定の倍率、例えば画像生成範囲指定前の画像サイズと同等となるように拡大した後に記録させるものとしたので、範囲を限定した撮影画像も他の画像と同様の画像サイズとなり、同等に取扱うことができるようになる。   Further, in the above embodiment, the image data after trimming is recorded after being enlarged so as to be equal to a predetermined magnification, for example, the image size before designating the image generation range. The image size is the same as that of the above image and can be handled equally.

この場合、あえてトリミング後の画像データに対する拡大処理を実行せずに記録し、再生時には必要に応じて拡大処理を行なって表示部15の画面サイズに合わせるようにしてもよい。この場合、画素補間等の拡大処理による画質の劣化を最少限に抑えることができる。   In this case, the image data after trimming may be recorded without performing the enlargement process, and may be enlarged to the screen size of the display unit 15 as necessary during reproduction. In this case, it is possible to minimize deterioration in image quality due to enlargement processing such as pixel interpolation.

なお、一度決定した画像生成範囲を記憶可能とし、後の撮影を行なう場合の撮影範囲の設定に活用するものとしてもよい。これにより、一度の画像生成範囲の設定で、複数の画像を同様の撮影範囲で撮影させることができる。   Note that the image generation range determined once may be stored, and may be used for setting the shooting range when performing subsequent shooting. As a result, a plurality of images can be shot in the same shooting range by setting the image generation range once.

また、本実施形態では説明しなかったが、デジタルカメラ10及びこのデジタルカメラ10を載置する電動雲台を統合して制御するものとし、撮影方向を任意にパン及びチルトできるものとすれば、画像生成範囲の決定後に画像生成範囲の中心が撮影光軸と一致するように撮影方向を移動させることで、上記トリミング処理を不要としてズーム機能のみにより画像生成範囲をそのまま撮影範囲として撮影を実行できる。   Although not described in the present embodiment, it is assumed that the digital camera 10 and the electric camera platform on which the digital camera 10 is placed are integrated and controlled, and the shooting direction can be arbitrarily panned and tilted. By moving the shooting direction so that the center of the image generation range coincides with the shooting optical axis after the image generation range is determined, it is possible to perform shooting using the image generation range as it is by using only the zoom function without the need for the trimming process. .

さらに上記実施形態では、画像生成範囲の決定に対する、例えば音声による報知を行なうものとしたので、被撮影者は画像生成範囲の指定が完了したことを容易に確認できる。   Furthermore, in the above-described embodiment, for example, voice notification is performed for determination of the image generation range, so that the subject can easily confirm that the designation of the image generation range has been completed.

また、上記実施形態では、撮影時に画像生成範囲を対象としたAF処理及びAE処理を実行してから撮影を実行するものとしたので、画像生成範囲をトリミングした後の合焦状態及び露出状態を適正に設定することができ、例えば画像生成範囲を外れた位置に光源がある場合などにもその影響を排除して、良好な画質の画像データを取得できる。   In the above embodiment, since the shooting is performed after the AF process and the AE process are performed on the image generation range at the time of shooting, the in-focus state and the exposure state after trimming the image generation range are set. For example, when there is a light source at a position outside the image generation range, the influence can be eliminated and image data with good image quality can be acquired.

さらに、上記実施形態では、画像生成範囲が矩形領域であったが、矩形に限らず、円形や三角形でもよく、いかなる形においても適用可能である。   Furthermore, in the above-described embodiment, the image generation range is a rectangular region. However, the image generation range is not limited to a rectangle, and may be a circle or a triangle, and can be applied in any shape.

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。   In addition, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention in the implementation stage. Further, the functions executed in the above-described embodiments may be combined as appropriate as possible. The above-described embodiment includes various stages, and various inventions can be extracted by an appropriate combination of a plurality of disclosed constituent elements. For example, even if several constituent requirements are deleted from all the constituent requirements shown in the embodiment, if an effect is obtained, a configuration from which the constituent requirements are deleted can be extracted as an invention.

本発明の一実施形態に係るデジタルカメラの機能回路の概略構成を示すブロック図。1 is a block diagram showing a schematic configuration of a functional circuit of a digital camera according to an embodiment of the present invention. 同実施形態に係るプログラムメモリに予め記憶される被撮影者の手の外観形状を例示する図。The figure which illustrates the external appearance shape of a to-be-photographed person's hand beforehand memorize | stored in the program memory which concerns on the same embodiment. 同実施形態に係る撮影範囲の指定パターンを例示する図。The figure which illustrates the designation | designated pattern of the imaging | photography range which concerns on the same embodiment. 同実施形態に係るセルフシャッタモードでの静止画像撮影の処理内容を示すフローチャート。7 is a flowchart showing the processing content of still image shooting in the self-shutter mode according to the embodiment. 同実施形態に係るセルフシャッタモードでの画像処理過程を例示する図。6 is a diagram illustrating an image processing process in a self-shutter mode according to the embodiment. FIG. 同実施形態に係るセルフシャッタモードでの画像処理過程を例示する図。6 is a diagram illustrating an image processing process in a self-shutter mode according to the embodiment. FIG. 同実施形態に係るセルフシャッタモードでの画像処理過程を例示する図。6 is a diagram illustrating an image processing process in a self-shutter mode according to the embodiment. FIG. 同実施形態に係るセルフシャッタモードでの画像処理過程を例示する図。6 is a diagram illustrating an image processing process in a self-shutter mode according to the embodiment. FIG.

符号の説明Explanation of symbols

10…デジタルカメラ、11…レンズ光学系、12…CCD、13…画像処理部、14…バッファメモリ、15…表示部、16…制御部、17…メインメモリ、18…プログラムメモリ、19…キー入力部、20…レンズ光学系駆動部、21…フラッシュ駆動部、22…CCDドライバ、23…メモリカードコントローラ、24…音声処理部、25…USBインタフェース(I/F)、26…レンズモータ、27…フラッシュ部、28…カードコネクタ、29…メモリカード、30…マイクロホン部、31…スピーカ部、32…USBコネクタ、33…画像認識部、34…圧縮伸長処理部。   DESCRIPTION OF SYMBOLS 10 ... Digital camera, 11 ... Lens optical system, 12 ... CCD, 13 ... Image processing part, 14 ... Buffer memory, 15 ... Display part, 16 ... Control part, 17 ... Main memory, 18 ... Program memory, 19 ... Key input , 20 ... lens optical system drive unit, 21 ... flash drive unit, 22 ... CCD driver, 23 ... memory card controller, 24 ... audio processing unit, 25 ... USB interface (I / F), 26 ... lens motor, 27 ... Flash unit, 28 ... card connector, 29 ... memory card, 30 ... microphone unit, 31 ... speaker unit, 32 ... USB connector, 33 ... image recognition unit, 34 ... compression / decompression processing unit.

Claims (16)

被写体像を撮影する撮像手段と、
上記撮像手段で撮影される被写体像から所定の特徴を有する物体を検出する検出手段と、
上記検出手段で検出した所定の特徴を有する物体が所定時間静止しているかを判断する静止判断手段と、
上記静止判断手段で静止と判断された上記所定の特徴を有する物体の当該画像中での位置に基づいて当該画像中の一部範囲を指定する範囲指定手段と、
上記範囲指定手段で当該画像中の一部範囲が指定された場合に、当該一部範囲が決定したことを報知する報知手段と、
上記報知手段による報知後に自動で、上記範囲指定手段で指定された当該一部範囲を撮影して記録するよう制御する撮影制御手段と
を具備することを特徴とする撮像装置。
Imaging means for capturing a subject image;
Detecting means for detecting an object having a predetermined characteristic from a subject image photographed by the imaging means;
Stationary determination means for determining whether an object having a predetermined characteristic detected by the detection means is stationary for a predetermined time;
A range designating unit for designating a partial range in the image based on a position in the image of the object having the predetermined characteristic determined to be stationary by the stationary determination unit;
An informing means for informing that the partial range is determined when the partial range in the image is designated by the range designation means;
An imaging apparatus comprising: an imaging control unit that controls to automatically capture and record the partial range specified by the range specifying unit after notification by the notification unit.
さらに、上記撮像手段により撮影された被写体像の顔を検出する顔検出手段を備え、
上記検出手段は、上記顔検出手段により検出された顔に基づく所定の範囲内で上記所定の特徴を有する物体を検出することを特徴とする請求項1記載の撮像装置。
Furthermore, a face detection means for detecting the face of the subject image taken by the imaging means is provided,
2. The imaging apparatus according to claim 1, wherein the detection unit detects an object having the predetermined characteristic within a predetermined range based on the face detected by the face detection unit.
上記範囲指定手段は、上記検出した所定の特徴を有する物体の当該被写体像での位置を、上記一部範囲とそれ以外の範囲との境界上の1点として指定することを特徴とする請求項1または2記載の撮像装置。   The range designation means designates the position of the detected object having the predetermined characteristic in the subject image as one point on the boundary between the partial range and the other range. The imaging apparatus according to 1 or 2. 上記範囲指定手段は、上記検出した所定の特徴を有する物体の当該被写体像での位置を、上記一部範囲の中心として指定することを特徴とする請求項1または2記載の撮像装置。   The imaging apparatus according to claim 1, wherein the range designating unit designates the position of the detected object having the predetermined characteristic in the subject image as the center of the partial range. 上記検出手段は、上記撮像手段での撮影により得る被写体像から所定の特徴を有する物体を複数検出し、
上記範囲指定手段は、当該被写体像での上記複数検出した所定の特徴を有する物体の夫々の位置に基づいて上記一部範囲を指定する
ことを特徴とする請求項1または2記載の撮像装置。
The detection means detects a plurality of objects having predetermined characteristics from a subject image obtained by photographing with the imaging means,
3. The imaging apparatus according to claim 1, wherein the range specifying unit specifies the partial range based on each position of the plurality of detected objects having a predetermined characteristic in the subject image.
上記一部の範囲は矩形であり、
上記範囲指定手段は、当該被写体像での上記複数検出した所定の特徴を有する物体の夫々の位置を、上記矩形を形成する頂点として指定する
ことを特徴とする請求項5記載の撮像装置。
The partial range is rectangular,
6. The imaging apparatus according to claim 5, wherein the range designating unit designates each position of the plurality of detected objects having the predetermined feature in the subject image as a vertex forming the rectangle.
上記一部の範囲は矩形であり、
上記範囲指定手段は、当該被写体像での上記複数検出した所定の特徴を有する物体の夫々の位置を、上記矩形を形成する辺上の1点として指定する
ことを特徴とする請求項5記載の撮像装置。
The partial range is rectangular,
6. The range designating unit according to claim 5, wherein each of the plurality of detected objects having the predetermined feature in the subject image is designated as one point on a side forming the rectangle. Imaging device.
上記検出手段は、上記撮像手段で撮影される被写体像から、上記所定の特徴を有する物体として所定の形状をした人の手を検出することを特徴とする請求項1乃至7の何れかに記載の撮像装置。   8. The detection unit according to claim 1, wherein the detection unit detects a human hand having a predetermined shape as an object having the predetermined characteristic from a subject image photographed by the imaging unit. Imaging device. 上記撮影制御手段は、上記範囲指定手段で指定された一部範囲が撮影範囲に含まれるように上記撮像手段を制御することを特徴とする請求項1乃至8の何れかに記載の撮像装置。   9. The imaging apparatus according to claim 1, wherein the imaging control unit controls the imaging unit so that a partial range designated by the range designation unit is included in the imaging range. 上記撮像手段での撮像により得る画像の撮影範囲を変更する光学ズーム手段をさらに具備し、
上記撮影制御手段は、撮影に先立ち上記範囲指定手段で指定された一部範囲を拡大するように上記光学ズーム手段を制御する
ことを特徴とする請求項9記載の撮像装置。
Optical zoom means for changing the imaging range of an image obtained by imaging with the imaging means,
10. The imaging apparatus according to claim 9, wherein the photographing control unit controls the optical zoom unit so as to enlarge a partial range designated by the range designation unit prior to photographing .
上記撮影制御手段での撮影により得た画像に基づき、上記撮像手段での撮像により得る画像をトリミングして上記一部範囲の画像を記録させる記録手段をさらに具備したことを特徴とする請求項10記載の撮像装置。 11. The recording apparatus according to claim 10 , further comprising: a recording unit configured to record an image of the partial range by trimming an image obtained by imaging with the imaging unit based on an image obtained by imaging with the imaging control unit. The imaging device described. 上記記録手段は、トリミングした上記一部範囲の画像を所定の倍率まで拡大して記録させることを特徴とする請求項11記載の撮像装置。 12. The imaging apparatus according to claim 11 , wherein the recording means records the trimmed image in the partial range enlarged to a predetermined magnification. 上記撮像手段が撮像する方向を移動させる移動手段をさらに具備し、
上記撮影制御手段は、上記範囲指定手段で指定された一部範囲が、上記撮像手段が撮像する方向の中心となるように上記移動手段を制御することを特徴とする請求項1乃至12の何れかに記載の撮像装置。
The apparatus further comprises moving means for moving a direction in which the imaging means captures an image,
The photographing control means ranges some specified above range specification means any of claims 1 to 12 the imaging means and controls said moving means such that the center of the direction in which the imaging imaging device crab according.
上記撮影制御手段は、上記範囲指定手段で指定した一部範囲に含まれる被写体像に応じて合焦動作、及び露出調整動作の少なくとも一方を制御する
ことを特徴とする請求項1乃至13の何れかに記載の撮像装置。
14. The photographing control unit according to claim 1, wherein the photographing control unit controls at least one of a focusing operation and an exposure adjustment operation according to a subject image included in a partial range designated by the range designation unit. An imaging apparatus according to claim 1.
撮像部で撮影される被写体像から所定の特徴を有する物体を検出する検出ステップと、
上記検出手段で検出した所定の特徴を有する物体が所定時間静止しているかを判断する静止判断ステップと、
上記静止判断ステップで静止と判断された上記所定の特徴を有する物体の当該画像中での位置に基づいて当該画像中の一部範囲を指定する範囲指定ステップと、
上記範囲指定ステップで当該画像中の一部範囲が指定された場合に、当該一部範囲が決定したことを報知する報知ステップと、
上記報知ステップによる報知後に自動で、上記範囲指定ステップにて指定された当該一部範囲を撮影して記録するよう制御する撮影制御ステップと
を含むことを特徴とする撮像方法。
A detection step of detecting an object having a predetermined feature from a subject image photographed by an imaging unit;
A stationary determination step of determining whether an object having the predetermined characteristic detected by the detection means is stationary for a predetermined time;
A range designating step of designating a partial range in the image based on a position in the image of the object having the predetermined characteristic determined to be stationary in the stillness determining step;
A notification step for notifying that the partial range is determined when the partial range in the image is specified in the range specifying step;
An imaging method comprising: an imaging control step for controlling to automatically capture and record the partial range specified in the range specifying step after notification in the notification step.
被写体像を撮影する撮像部を備えた装置が内蔵したコンピュータを、
上記撮像部で撮影される被写体像から所定の特徴を有する物体を検出する検出手段、
上記検出手段で検出した所定の特徴を有する物体が所定時間静止しているかを判断する静止判断手段、
上記静止判断手段で静止と判断された上記所定の特徴を有する物体の当該画像中での位置に基づいて当該画像中の一部範囲を指定する範囲指定手段、
上記範囲指定手段で当該画像中の一部範囲が指定された場合に、当該一部範囲が決定したことを報知する報知手段、
上記報知手段による報知後に自動で、上記範囲指定手段によって指定された当該一部範囲を撮影して記録するよう制御する撮影制御手段
として機能させることを特徴とするプログラム。
A computer with a built-in device equipped with an imaging unit that captures the subject image
Detecting means for detecting an object having a predetermined characteristic from a subject image photographed by the imaging unit;
Stationary determination means for determining whether an object having a predetermined characteristic detected by the detection means is stationary for a predetermined time;
A range designating unit for designating a partial range in the image based on a position in the image of the object having the predetermined characteristic determined to be stationary by the stationary determination unit;
Informing means for notifying that the partial range is determined when the partial range in the image is designated by the range designation means;
A program that functions as an imaging control unit that controls to capture and record the partial range designated by the range designation unit automatically after the notification by the notification unit.
JP2008187327A 2008-07-18 2008-07-18 Imaging apparatus, imaging method, and program Expired - Fee Related JP5092961B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008187327A JP5092961B2 (en) 2008-07-18 2008-07-18 Imaging apparatus, imaging method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008187327A JP5092961B2 (en) 2008-07-18 2008-07-18 Imaging apparatus, imaging method, and program

Publications (3)

Publication Number Publication Date
JP2010028446A JP2010028446A (en) 2010-02-04
JP2010028446A5 JP2010028446A5 (en) 2011-08-25
JP5092961B2 true JP5092961B2 (en) 2012-12-05

Family

ID=41733853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008187327A Expired - Fee Related JP5092961B2 (en) 2008-07-18 2008-07-18 Imaging apparatus, imaging method, and program

Country Status (1)

Country Link
JP (1) JP5092961B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6316540B2 (en) 2012-04-13 2018-04-25 三星電子株式会社Samsung Electronics Co.,Ltd. Camera device and control method thereof
KR101892267B1 (en) 2012-07-26 2018-09-28 삼성전자주식회사 Photographing apparatus, method for controlling the same, and computer-readable recoding medium
JP2013123249A (en) * 2013-01-25 2013-06-20 Casio Comput Co Ltd Imaging apparatus, imaging control method, and program
CN104735357A (en) * 2015-03-27 2015-06-24 天脉聚源(北京)教育科技有限公司 Automatic picture shooting method and device
CN111723603A (en) * 2019-03-19 2020-09-29 杭州海康威视数字技术股份有限公司 Material monitoring method, system and device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4013100B2 (en) * 1998-09-21 2007-11-28 富士フイルム株式会社 Electronic camera
JP2001028046A (en) * 1999-07-15 2001-01-30 Sharp Corp Image recognizing device
JP4344622B2 (en) * 2004-01-29 2009-10-14 富士フイルム株式会社 Digital camera

Also Published As

Publication number Publication date
JP2010028446A (en) 2010-02-04

Similar Documents

Publication Publication Date Title
US10469746B2 (en) Camera and camera control method
JP5036599B2 (en) Imaging device
JP5164327B2 (en) Imaging apparatus and program
KR102058857B1 (en) Image photographing apparatus and method for controlling the same
JP2009054130A (en) Image processor, image processing method, and digital still camera
JP5824972B2 (en) Imaging apparatus, frame rate control apparatus, imaging control method, and program
US8593545B2 (en) Imaging apparatus, imaging method, and computer-readable recording medium with switched image capturing mode
KR20130017629A (en) Apparatus and method for processing image, and computer-readable storage medium
TWI459127B (en) Image processing device, image capturing device, image synthesizing method and image processing method for generating composite image with predetermined aspect ratio
JP2010021753A (en) Image processor, image apparatus processing the same and digital still camera
JP2006025238A (en) Imaging device
US9055212B2 (en) Imaging system, image processing method, and image processing program recording medium using framing information to capture image actually intended by user
JP3971240B2 (en) Camera with advice function
JP2005175684A (en) Digital camera, and image acquisition method for digital camera
JP5092961B2 (en) Imaging apparatus, imaging method, and program
JP2008028747A (en) Imaging device and program thereof
JP5434337B2 (en) Image processing apparatus and program
JP5233727B2 (en) Electronic camera
JP5117889B2 (en) Image processing apparatus and image processing method
JP2008054031A (en) Digital camera and display control method
JP2009253925A (en) Imaging apparatus and imaging method, and imaging control program
JP2006128793A (en) Image pickup device and control method thereof
JP2013081136A (en) Image processing apparatus, and control program
JP5967422B2 (en) Imaging apparatus, imaging processing method, and program
JP2011066828A (en) Imaging device, imaging method and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110712

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120821

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120903

R150 Certificate of patent or registration of utility model

Ref document number: 5092961

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees