JP5341655B2 - Imaging apparatus and control method thereof - Google Patents

Imaging apparatus and control method thereof Download PDF

Info

Publication number
JP5341655B2
JP5341655B2 JP2009175798A JP2009175798A JP5341655B2 JP 5341655 B2 JP5341655 B2 JP 5341655B2 JP 2009175798 A JP2009175798 A JP 2009175798A JP 2009175798 A JP2009175798 A JP 2009175798A JP 5341655 B2 JP5341655 B2 JP 5341655B2
Authority
JP
Japan
Prior art keywords
imaging
image
center
angle
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009175798A
Other languages
Japanese (ja)
Other versions
JP2011030104A (en
JP2011030104A5 (en
Inventor
宏樹 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009175798A priority Critical patent/JP5341655B2/en
Publication of JP2011030104A publication Critical patent/JP2011030104A/en
Publication of JP2011030104A5 publication Critical patent/JP2011030104A5/ja
Application granted granted Critical
Publication of JP5341655B2 publication Critical patent/JP5341655B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮像装置及びその制御方法に関するものであり、特に画像の切出し位置を制御することで、光軸中心の方向とは異なる方向の撮影を可能とする撮像装置及びその制御方法に関するものである。   The present invention relates to an image pickup apparatus and a control method thereof, and more particularly to an image pickup apparatus capable of shooting in a direction different from the direction of the center of an optical axis by controlling an image cutout position and a control method thereof. is there.

デジタルカメラやデジタルビデオカメラ等の撮像装置には、撮像装置の背面にファインダ機能を兼ねた表示装置を有しているものがある。撮影者は表示装置に表示された被写体像を視認しながら撮影することで、所望の画像や映像を撮影することができる。   Some imaging devices such as digital cameras and digital video cameras have a display device having a finder function on the back of the imaging device. The photographer can photograph a desired image or video by photographing while viewing the subject image displayed on the display device.

撮影者の目の高さよりも高い位置に撮像装置を保持して撮影するハイアングル撮影や、撮影者の目の高さよりも低い位置に撮像装置を保持して撮影するローアングル撮影では、撮影者は撮像装置に設けられた表示装置の表示画面の視認性を確保できないことがある。図6の(b)は例えば、ハイアングル撮影(i)、通常撮影(ii)、ローアングル撮影(iii)時の、撮影者と撮像装置に設けられた表示装置との位置関係を示した図である。(ii)の通常撮影では、撮影者の目に対して撮像装置に設けられた表示装置が正対する状態になるが、ハイアングル撮影(i)とローアングル撮影(iii)では、撮像装置に設けられた表示装置が撮影者に対して斜めの方向に位置することになる。つまり、例えば表示装置がLCDであった場合、LCD固有の視認角度の範囲外からは表示装置の表示内容の輝度差やコントラスト比が認識しづらい。また、例えば広い視認角度を持つ広視野角の表示装置を備える場合であっても、表示装置に対して斜め方向から表示画面を見るときは、撮影の画角や構図を決定しにくい。   In high-angle shooting in which the imaging device is held at a position higher than the photographer's eye level or in low-angle shooting in which the imaging device is held in a position lower than the photographer's eye level, the photographer May not ensure the visibility of the display screen of the display device provided in the imaging device. FIG. 6B is a diagram illustrating the positional relationship between the photographer and the display device provided in the imaging device, for example, during high-angle shooting (i), normal shooting (ii), and low-angle shooting (iii). It is. In the normal shooting of (ii), the display device provided in the imaging device faces the photographer's eyes, but in the high angle shooting (i) and the low angle shooting (iii), the display device is provided in the imaging device. The displayed display device is positioned in an oblique direction with respect to the photographer. That is, for example, when the display device is an LCD, it is difficult to recognize the luminance difference or contrast ratio of the display content of the display device from outside the viewing angle range unique to the LCD. Further, for example, even when a display device with a wide viewing angle and a wide viewing angle is provided, when viewing the display screen from an oblique direction with respect to the display device, it is difficult to determine the angle of view and composition of shooting.

このようなハイアングル撮影やローアングル撮影時の、撮像装置に設けられた表示装置の視認性の問題点に対してさまざまな提案がなされている。特許文献1には、撮像装置に、撮像装置に設けられた表示装置の開閉機構を設けることにより、撮影者が表示装置の視認性を確保できるようにする技術が開示されている。また特許文献2には、撮像装置に、撮像装置に設けられた表示制御装置を回転させる機構を設け、撮像装置の傾き角度情報と位置(高さ)情報から表示装置の回転角度を制御する技術が開示されている。特許文献1及び2に開示されている撮像装置では、例えば図6の(c)に示すように、ハイアングル撮影(i)、通常撮影(ii)、ローアングル撮影(iii)時に、撮像装置に設けられた表示装置が、撮影者の目に正対するようになっている。このため、撮影者は撮像装置に設けられた表示装置の視認角度を意識することなく、正対した表示装置を確認しながら、撮影を行うことができる。   Various proposals have been made for the problem of visibility of a display device provided in an imaging apparatus during such high-angle shooting or low-angle shooting. Japanese Patent Application Laid-Open No. 2004-228561 discloses a technique that enables a photographer to ensure the visibility of a display device by providing the image pickup device with an opening / closing mechanism of a display device provided in the image pickup device. Japanese Patent Application Laid-Open No. 2004-228561 provides a technique for rotating a display control device provided in an imaging device in the imaging device, and controlling a rotation angle of the display device from tilt angle information and position (height) information of the imaging device. Is disclosed. In the imaging devices disclosed in Patent Documents 1 and 2, for example, as shown in FIG. 6C, the imaging device is used during high angle shooting (i), normal shooting (ii), and low angle shooting (iii). The provided display device faces the photographer's eyes. For this reason, the photographer can take a picture while confirming the display device facing the camera without being aware of the viewing angle of the display device provided in the imaging device.

特開2001−94845号公報JP 2001-94845 A 特開2007−180663号公報JP 2007-180663 A

しかしながら、特許文献1及び2に記載の撮像装置では、表示装置を可動とさせるために、開閉機構や回転機構等の機械的な可動機構を撮像装置に設ける必要があり、撮像装置が大型化してしまう問題がある。また、機構が増えることにより製造コストも増えてしまう問題がある。   However, in the imaging devices described in Patent Documents 1 and 2, in order to make the display device movable, it is necessary to provide a mechanical movable mechanism such as an opening / closing mechanism and a rotation mechanism in the imaging device, which increases the size of the imaging device. There is a problem. Further, there is a problem that the manufacturing cost increases due to an increase in the number of mechanisms.

本発明は、上述のような従来技術の問題点に鑑みてなされたものであり、撮像装置に機械的な可動機構を設けることなく、ハイアングル撮影時やローアングル撮影時における、表示装置の撮影者に対する視認性を向上させることを目的とする。   The present invention has been made in view of the above-described problems of the prior art, and imaging of a display device during high-angle shooting or low-angle shooting without providing a mechanical movable mechanism in the imaging device. The purpose is to improve the visibility to the person.

前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。
被写体を撮像する撮像手段と、撮像手段で撮像された画像の一部の領域を切り出す切り出し手段と、切り出し手段により切り出された一部の領域の画像を表示する表示手段とを有し、切り出し手段は、撮像装置を撮影者の目の高さより高い位置に構えて撮影を行うハイアングル撮影の場合は、切り出し手段により切り出される一部の領域の中心を、撮像手段により撮像された画像の中心より下の位置に設定し、撮像装置を撮影者の目の高さよりも低い位置に構えて撮影を行うローアングル撮影の場合は、切り出し手段により切り出される一部の領域の中心を、撮像手段により撮像された画像の中心より上の位置に設定することを特徴とする。
In order to achieve the above object, an imaging apparatus of the present invention has the following configuration.
Comprising imaging means for imaging a subject, a clipping means for cutting out a part of the area of the image captured by the imaging means, display means for displaying an image of a part of the area cut out by the cutout section, a cut-out In the case of high-angle shooting in which the image pickup device is held at a position higher than the eye level of the photographer, the center of a part of the area cut out by the cut-out means is the center of the image picked up by the image pickup means. In the case of low-angle shooting in which the image pickup device is set at a position lower than the eye level of the photographer and set at a lower position, the center of a part of the area cut out by the cut-out means is set by the image pickup means. It is characterized by being set to a position above the center of the captured image.

本発明によれば、撮像装置に機械的な可動機構を設けることなく、ハイアングル撮影時やローアングル撮影時における、表示装置の撮影者に対する視認性を向上させることが可能となる。   According to the present invention, it is possible to improve the visibility of a display device to a photographer during high-angle shooting or low-angle shooting without providing a mechanical movable mechanism in the imaging device.

本発明の実施形態に係る撮像装置の機能構成例を示すブロック図。1 is a block diagram illustrating an example of a functional configuration of an imaging apparatus according to an embodiment of the present invention. 実施形態1に係る画像切り出し処理のフローチャート。5 is a flowchart of image cutout processing according to the first embodiment. 画像切り出し処理を説明するための図。The figure for demonstrating an image cut-out process. 実施形態2に係る画像切り出し処理のフローチャート。10 is a flowchart of image cutout processing according to the second embodiment. 空間位置角度情報の取得処理を説明するための図。The figure for demonstrating the acquisition process of space position angle information. 撮影者と撮像装置に設けられた表示装置との位置関係を模した図。The figure which imitated the positional relationship of a photographer and the display apparatus provided in the imaging device.

以下、本発明の好適且つ例示的な実施形態について図面を参照して詳細に説明する。なお、以下に説明する実施形態は、ハイアングル撮影やローアングル撮影に対応する撮影モードが、ユーザにより選択できるように設けられた撮像装置の1例としての、デジタルカメラに、本発明を適用した例である。   Hereinafter, preferred and exemplary embodiments of the present invention will be described in detail with reference to the drawings. In the embodiment described below, the present invention is applied to a digital camera as an example of an imaging apparatus provided so that a shooting mode corresponding to high angle shooting or low angle shooting can be selected by a user. It is an example.

(実施形態1)
図1に示すデジタルカメラ100において、撮像レンズ101はデジタルカメラ100に被写体の情報を取り込むための光学系である。撮像レンズ101は、例えば変倍レンズや焦点調整レンズ等を有し、被写体像を拡大・縮小したり、被写体像に対して焦点を合わせるために用いられる。撮像素子102は、撮像レンズ101により結像された被写体像を光電変換してアナログ画像信号を生成してA/D変換部103に渡す。A/D変換部103は、入力されたアナログ画像信号をA/D変換し、出力されたデジタル画像データを画像処理部104に渡す。
(Embodiment 1)
In the digital camera 100 shown in FIG. 1, the imaging lens 101 is an optical system for taking in information on a subject into the digital camera 100. The imaging lens 101 includes, for example, a zoom lens, a focus adjustment lens, and the like, and is used for enlarging / reducing a subject image and focusing on the subject image. The image sensor 102 photoelectrically converts the subject image formed by the imaging lens 101 to generate an analog image signal, and passes it to the A / D converter 103. The A / D conversion unit 103 performs A / D conversion on the input analog image signal and passes the output digital image data to the image processing unit 104.

画像処理部104は、入力された(デジタル)画像データに対して、例えば輝度調整やレベル補正、解像度変換等の変換処理を適用する。また本実施形態では、画像処理部104に画像切り出し処理部105が設けられている。画像切り出し処理部105は、画像処理部104に入力された画像データの一部分を切り出して出力する処理を行う。画像処理部104で変換処理が適用された画像データは、画像表示部106に表示される。画像表示部106は、例えばLCD等の小型表示装置であり、電源SW111を撮影者が操作することによりデジタルカメラ100が起動された後は、デジタルカメラ100が撮像して変換した画像データを逐次表示する。   The image processing unit 104 applies conversion processing such as luminance adjustment, level correction, and resolution conversion to the input (digital) image data. In the present embodiment, an image cutout processing unit 105 is provided in the image processing unit 104. The image cutout processing unit 105 performs a process of cutting out and outputting a part of the image data input to the image processing unit 104. The image data to which the conversion process is applied by the image processing unit 104 is displayed on the image display unit 106. The image display unit 106 is a small display device such as an LCD, for example, and after the digital camera 100 is activated by the photographer operating the power SW 111, the image data captured and converted by the digital camera 100 is sequentially displayed. To do.

レンズ駆動部107は、例えば撮影者によるシャッターSW112やズームSW113の操作を受けて、撮像レンズ101の駆動を制御する。例えば、撮影者のズームSW113の操作によりズーム要求があった場合は倍率レンズを駆動させ、撮影者によりシャッターSW112の半押し動作による合焦要求があった場合は焦点調整レンズを駆動させる。   The lens driving unit 107 controls the driving of the imaging lens 101 in response to, for example, an operation of the shutter SW 112 and the zoom SW 113 by the photographer. For example, the magnification lens is driven when a zoom request is made by the photographer's operation of the zoom SW 113, and the focus adjustment lens is driven when the photographer requests a focus by half-pressing the shutter SW 112.

制御部108は、デジタルカメラ100の各ブロックの動作を制御する。制御部108は、例えばCPUであり、ROM109に記憶された各ブロックの動作プログラムをRAM(図示せず)に展開し、実行することにより、上述の各ブロックに動作を行わせる。ROM109に記憶される情報には、各ブロックの動作プログラムに限らず、例えば出力画素数、焦点距離等の、デジタルカメラ100やデジタルカメラ100の各ブロックの処理に必要なパラメータが含まれる。またROM109には、後述する撮影モードや、撮影モードに対応したデジタルカメラ100の各ブロックの動作パラメータ、現在選択されている撮影モードの情報等も記憶する。   The control unit 108 controls the operation of each block of the digital camera 100. The control unit 108 is, for example, a CPU. The operation program of each block stored in the ROM 109 is expanded in a RAM (not shown) and executed, thereby causing the above-described blocks to perform an operation. The information stored in the ROM 109 includes not only the operation program for each block but also parameters necessary for processing of each block of the digital camera 100 and the digital camera 100 such as the number of output pixels and the focal length. The ROM 109 also stores a shooting mode described later, operation parameters of each block of the digital camera 100 corresponding to the shooting mode, information on the currently selected shooting mode, and the like.

撮影者によるシャッターSW112の操作により撮像要求の指示が入力されると、制御部108は画像処理部104が出力した画像データを記録媒体110に記録する。記録媒体は、例えばメモリーカードのような着脱可能なものでも、内部メモリのような組み込まれているものであってもよい。   When an imaging request instruction is input by the photographer operating the shutter SW 112, the control unit 108 records the image data output from the image processing unit 104 on the recording medium 110. The recording medium may be removable such as a memory card, or may be incorporated such as an internal memory.

撮影者のメニューSW114の操作による入力を受け付けると、制御部108はROM109から撮影モードを選択するためのGUIの情報を読み出し、画像表示部106に表示させる。本実施形態では、デジタルカメラ100のROM109に記憶されている撮影モードの中には、3つの撮影モードが含まれ、撮影者がその一つを選択可能である。3つの撮影モードのうちの1つは、通常の撮影者の目の高さにデジタルカメラ100を構えて撮影するモードであり、撮像装置の初期状態では、このモードに設定されている。残りの2つの撮影モードは、撮影者の目の高さより上にデジタルカメラ100を構えて前方の被写体を撮影する「ハイアングル撮影モード」と、撮影者の目の高さより下にデジタルカメラ100を構えて前方の被写体を撮影する「ローアングル撮影モード」である。また、本発明において撮影者により撮影モードが決定された後は、制御部108はROM109から、選択された撮影モードに対応したデジタルカメラ100の各ブロックの設定となる動作パラメータを読み出し、各ブロックに適用する。   When receiving an input by the photographer's operation of the menu SW 114, the control unit 108 reads GUI information for selecting a shooting mode from the ROM 109 and displays it on the image display unit 106. In the present embodiment, the shooting modes stored in the ROM 109 of the digital camera 100 include three shooting modes that can be selected by the photographer. One of the three shooting modes is a mode for shooting with the digital camera 100 at a normal eye level of the photographer, and is set to this mode in the initial state of the imaging apparatus. The remaining two shooting modes are “high angle shooting mode” in which the digital camera 100 is held above the eye level of the photographer and the front subject is photographed, and the digital camera 100 is placed below the eye level of the photographer. This is a “low-angle shooting mode” in which the subject in front is photographed. In addition, after the shooting mode is determined by the photographer in the present invention, the control unit 108 reads from the ROM 109 operation parameters that are set for each block of the digital camera 100 corresponding to the selected shooting mode, and stores the operation parameters in each block. Apply.

前述のような構成をもつ、本実施形態1のデジタルカメラにおける画像切り出し処理について、図2のフローチャートを用いて詳細に説明する。
S201で、制御部108はROM109に記憶されている、デジタルカメラ100の現在選択されている撮影モードが、「ハイアングル撮影モード」又は「ローアングル撮影モード」であるかを判断する。現在選択されている撮影モードが、「ハイアングル撮影モード」でも「ローアングル撮影モード」でもない場合、制御部108はS202で現在のデジタルカメラ100のズーム設定において、デジタルズームが使用されているかを判断する。デジタルズームが使用されている場合は、S203に進み、制御部108は撮像した画像データの中心を、拡大するための画像を切り出す中心とする。また、デジタルズームが使用されていない場合は、画像切り出しを行う必要はない。
The image clipping process in the digital camera according to the first embodiment having the above-described configuration will be described in detail with reference to the flowchart of FIG.
In step S <b> 201, the control unit 108 determines whether the currently selected shooting mode of the digital camera 100 stored in the ROM 109 is “high angle shooting mode” or “low angle shooting mode”. If the currently selected shooting mode is neither the “high angle shooting mode” nor the “low angle shooting mode”, the control unit 108 determines whether the digital zoom is used in the current zoom setting of the digital camera 100 in S202. To do. When the digital zoom is used, the process proceeds to S203, and the control unit 108 sets the center of the captured image data as the center for cutting out an image for enlargement. Further, when the digital zoom is not used, it is not necessary to perform image clipping.

現在選択されている撮影モードが「ハイアングル撮影モード」又は「ローアングル撮影モード」の場合、制御部108はROM109に記憶されている切り出し画素数の情報を取得するとともに、現在の光学系の状態から焦点距離の情報を取得する(S204)。切り出し画素数の情報とは、例えばROM109に記憶される「ハイアングル撮影モード」と「ローアングル撮影モード」のそれぞれの設定に含まれる情報であって、撮像された画像データから切り出す画像データの画素数を指す。また切り出し画素数の情報は撮影モードの設定に含まれなくてもよく、例えば撮影者が設定できるようになっていてもよい。   When the currently selected shooting mode is “high angle shooting mode” or “low angle shooting mode”, the control unit 108 acquires information on the number of cutout pixels stored in the ROM 109 and the current optical system state. Information on the focal length is obtained from (S204). The information on the number of cut-out pixels is information included in each setting of “high angle shooting mode” and “low angle shooting mode” stored in the ROM 109, for example, and is the pixel of image data cut out from the captured image data Point to a number. Further, the information about the number of cut-out pixels may not be included in the setting of the shooting mode, and for example, the photographer may be able to set it.

次に制御部108は、ROM109に記憶されている、現在選択されている撮影モードが、「ハイアングル撮影モード」であるか否かを判断する(S205)。現在選択されている撮影モードが「ハイアングル撮影モード」であった場合、撮像された画像データから画像を切り出す範囲の中心(切り出し中心)を、光軸中心(画像データの中心)よりも下側の位置に設定する(S206)。また、「ローアングル撮影モード」であった場合、切り出し中心を光軸中心よりも上側の位置に設定する(S207)。   Next, the control unit 108 determines whether or not the currently selected shooting mode stored in the ROM 109 is the “high angle shooting mode” (S205). When the currently selected shooting mode is "High Angle Shooting Mode", the center of the range to cut out the image from the captured image data (cutting center) is below the optical axis center (center of the image data) (S206). In the case of the “low angle shooting mode”, the cut-out center is set to a position above the optical axis center (S207).

ここで、切り出し中心と光軸中心との関係を図6の(a)を参照して説明する。図6の(a)は、ハイアングル撮影(i)、通常撮影(ii)、ローアングル撮影(iii)のそれぞれの場合に、撮影者に対して画像表示部106が正対するようにデジタルカメラ100を把持した状態を示した図である。まず、通常撮影の場合、例えば図のように光軸中心の方向611と、被写体の方向612は同じになる。被写体の方向612は、撮像する画像データの切り出し中心として最適な方向であるので、通常撮影でデジタルズームを用いた場合は、画像の切り出し中心と光軸中心とは一致する。次に、ハイアングル撮影の場合、撮影者に対して画像表示部106が正対するようにデジタルカメラ100を把持すると、光軸中心の方向601と、被写体の方向602は異なる。被写体の方向602が、例えば図のように撮影者の正面方向であるときは、切り出し中心を光軸中心よりも下側、つまり被写体の方向602を切り出し中心とする。また同様に、ローアングル撮影の場合、撮影者に対して画像表示部106が正対するようにデジタルカメラ100を把持すると、光軸中心の方向621と、被写体の方向622は異なる。被写体の方向622が、例えば図のように撮影者の正面方向であるときは、切り出し中心を光軸中心よりも上側、つまり被写体の方向602を切り出し中心とする。これにより、撮影者に対して画像表示部106が正対するようにデジタルカメラ100を把持したまま、つまり視認性を確保した状態で、被写体像を中心とした撮影を行うことができる。   Here, the relationship between the cutting center and the optical axis center will be described with reference to FIG. FIG. 6A shows the digital camera 100 so that the image display unit 106 faces the photographer in each of high angle shooting (i), normal shooting (ii), and low angle shooting (iii). It is the figure which showed the state which gripped. First, in normal shooting, for example, the direction 611 of the optical axis center and the direction 612 of the subject are the same as shown in the figure. Since the subject direction 612 is the optimum direction as the cutout center of the image data to be captured, when the digital zoom is used in normal shooting, the cutout center of the image coincides with the optical axis center. Next, in the case of high-angle shooting, when the digital camera 100 is held so that the image display unit 106 faces the photographer, the direction 601 about the optical axis and the direction 602 of the subject are different. For example, when the subject direction 602 is the front direction of the photographer as shown in the figure, the cutout center is below the optical axis center, that is, the subject direction 602 is the cutout center. Similarly, in the case of low-angle shooting, when the digital camera 100 is held so that the image display unit 106 faces the photographer, the direction 621 about the optical axis and the direction 622 of the subject are different. For example, when the subject direction 622 is the front direction of the photographer as shown in the figure, the cut-out center is above the optical axis center, that is, the subject direction 602 is the cut-out center. As a result, it is possible to perform photographing centering on the subject image while holding the digital camera 100 so that the image display unit 106 faces the photographer, that is, in a state where visibility is ensured.

S208で、制御部108は光軸中心の方向と切り出し中心の方向のなす角である、傾斜角の情報を取得する(傾斜角検出)。傾斜角の情報は、例えばROM109に「ハイアングル撮影モード」、「ローアングル撮影モード」のそれぞれの設定情報として記憶されているか、撮影者によって設定され、ROM109に記憶されていてもよい。   In step S208, the control unit 108 acquires information on an inclination angle that is an angle formed by the direction of the center of the optical axis and the direction of the cutting center (inclination angle detection). The information on the tilt angle may be stored in the ROM 109 as setting information of “high angle shooting mode” and “low angle shooting mode”, or may be set by the photographer and stored in the ROM 109, for example.

S209で、制御部108は傾斜角、焦点距離、撮像した画像データの画素数の情報から切り出し中心の位置を算出する。ここで、「ハイアングル撮影モード」を例にとって切り出し中心の位置の算出方法について図3を用いて説明する。図3の(a)において、デジタルカメラ100の光軸中心の方向301と切り出し中心の方向302とは、傾斜角Θをなしており、焦点距離の情報から導き出される縦方向の画角の半分をαとすると、撮像素子102に撮像される撮像範囲は304で表される。また、撮像範囲304のうち、切り出し範囲は303にあたる。図3(b)はこのとき撮像される画像データを表し、撮像される画像データ全体が撮像範囲304であり、斜線で表された矩形領域が切り出し範囲303である。点Oは撮像される画像データの中心であり、光軸中心にあたる。また、点O’が算出する切り出し中心である。このとき、切り出し中心O’と光軸中心Oの距離Xは、傾斜角Θ、画角α、撮像した画像データの縦画素数の半分である画素数Yを用いると、X=Y・tanΘ/tanαで算出される。つまり、算出する切り出し中心O’は、「ハイアングル撮影モード」では、光軸中心に対し、縦方向の下側にXだけずれた点となる。   In step S <b> 209, the control unit 108 calculates the position of the cut-out center from information on the tilt angle, the focal length, and the number of pixels of the captured image data. Here, a method of calculating the position of the cut-out center will be described with reference to FIG. 3 taking the “high angle shooting mode” as an example. In FIG. 3A, the optical axis center direction 301 and the cut-out center direction 302 of the digital camera 100 form an inclination angle Θ, and half the vertical field angle derived from the focal length information. Assuming α, the imaging range captured by the imaging element 102 is represented by 304. In the imaging range 304, the cutout range corresponds to 303. FIG. 3B shows the image data imaged at this time, the entire imaged image data is the imaging range 304, and the rectangular area represented by diagonal lines is the cutout range 303. A point O is the center of the image data to be captured, and corresponds to the center of the optical axis. Further, the point O ′ is the cut-out center to be calculated. At this time, as the distance X between the cut-out center O ′ and the optical axis center O, when using the inclination angle Θ, the angle of view α, and the number of pixels Y that is half the number of vertical pixels of the captured image data, X = Y · tan Θ / Calculated by tanα. In other words, the calculated cut-out center O ′ is a point shifted by X downward in the vertical direction with respect to the optical axis center in the “high angle shooting mode”.

S210で、制御部108は算出された切り出し中心を中心とする切り出し範囲が、切り出し可能な領域であるか否か、即ち撮像された画像データの領域内に切り出し範囲の全てが入っているかを判断する。具体的には、図3の(b)において切り出し範囲303の縦画素数(切り出し画素数の縦成分)の半分である画素数Zを用いると、切り出し範囲303が切り出し可能な領域(撮像範囲304)に含まれるための条件は、X≦Y−Zとなる。   In step S210, the control unit 108 determines whether or not the cutout range centered on the calculated cutout center is an area that can be cut out, that is, whether or not the entire cutout range is included in the captured image data area. To do. Specifically, in FIG. 3B, when the number of pixels Z that is half of the number of vertical pixels of the cutout range 303 (vertical component of the number of cutout pixels) is used, an area (imaging range 304) that can be cut out. ) Is included in X ≦ Y−Z.

切り出し範囲が切り出し可能な領域内に入っている場合、制御部108は処理をS213に移す。また、切り出し範囲が切り出し可能な領域内に入っていない場合、制御部108は、切り出し中心と切り出し範囲とを、切り出し可能な領域内で設定可能な限界位置(例えば図3の(b)で、X=Y−Zとなるように)に変更する(S211)。さらにS212で、制御部108は、例えば設定された傾斜角の値によって決定した切り出し範囲が撮像範囲内に含まれていないため、切り出し範囲を変更した旨の画面表示をROM109より読み出して画像表示部106に表示する。画面表示は、例えば文章による通知でもよいし、画像表示部106の一部に切り出し範囲を変更した旨のマークでもよい。   If the cutout range is within the cutout area, the control unit 108 moves the process to S213. When the cutout range does not fall within the cutout area, the control unit 108 sets the cutout center and the cutout range at a limit position (for example, (b) in FIG. So that X = Y-Z (S211). Further, in step S212, the control unit 108 reads out a screen display indicating that the cutout range has been changed from the ROM 109, for example, because the cutout range determined based on the set tilt angle value is not included in the image display unit. 106. The screen display may be, for example, a text notification, or a mark indicating that the cutout range has been changed to a part of the image display unit 106.

S213で、制御部108は、画像切り出し処理部105に設定された切り出し範囲に応じて、撮影された画像データから切り出し処理を行う。切り出し処理が適用された画像データは、画像処理部104で各種変換処理が施された後、画像表示部106に表示される。   In step S <b> 213, the control unit 108 performs a clipping process from the captured image data according to the clipping range set in the image clipping processing unit 105. The image data to which the clipping process is applied is subjected to various conversion processes by the image processing unit 104 and then displayed on the image display unit 106.

以上説明したように、本実施形態によれば、例えば撮影者が撮影者の目の高さと異なる位置にデジタルカメラを把持して撮影を行う際に、機械的な機構を用いることなくデジタルカメラが備える表示部の視認性を確保した状態での撮影が可能となる。具体的には、例えばデジタルカメラを撮影者の目の高さより上に把持して撮影する場合、デジタルカメラの光軸中心より下側の点を中心として撮影された画像を切り出すことで、光軸とは異なる方向を中心とした画像の撮影を行うことができる。また、これにより例えばデジタルカメラの表示部を撮影者に対して正対させて視認性を確保した状態で、前方の撮影を行うことが可能となる。   As described above, according to the present embodiment, for example, when a photographer holds a digital camera at a position different from the eye level of the photographer and performs photographing, the digital camera can be used without using a mechanical mechanism. It is possible to shoot in a state where the visibility of the display unit provided is ensured. Specifically, for example, when a digital camera is held above the eye level of the photographer and shot, an image taken around a point lower than the optical axis center of the digital camera is cut out to obtain an optical axis. It is possible to shoot an image centered on a different direction from. In addition, for example, it is possible to perform forward shooting in a state where the display unit of the digital camera is directly facing the photographer and the visibility is ensured.

(実施形態2)
本実施形態2のデジタルカメラは、実施形態1のデジタルカメラの構成に加えて、さらにデジタルカメラの傾斜角を検出する加速度センサ121、デジタルカメラの高さ情報を検出する気圧センサ122を備える。
(Embodiment 2)
In addition to the configuration of the digital camera of the first embodiment, the digital camera of the second embodiment further includes an acceleration sensor 121 that detects the tilt angle of the digital camera and an atmospheric pressure sensor 122 that detects height information of the digital camera.

このような構成をもつ、本実施形態2のデジタルカメラにおける画像切り出し処理について、図4のフローチャートを参照して詳細に説明する。なお、図4において実施形態1と同じ処理を行うステップについては、図2と同じ参照番号を付して重複する説明を省略し、本実施形態において特徴的なステップの説明にとどめる。
また、本実施形態では撮影モードに「アングル撮影モード」を備え、撮影者に選択可能とさせる。「アングル撮影モード」は、「ハイアングル撮影モード」と「ローアングル撮影モード」を総括するものであり、本実施形態では「アングル撮影モード」選択中に、制御部108が「ハイアングル」か「ローアングル」かを判断して処理を変えるものとする。
The image clipping process in the digital camera of the second embodiment having such a configuration will be described in detail with reference to the flowchart of FIG. Note that the steps in FIG. 4 that perform the same processes as those in the first embodiment are denoted by the same reference numerals as those in FIG. 2 and redundant descriptions are omitted, and only the characteristic steps in the present embodiment are described.
In the present embodiment, an “angle shooting mode” is provided as a shooting mode, and the photographer can select it. “Angle shooting mode” is a summary of “high angle shooting mode” and “low angle shooting mode”. In this embodiment, when the “angle shooting mode” is selected, the control unit 108 selects “high angle” or “ It is assumed that it is “low angle” and the processing is changed.

S401で、制御部108はROM109に記憶されている、デジタルカメラ100の現在選択されている撮影モードが、「アングル撮影モード」であるか否かを判断する。現在選択されている撮影モードが「アングル撮影モード」ではない場合、制御部108は処理をS202へ移す。また、現在選択されている撮影モードが「アングル撮影モード」である場合、制御部108はROM109に記憶されている切り出し画素数の情報を取得するとともに、現在の光学系の状態から焦点距離の情報を取得する(S204)。   In step S <b> 401, the control unit 108 determines whether the currently selected shooting mode of the digital camera 100 stored in the ROM 109 is the “angle shooting mode”. If the currently selected shooting mode is not “angle shooting mode”, the control unit 108 advances the processing to S202. When the currently selected shooting mode is “angle shooting mode”, the control unit 108 acquires information on the number of cut-out pixels stored in the ROM 109 and information on the focal length from the current optical system state. Is acquired (S204).

S402で、制御部108は気圧センサ122から空間におけるデジタルカメラ100の現在の高さ情報を取得する。制御部108は取得した高さ情報を元に、現在のデジタルカメラ100の位置が「ハイアングル」であるか又は「ローアングル」であるかを判断する(S403)。具体的には、図5の(a)を用いて説明する。例えば基準とする気圧P0(高さhでの気圧)より、ROM109に記憶された気圧の閾値以上低下した気圧PHが測定された場合は「ハイアングル(高さhより高い)」とする。また、同様に例えば基準とする気圧P0より、ROM109に記憶された気圧の閾値以上上昇した気圧PLが測定された場合は「ローアングル(高さhより低い)」として判断する。基準とする気圧としては、例えばデジタルカメラ100の電源ON時に気圧センサ122で検出される気圧や、「アングル撮影モード」が選択されたときに気圧センサ122で検出される気圧を用いることができる。その場合制御部108は、基準とする気圧の情報をROM109に記憶し、撮影モードを変更するまでROM109に記憶管理するものとする。   In step S <b> 402, the control unit 108 acquires the current height information of the digital camera 100 in the space from the atmospheric pressure sensor 122. Based on the acquired height information, the control unit 108 determines whether the current position of the digital camera 100 is “high angle” or “low angle” (S403). Specifically, a description will be given with reference to FIG. For example, when the atmospheric pressure PH that is lower than the reference atmospheric pressure P0 (atmospheric pressure at the height h) is measured by the atmospheric pressure threshold stored in the ROM 109, “high angle (higher than the height h)” is set. Similarly, when the atmospheric pressure PL that is higher than the reference atmospheric pressure P0 by the atmospheric pressure threshold stored in the ROM 109 is measured, it is determined as “low angle (lower than height h)”. As the reference atmospheric pressure, for example, the atmospheric pressure detected by the atmospheric pressure sensor 122 when the digital camera 100 is turned on, or the atmospheric pressure detected by the atmospheric pressure sensor 122 when the “angle shooting mode” is selected can be used. In this case, the control unit 108 stores information on the reference atmospheric pressure in the ROM 109 and manages it in the ROM 109 until the shooting mode is changed.

S403で「ハイアングル」でも「ローアングル」でもないと判断された(例えば、気圧の変化が閾値以下である)場合、制御部108は処理をS203に移す。制御部108は、光軸中心を切り出し中心とし(S203)、S213でROM109に記憶されている「アングル撮影モード」に対応付けられた切り出し画素数で切り出し処理を行う。   If it is determined in S403 that it is neither “high angle” nor “low angle” (for example, the change in atmospheric pressure is equal to or less than the threshold value), the control unit 108 moves the process to S203. The control unit 108 uses the center of the optical axis as the cutout center (S203), and performs cutout processing with the number of cutout pixels associated with the “angle shooting mode” stored in the ROM 109 in S213.

またS403で「ハイアングル」又は「ローアングル」と判断された場合、制御部108は加速度センサ121から重力加速度の方向を取得し、その値から現在のデジタルカメラ100の傾斜角を算出する(S404)。S405で、高さ情報(「ハイアングル」又は「ローアングル」)、傾斜角、焦点距離、撮像された画像の画素数から切り出し中心を算出する。なお、高さ情報は切り出し中心が光軸中心に対して上下のどちらに位置するかを判断する情報であり、例えば「ハイアングル」の場合、切り出し中心は光軸中心の下側になる。   If it is determined in S403 that “high angle” or “low angle”, the control unit 108 acquires the direction of gravitational acceleration from the acceleration sensor 121, and calculates the current tilt angle of the digital camera 100 from the value (S404). ). In step S405, the extraction center is calculated from the height information (“high angle” or “low angle”), the tilt angle, the focal length, and the number of pixels of the captured image. The height information is information for determining whether the cutting center is located above or below the optical axis center. For example, in the case of “high angle”, the cutting center is below the optical axis center.

本実施形態によれば、例えばデジタルカメラの高さ情報と傾斜角情報を用いることで、デジタルカメラを把持する位置が流動的に変わっても、表示部の視認性を確保した状態での撮影を行うことが可能になる。   According to the present embodiment, for example, by using the height information and the tilt angle information of the digital camera, even if the position where the digital camera is gripped is fluidly changed, it is possible to shoot in a state in which the visibility of the display unit is ensured. It becomes possible to do.

なお、本実施形態では気圧センサ122による高さ情報の取得により、「アングル撮影モード」が「ハイアングル撮影」、「ローアングル撮影」、「通常撮影」のいずれであるかを判断した。しかし図5の(b)のように、加速度センサ121によって重力加速度とのなす角Θを取得することで、「ハイアングル撮影」、「ローアングル撮影」、「通常撮影」のいずれであるかを判断してもよい。   In the present embodiment, whether the “angle shooting mode” is “high angle shooting”, “low angle shooting”, or “normal shooting” is determined based on the height information acquired by the atmospheric pressure sensor 122. However, as shown in FIG. 5B, the acceleration sensor 121 obtains the angle Θ formed by the gravitational acceleration, thereby determining whether it is “high angle shooting”, “low angle shooting”, or “normal shooting”. You may judge.

実施形態1と2によれば、
(1)「ハイアングル撮影モード」と「ローアングル撮影モード」を用意し、
(2)予め設定された傾斜角の値によって画像切り出し処理を行うか、
(3)「アングル撮影モード」を用意し、気圧センサを用いて高さ情報を取得して「ハイアングル」「ローアングル」「通常」の判断を行うか、
(4)「アングル撮影モード」を用意し、加速度センサの検出する傾斜角の値を用いて「ハイアングル」「ローアングル」「通常」の判断を行うかし、
(5)加速度センサの検出する傾斜角の値によって画像切り出し処理を行う。
なお、本発明の実施形態では説明を容易にするために、(1)(2)を有するデジタルカメラを実施形態1で、(3)〜(5)を有するデジタルカメラを実施形態2で説明した。しかし、(1)(3)(4)と(2)(5)の構成は任意の組み合わせで実装することが可能である。
According to Embodiments 1 and 2,
(1) Prepare "High Angle Shooting Mode" and "Low Angle Shooting Mode"
(2) Whether to perform image cut-out processing based on a preset tilt angle value,
(3) “Angle shooting mode” is prepared, and height information is acquired using an atmospheric pressure sensor, and “high angle”, “low angle”, and “normal” are determined.
(4) “Angle shooting mode” is prepared, and “high angle”, “low angle”, and “normal” are judged using the value of the inclination angle detected by the acceleration sensor,
(5) The image cut-out process is performed based on the value of the inclination angle detected by the acceleration sensor.
In the embodiment of the present invention, for ease of explanation, the digital camera having (1) and (2) is described in the first embodiment, and the digital camera having (3) to (5) is described in the second embodiment. . However, the configurations (1), (3), (4), (2), and (5) can be implemented in any combination.

Claims (7)

被写体を撮像する撮像手段と、
前記撮像手段で撮像された画像の一部の領域を切り出す切り出し手段と、
前記切り出し手段により切り出された前記一部の領域の画像を表示する表示手段とを有し、
前記切り出し手段は、
像装置を撮影者の目の高さより高い位置に構えて撮影を行うハイアングル撮影の場合は、前記切り出し手段により切り出される前記一部の領域の中心を、前記撮像手段により撮像された画像の中心より下の位置に設定し、
前記撮像装置を撮影者の目の高さよりも低い位置に構えて撮影を行うローアングル撮影の場合は、前記切り出し手段により切り出される前記一部の領域の中心を、前記撮像手段により撮像された画像の中心より上の位置に設定することを特徴とする撮像装置。
Imaging means for imaging a subject;
Clipping means for cutting out a partial area of the image captured by the imaging means;
Anda display means for displaying an image of said part of the area cut out by the cutout section,
The clipping means is
For high angle photographing performing an imaging device imaging poised at a position higher than the height of the photographer's eye, the central part of the region cut out by the cutout unit, the image captured by the image pickup means Set to a position below the center,
In the case of low-angle shooting in which the imaging device is held at a position lower than the eye level of the photographer, an image obtained by imaging the center of the partial area cut out by the clipping unit An imaging apparatus characterized by being set at a position above the center of the image.
前記切り出し手段は、該切り出し手段により切り出される前記一部の領域の中心の位置を決定する決定手段を備えることを特徴とする請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the cutout unit includes a determination unit that determines a position of a center of the partial area cut out by the cutout unit. 前記撮像装置の傾斜角を検出する傾斜角検出手段をさらに有し、
前記決定手段は、前記傾斜角検出手段で検出された傾斜角に基づいて、前記切り出し手段により切り出される前記一部の領域の中心の位置を決定することを特徴とする請求項2に記載の撮像装置。
Further comprising an inclination angle detecting means for detecting an inclination angle of the imaging device;
3. The imaging according to claim 2, wherein the determination unit determines a position of a center of the partial region cut out by the cut-out unit based on an inclination angle detected by the inclination angle detection unit. apparatus.
前記切り出し手段は、前記決定手段により決定された位置を中心とする前記切り出し手段により切り出される前記一部の領域が、前記撮像手段により撮像された画像の領域内に収まらない場合、前記撮像手段により撮像された画像の領域内に収まるように、前記切り出し手段により切り出される前記一部の領域の中心の位置を変更して切り出すことを特徴とする請求項2または3に記載の撮像装置。If the partial area cut out by the cut-out means centered on the position determined by the determination means does not fit within the area of the image picked up by the image pickup means, the cut-out means The imaging apparatus according to claim 2 or 3, wherein a position of a center of the partial area cut out by the cutout unit is changed and cut out so as to be within a region of the picked-up image. 前記撮像装置の傾斜角を検出する傾斜角検出手段をさらに有し、
前記切り出し手段は、前記傾斜角検出手段で検出された傾斜角に基づいて、前記撮像装置の撮像する状態が前記ハイアングル撮影及び前記ローアングル撮影のいずれであるかを判断することを特徴とする請求項1乃至4の何れか1項に記載の撮像装置。
Further comprising an inclination angle detecting means for detecting an inclination angle of the imaging device;
Said cut-out means, on the basis of the inclination angle detected by the inclination angle detection means, the imaging states of the imaging apparatus is characterized in that to determine which of the high-angle photographing and the low-angle shot The imaging device according to any one of claims 1 to 4 .
前記撮像装置の高さ情報を検出する高さ検出手段をさらに有し、
前記切り出し手段は、前記高さ検出手段により検出された高さ情報に基づいて、前記撮像装置の撮像する状態が前記ハイアングル撮影及び前記ローアングル撮影のいずれであるかを判断することを特徴とする請求項1乃至の何れか1項に記載の撮像装置。
Further comprising height detection means for detecting height information of the imaging device;
Said cut-out means includes a wherein based on the height information detected by the height detecting unit, the imaging states of the imaging apparatus to determine which one of the high-angle photographing and the low-angle shot The imaging device according to any one of claims 1 to 4 .
被写体を撮像する撮像手段を備える撮像装置の制御方法であって、
切り出し手段が、前記撮像手段により撮像された画像の一部を切り出す切り出し工程と、
表示手段が、前記切り出し工程により切り出された前記一部の領域の画像を表示する表示工程とを有し、
前記切り出し手段は前記切り出し工程において、
前記撮像装置を撮影者の目の高さより高い位置に構えて撮影を行うハイアングル撮影の場合は、前記切り出し工程により切り出される前記一部の領域の中心を、前記撮像手段により撮像された画像の中心より下の位置に設定し、
前記撮像装置を撮影者の目の高さよりも低い位置に構えて撮影を行うローアングル撮影の場合は、前記切り出し手段により切り出される前記一部の領域の中心を、前記撮像手段により撮像された画像の中心より上の位置に設定することを特徴とする撮像装置の制御方法。
A method for controlling an imaging apparatus including an imaging means for imaging a subject,
A clipping step in which the clipping unit cuts out a part of the image captured by the imaging unit;
Display means having a display step of displaying an image of said part of the area cut out by the cutting process step,
In the cutting out step, the cutting out means
In the case of high-angle shooting in which the image pickup device is held at a position higher than the eye level of the photographer, the center of the partial area cut out by the cut-out process is the center of the image picked up by the image pickup means. Set to a position below the center,
In the case of low-angle shooting in which the imaging device is held at a position lower than the eye level of the photographer, an image obtained by imaging the center of the partial area cut out by the clipping unit A method for controlling an image pickup apparatus, wherein the position is set to a position above the center of the image pickup apparatus.
JP2009175798A 2009-07-28 2009-07-28 Imaging apparatus and control method thereof Expired - Fee Related JP5341655B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009175798A JP5341655B2 (en) 2009-07-28 2009-07-28 Imaging apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009175798A JP5341655B2 (en) 2009-07-28 2009-07-28 Imaging apparatus and control method thereof

Publications (3)

Publication Number Publication Date
JP2011030104A JP2011030104A (en) 2011-02-10
JP2011030104A5 JP2011030104A5 (en) 2012-09-13
JP5341655B2 true JP5341655B2 (en) 2013-11-13

Family

ID=43638272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009175798A Expired - Fee Related JP5341655B2 (en) 2009-07-28 2009-07-28 Imaging apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP5341655B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6010195B2 (en) * 2015-07-23 2016-10-19 オリンパス株式会社 Portable information terminal and method for controlling portable information terminal
JP6942940B2 (en) 2016-03-14 2021-09-29 カシオ計算機株式会社 Image processing equipment, image processing methods and programs
CN111683196B (en) * 2020-05-27 2021-09-07 杭州多技教育科技有限公司 Mobile terminal lens turning and viewing peripheral capable of efficiently switching shooting visual angles

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094845A (en) * 1999-09-27 2001-04-06 Fuji Photo Film Co Ltd Digital camera
JP2007180663A (en) * 2005-12-27 2007-07-12 Casio Comput Co Ltd Electronic camera, and angle control method of display means thereof
JP2008042568A (en) * 2006-08-07 2008-02-21 Casio Hitachi Mobile Communications Co Ltd Mobile communication terminal and its program

Also Published As

Publication number Publication date
JP2011030104A (en) 2011-02-10

Similar Documents

Publication Publication Date Title
JP4315148B2 (en) Electronic camera
JP4641424B2 (en) Imaging device
JP2010050521A (en) Imaging device
JP4663700B2 (en) Imaging apparatus and imaging method
JP2007258989A (en) Digital camera, composition corrector, and composition correcting method
JP2008288975A (en) Imaging apparatus, imaging method and imaging program
JP2007201539A (en) Digital camera
JP2005252657A (en) Electronic still camera
JP4487811B2 (en) Imaging device
KR20190141080A (en) Image processing apparatus, image processing method, image capturing apparatus, and lens apparatus
JP2008252711A (en) Digital camera
JP2006166396A (en) Camera, method for notifying camera shaking state and program
JP5341655B2 (en) Imaging apparatus and control method thereof
JP4807582B2 (en) Image processing apparatus, imaging apparatus, and program thereof
JP2008129371A (en) Imaging apparatus
JP2011217334A (en) Imaging apparatus and method of controlling the same
JP2010035131A (en) Imaging apparatus and imaging method
JP2011055361A (en) Image processing apparatus and imaging apparatus
JP2009060435A (en) Camera
JP6351255B2 (en) Imaging apparatus, imaging method, program, and storage medium
JP6501536B2 (en) Imaging device, control method therefor, program, storage medium
KR20110020521A (en) Digital photographing apparatus
JP2008048152A (en) Moving picture processing apparatus, moving picture photographing apparatus and moving picture photographing program
JP2007201913A (en) Image-taking device and system
JP2002305676A (en) Electronic camera

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120727

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130808

R151 Written notification of patent or utility model registration

Ref document number: 5341655

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees