JP6335494B2 - Image recording apparatus, control method and program thereof, and storage medium - Google Patents

Image recording apparatus, control method and program thereof, and storage medium Download PDF

Info

Publication number
JP6335494B2
JP6335494B2 JP2013251647A JP2013251647A JP6335494B2 JP 6335494 B2 JP6335494 B2 JP 6335494B2 JP 2013251647 A JP2013251647 A JP 2013251647A JP 2013251647 A JP2013251647 A JP 2013251647A JP 6335494 B2 JP6335494 B2 JP 6335494B2
Authority
JP
Japan
Prior art keywords
image
subject
stamp
unit
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013251647A
Other languages
Japanese (ja)
Other versions
JP2015109571A5 (en
JP2015109571A (en
Inventor
利道 伊勢
利道 伊勢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013251647A priority Critical patent/JP6335494B2/en
Publication of JP2015109571A publication Critical patent/JP2015109571A/en
Publication of JP2015109571A5 publication Critical patent/JP2015109571A5/ja
Application granted granted Critical
Publication of JP6335494B2 publication Critical patent/JP6335494B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像記録装置、その制御方法及びプログラム並びに記憶媒体に関する。   The present invention relates to an image recording apparatus, a control method and program thereof, and a storage medium.

タッチパネル付き表示装置を使い、画像表示と操作を一体化した情報機器が普及しており、デジタルビデオカメラにも多く採用されている。   Information equipment that integrates image display and operation using a display device with a touch panel has become widespread, and is also widely used in digital video cameras.

特許文献1には、デジタルビデオカメラにおいて、タッチ操作によるフリーハンド入力によって文字や図形を動画に重畳することが記載されている。   Patent Document 1 describes that in a digital video camera, characters and figures are superimposed on a moving image by freehand input by a touch operation.

特許文献2には、ビデオカメラにおいて、撮影画像に含まれる被写体を認識し、被写体の名前を画像に重畳して表示する技術が記載されている。   Japanese Patent Application Laid-Open No. 2004-228561 describes a technique for recognizing a subject included in a captured image and displaying the subject name superimposed on the image in a video camera.

特開2012−124612号公報JP 2012-124612 A 特願2011−160413号公報Japanese Patent Application No. 2011-160413

特許文献2に記載される技術では、撮影時に被写体をその名前で判別できるようになる。しかし、代表画像(動画のサムネイル)の一覧表示画面では、重畳表示される名前は判読困難となり、被写体を識別する用をなさない。被写体が幼児や小動物となると、代表画像一覧から区別するのはより困難となる。   With the technique described in Patent Document 2, the subject can be identified by its name at the time of shooting. However, on the list display screen of representative images (moving image thumbnails), the superimposed name is difficult to read and does not serve to identify the subject. When the subject is an infant or a small animal, it is more difficult to distinguish from the representative image list.

撮影画像と、この画像に含まれる被写体のテキスト情報等とを関連付ける管理ファイルを保存することで、代表画像の一覧表示時に被写体をそのテキスト情報等で判読できるようになる。この方法は、テキスト情報等が事前に用意された被写体にしか適用できない。すなわち、事前に多くの被写体についてそのテキスト情報等を用意し、撮像装置の記憶装置に格納しておく必要がある。また、独自の管理ファイルを用意することになるので、撮影画像を他の情報機器で表示又は閲覧する場合には被写体をそのテキスト情報等で識別することができない。すなわち、汎用性ないし可用性に欠ける。   By storing a management file that associates a captured image with text information of a subject included in the image, the subject can be read with the text information or the like when a list of representative images is displayed. This method can be applied only to a subject for which text information or the like is prepared in advance. That is, it is necessary to prepare text information and the like for many subjects in advance and store them in the storage device of the imaging device. In addition, since a unique management file is prepared, the subject cannot be identified by the text information or the like when the captured image is displayed or viewed on another information device. That is, it lacks versatility or availability.

本発明は、このような不都合を解消し、代表画像上でも被写体を容易に識別可能な画像記録装置、その制御方法及びプログラム並びに記憶媒体を提示することを目的とする。   It is an object of the present invention to provide an image recording apparatus, a control method and program thereof, and a storage medium that can eliminate such inconvenience and easily identify a subject even on a representative image.

本発明に係る画像記録装置は、画像入力手段と、複数の被写体について、被写体毎に異なる表示形態の、画像に重畳するアイテムであって、文字列ではないアイテムの情報を含む被写体情報を記憶する記憶手段と、前記記憶手段に記憶される前記被写体情報に対応する被写体のうちいずれかの被写体を選択する選択手段と、前記選択手段により選択された前記被写体に関する被写体情報に含まれる前記アイテムと共に前記被写体に関する文字を表示し、さらに前記アイテムと前記文字を前記画像入力手段により入力される前記被写体の画像に重畳する重畳手段と、前記重畳手段の出力を記録媒体に記録する記録手段とを有することを特徴とする。
An image recording apparatus according to the present invention stores image information and subject information including information on an item to be superimposed on an image, which is different in display form for each subject, and is not a character string, for a plurality of subjects. said storage means, and selecting means for selecting one of the object of the subject corresponding to the subject information stored in the storage means, together with the items included in the subject information regarding the subject selected by the selection means And a superimposing unit that displays characters related to the subject , superimposes the item and the character on the image of the subject input by the image input unit, and a recording unit that records the output of the superimposing unit on a recording medium. It is characterized by.

本発明によれば、被写体に応じて異なる表示形態のアイテムを画像に重畳するので、重畳されたアイテムにより特定の被写体を含む画像を識別できるようになる。   According to the present invention, since items having different display forms are superimposed on an image depending on the subject, an image including a specific subject can be identified by the superimposed item.

本発明の一実施例の概略構成ブロック図と外観斜視図である。It is a schematic block diagram and an external appearance perspective view of one Example of this invention. 本実施例の表示画面例である。It is an example of a display screen of a present Example. 本実施例の表示画面例である。It is an example of a display screen of a present Example. 本実施例の表示画面例である。It is an example of a display screen of a present Example. 本実施例の表示画面例である。It is an example of a display screen of a present Example. 本実施例の表示画面例である。It is an example of a display screen of a present Example. 本実施例の表示画面例である。It is an example of a display screen of a present Example. 本実施例の表示画面例である。It is an example of a display screen of a present Example. 本実施例の表示画面例である。It is an example of a display screen of a present Example. 本実施例における画像遷移例である。It is an example of image transition in a present Example. 従来例及び本実施例のインデックス画面例である。It is an example of the index screen of a prior art example and a present Example. 本実施例のスタンプ描画処理のフローチャートである。It is a flowchart of the stamp drawing process of a present Example. 本実施例のスタンプ描画処理の別のフローチャートである。It is another flowchart of the stamp drawing process of a present Example.

以下、図面を参照して、本発明の実施例を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1(a)は、本発明に係る画像記録装置一実施例を組み込んだビデオカメラの概略構成ブロック図を示し、図1(b)は、背面方向から見た外観斜視図を示す。   FIG. 1A shows a schematic block diagram of a video camera incorporating an embodiment of an image recording apparatus according to the present invention, and FIG. 1B shows an external perspective view seen from the back side.

ビデオカメラ100のCPU107は、プログラム・データ記憶部108から制御プログラムを読み込み、カメラ100全体の動作を制御する。CPU107は、プログラム・データ記憶部108から読み込んだ制御プログラムの複数のタスクを並列に実行できる。具体的には、CPU107上で、モード制御タスク、カメラ制御タスク、レコーダ制御タスク及び表示制御タスクが並列動作する。表示制御タスクを実行するCPU107が、表示制御部としての機能を果たす。   The CPU 107 of the video camera 100 reads a control program from the program / data storage unit 108 and controls the operation of the entire camera 100. The CPU 107 can execute a plurality of tasks of the control program read from the program / data storage unit 108 in parallel. Specifically, a mode control task, a camera control task, a recorder control task, and a display control task operate in parallel on the CPU 107. The CPU 107 that executes the display control task functions as a display control unit.

一時記憶部103は、CPU107のワーク領域として機能し、また、後述する動画用フレームバッファ及びOSD用フレームバッファとして使用される。   The temporary storage unit 103 functions as a work area of the CPU 107, and is used as a moving image frame buffer and an OSD frame buffer described later.

カメラ部101は、アナログ画像信号をカメラ100に入力する画像入力手段である。具体的に、カメラ部101は、被写体からの光を結像する撮影レンズ、撮影レンズよって結像された被写体像を光電変換する撮像素子及び撮像素子を駆動する回路等を含む。映像処理部102は、カメラ部101から入力されるアナログ画像信号をデジタル動画データに変換し、ノイズ除去などの所定の画像処理に基づく補正を行う。CPU107が実行するカメラ制御タスクが、カメラ部101及び映像処理部102のこれらの動作を制御する。   The camera unit 101 is an image input unit that inputs an analog image signal to the camera 100. Specifically, the camera unit 101 includes a photographing lens that forms an image of light from a subject, an imaging element that photoelectrically converts a subject image formed by the photographing lens, a circuit that drives the imaging device, and the like. The video processing unit 102 converts an analog image signal input from the camera unit 101 into digital moving image data, and performs correction based on predetermined image processing such as noise removal. A camera control task executed by the CPU 107 controls these operations of the camera unit 101 and the video processing unit 102.

エンコーダ・デコーダ部104は、映像処理部102からの動画データを符号化するエンコーダと、符号化された動画データをデコードするデコーダからなる。エンコーダ・デコーダ部104によって符号化された動画データは、一時記憶部103に一旦記憶されたのち、付随する管理データとともに動画記憶部105に記憶される。動画記憶部105は、着脱可能なメモリーカード、又は、内部記録媒体としてのハードディスク若しくはフラッシュメモリなどの記録媒体からなる。エンコーダ・デコーダ部104は、画像を記録媒体である動画記憶部105に記録する記録手段である。   The encoder / decoder unit 104 includes an encoder that encodes the moving image data from the video processing unit 102 and a decoder that decodes the encoded moving image data. The moving image data encoded by the encoder / decoder unit 104 is temporarily stored in the temporary storage unit 103 and then stored in the moving image storage unit 105 together with accompanying management data. The moving image storage unit 105 includes a removable memory card or a recording medium such as a hard disk or a flash memory as an internal recording medium. The encoder / decoder unit 104 is a recording unit that records an image in a moving image storage unit 105 that is a recording medium.

動画の再生時は逆に、動画記憶部105から読み出された符号化された動画データが一時記憶部103を介してエンコーダ・デコーダ部104に供給され、復号化される。エンコーダ・デコーダ部104は、デコードで得られた再生画像データを一時記憶部103の動画用フレームバッファに展開する。CPU107が実行するレコーダ制御タスクが、エンコーダ・デコーダ部104及び動画記憶部105のこれらの動作を制御する。   On the contrary, at the time of reproducing a moving image, the encoded moving image data read from the moving image storage unit 105 is supplied to the encoder / decoder unit 104 via the temporary storage unit 103 and decoded. The encoder / decoder unit 104 expands the reproduced image data obtained by the decoding into the moving image frame buffer of the temporary storage unit 103. The recorder control task executed by the CPU 107 controls these operations of the encoder / decoder unit 104 and the moving image storage unit 105.

動画記憶部105から読み出された管理データは、OSDデータ、すなわち、撮影画像又は再生画像に重畳される文字表示やGUI(Graphical User Interface)用のデータの生成に利用される。そして、CPU107は、生成したOSDデータを一時記憶部103内のOSD用フレームバッファ(VRAM)に描画する。動画用フレームバッファとOSD用フレームバッファの各内容は、表示制御部110で重畳されてLCDパネル111に表示される。   The management data read from the moving image storage unit 105 is used to generate OSD data, that is, data for character display or GUI (Graphical User Interface) to be superimposed on a captured image or a reproduced image. Then, the CPU 107 renders the generated OSD data in the OSD frame buffer (VRAM) in the temporary storage unit 103. The contents of the moving image frame buffer and the OSD frame buffer are superimposed on the display control unit 110 and displayed on the LCD panel 111.

操作キー106及びタッチパネル109はいずれも、ユーザによる動作指示を受け付ける操作部である。なお、タッチパネル109はLCDパネル111の画面に重ねて配置される。例えば、光透過率がLCDパネル111の表示を妨げないようにタッチパネル109を構成し、そのタッチパネル109をLCDパネル111の表示面の上層に取り付ける。タッチパネル109における入力座標と、LCDパネル111上の表示座標とを対応付けることにより、あたかもユーザがLCDパネル111上に表示された画像を直接的に操作するようなGUIを構成できる。タッチパネル109には、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式及び光センサ方式等の様々な方式のものがあり、本実施例では、そのいずれの方式のものを用いても良い。   Both the operation key 106 and the touch panel 109 are operation units that accept operation instructions from the user. The touch panel 109 is arranged so as to overlap the screen of the LCD panel 111. For example, the touch panel 109 is configured so that the light transmittance does not hinder the display of the LCD panel 111, and the touch panel 109 is attached to the upper layer of the display surface of the LCD panel 111. By associating the input coordinates on the touch panel 109 with the display coordinates on the LCD panel 111, it is possible to configure a GUI as if the user directly operates an image displayed on the LCD panel 111. The touch panel 109 includes various types such as a resistive film type, a capacitance type, a surface acoustic wave type, an infrared type, an electromagnetic induction type, an image recognition type, and an optical sensor type. You may use the thing of this system.

通信部112は無線又は有線の通信媒体を介して他の機器と接続し、画像データを含む種々のデータを当該他の機器との間で送受信するのに使用される。   The communication unit 112 is connected to another device via a wireless or wired communication medium, and is used to transmit / receive various data including image data to / from the other device.

図1(b)に示すように、ビデオカメラ100は、カメラ部101を有する本体部120と、ヒンジによって本体部120に回動可能に取り付けられたバリアングルLCD部122からなる。バリアングルLCD部122は、一体化されたLCDパネル111とタッチパネル109からなる。   As shown in FIG. 1B, the video camera 100 includes a main body 120 having a camera unit 101, and a vari-angle LCD unit 122 rotatably attached to the main body 120 by a hinge. The vari-angle LCD unit 122 includes an integrated LCD panel 111 and a touch panel 109.

CPU107は、タッチパネル109に対する以下の操作又は状態を検出できる。タッチパネル109を指やペンで触れることを、以下、タッチダウン(Touch-Down)と称する。タッチパネル109を指やペンで触れている状態であることを、以下、タッチオン(Touch-On)と称する。タッチパネル109を指やペンで触れたまま移動することを、以下、タッチムーブ(Touch-Move)と称する。タッチパネル109へ触れていた指やペンを離すことを、以下、タッチアップ(Touch-Up)と称する。タッチパネル109に何も触れていない状態を、以下、タッチオフ(Touch-Off)と称する。   The CPU 107 can detect the following operations or states on the touch panel 109. Hereinafter, touching the touch panel 109 with a finger or a pen is referred to as touch-down. Hereinafter, touching the touch panel 109 with a finger or a pen is referred to as touch-on. Moving the touch panel 109 while touching it with a finger or a pen is hereinafter referred to as touch-move. The release of the finger or pen that has been touching the touch panel 109 is hereinafter referred to as touch-up. Hereinafter, a state in which nothing is touched on the touch panel 109 is referred to as touch-off.

タッチパネル109に対するこれらの操作/状態とタッチパネル109上に指やペンが触れている位置座標は、内部バスを通じてCPU107に通知される。CPU107は、タッチパネル109から通知されるこれら情報に基づいてタッチパネル109に対する操作を判定する。すなわち、CPU107は、タッチパネル109に対するタッチ操作を検知するタッチ検知手段として機能する。   The CPU 107 is notified of these operations / states on the touch panel 109 and the position coordinates where the finger or pen touches the touch panel 109 via the internal bus. The CPU 107 determines an operation on the touch panel 109 based on the information notified from the touch panel 109. That is, the CPU 107 functions as a touch detection unit that detects a touch operation on the touch panel 109.

CPU107は、タッチムーブについては、タッチパネル109上で移動する指やペンの移動方向についても、位置座標の変化に基づいてタッチパネル109上の垂直成分と水平成分を判定できる。また、CPU107は、タッチパネル109上をタッチダウンから一定のタッチムーブを経てタッチアップをしたとき、ストロークを描いたと判定する。素早くストロークを描く操作を、フリックと呼ぶ。フリックは、タッチパネル109上に指を触れたままある程度の距離だけ素早く動かしてそのまま離す操作であり、言い換えれば、タッチパネル109上を指ではじくように素早くなぞる操作でもある。所定距離以上を所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されると、CPU107は、フリックと判定する。また、所定距離以上を所定速度未満でタッチムーブしたことが検出された場合、CPU107は、ドラッグと判定する。   For the touch move, the CPU 107 can determine the vertical component and the horizontal component on the touch panel 109 based on the change of the position coordinates for the moving direction of the finger or pen moving on the touch panel 109. In addition, the CPU 107 determines that a stroke has been drawn when touch-up is performed on the touch panel 109 through a certain touch move from touch-down. The operation of drawing a stroke quickly is called a flick. Flicking is an operation of quickly moving a certain distance while touching a finger on the touch panel 109 and releasing it as it is, in other words, an operation of quickly tracing the touch panel 109 with a finger. When it is detected that a touch move has been performed at a predetermined speed or more over a predetermined distance and a touch-up is detected as it is, the CPU 107 determines that a flick has occurred. In addition, when it is detected that a touch move is performed at a predetermined distance or more and less than a predetermined speed, the CPU 107 determines that it is a drag.

CPU107によって実行されるモード制御タスクは、操作部(操作キー106、タッチパネル109)からの指示、他タスクからの要求及びモード制御タスク自身が管理する内部状態の変化に従い、カメラ100の動作状態を遷移させる。モード制御タスクは必要により、動作状態の遷移をタスクイベントとして関連するタスクに通知する。   The mode control task executed by the CPU 107 changes the operation state of the camera 100 in accordance with an instruction from the operation unit (operation key 106, touch panel 109), a request from another task, and a change in an internal state managed by the mode control task itself. Let If necessary, the mode control task notifies the related task of the transition of the operation state as a task event.

本実施例は、タッチ入力による描画モードにおいて、ユーザがタッチ操作で描いた図形や文字等を記録映像(動画)に重畳できる。画像に分離不能に埋め込む場合と、メタデータとして付加し、再生時に合成表示する場合の何れでも良い。タッチ入力による描画の種類としては、ペン、スタンプ、消しゴム及びアニメーションなどがある。   In this embodiment, in a drawing mode by touch input, a figure, a character, or the like drawn by a user by a touch operation can be superimposed on a recorded video (moving image). Either the case where it is embedded in an image inseparably or the case where it is added as metadata and displayed in combination during reproduction may be used. Types of drawing by touch input include pen, stamp, eraser, and animation.

ビデオカメラ100は、動画撮影モード又は記録モードの一種として、赤ん坊または子供を撮影するための撮影モード(以下、ベビーモードという)を選択可能である。ベビーモードは、例えばLCDパネル111に撮影モード選択画面が表示された状態で、ベビーモードを示すアイコンを撮影者がタッチすることで設定される。   The video camera 100 can select a shooting mode (hereinafter referred to as a baby mode) for shooting a baby or a child as a kind of moving image shooting mode or recording mode. The baby mode is set, for example, when the photographer touches an icon indicating the baby mode in a state where the shooting mode selection screen is displayed on the LCD panel 111.

ベビーモードが設定されると、CPU107は、ベビーモードに設定された旨を一時記憶部103又はプログラム・データ記憶部108に記憶し、赤ん坊を撮影するのに適したカメラ設定に各部を設定する。例えば、背景をぼかして人物を浮き立たせるような露出設定(絞り及びシャッタ速度)と、赤ん坊の肌を取るのに適したホワイトバランス設定を適用する。寝ている赤ん坊を起こさないように、撮影開始時、撮影終了時及び各種エラー時などの報知音及び各種操作音をオフ(無音)に設定する。   When the baby mode is set, the CPU 107 stores the fact that the baby mode is set in the temporary storage unit 103 or the program / data storage unit 108, and sets each unit to camera settings suitable for photographing a baby. For example, an exposure setting (aperture and shutter speed) that blurs the background and makes a person stand out, and a white balance setting that is suitable for taking baby's skin are applied. In order not to wake the sleeping baby, notification sounds and various operation sounds at the start of shooting, at the end of shooting, and at the time of various errors are set to off (silence).

さらに、ベビーモードで撮影された動画は、ベビーモードに設定されて撮影された動画用のプレイリスト(「ベビーアルバム」と称する。)に撮影順で登録される。ベビーアルバムは、ベビーモードに設定された動画の再生に必要な情報(ファイル名や格納領域のリンク情報など)が記録された管理データを含み、動画記憶部105に記録される。ベビーアルバムを参照して、ベビーアルバムに登録された複数の動画を順次再生することで、赤ん坊の成長を順を追って視聴するといった使い方ができる。すなわち、ベビーモードで撮影された複数の動画を、他のモードで撮影された動画とは別途にまとめて管理できる。   Furthermore, the moving image shot in the baby mode is registered in the shooting order in a play list for moving images set in the baby mode (referred to as “baby album”). The baby album includes management data in which information (file name, storage area link information, etc.) necessary for reproduction of the moving image set in the baby mode is recorded, and is recorded in the moving image storage unit 105. By referring to the baby album and sequentially playing a plurality of videos registered in the baby album, you can view the baby's growth step by step. That is, it is possible to manage a plurality of moving images shot in the baby mode separately from moving images shot in other modes.

また、ベビーモードに設定すると、タッチ入力による描画モードで入力可能なスタンプ(アイテム又はアイコン)が追加され、ベビーモード用のスタンプが利用可能となる。ベビーモード用のスタンプには、年齢スタンプ、体重スタンプ及び身長スタンプなどがある。年齢スタンプ、体重スタンプ及び身長スタンプ上にはそれぞれ、年齢、体重及び身長をタッチパネル109を使った文字入力により記入できる。また、本実施例では、年齢、体重及び身長のそれぞれについて、互いに表示形態の異なる3種類のスタンプが予め用意されており、撮影者が、撮影時に3種の内の適用すべきスタンプを選択できる。   When the baby mode is set, a stamp (item or icon) that can be input in the drawing mode by touch input is added, and the baby mode stamp can be used. The baby mode stamp includes an age stamp, a weight stamp, and a height stamp. On the age stamp, weight stamp, and height stamp, the age, weight, and height can be entered by character input using the touch panel 109, respectively. In this embodiment, three types of stamps having different display forms are prepared in advance for each of age, weight, and height, and the photographer can select one of the three types of stamps to be applied at the time of shooting. .

図2A〜図2Gは、LCDパネル111の表示画面例を示す。図2A〜図2Gを参照して、撮影時(動画記録待機時及び動画記録中)にLCDパネル111に表示される各画面例を説明する。   2A to 2G show examples of display screens on the LCD panel 111. FIG. With reference to FIGS. 2A to 2G, examples of each screen displayed on the LCD panel 111 at the time of shooting (during moving image recording standby and during moving image recording) will be described.

図2Aは、撮影モード(又は記録モード)における撮影待機中及び記録中の表示例を示す。LCDパネル111には、カメラ部101で撮像されているスルー画像201(ライブビュー画像とも称する)が、動画として全画面表示されている。スルー画像201は、被写体208を撮像したものである。画面の上部には、撮影時間情報203と、録画状態アイコン204と、残バッテリ情報205と、ベビーモードを示すベビーモードアイコン206が、OSDで表示されている。撮影時間情報203は録画開始からの経過時間を示し、図2Aでは録画待機中を示す。画面上にはさらに、メニューボタン202とタッチ描画モード切り替えボタン207が、それぞれOSDで表示されている。メニューボタン202及びタッチ描画切り替えボタン207に対して、撮影者はタッチパネル109によりタッチ操作可能である。   FIG. 2A shows a display example during shooting standby and during recording in the shooting mode (or recording mode). On the LCD panel 111, a through image 201 (also referred to as a live view image) captured by the camera unit 101 is displayed on a full screen as a moving image. The through image 201 is an image of the subject 208. At the top of the screen, shooting time information 203, recording state icon 204, remaining battery information 205, and baby mode icon 206 indicating baby mode are displayed in OSD. The shooting time information 203 indicates the elapsed time from the start of recording, and in FIG. A menu button 202 and a touch drawing mode switching button 207 are further displayed on the screen as OSDs. The photographer can touch the menu button 202 and the touch drawing switching button 207 with the touch panel 109.

これらOSDで表示されるアイテムは、撮像画像に重畳されて画面表示されるものであり、記録はされない。本明細書ではこのようなアイテムを「表示アイテム」と称する。図2Aに示す表示例では、メニューボタン202、撮影時間情報203、録画状態アイコン204、残バッテリ情報205、ベビーモードアイコン206及びタッチ描画切り替えボタン207が、表示アイテムである。録画状態アイコン204は、録画中か録画待機中かを示す。   These items displayed on the OSD are displayed on the screen superimposed on the captured image, and are not recorded. In this specification, such an item is referred to as a “display item”. In the display example shown in FIG. 2A, the menu button 202, shooting time information 203, recording state icon 204, remaining battery information 205, baby mode icon 206, and touch drawing switch button 207 are display items. The recording state icon 204 indicates whether recording is in progress or recording standby.

これらの表示アイテム202〜207は、ユーザに相応する情報を通知するか操作を促すものであって、動画記憶部105に撮像画像の動画とともに記録されるものではない。動画記録中において、タッチ描画モードに遷移する前であれば、撮影時間情報203の時間が進むことと、録画状態アイコン204が録画状態を示す表示形態になること以外は、概ね、図2Aに示す表示構成が維持される。   These display items 202 to 207 notify the user of corresponding information or prompt an operation, and are not recorded together with the moving image of the captured image in the moving image storage unit 105. 2A is generally shown in FIG. 2A except that the time of the shooting time information 203 is advanced and the recording state icon 204 is in a display form indicating the recording state before moving to the touch drawing mode during moving image recording. The display configuration is maintained.

図2Aに示す表示画面例で撮影者がタッチ描画切り替えボタン207をタッチ操作すると、CPU107は、タッチパネル109による手書き入力を可能にするタッチ描画モードに遷移する。図2Bは、図2Aからタッチ描画モードに遷移した直後の、LCDパネル111の表示画面例を示す。LCDパネル111には、カメラ部101で撮像されているスルー画像201が動画として全画面表示され、中央に被写体208が位置する。   When the photographer touches the touch drawing switching button 207 in the display screen example illustrated in FIG. 2A, the CPU 107 transitions to a touch drawing mode that enables handwriting input using the touch panel 109. FIG. 2B shows an example of a display screen on the LCD panel 111 immediately after the transition to the touch drawing mode from FIG. 2A. On the LCD panel 111, the through image 201 captured by the camera unit 101 is displayed on a full screen as a moving image, and the subject 208 is located in the center.

画面の上部には、録画状態アイコン204と残バッテリ情報205がOSDで表示されている。画面上には更に、タッチ描画種別選択ボタン211、アニメーション選択ボタン212、ベビーモード用スタンプ選択ボタン213及びクローズボタン214が、それぞれOSDで表示されている。これらボタン211〜214は、タッチパネル109へのタッチ操作により対応する指示をCPU107に入力するタッチボタンである。クローズボタン214は、タッチ描画モードを抜けて通常撮影モードに戻ることをCPU107に指示するのに使用される。ベビーモード用スタンプ選択ボタン213は、ベビーモードに設定されているときのみ表示される。タッチ描画モードであっても、動画記録中では、録画状態アイコン204が録画状態を示す表示形態になる。   At the top of the screen, a recording state icon 204 and remaining battery information 205 are displayed in OSD. Further, on the screen, a touch drawing type selection button 211, an animation selection button 212, a baby mode stamp selection button 213, and a close button 214 are respectively displayed in OSD. These buttons 211 to 214 are touch buttons for inputting a corresponding instruction to the CPU 107 by a touch operation on the touch panel 109. The close button 214 is used to instruct the CPU 107 to exit the touch drawing mode and return to the normal shooting mode. The baby mode stamp selection button 213 is displayed only when the baby mode is set. Even in the touch drawing mode, the recording state icon 204 is in a display form indicating the recording state during moving image recording.

図2Cは、ペンとスタンプの種別を選択する画面例を示し、図2Bに示す画面でタッチ描画種別選択ボタン211がタッチされると、LCDパネル111に表示される。画面上には、画面のタイトルと前の画面への復帰を指示する復帰ボタン221がOSDで表示されている。   FIG. 2C shows an example of a screen for selecting the type of pen and stamp. When the touch drawing type selection button 211 is touched on the screen shown in FIG. 2B, the screen is displayed on the LCD panel 111. On the screen, a screen title and a return button 221 for instructing to return to the previous screen are displayed in OSD.

また、種々の編集ツールを示すボタン222〜229がOSDにより表示される。ペン先小ボタン222とペン先大ボタン223は、ペンの太さを指示するのに使用される。ハートボタン224及び星ボタン225は、スタンプの形状(ハートと星)を指定するのに使用される。消しゴム小ボタン226及び消しゴム大ボタン227は、それぞれのサイズの消しゴムを指定するのに使用される。色選択ボタン228は、ペンやスタンプの色の選択を指定するのに使用される。クリアボタン229は、編集ツールで描画又は選択したアイテムの全消去をCPU107に指示するのに使用される。   In addition, buttons 222 to 229 indicating various editing tools are displayed by the OSD. The small nib button 222 and the large nib button 223 are used to indicate the thickness of the pen. The heart button 224 and the star button 225 are used for designating the shape of the stamp (heart and star). The eraser small button 226 and the eraser large button 227 are used to designate an eraser of each size. The color selection button 228 is used to designate selection of a pen or stamp color. The clear button 229 is used to instruct the CPU 107 to erase all items drawn or selected by the editing tool.

なお、ペンを選択したときは、描画をするためのタッチ操作として、タッチダウンした点からタッチアップするまで連続的に画面をなぞると、軌跡に沿って連続した線を描画することができる。スタンプを選択したときは、タッチダウンした位置を基準とした位置に選択したスタンプを描くことができる。   When a pen is selected, a continuous line can be drawn along the trajectory by continuously tracing the screen from the touched down point until touching up as a touch operation for drawing. When a stamp is selected, the selected stamp can be drawn at a position based on the touched-down position.

ペンにより描画された図形と、ハートボタン224及び星ボタン225で付加されたスタンプ(アニメーション化されたものを含む)は、撮像画像に重畳され、撮像画像と共に動画記憶部105に記録される。これらの図形及びスタンプのように、撮像画像に重畳されて撮像画像と共に記録されるアイテムを、重畳アイテムと呼ぶ。テンキー等で文字を入力可能な場合、この入力文字は、撮影画像に重畳して記録される場合は重畳アイテムである。   The graphic drawn by the pen and the stamps (including those animated) added by the heart button 224 and the star button 225 are superimposed on the captured image and recorded in the moving image storage unit 105 together with the captured image. Items such as these figures and stamps that are superimposed on the captured image and recorded together with the captured image are referred to as superimposed items. When characters can be input with a numeric keypad or the like, the input characters are superimposed items when they are recorded superimposed on a captured image.

重畳アイテムの記録の方法として以下の2通りが考えられるが、何れを採用しても良い。第一の方法では、CPU107又はCPU107に制御された映像処理部102が、カメラ部101で撮像された画像に重畳アイテムを分離不能に合成し、動画記憶部105が、得られた合成画像を動画ファイルとして記憶する。第二の方法では、CPU107が、動画記憶部105にカメラ部101による撮像画像を動画ファイルとして記憶させると共に、重畳アイテム関連情報をこの動画ファイルに関連付けて記憶させる。重畳アイテム関連情報は少なくとも重畳アイテムを特定するデータを含み、更に、重畳アイテムを重畳すべき動画中の時間を示す(タイムコードなど)及び画面上の空間位置を示す座標データを含む。重畳アイテムを特定するデータには、重畳アイテムの画像データ自体、又は重畳アイテムの種別を示すIDデータなどがある。重畳アイテム関連情報は、動画ファイルのヘッダ情報(属性情報)として記録しても良いし、動画ファイルに関連付けられた別ファイルに記録しても良い。   The following two methods are conceivable as a method for recording the superimposed item, either of which may be adopted. In the first method, the CPU 107 or the video processing unit 102 controlled by the CPU 107 synthesizes the superimposed item with the image captured by the camera unit 101 in an inseparable manner, and the moving image storage unit 105 Store as a file. In the second method, the CPU 107 causes the moving image storage unit 105 to store the image captured by the camera unit 101 as a moving image file, and stores the superimposed item related information in association with the moving image file. The superimposed item related information includes at least data for specifying the superimposed item, and further includes coordinate data indicating a time (such as a time code) in a moving image on which the superimposed item is to be superimposed and a spatial position on the screen. The data for specifying the superimposed item includes the image data itself of the superimposed item or ID data indicating the type of the superimposed item. The superimposition item related information may be recorded as header information (attribute information) of a moving image file, or may be recorded in another file associated with the moving image file.

図2Dはアニメーション選択画面の表示例を示し、図2Bに示す画面でユーザがアニメーション選択ボタン212をタッチすると、LCDパネル111に表示される。この画面で、ユーザはアニメーションの種類を選択できる。画面上には、画面タイトルと、前画面への戻りをCPU107に指示する復帰ボタン221と、複数のアニメーションボタン231が、OSDで表示されている。選択されたアニメーションは、重畳アイテムとして、撮像画像に重畳される。   FIG. 2D shows a display example of the animation selection screen. When the user touches the animation selection button 212 on the screen shown in FIG. 2B, the screen is displayed on the LCD panel 111. On this screen, the user can select the type of animation. On the screen, a screen title, a return button 221 for instructing the CPU 107 to return to the previous screen, and a plurality of animation buttons 231 are displayed in OSD. The selected animation is superimposed on the captured image as a superimposed item.

図2Eはベビーモード用スタンプ選択画面の表示例を示し、図2Bに示す画面でユーザがベビーモード用スタンプ選択ボタン213をタッチすると、LCDパネル111に表示される。この画面で、ユーザは、どの赤ん坊を撮影するかを選択でき、ベビーモード用スタンプの表示・非表示を選択できる。画面上には、画面タイトル、前画面への戻りをCPU107に指示する復帰ボタン221、及び複数のタッチ操作可能なボタン2241〜248が、スルー画像201に重畳してOSDで表示されている。   FIG. 2E shows a display example of the baby mode stamp selection screen. When the user touches the baby mode stamp selection button 213 on the screen shown in FIG. 2B, the screen is displayed on the LCD panel 111. On this screen, the user can select which baby to shoot, and can select display / non-display of the baby mode stamp. On the screen, a screen title, a return button 221 for instructing the CPU 107 to return to the previous screen, and a plurality of touch operable buttons 2241 to 248 are displayed in OSD superimposed on the through image 201.

赤ん坊一人目選択ボタン241、赤ん坊二人目選択ボタン242及び赤ん坊三人目選択ボタン243は、撮影対象の赤ん坊を指定するボタンであり、何れか1つのみを選択可能である。図2Eでは、赤ん坊一人目選択ボタン241が選択状態となっている。この状態で、赤ん坊二人目選択ボタン242または赤ん坊三人目選択ボタン243をタップすることにより、撮影対象の赤ん坊を変更できる。   The first baby selection button 241, the second baby selection button 242, and the third baby selection button 243 are buttons for designating a baby to be photographed, and only one of them can be selected. In FIG. 2E, the first baby selection button 241 is selected. In this state, the baby to be photographed can be changed by tapping the baby second person selection button 242 or the baby third person selection button 243.

日付スタンプ表示設定ボタン244は、時刻スタンプ表示設定ボタン245、年齢スタンプ表示設定ボタン246、身長スタンプ表示設定ボタン247及び体重スタンプ表示設定ボタン248を、「表示設定ボタン」と総称する。各表示設定ボタン244〜248は透過情態で表示され、ユーザは、各表示設定ボタン244〜248の裏に半透過でスルー画像201を視認できる。また、各表示設定ボタン244〜248はトグルボタンであり、タッチするたびに各表示設定ボタンの示すスタンプのオンとオフが切り替わる。オンにすると、CPU107は、ボタン左端の矩形に色を着け、オンとなったスタンプを撮像画像(映像処理部102の出力画像)に重畳する。逆に、オフにすると、CPU107は、ボタン左端の矩形の色を消し、撮像画像に重畳されていたスタンプを消去する。なお、図2Eでは、日付スタンプ表示設定ボタン244と時刻スタンプ表示設定ボタン245が表示オフ状態であり、年齢スタンプ表示設定ボタン246と身長スタンプ表示設定ボタン247と体重スタンプ表示設定ボタン248が表示オン状態である。   In the date stamp display setting button 244, the time stamp display setting button 245, the age stamp display setting button 246, the height stamp display setting button 247, and the weight stamp display setting button 248 are collectively referred to as “display setting buttons”. The display setting buttons 244 to 248 are displayed in a transparent state, and the user can visually recognize the through image 201 on the back of the display setting buttons 244 to 248. Each of the display setting buttons 244 to 248 is a toggle button, and the stamp indicated by each display setting button is switched on and off each time it is touched. When turned on, the CPU 107 applies a color to the rectangle at the left end of the button, and superimposes the turned-on stamp on the captured image (the output image of the video processing unit 102). Conversely, when turned off, the CPU 107 erases the rectangular color at the left end of the button, and erases the stamp superimposed on the captured image. In FIG. 2E, the date stamp display setting button 244 and the time stamp display setting button 245 are in the display off state, and the age stamp display setting button 246, the height stamp display setting button 247, and the weight stamp display setting button 248 are in the display on state. It is.

また、表示設定ボタン246〜248の右横には、各スタンプの表示内容を設定できる生年月日設定ボタン249、身長設定ボタン250及び体重設定ボタン251がそれぞれ、OSDにより表示される。   Also, on the right side of the display setting buttons 246 to 248, a birth date setting button 249, a height setting button 250, and a weight setting button 251 that can set the display contents of each stamp are displayed by the OSD.

図2Eに示す表示画面例では、赤ん坊一人目選択ボタン241、赤ん坊二人目選択ボタン242及び赤ん坊三人目選択ボタン243の一つの選択により撮影対象の赤ん坊が切り替わる。この選択操作に従い、CPU107は、表示される年齢スタンプ、身長スタンプ及び体重スタンプの表示形態も同時に切り替える。切り替わりの具体例については、図3を参照して説明する。   In the example of the display screen shown in FIG. 2E, the baby to be imaged is switched by selecting one of the first baby selection button 241, the second baby selection button 242, and the third baby selection button 243. In accordance with this selection operation, the CPU 107 also switches the display forms of the displayed age stamp, height stamp, and weight stamp at the same time. A specific example of switching will be described with reference to FIG.

図2Fは生年月日設定画面の表示例を示し、図2Eにおいて生年月日設定ボタン249がタッチされると、LCDパネル111に表示される。この画面で、ユーザは、年齢スタンプのための年月日を入力できる。身長設定ボタン250及び体重設定ボタン251をタッチした場合、同様の数値入力画面が表示される。本実施例では、3人の赤ん坊のそれぞれについて、生年月日、身長、体重の設定を保持できる。   FIG. 2F shows a display example of the date of birth setting screen. When the date of birth setting button 249 in FIG. 2E is touched, it is displayed on the LCD panel 111. On this screen, the user can input the date for the age stamp. When the height setting button 250 and the weight setting button 251 are touched, a similar numerical value input screen is displayed. In this embodiment, the settings of the date of birth, height and weight can be held for each of the three babies.

図2Fに示す生年月日設定画面には、画面タイトル及び復帰ボタン221以外に、年入力部261、月入力部262及び日入力部263がOSDにより表示され、各入力部261〜263の入力値を値調整ボタン264で変更する。ここで設定した年月日は、不揮発性メモリであるプログラム・データ記憶部108に記憶される。CPU107は、この生年月日とビデオカメラ100が備える時計(不図示)より取得される撮影時の年月日との差分を算出し、撮影時の年齢、月齢又は生後日数などをスタンプ上に表示する。   In the birth date setting screen shown in FIG. 2F, in addition to the screen title and the return button 221, a year input unit 261, a month input unit 262, and a day input unit 263 are displayed by the OSD, and input values of the input units 261 to 263 are displayed. Is changed by the value adjustment button 264. The date set here is stored in the program / data storage unit 108 which is a nonvolatile memory. The CPU 107 calculates the difference between the date of birth and the date of photographing acquired from a clock (not shown) provided in the video camera 100, and displays the age, month of age or number of days after birth on the stamp. To do.

図2Gは、タッチ描画モードでベビーモード用のスタンプ及びフリーハンド入力による描画を行った結果の表示例である。LCDパネル111には、カメラ部101で撮像されているスルー画像201が、動画として全画面表示されている。スルー画像201は、被写体208を撮像したものである。画面の左部には、タッチ操作によって描画された手書き文字274(「Hello!!」の文字列)がOSDで表示されている。手書き文字274は、ユーザのタッチ操作の軌跡に対して描画を行ったものである。   FIG. 2G is a display example of a result of drawing by a stamp for baby mode and freehand input in the touch drawing mode. On the LCD panel 111, the through image 201 captured by the camera unit 101 is displayed in full screen as a moving image. The through image 201 is an image of the subject 208. On the left part of the screen, a handwritten character 274 (a character string “Hello!”) Drawn by a touch operation is displayed in OSD. The handwritten character 274 is drawn on the locus of the touch operation of the user.

画面上には更に、ベビーモード専用のスタンプであり「重畳アイテム」である年齢スタンプ271、体重スタンプ272及び身長スタンプ273がOSDで表示されている。年齢スタンプ271は、被写体208の生後からの経過時間に関する情報を表し、年齢以外に、出生後の日数、出生後の月数(月齢)又は子供の学年などを表すようにしてもよい。体重スタンプ272には体重が記入され、身長スタンプ273には身長が記入されている。   Further, an age stamp 271, a weight stamp 272, and a height stamp 273 that are “superimposed items” that are dedicated to the baby mode are displayed on the screen in OSD. The age stamp 271 represents information related to the elapsed time since the birth of the subject 208, and may represent the number of days after birth, the number of months after birth (month age), or the child's school year. Weight is entered in the weight stamp 272, and height is entered in the height stamp 273.

図2Hは、タッチ描画モードでベビーモード用のスタンプ及びフリーハンド入力による描画を行った結果の別の表示例である。図2Gとは異なる赤ん坊を撮影対象とした場合の表示例であり、赤ん坊二人目選択ボタン242により二人目の赤ん坊が選択されているとする。   FIG. 2H is another display example of a result of drawing by a baby mode stamp and freehand input in the touch drawing mode. It is a display example when a baby different from that in FIG. 2G is taken as an object to be photographed, and it is assumed that the second baby is selected by the second baby selection button 242.

図2Hに示す表示例では、図2Gに示すスタンプとは表示形態が異なるスタンプ281,282がOSDにより表示されている。すなわち、年齢スタンプ281、体重スタンプ282及び身長スタンプ283は、二人目用に設定されたものである。各スタンプ281〜283上に表示される情報(体重、年齢及び身長)は、プログラム・データ記憶部108に記憶される2人目用の設定情報から読み出される、スタンプ281〜283に合成される。   In the display example shown in FIG. 2H, stamps 281 and 282 having a different display form from the stamp shown in FIG. 2G are displayed by the OSD. That is, the age stamp 281, the weight stamp 282 and the height stamp 283 are set for the second person. Information (weight, age, and height) displayed on each of the stamps 281 to 283 is combined with the stamps 281 to 283 that are read from the setting information for the second person stored in the program / data storage unit 108.

図3を参照して、記録対象の赤ん坊の変更とスタンプのオン・オフに対する本実施例の画面遷移を説明する。   With reference to FIG. 3, the screen transition of the present embodiment for changing the baby to be recorded and turning on / off the stamp will be described.

フレーム301,311,312,313,314は、記録される動画のうち、あるタイミングのフレーム画像を表現しており、時系列に並んでいる。フレーム301は、赤ん坊二人目選択ボタン242により撮影対象の赤ん坊が二人目として選択された状態の画像例を示す。フレーム301では、年齢スタンプ表示設定ボタン246と、身長スタンプ表示設定ボタン247と、体重スタンプ表示設定ボタン248により各スタンプがオン状態となっている。この結果、年齢、体重及び身長のそれぞれのスタンプが赤ん坊二人目用の表示形態で表示されている。   Frames 301, 311, 312, 313, and 314 represent frame images at a certain timing among the recorded moving images, and are arranged in time series. A frame 301 shows an example of an image in a state where the baby to be photographed is selected as the second person by the baby second person selection button 242. In the frame 301, each stamp is turned on by an age stamp display setting button 246, a height stamp display setting button 247, and a weight stamp display setting button 248. As a result, each stamp of age, weight, and height is displayed in the display form for the second baby.

フレーム311は、フレーム301において身長スタンプをドラッグ操作により移動した後の画像例を示す。フレーム302は、ドラッグ操作途中の画像例を示す。フレーム302で示すように身長スタンプ上に指を置き上方向に移動して指を離すと、フレーム311の状態となる。   A frame 311 shows an image example after the height stamp is moved by a drag operation in the frame 301. A frame 302 shows an image example during the drag operation. When a finger is placed on the height stamp and moved upward as shown by the frame 302 and released, the frame 311 is brought about.

フレーム311で図2Eに示すように年齢スタンプ表示設定ボタン246をオフ状態とすると、フレーム321になる。   When the age stamp display setting button 246 is turned off in the frame 311 as shown in FIG. 2E, the frame 321 is obtained.

フレーム331は、フレーム321で撮影対象の赤ん坊を一人目に切り替えると、フレーム331になる。撮影対象となる赤ん坊の切り替えは、図2Eに示す画面例で赤ん坊一人目選択ボタン241を選択することで、実現される。撮影対象の赤ん坊を切り替えに従い、CPU107は、体重スタンプと身長スタンプの表示形態と表示内容を、対応するものに変更する。スタンプの表示位置は、撮影対象の赤ん坊の変更前後で維持される。   The frame 331 becomes the frame 331 when the baby to be photographed is switched to the first in the frame 321. Switching the baby to be photographed is realized by selecting the first baby selection button 241 in the screen example shown in FIG. 2E. In accordance with the switching of the baby to be photographed, the CPU 107 changes the display form and display contents of the weight stamp and the height stamp to corresponding ones. The display position of the stamp is maintained before and after the baby to be photographed is changed.

フレーム331で図2Eに示す画面例で年齢スタンプ表示設定ボタン246をオン状態とすると、フレーム341になる。生年月日スタンプの表示位置は、撮影対象の赤ん坊に関係なく、前回の表示位置のままである。表示形態の変更の際にスタンプの表示位置を移動しないのは、ユーザ好みの撮影レイアウトを崩さないためである。   When the age stamp display setting button 246 is turned on in the screen example shown in FIG. 2E in the frame 331, the frame 341 is obtained. The display position of the date of birth stamp remains the previous display position regardless of the baby to be photographed. The reason why the display position of the stamp is not moved when the display form is changed is that the photographing layout desired by the user is not destroyed.

図4を参照して、再生モードでLCDパネル111に表示されるインデックス画面例を説明する。図4(a)は従来例のインデックス画面例、図4(b)は本実施例のインデックス画面例を示す。   An example of an index screen displayed on the LCD panel 111 in the playback mode will be described with reference to FIG. FIG. 4A shows an example of an index screen of the conventional example, and FIG.

図4(a)に示す従来例のインデックス画面例では、各サムネイル(代表画像)上に表示されているベビーモード用のスタンプは全て同じである。すなわち、撮影対象の赤ん坊が相違しても、スタンプの表示形態を変更していない。   In the index screen example of the conventional example shown in FIG. 4A, all the baby mode stamps displayed on each thumbnail (representative image) are the same. That is, even if the baby to be photographed is different, the display form of the stamp is not changed.

他方、本実施例では、同じ赤ん坊には同じスタンプを撮影者自身の操作で割り当て、ベビーモードで撮影された画像は、撮影対象者が誰であるかにかかわらず、ベビーモード用の単一のプレイリストに登録されて記録される。そして、再生モードでは、図4(b)に示すように、ベビーモード用プレイリストに登録された画像が、それらの代表画像で一覧表示される。即ち、一覧表示では、複数の撮影対象者の画像が混在することになる。しかし、本実施例では、図4(b)に示すように同じ赤ん坊には同じスタンプが重畳されているので、スタンプの表示形態の異同により同じ赤ん坊の画像かどうかが一目瞭然となる。すなわち、スタンプの表示形態から撮影対象を識別できる。   On the other hand, in the present embodiment, the same stamp is assigned to the same baby by the photographer's own operation, and an image photographed in the baby mode is a single baby mode image regardless of who the photographing object is. It is registered in the playlist and recorded. In the playback mode, as shown in FIG. 4B, the images registered in the baby mode play list are displayed as a list with their representative images. That is, in the list display, images of a plurality of photographing subjects are mixed. However, in this embodiment, since the same stamp is superimposed on the same baby as shown in FIG. 4 (b), it becomes obvious at a glance whether the images of the same baby are the same due to the difference in the display form of the stamps. That is, the photographing object can be identified from the display form of the stamp.

図5は、本実施例のベビースタンプ描画処理のフローチャートを示す。この処理は、CPU107がプログラム・データ記憶部108から相当するプログラムを読み出し実行することによって、実現される。   FIG. 5 shows a flowchart of the baby stamp drawing process of the present embodiment. This process is realized by the CPU 107 reading and executing a corresponding program from the program / data storage unit 108.

ビデオカメラ100が動画撮影モードで起動され、ユーザが図2Bに示す画面例のベビーモード用スタンプ選択ボタン213をタップすると、CPU107は、図5に示す処理を開始する。以下の動作説明では、LCDパネル111には図2Eに示す画面が表示されているものとする。   When the video camera 100 is activated in the moving image shooting mode and the user taps the baby mode stamp selection button 213 in the screen example shown in FIG. 2B, the CPU 107 starts the processing shown in FIG. In the following description of the operation, it is assumed that the screen shown in FIG. 2E is displayed on the LCD panel 111.

S501では、CPU107は、復帰ボタン221がタップされたかどうかを判定する。CPU107は、復帰ボタン221がタップされた場合、スタンプ選択画面を終了し、復帰ボタン221がタップされてない場合、S502に進む。   In step S501, the CPU 107 determines whether the return button 221 has been tapped. If the return button 221 is tapped, the CPU 107 ends the stamp selection screen. If the return button 221 is not tapped, the CPU 107 proceeds to S502.

S502では、CPU107は、ベビーモード用スタンプ表示設定ボタンが押されたかどうかを判定する。図2Eにおいて、ベビーモード用スタンプ表示設定ボタンは、年齢スタンプ表示設定ボタン246、身長スタンプ表示設定ボタン247及び体重スタンプ表示設定ボタン248である。CPU107は、ベビーモード用スタンプ表示設定ボタンがタップされた場合は、S503の処理に進み、タップされない場合、S501に進む。   In S502, the CPU 107 determines whether or not the baby mode stamp display setting button has been pressed. In FIG. 2E, baby mode stamp display setting buttons are an age stamp display setting button 246, a height stamp display setting button 247, and a weight stamp display setting button 248. If the baby mode stamp display setting button is tapped, the CPU 107 proceeds to the process of S503, and if not tapped, the process proceeds to S501.

S503では、CPU107は、ベビーモード用スタンプ表示設定ボタンの変化を検出し、オン状態かどうかを判定する。CPU107は、オン状態になったと判定した場合S505の処理に進み、そうでない場合(オフ状態と判定した場合)、S504の処理に進む。   In step S503, the CPU 107 detects a change in the baby mode stamp display setting button and determines whether or not the baby mode stamp display setting button is on. If it is determined that the CPU 107 is in the on state, the CPU 107 proceeds to the process of S505. Otherwise (if it is determined to be in the off state), the CPU 107 proceeds to the process of S504.

S504では、CPU107は、スタンプの消去処理及び画面全体の再描画を行い、S501に進む。具体的には、CPU107は、一時記憶部103を参照し、設定が変更したスタンプと、そのスタンプの表示位置・エリアを取得し、描画エリアを背景色で塗りつぶす。CPU107は、さらに、他のスタンプと重なっている可能性もあるので、画面全体を再描画する。   In step S504, the CPU 107 performs stamp deletion processing and redrawing the entire screen, and the process advances to step S501. Specifically, the CPU 107 refers to the temporary storage unit 103, acquires the stamp whose setting has been changed, the display position / area of the stamp, and fills the drawing area with the background color. Further, the CPU 107 redraws the entire screen because there is a possibility of overlapping with another stamp.

S505では、CPU107は、一時記憶部103を参照し、本体に設定されている撮影対象者設定情報を取得し、S506に進む。撮影対象者設定情報は、撮影対象の赤ん坊がどれにあたるかを示す情報である。図2Eに示す例でいうと、撮影対象者設定情報は、赤ん坊一人目選択ボタン241、赤ん坊二人目選択ボタン242及び赤ん坊三人目選択ボタン243のどれが有効状態となっているかである。   In step S <b> 505, the CPU 107 refers to the temporary storage unit 103, acquires the shooting target person setting information set in the main body, and proceeds to step S <b> 506. The photographing subject setting information is information indicating which baby to be photographed corresponds to. In the example shown in FIG. 2E, the photographing subject setting information indicates which of the first baby selection button 241, the second baby selection button 242, and the third baby selection button 243 is enabled.

S506では、CPU107は、S505で取得した撮影対象者に応じた表示形態のスタンプを描画し、S507に進む。プログラム・データ記憶部108には、撮影対象者に応じた表示形態のスタンプが所定人数分、記憶されている。CPU107は、S506の処理において適切な画像をプログラム・データ記憶部108から一時記憶部103に展開し、画面上に描画する。本実施例では、一人の撮影対象者に対して、年齢スタンプ、身長スタンプ及び体重スタンプの画像を用意しているので、3人分では総計9つのスタンプになる。日付スタンプ及び時刻スタンプのように撮影対象者に依存しないスタンプは、撮影対象者によってスタンプ画像を切り替える必要が無いことはいうまでもない。   In S506, the CPU 107 draws a stamp having a display form corresponding to the subject to be photographed acquired in S505, and the process proceeds to S507. The program / data storage unit 108 stores a stamp of a display form corresponding to the person to be photographed for a predetermined number of people. In step S506, the CPU 107 expands an appropriate image from the program / data storage unit 108 to the temporary storage unit 103 and draws it on the screen. In this embodiment, an image of an age stamp, a height stamp, and a weight stamp is prepared for one person to be photographed. Needless to say, stamps that do not depend on the subject, such as date stamps and time stamps, need not be switched by the subject.

S507では、CPU107は、S505で取得した撮影対象者の個別情報をスタンプ上に描画し、S501に進む。撮影対象者の個別情報は、生年月日から計算する年齢並びにユーザ入力により設定される身長及び体重であり、プログラム・データ記憶部108に記憶されている。   In S507, the CPU 107 draws the individual information of the person to be photographed acquired in S505 on the stamp, and the process proceeds to S501. The individual information of the person to be imaged is the age calculated from the date of birth and the height and weight set by the user input, and are stored in the program / data storage unit 108.

図5に示すフローチャートに従う上述の動作により、スタンプ描画の際に撮影対象者に応じた表示形態のスタンプを表示できる。   With the above-described operation according to the flowchart shown in FIG. 5, it is possible to display a stamp having a display form corresponding to the person to be photographed when the stamp is drawn.

図6は、撮影対象者切り替え時の描画処理のフローチャートを示す。この処理は、CPU107がプログラム・データ記憶部108から相当するプログラムを読み出し実行することによって、実現される。   FIG. 6 shows a flowchart of the drawing process at the time of switching the person to be photographed. This process is realized by the CPU 107 reading and executing a corresponding program from the program / data storage unit 108.

ビデオカメラ100が動画撮影モードで起動され、ユーザが図2Bに示す画面例のベビーモード用スタンプ選択ボタン213をタップすると、CPU107は、図6に示す処理を開始する。以下の動作説明では、LCDパネル111には図2Eに示す画面が表示されているものとする。   When the video camera 100 is activated in the moving image shooting mode and the user taps the baby mode stamp selection button 213 in the screen example shown in FIG. 2B, the CPU 107 starts the processing shown in FIG. In the following description of the operation, it is assumed that the screen shown in FIG. 2E is displayed on the LCD panel 111.

S601では、CPU107は、復帰ボタン221がタップされたかどうかを判定する。CPU107は、復帰ボタン221がタップされた場合、スタンプ選択画面を終了し、復帰ボタンがタップされていない場合、S602に進む。   In step S601, the CPU 107 determines whether the return button 221 has been tapped. If the return button 221 has been tapped, the CPU 107 ends the stamp selection screen, and if the return button has not been tapped, the CPU 107 proceeds to S602.

S602では、CPU107は、ベビーモード用撮影対象選択ボタンがタップされたかどうかを判定し、撮影対象選択ボタンでない場合にはS601に進み、撮影対象選択ボタンである場合にはS602に進む。撮影対象選択ボタンは、図2Eの示す画面例の、赤ん坊一人目選択ボタン241、赤ん坊二人目選択ボタン242及び赤ん坊三人目選択ボタン243のいずれかである。   In S602, the CPU 107 determines whether or not the baby mode shooting target selection button has been tapped. If it is not the shooting target selection button, the process proceeds to S601, and if it is a shooting target selection button, the process proceeds to S602. The photographing target selection button is any one of the first baby selection button 241, the second baby selection button 242, and the third baby selection button 243 in the screen example shown in FIG. 2E.

S603では、CPU107は、撮影対象者の変更があったかどうかを判定し、撮影対象者の変更があった場合にはS604に進み、撮影対象者の変更がなかった場合にはS601に進む。   In S603, the CPU 107 determines whether or not there is a change in the photographing subject. If there is a change in the photographing subject, the process proceeds to S604, and if there is no change in the photographing subject, the process proceeds to S601.

S604では、CPU107は、ベビー用スタンプが表示されているかどうかを判定し、ベビー用スタンプが表示されている場合にはS605に進み、表示されていない場合にはS601に進む。なお、ベビー用スタンプが表示されているかどうかは、年齢スタンプ表示設定ボタン246、身長スタンプ表示設定ボタン247及び体重スタンプ表示設定ボタン248について一時記憶部103に記憶される設定状態を参照して判定する。   In S604, the CPU 107 determines whether or not a baby stamp is displayed. If the baby stamp is displayed, the process proceeds to S605. If not, the process proceeds to S601. Whether or not the baby stamp is displayed is determined by referring to the setting state stored in the temporary storage unit 103 for the age stamp display setting button 246, the height stamp display setting button 247, and the weight stamp display setting button 248. .

S605では、CPU107は、スタンプの消去処理及び画面全体の再描画を行い、S606に進む。具体的には、CPU107は、一時記憶部103を参照し、設定が変更したスタンプと、そのスタンプの表示位置・エリアを取得し、描画エリアを背景色で塗りつぶす。CPU107は、さらに、他のスタンプと重なっている可能性もあるので、画面全体を再描画する。   In step S605, the CPU 107 performs stamp deletion processing and redrawing the entire screen, and the process advances to step S606. Specifically, the CPU 107 refers to the temporary storage unit 103, acquires the stamp whose setting has been changed, the display position / area of the stamp, and fills the drawing area with the background color. Further, the CPU 107 redraws the entire screen because there is a possibility of overlapping with another stamp.

S606では、CPU107は、一時記憶部103を参照し、本体に設定されている撮影対象者設定情報を取得し、S607に進む。   In S <b> 606, the CPU 107 refers to the temporary storage unit 103, acquires the shooting target person setting information set in the main body, and proceeds to S <b> 607.

S607では、CPU107は、S606で取得した撮影対象者に応じた表示形態のスタンプを描画し、S608に進む。   In step S <b> 607, the CPU 107 draws a stamp having a display form corresponding to the subject to be acquired acquired in step S <b> 606, and the process proceeds to step S <b> 608.

S608では、CPU107は、S606で取得した撮影対象者に応じた情報をスタンプ上に描画し、S601に進む。   In step S608, the CPU 107 draws information corresponding to the photographing target acquired in step S606 on the stamp, and the process advances to step S601.

図6に示すフローにより、撮影対象者の変更に伴い、ベビー用スタンプを、撮影対象者に応じた表示形態に変更できる。   According to the flow shown in FIG. 6, the baby stamp can be changed to a display form corresponding to the subject to be photographed as the subject to be photographed is changed.

以上のように、撮影対象者に応じてスタンプの表示形態を変更することで、撮影対象者とスタンプの表示形態を関連付けることができる、図4(b)に示すように、タンプの表示形態から撮影対象者を容易に判別できるようになる。これにより、インデックス表示のサムネイル画像のような小さな画像であっても、種被写体を容易に識別できるようになる。   As described above, by changing the stamp display form according to the person to be photographed, the person to be photographed can be associated with the stamp display form. As shown in FIG. The person to be photographed can be easily identified. This makes it possible to easily identify the seed subject even for a small image such as an index-displayed thumbnail image.

撮影対象を赤ん坊とした動作を説明したが、その他の被写体、例えば、犬、猫、ウサギ等の動物でも、適用可能である。すなわち、本発明では、複数の被写体について、被写体毎に異なる表示形態の、画像に重畳すべきアイテムの情報を含む被写体情報を記憶し、ユーザの選択指示に従い特定の被写体の画像に同じアイテムを重畳する。   Although the operation in which the subject to be photographed is a baby has been described, the present invention can also be applied to other subjects such as animals such as dogs, cats, and rabbits. That is, according to the present invention, for a plurality of subjects, subject information including information on items to be superimposed on images in different display forms is stored, and the same item is superimposed on an image of a specific subject according to a user's selection instruction. To do.

プログラム・データ記憶部108に記憶するスタンプ表示テータは、利用前に、通信部112又はUSB等を介して他機器から転送し、プログラム・データ記憶部108に格納しても良い。   The stamp display data stored in the program / data storage unit 108 may be transferred from another device via the communication unit 112 or USB and stored in the program / data storage unit 108 before use.

スタンプの種類として生年月日、体重及び身長を例に挙げたが、被写体を識別するニックネーム、名前及び/又は血液型等を採用しても良いし、追加しても良い。   The date of birth, weight, and height are given as examples of the type of stamp. However, a nickname, name, and / or blood type that identifies the subject may be used or added.

CPU107による制御は、1つのハードウェアで実現しても良いし、複数のハードウェアが処理を分担することで実現しても良い。   Control by the CPU 107 may be realized by a single piece of hardware, or may be realized by a plurality of pieces of hardware sharing processing.

特定の用途に使用する実施例を説明したが、これは説明用であり、本発明は、上述した特定の実施例に限定されない。すなわち、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。   While the embodiment used for a particular application has been described, this is illustrative and the invention is not limited to the particular embodiment described above. That is, various forms within the scope of the present invention are also included in the present invention.

本発明をビデオカメラに適用した実施例を説明したが、動画又は静止画を記録する画像記録装置を有する種々の装置に適用可能である。例えば、パーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤ、ゲーム機、電子ブックリーダなどに適用可能である。   Although the embodiment in which the present invention is applied to a video camera has been described, the present invention can be applied to various apparatuses having an image recording apparatus for recording a moving image or a still image. For example, the present invention can be applied to personal computers, PDAs, mobile phone terminals, portable image viewers, printer devices having a display, digital photo frames, music players, game machines, electronic book readers, and the like.

(他の実施例)本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウエア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明を構成することになる。   (Other Embodiments) The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program code. To be executed. In this case, the program and a computer-readable storage medium storing the program constitute the present invention.

Claims (10)

画像入力手段と、
複数の被写体について、被写体毎に異なる表示形態の、画像に重畳するアイテムであって、文字列ではないアイテムの情報を含む被写体情報を記憶する記憶手段と、
前記記憶手段に記憶される前記被写体情報に対応する被写体のうちいずれかの被写体を選択する選択手段と、
前記選択手段により選択された前記被写体に関する被写体情報に含まれる前記アイテムと共に前記被写体に関する文字を表示し、さらに前記アイテムと前記文字を前記画像入力手段により入力される前記被写体の画像に重畳する重畳手段と、
前記重畳手段の出力を記録媒体に記録する記録手段
とを有することを特徴とする画像記録装置。
Image input means;
Storage means for storing subject information including information on items that are superimposed on an image and that are not character strings in a display form different for each subject for a plurality of subjects;
Selecting means for selecting one of the subjects corresponding to the subject information stored in the storage means;
Superimposing means for displaying characters relating to the subject together with the item included in the subject information relating to the subject selected by the selection means , and further superimposing the item and the characters on the image of the subject input by the image input means. When,
An image recording apparatus comprising: recording means for recording the output of the superimposing means on a recording medium.
前記重畳手段が前記アイテムを前記画像入力手段により入力される画像に重畳するか否かを選択する選択手段をさらに有することを特徴とする請求項1に記載の画像記録装置。   The image recording apparatus according to claim 1, further comprising a selecting unit that selects whether or not the superimposing unit superimposes the item on an image input by the image input unit. 記画像入力手段により入力される画像に重畳される前記アイテムに付加すべき文字を入力する入力手段をさらに有することを特徴とする請求項1又は2に記載の画像記録装置。 The image recording apparatus according to claim 1 or 2, characterized by further comprising input means for inputting characters to be added to the item to be superimposed on the image input by the previous SL image input means. 前記被写体情報には前記アイテムと、前記被写体を識別するニックネーム、名前、生年月日、体重、身長及び血液型の1つ以上の人物に関する情報を含むことを特徴とする請求項1乃至3の何れか1項に記載の画像記録装置。 4. The subject information includes information regarding the item and one or more persons of a nickname, name, date of birth, weight, height, and blood type that identify the subject. The image recording apparatus according to claim 1. 前記重畳手段に出力されて前記記録媒体に記録された画像を表示する際には、被写体毎に分けずに一覧表示することを特徴とする請求項1乃至4の何れか1項に記載の画像記録装置。   5. The image according to claim 1, wherein when displaying the image output to the superimposing unit and recorded on the recording medium, the image is displayed in a list without being divided for each subject. Recording device. 前記画像入力手段は撮像手段であることを特徴とする請求項1乃至5の何れか1項に記載の画像記録装置。   The image recording apparatus according to claim 1, wherein the image input unit is an imaging unit. 更に、
記録モードとしてベビーモードを設定するモード設定手段と、
前記ベビーモードが設定されると、前記記録手段が前記重畳手段の出力を前記記録媒体に記録するように前記記録手段を制御する制御手段
とを具備することを特徴とする請求項1乃至6の何れか1項に記載の画像記録装置。
Furthermore,
Mode setting means for setting baby mode as a recording mode;
7. The control unit according to claim 1, further comprising a control unit configured to control the recording unit so that the recording unit records the output of the superimposing unit on the recording medium when the baby mode is set. The image recording apparatus according to any one of the above.
複数の被写体について、被写体毎に異なる表示形態の、画像に重畳するアイテムであって、文字列ではないアイテムの情報を含む被写体情報を記憶する記憶手段に記憶される前記被写体情報に対応する被写体のうちいずれかの被写体を選択する選択ステップと、
前記選択ステップで選択された前記被写体に関する被写体情報に含まれる前記アイテムと共に前記被写体に関する文字を表示し、さらに前記アイテムと前記文字を画像入力手段により入力される画像に重畳する重畳ステップと、
前記重畳ステップの出力を記録媒体に記録する記録ステップ
とを有することを特徴とする画像記録装置の制御方法。
For a plurality of subjects, the items corresponding to the subject information stored in the storage unit that stores the subject information including the information of the item that is superimposed on the image and is not a character string in the display form different for each subject. A selection step for selecting one of the subjects,
A superimposition step of displaying characters relating to the subject together with the item included in the subject information relating to the subject selected in the selection step, and further superimposing the item and the character on an image input by an image input means;
And a recording step of recording the output of the superimposing step on a recording medium.
コンピュータを、請求項1乃至7のいずれか1項に記載された画像記録装置の各手段として機能させるためのプログラム。   A program for causing a computer to function as each unit of the image recording apparatus according to any one of claims 1 to 7. コンピュータを、請求項1乃至7のいずれか1項に記載された画像記録装置の各手段として機能させるためのプログラムを格納したコンピュータ読み取り可能な記憶媒体。   A computer-readable storage medium storing a program for causing a computer to function as each unit of the image recording apparatus according to any one of claims 1 to 7.
JP2013251647A 2013-12-05 2013-12-05 Image recording apparatus, control method and program thereof, and storage medium Active JP6335494B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013251647A JP6335494B2 (en) 2013-12-05 2013-12-05 Image recording apparatus, control method and program thereof, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013251647A JP6335494B2 (en) 2013-12-05 2013-12-05 Image recording apparatus, control method and program thereof, and storage medium

Publications (3)

Publication Number Publication Date
JP2015109571A JP2015109571A (en) 2015-06-11
JP2015109571A5 JP2015109571A5 (en) 2017-01-12
JP6335494B2 true JP6335494B2 (en) 2018-05-30

Family

ID=53439630

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013251647A Active JP6335494B2 (en) 2013-12-05 2013-12-05 Image recording apparatus, control method and program thereof, and storage medium

Country Status (1)

Country Link
JP (1) JP6335494B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1141551A (en) * 1997-07-22 1999-02-12 Hiromitsu Tanaka Age calculation output system
JP2004040205A (en) * 2002-06-28 2004-02-05 Minolta Co Ltd Image edit system
JP2004056286A (en) * 2002-07-17 2004-02-19 Fuji Photo Film Co Ltd Image display method
JP4374490B2 (en) * 2003-09-26 2009-12-02 富士フイルム株式会社 Imaging device
JP5889028B2 (en) * 2012-02-13 2016-03-22 キヤノン株式会社 Moving picture recording apparatus, control method therefor, computer program, and storage medium

Also Published As

Publication number Publication date
JP2015109571A (en) 2015-06-11

Similar Documents

Publication Publication Date Title
US11750914B2 (en) Devices, methods, and graphical user interfaces for capturing and recording media in multiple modes
JP5906097B2 (en) Electronic device, its control method, program, and recording medium
US9942486B2 (en) Identifying dominant and non-dominant images in a burst mode capture
JP5511573B2 (en) Display control apparatus, control method therefor, program, and storage medium
EP2542955B1 (en) Image processing device, image processing method and program
US9179090B2 (en) Moving image recording device, control method therefor, and non-transitory computer readable storage medium
JP2012133490A (en) Display control apparatus, control method thereof, program and recording medium
JP2006314010A (en) Apparatus and method for image processing
JP5802171B2 (en) Image display device, image display method, and program
CN105229999A (en) Image recording structure, image recording process and program
JP6335494B2 (en) Image recording apparatus, control method and program thereof, and storage medium
JP6762723B2 (en) Recording device, control method and program of recording device
JP6150538B2 (en) Movie recording apparatus and control method thereof
JP6362110B2 (en) Display control device, control method therefor, program, and recording medium
JP2013131811A (en) Image display device
CN113261302B (en) Electronic device
JP5818634B2 (en) Content management apparatus, recording apparatus, operation apparatus, content management system, and control method therefor
JP7150590B2 (en) Electronics
JP2013098657A (en) Content management apparatus, recording apparatus, operating apparatus and control method for them, and content management system
JP2010039806A (en) Image display device
JP2015001680A (en) Imaging apparatus, imaging method, and program
JP2010183276A (en) Camera, display device, and electronics
JP2010134063A (en) Image display

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171026

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20180227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180501

R151 Written notification of patent or utility model registration

Ref document number: 6335494

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151