JP6335494B2 - Image recording apparatus, control method and program thereof, and storage medium - Google Patents
Image recording apparatus, control method and program thereof, and storage medium Download PDFInfo
- Publication number
- JP6335494B2 JP6335494B2 JP2013251647A JP2013251647A JP6335494B2 JP 6335494 B2 JP6335494 B2 JP 6335494B2 JP 2013251647 A JP2013251647 A JP 2013251647A JP 2013251647 A JP2013251647 A JP 2013251647A JP 6335494 B2 JP6335494 B2 JP 6335494B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- stamp
- unit
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、画像記録装置、その制御方法及びプログラム並びに記憶媒体に関する。 The present invention relates to an image recording apparatus, a control method and program thereof, and a storage medium.
タッチパネル付き表示装置を使い、画像表示と操作を一体化した情報機器が普及しており、デジタルビデオカメラにも多く採用されている。 Information equipment that integrates image display and operation using a display device with a touch panel has become widespread, and is also widely used in digital video cameras.
特許文献1には、デジタルビデオカメラにおいて、タッチ操作によるフリーハンド入力によって文字や図形を動画に重畳することが記載されている。 Patent Document 1 describes that in a digital video camera, characters and figures are superimposed on a moving image by freehand input by a touch operation.
特許文献2には、ビデオカメラにおいて、撮影画像に含まれる被写体を認識し、被写体の名前を画像に重畳して表示する技術が記載されている。 Japanese Patent Application Laid-Open No. 2004-228561 describes a technique for recognizing a subject included in a captured image and displaying the subject name superimposed on the image in a video camera.
特許文献2に記載される技術では、撮影時に被写体をその名前で判別できるようになる。しかし、代表画像(動画のサムネイル)の一覧表示画面では、重畳表示される名前は判読困難となり、被写体を識別する用をなさない。被写体が幼児や小動物となると、代表画像一覧から区別するのはより困難となる。
With the technique described in
撮影画像と、この画像に含まれる被写体のテキスト情報等とを関連付ける管理ファイルを保存することで、代表画像の一覧表示時に被写体をそのテキスト情報等で判読できるようになる。この方法は、テキスト情報等が事前に用意された被写体にしか適用できない。すなわち、事前に多くの被写体についてそのテキスト情報等を用意し、撮像装置の記憶装置に格納しておく必要がある。また、独自の管理ファイルを用意することになるので、撮影画像を他の情報機器で表示又は閲覧する場合には被写体をそのテキスト情報等で識別することができない。すなわち、汎用性ないし可用性に欠ける。 By storing a management file that associates a captured image with text information of a subject included in the image, the subject can be read with the text information or the like when a list of representative images is displayed. This method can be applied only to a subject for which text information or the like is prepared in advance. That is, it is necessary to prepare text information and the like for many subjects in advance and store them in the storage device of the imaging device. In addition, since a unique management file is prepared, the subject cannot be identified by the text information or the like when the captured image is displayed or viewed on another information device. That is, it lacks versatility or availability.
本発明は、このような不都合を解消し、代表画像上でも被写体を容易に識別可能な画像記録装置、その制御方法及びプログラム並びに記憶媒体を提示することを目的とする。 It is an object of the present invention to provide an image recording apparatus, a control method and program thereof, and a storage medium that can eliminate such inconvenience and easily identify a subject even on a representative image.
本発明に係る画像記録装置は、画像入力手段と、複数の被写体について、被写体毎に異なる表示形態の、画像に重畳するアイテムであって、文字列ではないアイテムの情報を含む被写体情報を記憶する記憶手段と、前記記憶手段に記憶される前記被写体情報に対応する被写体のうちいずれかの被写体を選択する選択手段と、前記選択手段により選択された前記被写体に関する被写体情報に含まれる前記アイテムと共に前記被写体に関する文字を表示し、さらに前記アイテムと前記文字を前記画像入力手段により入力される前記被写体の画像に重畳する重畳手段と、前記重畳手段の出力を記録媒体に記録する記録手段とを有することを特徴とする。
An image recording apparatus according to the present invention stores image information and subject information including information on an item to be superimposed on an image, which is different in display form for each subject, and is not a character string, for a plurality of subjects. said storage means, and selecting means for selecting one of the object of the subject corresponding to the subject information stored in the storage means, together with the items included in the subject information regarding the subject selected by the selection means And a superimposing unit that displays characters related to the subject , superimposes the item and the character on the image of the subject input by the image input unit, and a recording unit that records the output of the superimposing unit on a recording medium. It is characterized by.
本発明によれば、被写体に応じて異なる表示形態のアイテムを画像に重畳するので、重畳されたアイテムにより特定の被写体を含む画像を識別できるようになる。 According to the present invention, since items having different display forms are superimposed on an image depending on the subject, an image including a specific subject can be identified by the superimposed item.
以下、図面を参照して、本発明の実施例を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1(a)は、本発明に係る画像記録装置一実施例を組み込んだビデオカメラの概略構成ブロック図を示し、図1(b)は、背面方向から見た外観斜視図を示す。 FIG. 1A shows a schematic block diagram of a video camera incorporating an embodiment of an image recording apparatus according to the present invention, and FIG. 1B shows an external perspective view seen from the back side.
ビデオカメラ100のCPU107は、プログラム・データ記憶部108から制御プログラムを読み込み、カメラ100全体の動作を制御する。CPU107は、プログラム・データ記憶部108から読み込んだ制御プログラムの複数のタスクを並列に実行できる。具体的には、CPU107上で、モード制御タスク、カメラ制御タスク、レコーダ制御タスク及び表示制御タスクが並列動作する。表示制御タスクを実行するCPU107が、表示制御部としての機能を果たす。
The
一時記憶部103は、CPU107のワーク領域として機能し、また、後述する動画用フレームバッファ及びOSD用フレームバッファとして使用される。
The
カメラ部101は、アナログ画像信号をカメラ100に入力する画像入力手段である。具体的に、カメラ部101は、被写体からの光を結像する撮影レンズ、撮影レンズよって結像された被写体像を光電変換する撮像素子及び撮像素子を駆動する回路等を含む。映像処理部102は、カメラ部101から入力されるアナログ画像信号をデジタル動画データに変換し、ノイズ除去などの所定の画像処理に基づく補正を行う。CPU107が実行するカメラ制御タスクが、カメラ部101及び映像処理部102のこれらの動作を制御する。
The
エンコーダ・デコーダ部104は、映像処理部102からの動画データを符号化するエンコーダと、符号化された動画データをデコードするデコーダからなる。エンコーダ・デコーダ部104によって符号化された動画データは、一時記憶部103に一旦記憶されたのち、付随する管理データとともに動画記憶部105に記憶される。動画記憶部105は、着脱可能なメモリーカード、又は、内部記録媒体としてのハードディスク若しくはフラッシュメモリなどの記録媒体からなる。エンコーダ・デコーダ部104は、画像を記録媒体である動画記憶部105に記録する記録手段である。
The encoder /
動画の再生時は逆に、動画記憶部105から読み出された符号化された動画データが一時記憶部103を介してエンコーダ・デコーダ部104に供給され、復号化される。エンコーダ・デコーダ部104は、デコードで得られた再生画像データを一時記憶部103の動画用フレームバッファに展開する。CPU107が実行するレコーダ制御タスクが、エンコーダ・デコーダ部104及び動画記憶部105のこれらの動作を制御する。
On the contrary, at the time of reproducing a moving image, the encoded moving image data read from the moving
動画記憶部105から読み出された管理データは、OSDデータ、すなわち、撮影画像又は再生画像に重畳される文字表示やGUI(Graphical User Interface)用のデータの生成に利用される。そして、CPU107は、生成したOSDデータを一時記憶部103内のOSD用フレームバッファ(VRAM)に描画する。動画用フレームバッファとOSD用フレームバッファの各内容は、表示制御部110で重畳されてLCDパネル111に表示される。
The management data read from the moving
操作キー106及びタッチパネル109はいずれも、ユーザによる動作指示を受け付ける操作部である。なお、タッチパネル109はLCDパネル111の画面に重ねて配置される。例えば、光透過率がLCDパネル111の表示を妨げないようにタッチパネル109を構成し、そのタッチパネル109をLCDパネル111の表示面の上層に取り付ける。タッチパネル109における入力座標と、LCDパネル111上の表示座標とを対応付けることにより、あたかもユーザがLCDパネル111上に表示された画像を直接的に操作するようなGUIを構成できる。タッチパネル109には、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式及び光センサ方式等の様々な方式のものがあり、本実施例では、そのいずれの方式のものを用いても良い。
Both the
通信部112は無線又は有線の通信媒体を介して他の機器と接続し、画像データを含む種々のデータを当該他の機器との間で送受信するのに使用される。
The
図1(b)に示すように、ビデオカメラ100は、カメラ部101を有する本体部120と、ヒンジによって本体部120に回動可能に取り付けられたバリアングルLCD部122からなる。バリアングルLCD部122は、一体化されたLCDパネル111とタッチパネル109からなる。
As shown in FIG. 1B, the
CPU107は、タッチパネル109に対する以下の操作又は状態を検出できる。タッチパネル109を指やペンで触れることを、以下、タッチダウン(Touch-Down)と称する。タッチパネル109を指やペンで触れている状態であることを、以下、タッチオン(Touch-On)と称する。タッチパネル109を指やペンで触れたまま移動することを、以下、タッチムーブ(Touch-Move)と称する。タッチパネル109へ触れていた指やペンを離すことを、以下、タッチアップ(Touch-Up)と称する。タッチパネル109に何も触れていない状態を、以下、タッチオフ(Touch-Off)と称する。
The
タッチパネル109に対するこれらの操作/状態とタッチパネル109上に指やペンが触れている位置座標は、内部バスを通じてCPU107に通知される。CPU107は、タッチパネル109から通知されるこれら情報に基づいてタッチパネル109に対する操作を判定する。すなわち、CPU107は、タッチパネル109に対するタッチ操作を検知するタッチ検知手段として機能する。
The
CPU107は、タッチムーブについては、タッチパネル109上で移動する指やペンの移動方向についても、位置座標の変化に基づいてタッチパネル109上の垂直成分と水平成分を判定できる。また、CPU107は、タッチパネル109上をタッチダウンから一定のタッチムーブを経てタッチアップをしたとき、ストロークを描いたと判定する。素早くストロークを描く操作を、フリックと呼ぶ。フリックは、タッチパネル109上に指を触れたままある程度の距離だけ素早く動かしてそのまま離す操作であり、言い換えれば、タッチパネル109上を指ではじくように素早くなぞる操作でもある。所定距離以上を所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されると、CPU107は、フリックと判定する。また、所定距離以上を所定速度未満でタッチムーブしたことが検出された場合、CPU107は、ドラッグと判定する。
For the touch move, the
CPU107によって実行されるモード制御タスクは、操作部(操作キー106、タッチパネル109)からの指示、他タスクからの要求及びモード制御タスク自身が管理する内部状態の変化に従い、カメラ100の動作状態を遷移させる。モード制御タスクは必要により、動作状態の遷移をタスクイベントとして関連するタスクに通知する。
The mode control task executed by the
本実施例は、タッチ入力による描画モードにおいて、ユーザがタッチ操作で描いた図形や文字等を記録映像(動画)に重畳できる。画像に分離不能に埋め込む場合と、メタデータとして付加し、再生時に合成表示する場合の何れでも良い。タッチ入力による描画の種類としては、ペン、スタンプ、消しゴム及びアニメーションなどがある。 In this embodiment, in a drawing mode by touch input, a figure, a character, or the like drawn by a user by a touch operation can be superimposed on a recorded video (moving image). Either the case where it is embedded in an image inseparably or the case where it is added as metadata and displayed in combination during reproduction may be used. Types of drawing by touch input include pen, stamp, eraser, and animation.
ビデオカメラ100は、動画撮影モード又は記録モードの一種として、赤ん坊または子供を撮影するための撮影モード(以下、ベビーモードという)を選択可能である。ベビーモードは、例えばLCDパネル111に撮影モード選択画面が表示された状態で、ベビーモードを示すアイコンを撮影者がタッチすることで設定される。
The
ベビーモードが設定されると、CPU107は、ベビーモードに設定された旨を一時記憶部103又はプログラム・データ記憶部108に記憶し、赤ん坊を撮影するのに適したカメラ設定に各部を設定する。例えば、背景をぼかして人物を浮き立たせるような露出設定(絞り及びシャッタ速度)と、赤ん坊の肌を取るのに適したホワイトバランス設定を適用する。寝ている赤ん坊を起こさないように、撮影開始時、撮影終了時及び各種エラー時などの報知音及び各種操作音をオフ(無音)に設定する。
When the baby mode is set, the
さらに、ベビーモードで撮影された動画は、ベビーモードに設定されて撮影された動画用のプレイリスト(「ベビーアルバム」と称する。)に撮影順で登録される。ベビーアルバムは、ベビーモードに設定された動画の再生に必要な情報(ファイル名や格納領域のリンク情報など)が記録された管理データを含み、動画記憶部105に記録される。ベビーアルバムを参照して、ベビーアルバムに登録された複数の動画を順次再生することで、赤ん坊の成長を順を追って視聴するといった使い方ができる。すなわち、ベビーモードで撮影された複数の動画を、他のモードで撮影された動画とは別途にまとめて管理できる。
Furthermore, the moving image shot in the baby mode is registered in the shooting order in a play list for moving images set in the baby mode (referred to as “baby album”). The baby album includes management data in which information (file name, storage area link information, etc.) necessary for reproduction of the moving image set in the baby mode is recorded, and is recorded in the moving
また、ベビーモードに設定すると、タッチ入力による描画モードで入力可能なスタンプ(アイテム又はアイコン)が追加され、ベビーモード用のスタンプが利用可能となる。ベビーモード用のスタンプには、年齢スタンプ、体重スタンプ及び身長スタンプなどがある。年齢スタンプ、体重スタンプ及び身長スタンプ上にはそれぞれ、年齢、体重及び身長をタッチパネル109を使った文字入力により記入できる。また、本実施例では、年齢、体重及び身長のそれぞれについて、互いに表示形態の異なる3種類のスタンプが予め用意されており、撮影者が、撮影時に3種の内の適用すべきスタンプを選択できる。
When the baby mode is set, a stamp (item or icon) that can be input in the drawing mode by touch input is added, and the baby mode stamp can be used. The baby mode stamp includes an age stamp, a weight stamp, and a height stamp. On the age stamp, weight stamp, and height stamp, the age, weight, and height can be entered by character input using the
図2A〜図2Gは、LCDパネル111の表示画面例を示す。図2A〜図2Gを参照して、撮影時(動画記録待機時及び動画記録中)にLCDパネル111に表示される各画面例を説明する。
2A to 2G show examples of display screens on the
図2Aは、撮影モード(又は記録モード)における撮影待機中及び記録中の表示例を示す。LCDパネル111には、カメラ部101で撮像されているスルー画像201(ライブビュー画像とも称する)が、動画として全画面表示されている。スルー画像201は、被写体208を撮像したものである。画面の上部には、撮影時間情報203と、録画状態アイコン204と、残バッテリ情報205と、ベビーモードを示すベビーモードアイコン206が、OSDで表示されている。撮影時間情報203は録画開始からの経過時間を示し、図2Aでは録画待機中を示す。画面上にはさらに、メニューボタン202とタッチ描画モード切り替えボタン207が、それぞれOSDで表示されている。メニューボタン202及びタッチ描画切り替えボタン207に対して、撮影者はタッチパネル109によりタッチ操作可能である。
FIG. 2A shows a display example during shooting standby and during recording in the shooting mode (or recording mode). On the
これらOSDで表示されるアイテムは、撮像画像に重畳されて画面表示されるものであり、記録はされない。本明細書ではこのようなアイテムを「表示アイテム」と称する。図2Aに示す表示例では、メニューボタン202、撮影時間情報203、録画状態アイコン204、残バッテリ情報205、ベビーモードアイコン206及びタッチ描画切り替えボタン207が、表示アイテムである。録画状態アイコン204は、録画中か録画待機中かを示す。
These items displayed on the OSD are displayed on the screen superimposed on the captured image, and are not recorded. In this specification, such an item is referred to as a “display item”. In the display example shown in FIG. 2A, the
これらの表示アイテム202〜207は、ユーザに相応する情報を通知するか操作を促すものであって、動画記憶部105に撮像画像の動画とともに記録されるものではない。動画記録中において、タッチ描画モードに遷移する前であれば、撮影時間情報203の時間が進むことと、録画状態アイコン204が録画状態を示す表示形態になること以外は、概ね、図2Aに示す表示構成が維持される。
These
図2Aに示す表示画面例で撮影者がタッチ描画切り替えボタン207をタッチ操作すると、CPU107は、タッチパネル109による手書き入力を可能にするタッチ描画モードに遷移する。図2Bは、図2Aからタッチ描画モードに遷移した直後の、LCDパネル111の表示画面例を示す。LCDパネル111には、カメラ部101で撮像されているスルー画像201が動画として全画面表示され、中央に被写体208が位置する。
When the photographer touches the touch
画面の上部には、録画状態アイコン204と残バッテリ情報205がOSDで表示されている。画面上には更に、タッチ描画種別選択ボタン211、アニメーション選択ボタン212、ベビーモード用スタンプ選択ボタン213及びクローズボタン214が、それぞれOSDで表示されている。これらボタン211〜214は、タッチパネル109へのタッチ操作により対応する指示をCPU107に入力するタッチボタンである。クローズボタン214は、タッチ描画モードを抜けて通常撮影モードに戻ることをCPU107に指示するのに使用される。ベビーモード用スタンプ選択ボタン213は、ベビーモードに設定されているときのみ表示される。タッチ描画モードであっても、動画記録中では、録画状態アイコン204が録画状態を示す表示形態になる。
At the top of the screen, a
図2Cは、ペンとスタンプの種別を選択する画面例を示し、図2Bに示す画面でタッチ描画種別選択ボタン211がタッチされると、LCDパネル111に表示される。画面上には、画面のタイトルと前の画面への復帰を指示する復帰ボタン221がOSDで表示されている。
FIG. 2C shows an example of a screen for selecting the type of pen and stamp. When the touch drawing
また、種々の編集ツールを示すボタン222〜229がOSDにより表示される。ペン先小ボタン222とペン先大ボタン223は、ペンの太さを指示するのに使用される。ハートボタン224及び星ボタン225は、スタンプの形状(ハートと星)を指定するのに使用される。消しゴム小ボタン226及び消しゴム大ボタン227は、それぞれのサイズの消しゴムを指定するのに使用される。色選択ボタン228は、ペンやスタンプの色の選択を指定するのに使用される。クリアボタン229は、編集ツールで描画又は選択したアイテムの全消去をCPU107に指示するのに使用される。
In addition,
なお、ペンを選択したときは、描画をするためのタッチ操作として、タッチダウンした点からタッチアップするまで連続的に画面をなぞると、軌跡に沿って連続した線を描画することができる。スタンプを選択したときは、タッチダウンした位置を基準とした位置に選択したスタンプを描くことができる。 When a pen is selected, a continuous line can be drawn along the trajectory by continuously tracing the screen from the touched down point until touching up as a touch operation for drawing. When a stamp is selected, the selected stamp can be drawn at a position based on the touched-down position.
ペンにより描画された図形と、ハートボタン224及び星ボタン225で付加されたスタンプ(アニメーション化されたものを含む)は、撮像画像に重畳され、撮像画像と共に動画記憶部105に記録される。これらの図形及びスタンプのように、撮像画像に重畳されて撮像画像と共に記録されるアイテムを、重畳アイテムと呼ぶ。テンキー等で文字を入力可能な場合、この入力文字は、撮影画像に重畳して記録される場合は重畳アイテムである。
The graphic drawn by the pen and the stamps (including those animated) added by the
重畳アイテムの記録の方法として以下の2通りが考えられるが、何れを採用しても良い。第一の方法では、CPU107又はCPU107に制御された映像処理部102が、カメラ部101で撮像された画像に重畳アイテムを分離不能に合成し、動画記憶部105が、得られた合成画像を動画ファイルとして記憶する。第二の方法では、CPU107が、動画記憶部105にカメラ部101による撮像画像を動画ファイルとして記憶させると共に、重畳アイテム関連情報をこの動画ファイルに関連付けて記憶させる。重畳アイテム関連情報は少なくとも重畳アイテムを特定するデータを含み、更に、重畳アイテムを重畳すべき動画中の時間を示す(タイムコードなど)及び画面上の空間位置を示す座標データを含む。重畳アイテムを特定するデータには、重畳アイテムの画像データ自体、又は重畳アイテムの種別を示すIDデータなどがある。重畳アイテム関連情報は、動画ファイルのヘッダ情報(属性情報)として記録しても良いし、動画ファイルに関連付けられた別ファイルに記録しても良い。
The following two methods are conceivable as a method for recording the superimposed item, either of which may be adopted. In the first method, the
図2Dはアニメーション選択画面の表示例を示し、図2Bに示す画面でユーザがアニメーション選択ボタン212をタッチすると、LCDパネル111に表示される。この画面で、ユーザはアニメーションの種類を選択できる。画面上には、画面タイトルと、前画面への戻りをCPU107に指示する復帰ボタン221と、複数のアニメーションボタン231が、OSDで表示されている。選択されたアニメーションは、重畳アイテムとして、撮像画像に重畳される。
FIG. 2D shows a display example of the animation selection screen. When the user touches the
図2Eはベビーモード用スタンプ選択画面の表示例を示し、図2Bに示す画面でユーザがベビーモード用スタンプ選択ボタン213をタッチすると、LCDパネル111に表示される。この画面で、ユーザは、どの赤ん坊を撮影するかを選択でき、ベビーモード用スタンプの表示・非表示を選択できる。画面上には、画面タイトル、前画面への戻りをCPU107に指示する復帰ボタン221、及び複数のタッチ操作可能なボタン2241〜248が、スルー画像201に重畳してOSDで表示されている。
FIG. 2E shows a display example of the baby mode stamp selection screen. When the user touches the baby mode
赤ん坊一人目選択ボタン241、赤ん坊二人目選択ボタン242及び赤ん坊三人目選択ボタン243は、撮影対象の赤ん坊を指定するボタンであり、何れか1つのみを選択可能である。図2Eでは、赤ん坊一人目選択ボタン241が選択状態となっている。この状態で、赤ん坊二人目選択ボタン242または赤ん坊三人目選択ボタン243をタップすることにより、撮影対象の赤ん坊を変更できる。
The first
日付スタンプ表示設定ボタン244は、時刻スタンプ表示設定ボタン245、年齢スタンプ表示設定ボタン246、身長スタンプ表示設定ボタン247及び体重スタンプ表示設定ボタン248を、「表示設定ボタン」と総称する。各表示設定ボタン244〜248は透過情態で表示され、ユーザは、各表示設定ボタン244〜248の裏に半透過でスルー画像201を視認できる。また、各表示設定ボタン244〜248はトグルボタンであり、タッチするたびに各表示設定ボタンの示すスタンプのオンとオフが切り替わる。オンにすると、CPU107は、ボタン左端の矩形に色を着け、オンとなったスタンプを撮像画像(映像処理部102の出力画像)に重畳する。逆に、オフにすると、CPU107は、ボタン左端の矩形の色を消し、撮像画像に重畳されていたスタンプを消去する。なお、図2Eでは、日付スタンプ表示設定ボタン244と時刻スタンプ表示設定ボタン245が表示オフ状態であり、年齢スタンプ表示設定ボタン246と身長スタンプ表示設定ボタン247と体重スタンプ表示設定ボタン248が表示オン状態である。
In the date stamp
また、表示設定ボタン246〜248の右横には、各スタンプの表示内容を設定できる生年月日設定ボタン249、身長設定ボタン250及び体重設定ボタン251がそれぞれ、OSDにより表示される。
Also, on the right side of the
図2Eに示す表示画面例では、赤ん坊一人目選択ボタン241、赤ん坊二人目選択ボタン242及び赤ん坊三人目選択ボタン243の一つの選択により撮影対象の赤ん坊が切り替わる。この選択操作に従い、CPU107は、表示される年齢スタンプ、身長スタンプ及び体重スタンプの表示形態も同時に切り替える。切り替わりの具体例については、図3を参照して説明する。
In the example of the display screen shown in FIG. 2E, the baby to be imaged is switched by selecting one of the first
図2Fは生年月日設定画面の表示例を示し、図2Eにおいて生年月日設定ボタン249がタッチされると、LCDパネル111に表示される。この画面で、ユーザは、年齢スタンプのための年月日を入力できる。身長設定ボタン250及び体重設定ボタン251をタッチした場合、同様の数値入力画面が表示される。本実施例では、3人の赤ん坊のそれぞれについて、生年月日、身長、体重の設定を保持できる。
FIG. 2F shows a display example of the date of birth setting screen. When the date of
図2Fに示す生年月日設定画面には、画面タイトル及び復帰ボタン221以外に、年入力部261、月入力部262及び日入力部263がOSDにより表示され、各入力部261〜263の入力値を値調整ボタン264で変更する。ここで設定した年月日は、不揮発性メモリであるプログラム・データ記憶部108に記憶される。CPU107は、この生年月日とビデオカメラ100が備える時計(不図示)より取得される撮影時の年月日との差分を算出し、撮影時の年齢、月齢又は生後日数などをスタンプ上に表示する。
In the birth date setting screen shown in FIG. 2F, in addition to the screen title and the
図2Gは、タッチ描画モードでベビーモード用のスタンプ及びフリーハンド入力による描画を行った結果の表示例である。LCDパネル111には、カメラ部101で撮像されているスルー画像201が、動画として全画面表示されている。スルー画像201は、被写体208を撮像したものである。画面の左部には、タッチ操作によって描画された手書き文字274(「Hello!!」の文字列)がOSDで表示されている。手書き文字274は、ユーザのタッチ操作の軌跡に対して描画を行ったものである。
FIG. 2G is a display example of a result of drawing by a stamp for baby mode and freehand input in the touch drawing mode. On the
画面上には更に、ベビーモード専用のスタンプであり「重畳アイテム」である年齢スタンプ271、体重スタンプ272及び身長スタンプ273がOSDで表示されている。年齢スタンプ271は、被写体208の生後からの経過時間に関する情報を表し、年齢以外に、出生後の日数、出生後の月数(月齢)又は子供の学年などを表すようにしてもよい。体重スタンプ272には体重が記入され、身長スタンプ273には身長が記入されている。
Further, an
図2Hは、タッチ描画モードでベビーモード用のスタンプ及びフリーハンド入力による描画を行った結果の別の表示例である。図2Gとは異なる赤ん坊を撮影対象とした場合の表示例であり、赤ん坊二人目選択ボタン242により二人目の赤ん坊が選択されているとする。
FIG. 2H is another display example of a result of drawing by a baby mode stamp and freehand input in the touch drawing mode. It is a display example when a baby different from that in FIG. 2G is taken as an object to be photographed, and it is assumed that the second baby is selected by the second
図2Hに示す表示例では、図2Gに示すスタンプとは表示形態が異なるスタンプ281,282がOSDにより表示されている。すなわち、年齢スタンプ281、体重スタンプ282及び身長スタンプ283は、二人目用に設定されたものである。各スタンプ281〜283上に表示される情報(体重、年齢及び身長)は、プログラム・データ記憶部108に記憶される2人目用の設定情報から読み出される、スタンプ281〜283に合成される。
In the display example shown in FIG. 2H,
図3を参照して、記録対象の赤ん坊の変更とスタンプのオン・オフに対する本実施例の画面遷移を説明する。 With reference to FIG. 3, the screen transition of the present embodiment for changing the baby to be recorded and turning on / off the stamp will be described.
フレーム301,311,312,313,314は、記録される動画のうち、あるタイミングのフレーム画像を表現しており、時系列に並んでいる。フレーム301は、赤ん坊二人目選択ボタン242により撮影対象の赤ん坊が二人目として選択された状態の画像例を示す。フレーム301では、年齢スタンプ表示設定ボタン246と、身長スタンプ表示設定ボタン247と、体重スタンプ表示設定ボタン248により各スタンプがオン状態となっている。この結果、年齢、体重及び身長のそれぞれのスタンプが赤ん坊二人目用の表示形態で表示されている。
フレーム311は、フレーム301において身長スタンプをドラッグ操作により移動した後の画像例を示す。フレーム302は、ドラッグ操作途中の画像例を示す。フレーム302で示すように身長スタンプ上に指を置き上方向に移動して指を離すと、フレーム311の状態となる。
A
フレーム311で図2Eに示すように年齢スタンプ表示設定ボタン246をオフ状態とすると、フレーム321になる。
When the age stamp
フレーム331は、フレーム321で撮影対象の赤ん坊を一人目に切り替えると、フレーム331になる。撮影対象となる赤ん坊の切り替えは、図2Eに示す画面例で赤ん坊一人目選択ボタン241を選択することで、実現される。撮影対象の赤ん坊を切り替えに従い、CPU107は、体重スタンプと身長スタンプの表示形態と表示内容を、対応するものに変更する。スタンプの表示位置は、撮影対象の赤ん坊の変更前後で維持される。
The
フレーム331で図2Eに示す画面例で年齢スタンプ表示設定ボタン246をオン状態とすると、フレーム341になる。生年月日スタンプの表示位置は、撮影対象の赤ん坊に関係なく、前回の表示位置のままである。表示形態の変更の際にスタンプの表示位置を移動しないのは、ユーザ好みの撮影レイアウトを崩さないためである。
When the age stamp
図4を参照して、再生モードでLCDパネル111に表示されるインデックス画面例を説明する。図4(a)は従来例のインデックス画面例、図4(b)は本実施例のインデックス画面例を示す。
An example of an index screen displayed on the
図4(a)に示す従来例のインデックス画面例では、各サムネイル(代表画像)上に表示されているベビーモード用のスタンプは全て同じである。すなわち、撮影対象の赤ん坊が相違しても、スタンプの表示形態を変更していない。 In the index screen example of the conventional example shown in FIG. 4A, all the baby mode stamps displayed on each thumbnail (representative image) are the same. That is, even if the baby to be photographed is different, the display form of the stamp is not changed.
他方、本実施例では、同じ赤ん坊には同じスタンプを撮影者自身の操作で割り当て、ベビーモードで撮影された画像は、撮影対象者が誰であるかにかかわらず、ベビーモード用の単一のプレイリストに登録されて記録される。そして、再生モードでは、図4(b)に示すように、ベビーモード用プレイリストに登録された画像が、それらの代表画像で一覧表示される。即ち、一覧表示では、複数の撮影対象者の画像が混在することになる。しかし、本実施例では、図4(b)に示すように同じ赤ん坊には同じスタンプが重畳されているので、スタンプの表示形態の異同により同じ赤ん坊の画像かどうかが一目瞭然となる。すなわち、スタンプの表示形態から撮影対象を識別できる。 On the other hand, in the present embodiment, the same stamp is assigned to the same baby by the photographer's own operation, and an image photographed in the baby mode is a single baby mode image regardless of who the photographing object is. It is registered in the playlist and recorded. In the playback mode, as shown in FIG. 4B, the images registered in the baby mode play list are displayed as a list with their representative images. That is, in the list display, images of a plurality of photographing subjects are mixed. However, in this embodiment, since the same stamp is superimposed on the same baby as shown in FIG. 4 (b), it becomes obvious at a glance whether the images of the same baby are the same due to the difference in the display form of the stamps. That is, the photographing object can be identified from the display form of the stamp.
図5は、本実施例のベビースタンプ描画処理のフローチャートを示す。この処理は、CPU107がプログラム・データ記憶部108から相当するプログラムを読み出し実行することによって、実現される。
FIG. 5 shows a flowchart of the baby stamp drawing process of the present embodiment. This process is realized by the
ビデオカメラ100が動画撮影モードで起動され、ユーザが図2Bに示す画面例のベビーモード用スタンプ選択ボタン213をタップすると、CPU107は、図5に示す処理を開始する。以下の動作説明では、LCDパネル111には図2Eに示す画面が表示されているものとする。
When the
S501では、CPU107は、復帰ボタン221がタップされたかどうかを判定する。CPU107は、復帰ボタン221がタップされた場合、スタンプ選択画面を終了し、復帰ボタン221がタップされてない場合、S502に進む。
In step S501, the
S502では、CPU107は、ベビーモード用スタンプ表示設定ボタンが押されたかどうかを判定する。図2Eにおいて、ベビーモード用スタンプ表示設定ボタンは、年齢スタンプ表示設定ボタン246、身長スタンプ表示設定ボタン247及び体重スタンプ表示設定ボタン248である。CPU107は、ベビーモード用スタンプ表示設定ボタンがタップされた場合は、S503の処理に進み、タップされない場合、S501に進む。
In S502, the
S503では、CPU107は、ベビーモード用スタンプ表示設定ボタンの変化を検出し、オン状態かどうかを判定する。CPU107は、オン状態になったと判定した場合S505の処理に進み、そうでない場合(オフ状態と判定した場合)、S504の処理に進む。
In step S503, the
S504では、CPU107は、スタンプの消去処理及び画面全体の再描画を行い、S501に進む。具体的には、CPU107は、一時記憶部103を参照し、設定が変更したスタンプと、そのスタンプの表示位置・エリアを取得し、描画エリアを背景色で塗りつぶす。CPU107は、さらに、他のスタンプと重なっている可能性もあるので、画面全体を再描画する。
In step S504, the
S505では、CPU107は、一時記憶部103を参照し、本体に設定されている撮影対象者設定情報を取得し、S506に進む。撮影対象者設定情報は、撮影対象の赤ん坊がどれにあたるかを示す情報である。図2Eに示す例でいうと、撮影対象者設定情報は、赤ん坊一人目選択ボタン241、赤ん坊二人目選択ボタン242及び赤ん坊三人目選択ボタン243のどれが有効状態となっているかである。
In step S <b> 505, the
S506では、CPU107は、S505で取得した撮影対象者に応じた表示形態のスタンプを描画し、S507に進む。プログラム・データ記憶部108には、撮影対象者に応じた表示形態のスタンプが所定人数分、記憶されている。CPU107は、S506の処理において適切な画像をプログラム・データ記憶部108から一時記憶部103に展開し、画面上に描画する。本実施例では、一人の撮影対象者に対して、年齢スタンプ、身長スタンプ及び体重スタンプの画像を用意しているので、3人分では総計9つのスタンプになる。日付スタンプ及び時刻スタンプのように撮影対象者に依存しないスタンプは、撮影対象者によってスタンプ画像を切り替える必要が無いことはいうまでもない。
In S506, the
S507では、CPU107は、S505で取得した撮影対象者の個別情報をスタンプ上に描画し、S501に進む。撮影対象者の個別情報は、生年月日から計算する年齢並びにユーザ入力により設定される身長及び体重であり、プログラム・データ記憶部108に記憶されている。
In S507, the
図5に示すフローチャートに従う上述の動作により、スタンプ描画の際に撮影対象者に応じた表示形態のスタンプを表示できる。 With the above-described operation according to the flowchart shown in FIG. 5, it is possible to display a stamp having a display form corresponding to the person to be photographed when the stamp is drawn.
図6は、撮影対象者切り替え時の描画処理のフローチャートを示す。この処理は、CPU107がプログラム・データ記憶部108から相当するプログラムを読み出し実行することによって、実現される。
FIG. 6 shows a flowchart of the drawing process at the time of switching the person to be photographed. This process is realized by the
ビデオカメラ100が動画撮影モードで起動され、ユーザが図2Bに示す画面例のベビーモード用スタンプ選択ボタン213をタップすると、CPU107は、図6に示す処理を開始する。以下の動作説明では、LCDパネル111には図2Eに示す画面が表示されているものとする。
When the
S601では、CPU107は、復帰ボタン221がタップされたかどうかを判定する。CPU107は、復帰ボタン221がタップされた場合、スタンプ選択画面を終了し、復帰ボタンがタップされていない場合、S602に進む。
In step S601, the
S602では、CPU107は、ベビーモード用撮影対象選択ボタンがタップされたかどうかを判定し、撮影対象選択ボタンでない場合にはS601に進み、撮影対象選択ボタンである場合にはS602に進む。撮影対象選択ボタンは、図2Eの示す画面例の、赤ん坊一人目選択ボタン241、赤ん坊二人目選択ボタン242及び赤ん坊三人目選択ボタン243のいずれかである。
In S602, the
S603では、CPU107は、撮影対象者の変更があったかどうかを判定し、撮影対象者の変更があった場合にはS604に進み、撮影対象者の変更がなかった場合にはS601に進む。
In S603, the
S604では、CPU107は、ベビー用スタンプが表示されているかどうかを判定し、ベビー用スタンプが表示されている場合にはS605に進み、表示されていない場合にはS601に進む。なお、ベビー用スタンプが表示されているかどうかは、年齢スタンプ表示設定ボタン246、身長スタンプ表示設定ボタン247及び体重スタンプ表示設定ボタン248について一時記憶部103に記憶される設定状態を参照して判定する。
In S604, the
S605では、CPU107は、スタンプの消去処理及び画面全体の再描画を行い、S606に進む。具体的には、CPU107は、一時記憶部103を参照し、設定が変更したスタンプと、そのスタンプの表示位置・エリアを取得し、描画エリアを背景色で塗りつぶす。CPU107は、さらに、他のスタンプと重なっている可能性もあるので、画面全体を再描画する。
In step S605, the
S606では、CPU107は、一時記憶部103を参照し、本体に設定されている撮影対象者設定情報を取得し、S607に進む。
In S <b> 606, the
S607では、CPU107は、S606で取得した撮影対象者に応じた表示形態のスタンプを描画し、S608に進む。
In step S <b> 607, the
S608では、CPU107は、S606で取得した撮影対象者に応じた情報をスタンプ上に描画し、S601に進む。
In step S608, the
図6に示すフローにより、撮影対象者の変更に伴い、ベビー用スタンプを、撮影対象者に応じた表示形態に変更できる。 According to the flow shown in FIG. 6, the baby stamp can be changed to a display form corresponding to the subject to be photographed as the subject to be photographed is changed.
以上のように、撮影対象者に応じてスタンプの表示形態を変更することで、撮影対象者とスタンプの表示形態を関連付けることができる、図4(b)に示すように、タンプの表示形態から撮影対象者を容易に判別できるようになる。これにより、インデックス表示のサムネイル画像のような小さな画像であっても、種被写体を容易に識別できるようになる。 As described above, by changing the stamp display form according to the person to be photographed, the person to be photographed can be associated with the stamp display form. As shown in FIG. The person to be photographed can be easily identified. This makes it possible to easily identify the seed subject even for a small image such as an index-displayed thumbnail image.
撮影対象を赤ん坊とした動作を説明したが、その他の被写体、例えば、犬、猫、ウサギ等の動物でも、適用可能である。すなわち、本発明では、複数の被写体について、被写体毎に異なる表示形態の、画像に重畳すべきアイテムの情報を含む被写体情報を記憶し、ユーザの選択指示に従い特定の被写体の画像に同じアイテムを重畳する。 Although the operation in which the subject to be photographed is a baby has been described, the present invention can also be applied to other subjects such as animals such as dogs, cats, and rabbits. That is, according to the present invention, for a plurality of subjects, subject information including information on items to be superimposed on images in different display forms is stored, and the same item is superimposed on an image of a specific subject according to a user's selection instruction. To do.
プログラム・データ記憶部108に記憶するスタンプ表示テータは、利用前に、通信部112又はUSB等を介して他機器から転送し、プログラム・データ記憶部108に格納しても良い。
The stamp display data stored in the program /
スタンプの種類として生年月日、体重及び身長を例に挙げたが、被写体を識別するニックネーム、名前及び/又は血液型等を採用しても良いし、追加しても良い。 The date of birth, weight, and height are given as examples of the type of stamp. However, a nickname, name, and / or blood type that identifies the subject may be used or added.
CPU107による制御は、1つのハードウェアで実現しても良いし、複数のハードウェアが処理を分担することで実現しても良い。
Control by the
特定の用途に使用する実施例を説明したが、これは説明用であり、本発明は、上述した特定の実施例に限定されない。すなわち、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。 While the embodiment used for a particular application has been described, this is illustrative and the invention is not limited to the particular embodiment described above. That is, various forms within the scope of the present invention are also included in the present invention.
本発明をビデオカメラに適用した実施例を説明したが、動画又は静止画を記録する画像記録装置を有する種々の装置に適用可能である。例えば、パーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤ、ゲーム機、電子ブックリーダなどに適用可能である。 Although the embodiment in which the present invention is applied to a video camera has been described, the present invention can be applied to various apparatuses having an image recording apparatus for recording a moving image or a still image. For example, the present invention can be applied to personal computers, PDAs, mobile phone terminals, portable image viewers, printer devices having a display, digital photo frames, music players, game machines, electronic book readers, and the like.
(他の実施例)本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウエア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明を構成することになる。 (Other Embodiments) The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program code. To be executed. In this case, the program and a computer-readable storage medium storing the program constitute the present invention.
Claims (10)
複数の被写体について、被写体毎に異なる表示形態の、画像に重畳するアイテムであって、文字列ではないアイテムの情報を含む被写体情報を記憶する記憶手段と、
前記記憶手段に記憶される前記被写体情報に対応する被写体のうちいずれかの被写体を選択する選択手段と、
前記選択手段により選択された前記被写体に関する被写体情報に含まれる前記アイテムと共に前記被写体に関する文字を表示し、さらに前記アイテムと前記文字を前記画像入力手段により入力される前記被写体の画像に重畳する重畳手段と、
前記重畳手段の出力を記録媒体に記録する記録手段
とを有することを特徴とする画像記録装置。 Image input means;
Storage means for storing subject information including information on items that are superimposed on an image and that are not character strings in a display form different for each subject for a plurality of subjects;
Selecting means for selecting one of the subjects corresponding to the subject information stored in the storage means;
Superimposing means for displaying characters relating to the subject together with the item included in the subject information relating to the subject selected by the selection means , and further superimposing the item and the characters on the image of the subject input by the image input means. When,
An image recording apparatus comprising: recording means for recording the output of the superimposing means on a recording medium.
記録モードとしてベビーモードを設定するモード設定手段と、
前記ベビーモードが設定されると、前記記録手段が前記重畳手段の出力を前記記録媒体に記録するように前記記録手段を制御する制御手段
とを具備することを特徴とする請求項1乃至6の何れか1項に記載の画像記録装置。 Furthermore,
Mode setting means for setting baby mode as a recording mode;
7. The control unit according to claim 1, further comprising a control unit configured to control the recording unit so that the recording unit records the output of the superimposing unit on the recording medium when the baby mode is set. The image recording apparatus according to any one of the above.
前記選択ステップで選択された前記被写体に関する被写体情報に含まれる前記アイテムと共に前記被写体に関する文字を表示し、さらに前記アイテムと前記文字を画像入力手段により入力される画像に重畳する重畳ステップと、
前記重畳ステップの出力を記録媒体に記録する記録ステップ
とを有することを特徴とする画像記録装置の制御方法。 For a plurality of subjects, the items corresponding to the subject information stored in the storage unit that stores the subject information including the information of the item that is superimposed on the image and is not a character string in the display form different for each subject. A selection step for selecting one of the subjects,
A superimposition step of displaying characters relating to the subject together with the item included in the subject information relating to the subject selected in the selection step, and further superimposing the item and the character on an image input by an image input means;
And a recording step of recording the output of the superimposing step on a recording medium.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013251647A JP6335494B2 (en) | 2013-12-05 | 2013-12-05 | Image recording apparatus, control method and program thereof, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013251647A JP6335494B2 (en) | 2013-12-05 | 2013-12-05 | Image recording apparatus, control method and program thereof, and storage medium |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015109571A JP2015109571A (en) | 2015-06-11 |
JP2015109571A5 JP2015109571A5 (en) | 2017-01-12 |
JP6335494B2 true JP6335494B2 (en) | 2018-05-30 |
Family
ID=53439630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013251647A Active JP6335494B2 (en) | 2013-12-05 | 2013-12-05 | Image recording apparatus, control method and program thereof, and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6335494B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1141551A (en) * | 1997-07-22 | 1999-02-12 | Hiromitsu Tanaka | Age calculation output system |
JP2004040205A (en) * | 2002-06-28 | 2004-02-05 | Minolta Co Ltd | Image edit system |
JP2004056286A (en) * | 2002-07-17 | 2004-02-19 | Fuji Photo Film Co Ltd | Image display method |
JP4374490B2 (en) * | 2003-09-26 | 2009-12-02 | 富士フイルム株式会社 | Imaging device |
JP5889028B2 (en) * | 2012-02-13 | 2016-03-22 | キヤノン株式会社 | Moving picture recording apparatus, control method therefor, computer program, and storage medium |
-
2013
- 2013-12-05 JP JP2013251647A patent/JP6335494B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015109571A (en) | 2015-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11750914B2 (en) | Devices, methods, and graphical user interfaces for capturing and recording media in multiple modes | |
JP5906097B2 (en) | Electronic device, its control method, program, and recording medium | |
US9942486B2 (en) | Identifying dominant and non-dominant images in a burst mode capture | |
JP5511573B2 (en) | Display control apparatus, control method therefor, program, and storage medium | |
EP2542955B1 (en) | Image processing device, image processing method and program | |
US9179090B2 (en) | Moving image recording device, control method therefor, and non-transitory computer readable storage medium | |
JP2012133490A (en) | Display control apparatus, control method thereof, program and recording medium | |
JP2006314010A (en) | Apparatus and method for image processing | |
JP5802171B2 (en) | Image display device, image display method, and program | |
CN105229999A (en) | Image recording structure, image recording process and program | |
JP6335494B2 (en) | Image recording apparatus, control method and program thereof, and storage medium | |
JP6762723B2 (en) | Recording device, control method and program of recording device | |
JP6150538B2 (en) | Movie recording apparatus and control method thereof | |
JP6362110B2 (en) | Display control device, control method therefor, program, and recording medium | |
JP2013131811A (en) | Image display device | |
CN113261302B (en) | Electronic device | |
JP5818634B2 (en) | Content management apparatus, recording apparatus, operation apparatus, content management system, and control method therefor | |
JP7150590B2 (en) | Electronics | |
JP2013098657A (en) | Content management apparatus, recording apparatus, operating apparatus and control method for them, and content management system | |
JP2010039806A (en) | Image display device | |
JP2015001680A (en) | Imaging apparatus, imaging method, and program | |
JP2010183276A (en) | Camera, display device, and electronics | |
JP2010134063A (en) | Image display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161129 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171026 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20180227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180501 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6335494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |