JP4730402B2 - 撮像装置、撮像制御方法及びプログラム - Google Patents

撮像装置、撮像制御方法及びプログラム Download PDF

Info

Publication number
JP4730402B2
JP4730402B2 JP2008170421A JP2008170421A JP4730402B2 JP 4730402 B2 JP4730402 B2 JP 4730402B2 JP 2008170421 A JP2008170421 A JP 2008170421A JP 2008170421 A JP2008170421 A JP 2008170421A JP 4730402 B2 JP4730402 B2 JP 4730402B2
Authority
JP
Japan
Prior art keywords
image data
display
still image
imaging
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008170421A
Other languages
English (en)
Other versions
JP2010011289A (ja
Inventor
陽 宮田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2008170421A priority Critical patent/JP4730402B2/ja
Priority to US12/481,667 priority patent/US8294779B2/en
Priority to CN2009101493382A priority patent/CN101621617B/zh
Priority to EP16199324.1A priority patent/EP3174284B1/en
Priority to EP09163536.7A priority patent/EP2141913B1/en
Priority to TW098121800A priority patent/TWI458352B/zh
Priority to KR1020090058884A priority patent/KR20100003240A/ko
Publication of JP2010011289A publication Critical patent/JP2010011289A/ja
Priority to HK10103928.9A priority patent/HK1136727A1/xx
Priority to KR1020110067252A priority patent/KR101075826B1/ko
Application granted granted Critical
Publication of JP4730402B2 publication Critical patent/JP4730402B2/ja
Priority to US13/614,487 priority patent/US8411158B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2137Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer
    • H04N1/2141Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer
    • H04N1/2145Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer of a sequence of images for selection of a single frame before final recording, e.g. from a continuous sequence captured before and after shutter-release
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2158Intermediate information storage for one or a few pictures using a detachable storage unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Description

本発明は、例えば高速で移動する被写体を撮影するのに好適な撮像装置、撮像制御方法及びプログラムに関する。
従来、動画撮影において、撮影者の意図を反映させた代表フレームを簡便に取り出すべく、ユーザが静止画記録ボタンを押下した前、もしくは前後の期間に撮影された画像データを動画データへと画像圧縮する際に、前後のフレームとは独立して静止画像を生成可能なI(Intra)ピクチャの数を、通常の動画撮影時よりも増大させるようにしたデジタルカメラの技術が開示されている。(例えば、特許文献1)
特開2006−253768号公報
上述した技術では、ユーザが静止画記録ボタンを押下した時点より前の所定期間中(以下「Iピクチャ増加期間」と称する)に撮影された画像が、スロー再生等の対象となる動画データになる。
そのため、ユーザが静止画記録ボタンを押下するタイミングが、ユーザの意図する画像データが撮影されるタイミングに比して上記Iピクチャ増加期間分以上遅れると、生成される動画データ中にユーザが意図する画像が含まれないことになる。
すなわち、ユーザの操作タイミングによっては、動画データを取得するタイミングを外すことも多々あり得る。
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、高速で移動する被写体に対してもユーザの意図する撮影タイミングを逃すことがないように、時間幅が制限された一連の静止画像データの取得開始タイミングを容易に合わせることが可能な撮像装置、撮像制御方法及びプログラムを提供することにある。
請求項1記載の発明は、時間的に連続して撮影して静止画像データを順次生成する撮像手段と、上記撮像手段により順次生成される複数の静止画像データを持する保持手段と、枠体とともに上記保持手段により保持されている静止画像データを順次表示する表示手段と、上記表示手段により順次表示される静止画像データに含まれる被写体の、上記枠体への接触を検出する第1の検出手段と、上記第1の検出手段により接触を検出すると、上記被写体の速度を検出する第2の検出手段と、上記表示手段が上記静止画像データを順次表示する表示速度を、上記撮像手段の撮像速度よりも遅く、且つ、上記第2の検出手段により検出した被写体の速度に基いた速度にするよう制御するよう制御する表示速度制御手段と、上記表示速度制御手段により制御された表示速度で上記静止画像データが順次表示されている時に外部操作を検出する第3の検出手段と、上記第3の検出手段により外部操作が検出された時に、上記表示手段に表示されている静止画像データを録する記録手段とを備えたことを特徴とする。
請求項2記載の発明は、上記請求項1記載の発明において、上記第1の検出手段により接触を検出すると、上記被写体に対して合焦をする合焦手段を更に備えたことを特徴とする。
請求項3記載の発明は、撮像制御方法であって、撮像部に対して時間的に連続して撮影させて静止画像データを順次生成する撮像ステップと、上記撮像ステップにて順次生成される複数の静止画像データを第1のメモリに保持する保持ステップと、枠体とともに上記保持ステップにて保持されている静止画像データを順次表示部に表示させる表示ステップと、上記表示ステップにて順次表示される静止画像データに含まれる被写体の、上記枠体への接触を検出する第1の検出ステップと、上記第1の検出ステップにて接触を検出すると、上記被写体の速度を検出する第2の検出ステップと、上記表示ステップにて上記静止画像データを順次表示する表示速度を、上記撮像ステップにおける撮像速度よりも遅く、且つ、上記第2の検出ステップにて検出した被写体の速度に基いた速度にするよう制御するよう制御する表示速度制御ステップと、上記表示速度制御ステップにて制御された表示速度で上記静止画像データが順次表示されている時に外部操作を検出する第3の検出ステップと、上記第3の検出ステップにて外部操作が検出された時に、上記表示部に表示されている静止画像データを第2のメモリに記録させる記録ステップとを含むことを特徴とする。
請求項4記載の発明は、撮像部、第1のメモリ、表示部、及び、第2のメモリを備えた撮像装置が内蔵するコンピュータを、上記撮像部に対して時間的に連続して撮影させて静止画像データを順次生成する撮像手段、上記撮像手段によって順次生成される複数の静止画像データを上記第1のメモリに保持する保持手段、枠体とともに上記保持手段によって保持されている静止画像データを順次上記表示部に表示させる表示手段、上記表示手段によって順次表示される静止画像データに含まれる被写体の、上記枠体への接触を検出する第1の検出手段、上記第1の検出手段によって接触を検出すると、上記被写体の速度を検出する第2の検出手段、上記表示手段によって上記静止画像データを順次表示する表示速度を、上記撮像手段における撮像速度よりも遅く、且つ、上記第2の検出手段によって検出した被写体の速度に基いた速度にするよう制御するよう制御する表示速度制御手段、上記表示速度制御手段によって制御された表示速度で上記静止画像データが順次表示されている時に外部操作を検出する第3の検出手段、及び上記第3の検出手段によって外部操作が検出された時に、上記表示部に表示されている静止画像データを上記第2のメモリに記録させる記録手段として機能させることを特徴とする。
本発明によれば、スローライブ撮影を行なうに際して、被写体の速度に合わせてスローライブビューの表示速度を制御することにより、適正な表示速度を容易且つ自動的に実現できる
以下本発明を静止画像を撮影するデジタルカメラに適用した場合の一実施形態について図面を参照して説明する。
図1は、本実施形態に係るデジタルカメラ10の回路構成を示すものである。同図で、レンズ光学系11により固体撮像素子であるCCD12の撮像面上に被写体の光像が結像される。
モニタ状態では、このCCD12での撮像により得た画像信号が画像処理部13に送られ、相関二乗サンプリングや自動ゲイン調整、A/D変換処理が実行されてデジタル化された後に画素補間処理、γ補正処理を含むカラープロセス処理が施されてバッファメモリ14に一時的に保持される。
このバッファメモリ14に保持された画像データが画像処理部13に読出され、システムバスSBを介して表示部15へ送られ、モニタ画像として表示される。
以上の動作をすべて制御部16が統括制御する。この制御部16はCPUで構成され、メインメモリ17、プログラムメモリ18と接続される。メインメモリ17は、SDRAM(シンクロナスDRAM)で構成される。プログラムメモリ18は、後述する撮影モード時の記録制御を含む動作プログラムや固定データ等を記憶した、電気的に書換可能な不揮発性メモリで構成される。
制御部16はプログラムメモリ18から必要なプログラムやデータ等を読出し、メインメモリ17に適宜一時的に展開記憶させながら、このデジタルカメラ10全体の制御動作を実行する。
さらに上記制御部16は、キー入力部19から直接入力されるキー操作信号に対応して各種制御動作を実行するもので、システムバスSBを介して上記画像処理部13、表示部15の他、レンズ光学系駆動部20、フラッシュ駆動部21、CCDドライバ22、メモリカードコントローラ23、内蔵メモリ24、USBインタフェース(I/F)25、及び音声処理部26とも接続される。
キー入力部19は、例えば電源キー、シャッタキー、撮影モードキー、再生モードキー、メニューキー、カーソル(「↑」「→」「↓」「←」)キー、セットキー、シーンプログラムキー、手ブレ補正キー、顔認識機能キー等を備える。
レンズ光学系駆動部20は、制御部16からの制御信号を受けてレンズモータ(M)27の回動を制御し、上記レンズ光学系11を構成する複数のレンズ中の一部、具体的にはフォーカスレンズ及びズームレンズの位置をそれぞれ光軸方向に沿って移動させる。
フラッシュ駆動部21は、静止画像撮影時に制御部16からの制御信号を受けて複数の白色高輝度LEDで構成されるフラッシュ部28を撮影タイミングに同期して点灯駆動する。
メモリカードコントローラ23は、カードコネクタCを介してメモリカード29と接続される。メモリカード29は、このデジタルカメラ10に着脱自在に装着され、このデジタルカメラ10の記録媒体となる画像データ等の記録用メモリであり、内部にはブロック単位で電気的に書換え可能な不揮発性メモリであるフラッシュメモリとその駆動回路とが設けられる。
内蔵メモリ24は、このデジタルカメラ10に着脱可能なメモリカード29とは別に固定的に備えられた画像記録用のメモリである。この内蔵メモリ24は、同じくブロック単位で電気的に書換え可能な不揮発性メモリであるフラッシュメモリとその駆動回路とで構成される。
内蔵メモリ24は、上記メモリカード29が装着されていない場合にデジタルカメラ10の記録媒体として画像データ等を記録するもので、メモリカード29が装着されている状態ではメモリカード29を優先的に取扱うものとする。
また、メモリカード29と内蔵メモリ24との間で任意に画像データ等のコピー、移動が可能であるものとする。
USBインタフェース25は、USBコネクタ30を介してこのデジタルカメラ10の外部機器、例えばパーソナルコンピュータと接続する際のデータの送受を司る。
音声処理部26は、PCM音源等の音源回路を備え、音声の録音時にはこのデジタルカメラ10の筐体前面に配設されたマイクロホン部31より入力される音声信号をデジタル化し、所定のデータファイル形式、例えばAAC(moving picture experts group−4 Advanced Audio Coding)形式でデータ圧縮して音声データファイルを作成し、上記メモリカード29または内蔵メモリ24へ送出する。
一方、音声処理部26は、音声の再生時にメモリカード29または内蔵メモリ24から読出されてきた音声データファイルの圧縮を解いてアナログ化し、上記デジタルカメラ10の背面に設けられるスピーカ部32を駆動して、拡声放音させる。
なお、上記画像処理部13は、被写体認識部33及び圧縮伸長処理部34を併設する。
被写体認識部33は、バッファメモリ14に保持される画像データに対して輪郭抽出及び顔特徴点の抽出を行なって顔グラフを作成することで顔認識を行なう他、被写体像の画像フレーム間の動き量を動きベクトルの形で算出するなど、画像データに対する被写体の各種認識処理を実行する。
圧縮伸長処理部34は、上記キー入力部19のシャッタキー操作に伴う画像撮影時に、バッファメモリ14に保持される画像データを所定のデータファイル形式、例えばJPEG(Joint Photographic Experts Group)であればDCT(離散コサイン変換)やハフマン符号化等のデータ圧縮処理を施してデータ量を大幅に削減するもので、作成された画像データファイルを上記メモリカード29または内蔵メモリ24に記録する。
また圧縮伸長処理部34は、再生モード時にメモリカード29または内蔵メモリ24から読出されてくる画像データを記録時とは逆の手順で圧縮を解く伸長処理により元のサイズの画像データを得、これをバッファメモリ14に保持させるもので、バッファメモリ14に保持された画像データにより表示部15で再生のための表示が実行される。
次に上記実施形態の動作について説明する。
なお、本実施形態において、上記キー入力部19の1つを構成するシャッタキーは、2段階の操作ストロークを有するものとする。
通常の静止画像撮影では、シャッタキーを軽く抵抗感がある中途位置まで押下する第1段階の操作ストローク、所謂半押し状態で、AF(自動合焦)動作及びAE(自動露光)動作を行ない、フォーカス位置、絞り値、及びシャッタ速度をロックする。
そして、上記半押し状態から一旦シャッタキーを解除することなく、そのままさらに最下位置まで押下する第2段階の操作ストローク、所謂全押し状態で静止画像の撮影を実行し、取得した画像データをメモリカード29または内蔵メモリ24に記録することとなる。
以下に示す動作例では、上述した通常の静止画像撮影ではなく、主としてスローライブ撮影と称する撮影動作について説明する。
ここでスローライブ撮影とは、時間的に連続して複数の静止画像データを撮影し、バッファメモリ14に一連の連写撮影画像を保持する。そして、このバッファメモリ14に保持した静止画像データを、撮影速度に比して充分に遅い速度で表示部15にて順次表示する。そして、その表示タイミングに合わせてユーザが1枚の画像を選択すると、選択した1枚の静止画像データのみをメモリカード29に記録するものである。
時間的に連続して撮影可能な一連の静止画像データの数は、バッファメモリ14の記憶容量と、その時点で設定されている画像サイズ、及び画質とに応じて決定される。また、一連の連写画像の撮影速度も、例えば60[フレーム/秒]のようなフレームレートにより、所定の範囲内でユーザが任意に設定できるものとする。
図2は、スローライブ撮影の処理内容を示すもので、同処理は制御部16がプログラムメモリ18から読出した動作プログラムをメインメモリ17に展開して実行する。
その動作当初には、過去撮影、すなわちキー入力部19のシャッタキーの操作によらず、過去一定時間、例えば1秒分の連写画像データをバッファメモリ14に循環的に記憶させる動作を開始させる(ステップS101)。
この過去撮影の開始に伴い、以後バッファメモリ14には新たな静止画像データが書込まれると同時に、最も古い静止画像データが消去される動作が繰返し実行され、直前の1秒分の連写画像が常時記憶されるようになる。
この過去撮影の開始と共に、その時点でバッファメモリ14に記憶された最も新しい静止画像データの内容をリアルタイムで表示部15で表示する、通常のライブビュー表示を開始する(ステップS102)。
併せて、この通常のライブビュー表示の状態から、スローライブモードへの移動指示がなされたか否かをキー入力部19の所定のキー操作の有無により判断し(ステップS103)、なされていなければ上記ステップS103からの処理に戻る。
以後、同様にステップS102,S103の処理を繰返し実行することで、通常のライブビュー表示を行ないながら、スローライブモードへの指示がなされるのを待機する。
そして、キー入力部19の所定のキー操作、例えばメニューキー、カーソル(「↑」「→」「↓」「←」)キー、及びセットキーの組合せによりスローライブモードへの指示がなされると、ステップS103でそれを判断して、以後、コンティニュアスAF動作を開始する(ステップS104)。
ここでコンテニュアスAFとは、合焦位置をロックせずにAF動作を継続して実施することで、被写体が移動体であっても合焦位置を追従し続けるAF動作を示す。
このコンティニュアスAF動作下で、スローライブビューの開始条件を新たに選択するためのキー操作がなされたか否かを判断する(ステップS105)。
当該キー操作がなされない場合は、次にその時点ですでに設定されているスローライブビューの開始条件が成立したか否かを判断する(ステップS110)。
スローライブビューの開始条件がまだ成立していない場合は、再び上記ステップS104からの処理に戻る。
こうしてステップS104,S105,S110の処理を繰返し実行しながら、スローライブビューの開始条件を新たに選択するためのキー操作がなされるか、あるいはスローライブビューの開始条件が成立するのを待機する。
スローライブビューの開始条件を新たに選択するためのキー操作がなされた場合、上記ステップS105でそれを判断し、続いてスローライブビューの開始条件を選択する処理に移行する(ステップS106)。
図3は、表示部15に表示されるスローライブビューの開始条件の選択画面を例示するものである。同図では、「マニュアル」「ムーブイン」「ムーブアウト」「被写体が静止した」「被写体が笑顔になった」「人物が現れた」「流し撮り」等、複数の条件を予め用意している。
上記「マニュアル」は、ユーザのシャッタキーの半押し操作によりスローライブビューを開始する。
図4は、この「マニュアル」をスローライブビューの開始条件として設定した場合の、1枚の静止画像データを選択するまでの基本的な流れを示す。図4(A)に示すように一連の画像がCCD12で撮像されているものとする。同図(A)中の「n−2」「n−1」‥‥「n+7」は画像フレームのフレーム番号を示す。
画像フレーム「n−1」撮影時のタイミングThsでシャッタキーの半押し操作を行なった場合、直後の画像フレーム「n」の画像データから一定フレーム数分が連写画像として、それらの画像データをバッファメモリ14に一時的に記憶することとなる。
ここでは、説明を簡易にするために画像フレーム「n+5」までの計6フレーム分を記憶するものとしているが、実際には例えばフレームレートが30[フレーム/秒]として30フレーム、すなわち1秒分の画像データをバッファメモリ14に記憶するものとする。
バッファメモリ14への一定フレーム分の画像データの記憶と同時に、バッファメモリ14からは順次実時間より充分に遅い速度、例えば1[フレーム/秒]のフレームレートで画像データを読出し、表示部15で順次表示する。
図4(B)では、6フレーム分の時間的に連続した画像データが矢印IVで示す如く順次循環的に表示される過程を示している。
こうして、一定フレーム数分、換言すれば一定時間分の連写画像を個々の画像内容を充分視認可能な状態で表示しながら順次循環的に表示しながら、上記シャッタキーの半押し操作に続いて同シャッタキーが全押し操作されるのを待機する。
上記図4(B)では画像フレーム「n+2」が表示されているタイミングTfsでシャッタキーが全押し操作されたことを示すもので、このシャッタキーの全押し操作により所望の静止画像データを選択したものとして、図4(C)に示す如く画像フレーム「n+2」の静止画像データのみを圧縮伸長処理部34でデータ圧縮した後にメモリカード29または内蔵メモリ24に記録することとなる。
なお上記図4では、基本的な動作として、シャッタキーの半押し操作に伴ってスローライブビューを開始する場合、当該タイミングThsの直後に位置する画像フレーム「n」の静止画像データが、一連の連写画像データの先頭に位置することになるものとして説明したが、本実施形態では上記ステップS101でも説明した如く過去撮影の機能を実行しており、常に一定時間分の連写画像をバッファメモリ14に記憶するものとしている。
そのため、結果として例えばシャッタキーを半押し操作するタイミングThsを挟んで前後各1秒分、計2秒分の画像をバッファメモリ14に記憶することとなり、スローライブビュー表示も、シャッタキーを半押し操作したタイミングThsより1秒前の画像データを先頭に順次表示を開始することとなる。
上記図3に戻って、他の開始条件「ムーブイン」「ムーブアウト」「被写体が静止した」「被写体が笑顔になった」「人物が現れた」「流し撮り」は、いずれも項目名の先頭側に「(オート)」と記している如く、ユーザのキー操作に依存せず、撮影により得る静止画像データ中の被写体の経時的な変化により自動的にスローライブビューを開始させる条件として設定するものである。
「ムーブイン」「ムーブアウト」は、表示部15に表示するモニタ画像中の架空の枠体に対して、被写体が外部から進入するか、あるいは内部から進出する場合に、当該枠体への被写体の接触を検出してスローライブビューの開始タイミングとするものである。
図5は、「ムーブアウト」設定時の表示部15でのモニタ画像を例示するものである。ここでは、表示部15の中央からやや左寄りに矩形の枠体FRを表示し、被写体OJとしての鳥(白頭鷲)を該枠体FR内に収めている状態を示すもので、被写体OJの移動等により表示部15上で被写体OJが枠体FRに接触した場合に、自動的にスローライブビューを開始する。
「被写体が静止した」は、例えば時間的に隣接する画像フレーム間の動きベクトルを算出することで、画像全体での動くベクトルの総量が所定値以下となる場合に被写体が静止したものと認識して、自動的にスローライブビューを開始する。
「被写体が笑顔になった」は、画像データに対して被写体認識部33を用いて顔認識処理を行なうことで人物の顔の抽出と顔の表情の解析とを行ない、表情が笑顔であると思われる、予め設定した指標を超えた場合に自動的にスローライブビューを開始する。
「人物が現れた」は、画像データに対して被写体認識部33を用いて顔認識処理を行なうことで、それまで抽出することができなかった人物の顔が抽出できるようになった時点で自動的にスローライブビューを開始する。
「流し撮り」は、画像データの例えば中央と周辺部それぞれで、時間的に隣接する画像フレーム間の動きベクトルを算出することで、中央部の動きベクトルの大きさに比して、周辺部の動きベクトルの大きさが、予め設定した指標を超えた場合に自動的にスローライブビューを開始する。
しかるに、上記図2のステップS106でスローライブビューの開始条件の選択処理を終えると、続いてその選択した開始条件が「ムーブイン」または「ムーブアウト」のいずれか一方であるか否かを判断する(ステップS107)。
ここで、選択した開始条件が「ムーブイン」または「ムーブアウト」のいずれか一方であると判断した場合にのみ、表示部15に表示させる枠体FRの大きさ及び位置の調整を行なう(ステップS108)。
その後、選択したスローライブビューの開始条件と、特に開始条件が「ムーブイン」または「ムーブアウト」である場合の上記枠体FRの調整内容等を纏めて設定する(ステップS109)。
その後、上記ステップS110に進み、あらためて設定したスローライブビューの開始条件が成立したか否かを判断し、まだ成立していない場合は、再び上記ステップS104からの処理に戻る。
そして、上記ステップS104,S105,S110の処理を繰返し実行し、スローライブビューの開始条件を新たに選択するためのキー操作がなされるか、あるいはスローライブビューの開始条件が成立するのを待機している過程で、設定したスローライブビューの開始条件が成立した場合、ステップS110でそれを判断する。
その場合、まず設定されているスローライブビューの開始条件が「マニュアル」、「ムーブイン」または「ムーブアウト」のいずれかであるか否かを判断する(ステップS111)。
ここで、設定されている開始条件が「マニュアル」、「ムーブイン」または「ムーブアウト」のいずれかであると判断した場合、さらにバッファメモリ14に記憶している直前に撮影した画像データと現在の画像データとで被写体の移動速度を動きベクトルの大きさ(画素数)の形で算出する(ステップS112)。
つまり、設定されている開始条件が「マニュアル」であると判断した場合、ユーザのシャッタキーの半押し操作がなされた時点に撮影した画像フレームと、当該画像フレームの直前に撮影された画像フレームとを比較して被写体の移動速度を算出する。また、設定されている開始条件が「ムーブイン」または「ムーブアウト」であると判断した場合、上述の枠体への被写体の接触が検出されたときに撮影した画像フレームと、当該画像フレームの直前に撮影された画像フレームとを比較して被写体の移動速度を算出する。
そして、算出した被写体の移動速度から、スローライブビューの速さ、具体的には1画像フレーム当たりの表示時間を設定する(ステップS113)。
この場合、予め設定されている移動速度のしきい値PX1,PX2(PX1<PX2)を用い、被写体の移動速度PXnがしきい値PX1未満である場合には、被写体の動きが遅い(=画像データ中の移動距離が短い(画素数が少ない))と判断して、スローライブビューの速さを早く、例えば1画像フレーム当たり0.5[秒]に設定する。
また、被写体の移動速度PXnがしきい値PX1以上、且つしきい値PX2未満である場合には、被写体の動きが普通であると判断して、スローライブビューの速さを通常通り、例えば1画像フレーム当たり1[秒]に設定する。
さらに、被写体の移動速度PXnがしきい値PX2以上である場合には、被写体の動きが速い(=画像データ中の移動距離が長い(画素数が多い))と判断して、スローライブビューの速さを遅く、例えば1画像フレーム当たり2[秒]に設定する。
その後、バッファメモリ14に記憶している一連の静止画像データを用いてスローライブビューを開始し、開始条件が成立した時点を挟んで前後各一定時間分、例えば前後1秒分で計2秒分の静止画像データを設定されている速度で順次循環的に表示部15にて表示させる(ステップS114)。
このとき表示部15では、例えば
「Cancel→Menu/選択→シャッタ全押し」
のようなガイドメッセージをOSD(On Screen Display)表示を行なうことで、画像の選択あるいはキャンセルの為のキー操作を促すものとしてもよい。
そして、このスローライブビュー表示を実行しながら、同時にキー入力部19でキャンセルのためのキー操作がなされたか否かを判断する(ステップS115)。
ここでキャンセルのためのキー操作がない場合には、さらに画像選択のためのシャッタキーの全押し操作がなされたか否かを判断する(ステップS116)。
ここで画像選択のためのシャッタキーの全押し操作もなされない場合には、ステップS114に戻る。
こうしてステップS114〜S116の処理を繰返し実行することで、スローライブビュー表示を行ないながら、キャンセルもしくは画像選択のためのキー操作がなされるのを待機する。
スローライブ表示の途中でキャンセルのためのキー操作がなされた場合、上記ステップS115でそれを判断し、次の撮影に備えるべく、再び上記ステップS102からの処理に戻る。
また、スローライブ表示の途中で画像を選択するためにシャッタキーが全押し操作された場合、上記ステップS116でそれを判断し、スローライブビューとしてその時点で表示されている静止画像データを選択結果とし、圧縮伸長処理部34でデータ圧縮を施した後にメモリカード29または内蔵メモリ24に記録して(ステップS117)、以上で一連のスローライブ撮影の動作を終了する。
以上詳記した如く本実施形態によれば、高速で移動する被写体に対してもユーザの意図する撮影タイミングを逃すことがないように、時間幅が制限された一連の静止画像データの取得開始タイミングを容易に合わせることが可能となる。
特に上記実施形態では、撮影により得られる一連の静止画像データ中の被写体の経時的な変化を検出し、スローライブビューの開始条件にするものとしたため、ユーザの意図する静止画像の撮影タイミングにより直接的に結びついた取得開始タイミングを設定することができる。
その場合、コンティニュアスAFを実行することで被写体に対して常時合焦状態を保ったままスローライブビューを開始することで、スローライブビュー開始時のAFタイムラグをなくすことができ、より円滑な動作が実現できる。
また、上記実施形態中に「ムーブイン」「ムーブアウト」として記載した如く、静止画像データ中の所定エリア内への被写体像の進入または所定エリア外への被写体像の進出をスローライブビューの開始条件に設定可能としたため、特に高速で移動して撮影範囲内に捉え続けることが困難な被写体を撮影する場合にも、適切なタイミングでスローライブビューを開始することができる。
さらに、スローライブ撮影を行なうに際して、被写体の移動速度に合わせてスローライブビューの表示速度を制御することにより、適正な表示速度を容易且つ自動的に実現できると共に、次の撮影にも迅速に備えることができる。
また、被写体像の静止をスローライブビューの開始条件の1つとして設定可能としたので、動きが予測できない被写体にも容易に対処可能となる。
さらに、近時は充分に実用的になった被写体の顔認識、及び表情検出を利用してスローライブビューの開始条件の1つとして設定可能としたので、例えば特定の人物の笑顔を撮影したい場合など、撮影タイミングの選択を装置任せとしながらも確実に所望する静止画像を取得できる。
さらに、撮影範囲内への人物の顔の現出をスローライブビューの開始条件の1つとして設定可能としたので、突然の撮影範囲内への進入による操作の遅れなど、動きが予測できない被写体にも容易に対処可能となる。
加えて、上記実施形態では、過去撮影を行なうものとしてスローライブビューの開始直前の静止画像も所定時間分取得するものとしたため、スローライブ撮影の開始タイミングが遅れても、所望するタイミングを逃さず撮影できる。
なお、上記実施形態はいずれも、撮影により得られる一連の静止画像データ中の被写体の経時的な変化を検出してスローライブビューの開始条件にするものとしたが、本発明はこれに限らず、例えばマイクロホン部31と音声処理部26とを用い、取得する音声の音響学的特徴の経時的な変化、例えば総体的な音圧が一定のしきい値に達した場合、あるいは単一帯域、複数帯域など所定の周波数帯域の音声が検出された場合などを所定の状態として設定することも可能である。
これにより、例えば徒競走のスタートのピストルの音をスローライブ撮影の開始タイミングとするなど、より広い用途に適用可能となる。
また、上記実施形態は、本発明をデジタルカメラに適用した場合について説明したものであるが、本発明はこれに限らず、静止画像の撮影が可能なビデオムービーカメラ、カメラ機能を有する携帯電話端末やPND(Personal Navigation Device:簡易ナビゲーション装置)、あるいはウェブカメラを搭載したパーソナルコンピュータ等の小型電子機器にも適用することが可能である。
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
本発明の一実施形態に係るデジタルカメラの機能回路の概略構成を示すブロック図。 同実施形態に係る主としてスローライブモード時の撮影処理の内容を示すフローチャート。 同実施形態に係るスローライブビューの開始条件の設定表示画面を例示する図。 同実施形態に係るスローライブビューの開始条件で「マニュアル」設定時の1枚の静止画像データを選択するまでの基本的な流れを示す図。 同実施形態に係るスローライブビューの開始条件で「ムーブアウト」設定時の表示画面を例示する図。
符号の説明
10…デジタルカメラ、11…レンズ光学系、12…CCD、13…画像処理部、14…バッファメモリ、15…表示部、16…制御部、17…メインメモリ、18…プログラムメモリ、19…キー入力部、20…レンズ光学系駆動部、21…フラッシュ駆動部、22…CCDドライバ、23…メモリカードコントローラ、24…内蔵メモリ、25…USBインタフェース(I/F)、26…音声処理部、27…レンズモータ(M)、28…フラッシュ部、29…メモリカード、30…USBコネクタ、31…マイクロホン部、32…スピーカ部、33…被写体認識部、34…圧縮伸長処理部、C…カードコネクタ、FR…枠体、OJ…被写体、SB…システムバス。

Claims (4)

  1. 時間的に連続して撮影して静止画像データを順次生成する撮像手段と、
    上記撮像手段により順次生成される複数の静止画像データを持する保持手段と、
    枠体とともに上記保持手段により保持されている静止画像データを順次表示する表示手段と、
    上記表示手段により順次表示される静止画像データに含まれる被写体の、上記枠体への接触を検出する第1の検出手段と、
    上記第1の検出手段により接触を検出すると、上記被写体の速度を検出する第2の検出手段と、
    上記表示手段が上記静止画像データを順次表示する表示速度を、上記撮像手段の撮像速度よりも遅く、且つ、上記第2の検出手段により検出した被写体の速度に基いた速度にするよう制御するよう制御する表示速度制御手段と、
    上記表示速度制御手段により制御された表示速度で上記静止画像データが順次表示されている時に外部操作を検出する第3の検出手段と、
    上記第3の検出手段により外部操作が検出された時に、上記表示手段に表示されている静止画像データを録する記録手段と
    を備えたことを特徴とする撮像装置。
  2. 上記第1の検出手段により接触を検出すると、上記被写体に対して合焦をする合焦手段を更に備えたことを特徴とする請求項1記載の撮像装置。
  3. 撮像部に対して時間的に連続して撮影させて静止画像データを順次生成する撮像ステップと、
    上記撮像ステップにて順次生成される複数の静止画像データを第1のメモリに保持する保持ステップと、
    枠体とともに上記保持ステップにて保持されている静止画像データを順次表示部に表示させる表示ステップと、
    上記表示ステップにて順次表示される静止画像データに含まれる被写体の、上記枠体への接触を検出する第1の検出ステップと、
    上記第1の検出ステップにて接触を検出すると、上記被写体の速度を検出する第2の検出ステップと、
    上記表示ステップにて上記静止画像データを順次表示する表示速度を、上記撮像ステップにおける撮像速度よりも遅く、且つ、上記第2の検出ステップにて検出した被写体の速度に基いた速度にするよう制御するよう制御する表示速度制御ステップと、
    上記表示速度制御ステップにて制御された表示速度で上記静止画像データが順次表示されている時に外部操作を検出する第3の検出ステップと、
    上記第3の検出ステップにて外部操作が検出された時に、上記表示部に表示されている静止画像データを第2のメモリに記録させる記録ステップと
    を含むことを特徴とする撮像制御方法。
  4. 撮像部、第1のメモリ、表示部、及び、第2のメモリを備えた撮像装置が内蔵するコンピュータを、
    上記撮像部に対して時間的に連続して撮影させて静止画像データを順次生成する撮像手段、
    上記撮像手段によって順次生成される複数の静止画像データを上記第1のメモリに保持する保持手段、
    枠体とともに上記保持手段によって保持されている静止画像データを順次上記表示部に表示させる表示手段、
    上記表示手段によって順次表示される静止画像データに含まれる被写体の、上記枠体への接触を検出する第1の検出手段、
    上記第1の検出手段によって接触を検出すると、上記被写体の速度を検出する第2の検出手段、
    上記表示手段によって上記静止画像データを順次表示する表示速度を、上記撮像手段における撮像速度よりも遅く、且つ、上記第2の検出手段によって検出した被写体の速度に基いた速度にするよう制御するよう制御する表示速度制御手段、
    上記表示速度制御手段によって制御された表示速度で上記静止画像データが順次表示されている時に外部操作を検出する第3の検出手段、及び
    上記第3の検出手段によって外部操作が検出された時に、上記表示部に表示されている静止画像データを上記第2のメモリに記録させる記録手段
    として機能させることを特徴とするプログラム。
JP2008170421A 2008-06-30 2008-06-30 撮像装置、撮像制御方法及びプログラム Expired - Fee Related JP4730402B2 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2008170421A JP4730402B2 (ja) 2008-06-30 2008-06-30 撮像装置、撮像制御方法及びプログラム
US12/481,667 US8294779B2 (en) 2008-06-30 2009-06-10 Image sensing apparatus and storage medium
CN2009101493382A CN101621617B (zh) 2008-06-30 2009-06-16 摄像装置和摄像控制方法
EP16199324.1A EP3174284B1 (en) 2008-06-30 2009-06-24 Image sensing apparatus and storage medium
EP09163536.7A EP2141913B1 (en) 2008-06-30 2009-06-24 Image sensing apparatus and storage medium
TW098121800A TWI458352B (zh) 2008-06-30 2009-06-29 攝像裝置及記憶媒體
KR1020090058884A KR20100003240A (ko) 2008-06-30 2009-06-30 촬상 장치 및 기억 장치
HK10103928.9A HK1136727A1 (en) 2008-06-30 2010-04-21 Image sensing apparatus and image control method
KR1020110067252A KR101075826B1 (ko) 2008-06-30 2011-07-07 촬상 장치 및 기억 장치
US13/614,487 US8411158B2 (en) 2008-06-30 2012-09-13 Image sensing apparatus and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008170421A JP4730402B2 (ja) 2008-06-30 2008-06-30 撮像装置、撮像制御方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011092017A Division JP5304833B2 (ja) 2011-04-18 2011-04-18 撮像装置、撮像制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2010011289A JP2010011289A (ja) 2010-01-14
JP4730402B2 true JP4730402B2 (ja) 2011-07-20

Family

ID=41137462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008170421A Expired - Fee Related JP4730402B2 (ja) 2008-06-30 2008-06-30 撮像装置、撮像制御方法及びプログラム

Country Status (7)

Country Link
US (2) US8294779B2 (ja)
EP (2) EP3174284B1 (ja)
JP (1) JP4730402B2 (ja)
KR (2) KR20100003240A (ja)
CN (1) CN101621617B (ja)
HK (1) HK1136727A1 (ja)
TW (1) TWI458352B (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4730402B2 (ja) * 2008-06-30 2011-07-20 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
JP5821019B2 (ja) 2010-03-09 2015-11-24 パナソニックIpマネジメント株式会社 撮影装置および情報検出方法
JP5616819B2 (ja) * 2010-03-10 2014-10-29 富士フイルム株式会社 撮影アシスト方法、そのプログラム、その記録媒体、撮影装置および撮影システム
JP5054175B2 (ja) 2010-09-08 2012-10-24 キヤノン株式会社 撮像装置およびその制御方法、撮影制御装置、撮影制御方法
JP5783737B2 (ja) * 2011-02-02 2015-09-24 キヤノン株式会社 撮像装置および動画記録装置の制御方法
JP5862148B2 (ja) * 2011-07-25 2016-02-16 株式会社ニコン カメラボディ、カメラシステム、および、プログラム
KR101814604B1 (ko) * 2011-08-30 2018-01-04 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US9041825B2 (en) * 2011-10-12 2015-05-26 Olympus Corporation Image processing apparatus
JP6061715B2 (ja) * 2013-02-13 2017-01-18 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US20150001762A1 (en) * 2013-06-27 2015-01-01 Alberto Daniel Lacaze Method for Deployable Rapid On-Site Manufacturing Using 3D Printing in Combination with Vacuum Metallization
EP2819395B1 (en) * 2013-06-27 2015-08-12 Axis AB Method and apparatus for setting a camera exposure time
SG2013075338A (en) * 2013-10-08 2015-05-28 K One Ind Pte Ltd Set meal preparation system
CN104580874B (zh) * 2013-10-22 2019-12-13 中兴通讯股份有限公司 一种摄像设备及其实现拍照的方法
JP2017011435A (ja) * 2015-06-19 2017-01-12 キヤノン株式会社 撮像装置及びその制御方法
JP6498051B2 (ja) * 2015-06-19 2019-04-10 キヤノン株式会社 撮像装置及びその制御方法
US9894259B2 (en) * 2015-06-29 2018-02-13 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Movable image capture devices and methods for capture of images from behind a display screen
WO2019058691A1 (ja) * 2017-09-20 2019-03-28 富士フイルム株式会社 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
CN109348135A (zh) * 2018-11-21 2019-02-15 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及终端设备
CN112532903B (zh) * 2019-09-18 2022-08-09 华为技术有限公司 一种智能录像方法、电子设备与计算机可读存储介质
US11587276B2 (en) 2019-12-03 2023-02-21 Disney Enterprises, Inc. Data-driven extraction and composition of secondary dynamics in facial performance capture

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3299741B2 (ja) * 1990-03-14 2002-07-08 オリンパス光学工業株式会社 自動撮影システム
JP3398510B2 (ja) * 1995-03-20 2003-04-21 富士通株式会社 物体検知シテム
JPH11221309A (ja) 1998-02-06 1999-08-17 Flex:Kk フォームチェッカー装置
JP3860367B2 (ja) * 1999-09-14 2006-12-20 富士フイルムホールディングス株式会社 撮像装置
JP2002042139A (ja) 2000-07-25 2002-02-08 Hitachi Ltd 映像認識方法および映像表示装置
JP4359743B2 (ja) * 2001-05-25 2009-11-04 富士フイルム株式会社 カメラの制御方法及びカメラ
JP2004350187A (ja) * 2003-05-26 2004-12-09 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2005094133A (ja) * 2003-09-12 2005-04-07 Fuji Photo Film Co Ltd 撮影装置
JP2006140892A (ja) * 2004-11-15 2006-06-01 Konica Minolta Photo Imaging Inc 電子スチルカメラ
JP4134004B2 (ja) 2004-11-15 2008-08-13 Tdk株式会社 高周波モジュール
JP2006253768A (ja) 2005-03-08 2006-09-21 Uniden Corp デジタルカメラ
JP4639869B2 (ja) * 2005-03-14 2011-02-23 オムロン株式会社 撮像装置およびタイマー撮影方法
JP2006270868A (ja) * 2005-03-25 2006-10-05 Olympus Imaging Corp 撮像装置及び画像記録方法
JP2007172035A (ja) * 2005-12-19 2007-07-05 Fujitsu Ten Ltd 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法
JP2007258862A (ja) * 2006-03-22 2007-10-04 Seiko Epson Corp 予め設定した撮影条件で待機して撮影を行う待機撮影
JP4727534B2 (ja) * 2006-08-28 2011-07-20 富士フイルム株式会社 撮像装置
JP4835356B2 (ja) 2006-09-28 2011-12-14 カシオ計算機株式会社 撮像装置、撮像制御プログラム及び撮像制御方法
US7948526B2 (en) * 2006-11-14 2011-05-24 Casio Computer Co., Ltd. Imaging apparatus, imaging method and program thereof
JP4730402B2 (ja) * 2008-06-30 2011-07-20 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム

Also Published As

Publication number Publication date
EP2141913B1 (en) 2017-01-11
EP2141913A2 (en) 2010-01-06
US8294779B2 (en) 2012-10-23
KR101075826B1 (ko) 2011-10-25
US20090322895A1 (en) 2009-12-31
US20130010171A1 (en) 2013-01-10
TWI458352B (zh) 2014-10-21
KR20100003240A (ko) 2010-01-07
CN101621617B (zh) 2013-01-09
EP2141913A3 (en) 2010-07-14
KR20110089239A (ko) 2011-08-05
TW201008277A (en) 2010-02-16
US8411158B2 (en) 2013-04-02
JP2010011289A (ja) 2010-01-14
CN101621617A (zh) 2010-01-06
EP3174284B1 (en) 2022-06-01
EP3174284A1 (en) 2017-05-31
HK1136727A1 (en) 2010-07-02

Similar Documents

Publication Publication Date Title
JP4730402B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP4873031B2 (ja) 撮像装置、撮像方法及びプログラム
US8736716B2 (en) Digital camera having variable duration burst mode
US20060050997A1 (en) Camera device with movie capture function
JP5768381B2 (ja) 動画像処理装置、動画像処理方法及びプログラム
JP4697078B2 (ja) 撮像装置及びそのプログラム
JP2006339784A (ja) 撮像装置、画像処理方法及びプログラム
JP5434337B2 (ja) 画像処理装置及びプログラム
JP5896181B2 (ja) 撮像装置、撮像制御方法、及びプログラム
JP2009081786A (ja) 撮像装置、被写体分離方法、およびプログラム
JP5168375B2 (ja) 撮像装置、撮像方法及びプログラム
JP5304833B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP5217504B2 (ja) 撮像装置、撮像方法及びプログラム
JP5842874B2 (ja) 撮像装置、撮像方法及びプログラム
JP5332797B2 (ja) 撮像装置、撮像方法及びプログラム
JP2014120926A (ja) 撮像装置
JP2010288212A (ja) カメラ及び動画編集用プログラム
JP2005109915A (ja) 画像記録装置、画像記録方法、及びそれを用いたカメラ
JP6090485B2 (ja) 撮像装置、撮像制御方法、及びプログラム
JP6470594B2 (ja) 撮像装置、その制御方法、及びプログラム
JP5067213B2 (ja) 撮像装置、記録制御方法及びプログラム
JP2008228072A (ja) 動画記録装置及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100618

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110404

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees