JP4142184B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4142184B2 JP4142184B2 JP35454398A JP35454398A JP4142184B2 JP 4142184 B2 JP4142184 B2 JP 4142184B2 JP 35454398 A JP35454398 A JP 35454398A JP 35454398 A JP35454398 A JP 35454398A JP 4142184 B2 JP4142184 B2 JP 4142184B2
- Authority
- JP
- Japan
- Prior art keywords
- image information
- moving image
- information
- moving
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Cameras In General (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画と静止画の双方を送信する電子カメラ等に適用される撮像装置に関する。
【０００２】
【従来の技術】
従来より、必要に応じて動画のみならず静止画も同時に撮像して送信することが可能な技術が要望され、そのために種々の提案がなされてきた。
【０００３】
特開平１０−３２８０３号公報では、静止画の符号化を行なう場合に動画の符号化したデータを一旦メモリに蓄えておき、このメモリにある時間分の動画符号化データが溜まった時点で静止画の符号化処理を開始し、メモリから通常よりビットレートを落として動画符号化データを出力しながら、静止画の符号化データも同時に送信するように構成したものを記載しており、静止画データの通信を行なっている間でも、相手方では動画を再生できるものとしている。
【０００４】
また、特開平５−１３７１２６号公報では、複数のチャネルを用いて動画像情報を伝送するマルチメディア伝送システムで、動画像情報に加えて静止画像の情報も伝送する際には、上記複数チャネルの少なくとも一部を用いて静止画像情報を伝送する構成としたものを記載している。
【０００５】
さらに、特開平１０−２８５５６４号公報では、例えばカメラ一体型デジタルＶＴＲで撮像し、あるいは再生した動画データと静止画データとをＩＥＥＥ１３９４シリアルバスで同時にモニタあるいはプリンタに伝送するようにしたものを記載している。
【０００６】
【発明が解決しようとする課題】
しかしながら上記特開平１０−３２８０３号公報は、動画データを保存するために大容量のメモリが必要となるというシステム構成上の不具合を有しているだけでなく、送信される動画のデータがメモリである時間分蓄積されたものであるためにリアルタイムな動画を撮像して通信、再生させることができない。
【０００７】
また、上記特開平５−１３７１２６号公報は、動画像情報で使用する複数チャネルの一部を用いて静止画像情報の伝送を行なうために、静止画像情報の伝送を行なっている間は表示される動画像の画質が劣化するという不具合を有している。
【０００８】
さらに上記特開平１０−２８５５６４号公報は、例えばカメラ一体型デジタルＶＴＲを操作して動画データを撮像させながら、あるいは記録した動画データを再生させながら、同じくこのカメラ一体型デジタルＶＴＲでの操作により所望の静止画データを選択し、動画データと静止画データとを同時に伝送させるようにしたもので、監視カメラシステムのような、カメラを遠隔操作する必要があるシステムには適用することができない。
【０００９】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、ハードウェア回路に大きな負担を強いることなくリアルタイムでの動画データが可能で、必要により外部からの指示による任意のタイミングでの静止画データも同時に送信可能としながら、且つ静止画データ送信時の動画データの画質を劣化することがない、電子カメラを用いた監視システム等に好適な撮像装置を提供することにある。
【００１０】
【課題を解決するための手段】
請求項１記載の発明は、撮影レンズによって結像された被写体像を光電変換する撮像素子と、この撮像素子で得た電気信号から静止画情報を生成する静止画情報生成手段と、この静止画情報生成手段が生成した静止画情報を記憶する静止画記憶手段と、上記撮像素子で得た電気信号から動画情報を生成する動画情報生成手段と、データバスを介して外部機器と情報を通信する通信手段と、上記動画情報生成手段で得た動画情報及び上記静止画記憶手段が記憶した静止画情報を共にパケット単位で周期的に上記通信手段を介して上記外部機器に送信する送信制御手段と、外部からの撮影指示に応じて上記静止画情報生成手段を動作させる選択手段とを具備したことを特徴とする。
【００１１】
このような構成とすれば、動画情報と静止画情報の２つの画像ソースを提供可能な電子カメラ等の１つの撮像装置において、外部からの撮影を指示する任意のタイミングで静止画情報を得て、その静止画情報の処理中であっても動画情報が途切れることなく、また画質も劣化させずに２つの画像の送信を継続して実行させることができる。
【００１２】
請求項２記載の発明は、上記請求項１記載の発明において、上記動画情報生成手段で得た動画情報を記憶する動画記憶手段をさらに具備し、上記送信制御手段は、外部からの撮影指示による上記静止画情報生成手段の動作中は、上記動画記憶手段に記憶した動画情報のみを送信することを特徴とする。
【００１３】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、撮像素子が静止画情報を得るために占有されている間も動画記憶手段に記憶された画像により送信が継続されるため、動画像を途切れることなく送信させることができる。
【００１４】
請求項３記載の発明は、上記請求項２記載の発明において、画像を表示するための画像表示手段をさらに具備し、上記動画記憶手段は、この画像表示手段で表示させる動画情報を記憶することを特徴とする。
【００１５】
このような構成とすれば、上記請求項２記載の発明の作用に加えて、画像表示手段で出力する動画記憶手段としてのメモリを動画情報生成手段で得た動画情報を記憶するためのメモリと共用させることで、回路構成をより小規模化することができる。
【００１６】
請求項４記載の発明は、上記請求項１記載の発明において、上記静止画情報生成手段は、上記撮像素子の有する全画素の情報を読出す撮像素子駆動を行ない、上記動画情報生成手段は、上記撮像素子の有する一部の画素の情報を読出す撮像素子駆動を行なうことを特徴とする。
【００１７】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、高い画質が要求されない動画情報を得る際には撮像素子の画素を間欠的に駆動し、一方高い画質が要求される静止画情報を得る際には撮像素子の全画素を駆動するように撮像素子の駆動状態を切換設定するようにしたため、動画と静止画の各画像取得時に合わせて必要な画素数の画像情報を得ることができる。
【００１８】
請求項５記載の発明は、撮影レンズによって結像された被写体像を光電変換する撮像素子と、画像情報が記憶された記録媒体から画像情報を読出す読出手段と、上記撮像素子で得た電気信号から動画情報を生成する動画情報生成手段と、データバスを介して外部機器との通信を行なう通信手段と、上記動画情報生成手段で得た動画情報と、上記読出手段で読出した画像情報とを共にパケット単位で周期的に上記通信手段を介して上記外部機器に送信する送信制御手段とを具備したことを特徴とする。
【００１９】
このような構成とすれば、動画情報と装着した記録媒体から読出した画像情報の２つの画像ソースを提供可能な撮像装置において、動画情報が途切れることなく、またその画質も劣化させずに２つの画像の送信を継続させることができる。
【００２０】
【発明の実施の形態】
以下本発明を電子カメラ装置とこれを用いたシステムとに適用した場合の実施の一形態について図面を参照して説明する。
【００２１】
図１はそのシステム全体の構成を示すもので、１が動画と静止画の双方を撮像可能な電子カメラ装置であり、この電子カメラ装置１に対して例えばパーソナルコンピュータでなる情報処理装置２が接続される。
【００２２】
そして、この情報処理装置２がキーボードとマウスなどのポイント入力部とでなるキー入力部２ａを有すると共に、モニタ装置として使用される画像表示装置３及びこの画像表示装置３で表示した画像を印字出力するためのプリンタ４を接続している。
【００２３】
電子カメラ装置１は、被写体像５を撮像するためのレンズ部１１及びこのレンズ部１１による結像位置に配置されたＣＣＤでなる撮像素子１２を有し、撮像素子１２で得た画像情報は後述するＣＰＵ１４に制御される画像選択回路１３により動画像処理回路１５及び静止画像処理回路１６のいずれか一方に選択的に供給される。
【００２４】
動画像処理回路１５は、画像選択回路１３を介して入力される画像情報を予め定められたテレビジョン方式及び画素数にしたがってデジタル値の動画像情報を生成処理するもので、得られた動画像情報は１／３０［ｓｅｃ］毎に動画像情報記憶手段としてのＶＲＡＭ１７に順次書込まれ、動画切替回路１８に読出される。
【００２５】
この動画切替回路１８は、ＣＰＵ１４の切替制御に基づいてＶＲＡＭ１７から読出されてくる動画像情報を液晶表示パネル（図では「表示ＬＣＤ」と示す）１９あるいは通信回路２０へ送出する。
【００２６】
液晶表示パネル１９は、この電子カメラ装置１を単体で使用している状態で撮像した動画像を表示するためのものである。
【００２７】
上記静止画像処理回路１６は、任意のタイミングで画像選択回路１３を介して入力される画像情報に対して所定の画像処理を施すことで上記撮像素子１２の構成画素数を活かした静止画像情報を生成し、静止画記憶手段としてのＤＲＡＭ２２に書込む。
【００２８】
このＤＲＡＭ２２に書込まれた静止画像情報は、適宜圧伸回路２３でデータ圧縮され、符号化された後に記録媒体２４に格納記録される他、上記通信回路２０にも読出される。
【００２９】
また、記録媒体２４に記録されている静止画像情報が読出される際には、読出された静止画像情報は圧伸回路２３によりデータ伸長された後にＤＲＡＭ２２に書込まれた後、やはり上記通信回路２０へ読出される。
【００３０】
通信回路２０は、ＣＰＵ１４の制御の下に動画像情報のみあるいは動画像情報及び静止画像情報を所定のフォーマットにより、例えばＩＥＥＥ１３９４の仕様に則ったシリアルインタフェース（図では「１３９４Ｉ／Ｆ」と示す）２１に送出する。
【００３１】
このシリアルインタフェース２１は、上記情報処理装置２に備えられる同様のシリアルインタフェース２ｂとライン接続され、上記画像情報を送信出力する。
【００３２】
上記ＣＰＵ１４は、この電子カメラ装置１全体の制御動作を司るもので、特に情報処理装置２のキー入力部２ａでレリーズ指示がなされたことをシリアルインタフェース２ｂ、シリアルインタフェース２１、及び通信回路２０を介して認識した時点で、上記画像選択回路１３、動画切替回路１８、及び通信回路２０の動作状態を切替制御し、また撮像素子１２の駆動状態を切換えて動画像情報の操作時と静止画像情報の撮像時とで駆動画素数を切換える。
【００３３】
しかるに情報処理装置２では、シリアルインタフェース２ｂで受信した電子カメラ装置１からの画像情報により画像表示装置３で動画像のみまたはキー入力部２ａでレリーズ指示がなされた場合には図中で示す如く動画像及び静止画像を共に表示出力させる一方、キー入力部２ａでの指示に応じてプリンタ４で当該画像表示装置３での表示画像をプリントアウトさせる。
【００３４】
次に上記実施の形態の動作について説明する。
【００３５】
図２は主としてＣＰＵ１４により制御される電子カメラ装置１内の撮像系と通信系それぞれの動作を示すもので、撮像系においては、通常の動画像のみの撮像状態とし（ステップＳ１１）、撮像素子１２が有する全画素、例えば横１０２４×縦７６８画素のうちの一部、縦横共４画素毎に１つずつを使用して選択的に駆動し、横２５６×縦１９２画素の動画像情報を得て画像選択回路１３により動画像処理回路１５へ供給する。
【００３６】
動画像処理回路１５ではこの動画像情報に対して所定の動画像処理を施して１／３０［ｓｅｃ］毎に１枚の動画像情報をＶＲＡＭ１７に順次書込む処理を行なうもので、ＣＰＵ１４はこの動画像処理回路１５によるＶＲＡＭ１７への書込みを実行制御しながら、情報処理装置２側のキー入力部２ａによる静止画像取得のためのレリーズ指示を待機する（ステップＳ１２）、という処理を繰返し実行する。
【００３７】
このとき、電子カメラ装置１の通信系の回路でも、ＶＲＡＭ１７に書込まれる動画像情報をそのまま順次読出して動画切替回路１８により通信回路２０に送り、ここで所定のフォーマットに変換した後にシリアルインタフェース２１によりＩＥＥＥ１３９４の仕様に従って情報処理装置２側へ送信しながら（ステップＳ２１）、情報処理装置２側のキー入力部２ａによる静止画像取得のためのレリーズ指示を待機する（ステップＳ２２）、という処理を繰返し実行する。
【００３８】
図３はこの電子カメラ装置１のシリアルインタフェース２１から情報処理装置２のシリアルインタフェース２ｂへ送信される情報の内容を例示するもので、ルート装置としての情報処理装置２が１サイクル＝１２５［μｓｅｃ］毎にサイクルスタートデータを送出して通信サイクルのスタートをバスに接続された各端末に知らせるもので、各サイクルの前半は予め所定データ量が所定端末に優先的に割当てられているアイソクロナス通信とし、動画や音声等のリアルタイム性が要求される通信に用いられる。
【００３９】
ここでは、シリアルインタフェース２１から情報処理装置２のシリアルインタフェース２ｂへ送信される動画像情報がこれに相当するもので、このアイソクロナス通信により情報処理装置２は画像表示装置３の画面の一部、例えば左下部に被写体像５の最新の動画像をリアルタイムで表示することとなる。
【００４０】
このとき、各サイクルのアイソクロナス通信に続く後半のシンクロナス通信は使用せず、図１の画像表示装置３で示したような静止画像の情報の伝送は行なわない。
【００４１】
しかして、この画像表示装置３での動画像の表示に対してキー入力部２ａでレリーズを指示する入力がなされた場合、シリアルインタフェース２ｂからバス、シリアルインタフェース２１、通信回路２０を介してこれを認識したＣＰＵ１４は、１枚の静止画像情報を撮像する処理を実行する（ステップＳ１３）。
【００４２】
この場合、ＣＰＵ１４は、レリーズの指示がある直前に得てＶＲＡＭ１７に記憶させている動画像をリフレッシュ記憶させながらこれを繰返し読出し、動画切替回路１８、通信回路２０を介してシリアルインタフェース２１により情報処理装置２側に送信させて、画像表示装置３でそれまでの動画像に代えて停止した画像を表示させながら（ステップＳ２３）、電子カメラ装置１の静止画像処理回路１６が静止画像情報の処理が終わるのを待機する（ステップＳ２４）、という処理を繰返し実行する。
【００４３】
しかして、静止画像処理回路１６では、ＣＰＵ１４が上記レリーズの指示に応じて撮像素子１２が有する全画素、例えば横１０２４×縦７６８画素をすべて使用して駆動して得た横１０２４×縦７６８画素の静止画像情報を画像選択回路１３を介して入力し、所定の静止画像処理を施して１枚の静止画像情報を作成してＤＲＡＭ２２に書込む処理を行なう。
【００４４】
そして、１枚の静止画像情報がすべてＤＲＡＭ２２に書込まれた時点で、ＣＰＵ１４は静止画像の処理を終了したものと判断して、撮像系ではステップＳ１３から再び上記ステップＳ１１に戻り、画像選択回路１３を再び動画像処理回路１５の側に切換えて撮像素子１２を通常の動画像の撮像状態とさせ、撮像素子１２が有する全画素のうちの一部を選択的に駆動して画素を間引いた動画像情報を得て画像選択回路１３により動画像処理回路１５へ供給する。
【００４５】
動画像処理回路１５ではこの動画像情報に対して再び所定の動画像処理を施して１／３０［ｓｅｃ］毎に１枚の動画像情報をＶＲＡＭ１７に順次書込む処理を行なうもので、ＣＰＵ１４はこの動画像処理回路１５によるＶＲＡＭ１７への書込みと読出しを制御しながら、同時に上記ＤＲＡＭ２２に書込まれた静止画像を通信回路２０に読出させる制御も実行する。
【００４６】
このとき、電子カメラ装置１の通信系の回路においては、ＣＰＵ１４が通信回路２０によりＶＲＡＭ１７から動画切替回路１８を介して読出されてくる動画像情報とＤＲＡＭ２２から読出されてくる静止画像情報とを同時にシリアルインタフェース２１により情報処理装置２側へ送信させながら、今度はこの静止画情報の通信が終了するのを待機する（ステップＳ２６）、という処理を繰返し実行する。
【００４７】
すなわち、この状態で電子カメラ装置１のシリアルインタフェース２１から情報処理装置２のシリアルインタフェース２ｂへ送信される情報の内容としては、上記図３に示した各サイクルのアイソクロナス通信で動画像情報を送信すると共に、このアイソクロナス通信に続く後半のシンクロナス通信においてＤＲＡＭ２２から一定の容量ずつ分割して読出した静止画像情報を送信することとなる。
【００４８】
しかして、ＤＲＡＭ２２に記憶されていた静止画像情報がすべて読出され、情報処理装置２側に送信された時点で、ＣＰＵ１４はこれをステップＳ２６で判断して、再び上記ステップＳ２１からの動画のみの送信状態に復帰する。
【００４９】
このとき画像表示装置３では、画面の一部で最新の動画像が常時表示出力されると共に、画面の全体を使用して上記レリーズ指示により得た詳細な静止画像が表示出力されることとなる。
【００５０】
なお、画像表示装置３で最新の動画像を常時出力させると共に、上記レリーズ指示により得た詳細な静止画像をプリンタに直接通信してプリント出力するようにしてもよい。
【００５１】
このように、通常は電子カメラ装置１により動画像情報を得てこれを画像表示装置３の画面で表示させておき、必要に応じてレリーズを指示した時点で直ちに電子カメラ装置１により静止画像情報を撮像し、その画像処理に移行する。この静止画情報の撮像及び画像処理中も、ＶＲＡＭ１７に記憶させているリレーズ直前に得た画像を引続き表示し、該画像処理を終えた時点で再び最新の動画像情報を表示する動作に復帰しながら、併せて画像処理を終えた静止画像情報を表示するようになる。
【００５２】
そのため、所望する任意のタイミングで静止画像情報を得ることを可能としながら、動画像情報が途切れることなく、また画質も劣化させずに２つの画像の送信を継続させることができる。
【００５３】
また、電子カメラ装置１側で動画像情報を記憶するメモリであるＶＲＡＭ１７は、動画切替回路１８を介して液晶表示パネル１９で表示させる場合、及び動画切替回路１８から通信回路２０を介してシリアルインタフェース２１により情報処理装置２側へ送信させる場合の双方で共用するもので、電子カメラ装置１を構成する回路をより小規模化することに寄与できる。
【００５４】
さらに、それほど高い画質が要求されない動画情報を得る際には撮像素子の画素を間欠的に駆動し、一方高い画質が要求される静止画情報を得る際には撮像素子の全画素を駆動するように撮像素子の駆動状態を切換設定するようにしたため、動画と静止画の各画像取得時に合わせて必要な画素数の画像情報を得ることができる。
【００５５】
なお、上記実施の形態にあっては、電子カメラ装置１と情報処理装置２の間をＩＥＥＥ１３９４の仕様に則ったシリアルインタフェースで接続して通信を行なうものとして説明したが、シリアルインタフェースであれば他にＵＳＢあるいはＣＥＢｕｓといった家庭内ＬＡＮの規格に則ったものでもよい。
【００５６】
その他、本発明はその要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。
【００５７】
【発明の効果】
請求項１記載の発明によれば、動画情報と静止画情報の２つの画像ソースを提供可能な電子カメラ等の１つの撮像装置において、外部からの撮影を指示する任意のタイミングで静止画情報を得て、その静止画情報の処理中であっても動画情報が途切れることなく、また画質も劣化させずに２つの画像の送信を継続して実行させることができる。
【００５８】
請求項２記載の発明によれば、上記請求項１記載の発明の効果に加えて、撮像素子が静止画情報を得るために占有されている間も動画記憶手段に記憶された画像により送信が継続されるため、動画像を途切れることなく送信させることができる。
【００５９】
請求項３記載の発明によれば、上記請求項２記載の発明の効果に加えて、画像表示手段で出力する動画記憶手段としてのメモリを動画情報生成手段で得た動画情報を記憶するためのメモリと共用させることで、回路構成をより小規模化することができる。
【００６０】
請求項４記載の発明によれば、上記請求項１記載の発明の効果に加えて、高い画質が要求されない動画情報を得る際には撮像素子の画素を間欠的に駆動し、一方高い画質が要求される静止画情報を得る際には撮像素子の全画素を駆動するように撮像素子の駆動状態を切換設定するようにしたため、動画と静止画の各画像取得時に合わせて必要な画素数の画像情報を得ることができる。
【００６１】
請求項５記載の発明によれば、動画情報と装着した記録媒体から読出した画像情報の２つの画像ソースを提供可能な撮像装置において、動画情報が途切れることなく、またその画質も劣化させずに２つの画像の送信を継続させることができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態に係る回路構成を示すブロック図。
【図２】同実施の形態に係る動作内容を示すフローチャート。
【図３】同実施の形態に係る通信動作を説明する図。
【符号の説明】
１…電子カメラ装置
２…情報処理装置
２ａ…キー入力部
２ｂ…シリアルインタフェース
３…画像表示装置
４…プリンタ
１１…レンズ部
１２…撮像素子
１３…画像選択回路
１４…ＣＰＵ
１５…動画像処理回路
１６…静止画像処理回路
１７…ＶＲＡＭ
１８…動画切替回路
１９…液晶表示パネル
２０…通信回路
２１…シリアルインタフェース
【発明の属する技術分野】
本発明は、動画と静止画の双方を送信する電子カメラ等に適用される撮像装置に関する。
【０００２】
【従来の技術】
従来より、必要に応じて動画のみならず静止画も同時に撮像して送信することが可能な技術が要望され、そのために種々の提案がなされてきた。
【０００３】
特開平１０−３２８０３号公報では、静止画の符号化を行なう場合に動画の符号化したデータを一旦メモリに蓄えておき、このメモリにある時間分の動画符号化データが溜まった時点で静止画の符号化処理を開始し、メモリから通常よりビットレートを落として動画符号化データを出力しながら、静止画の符号化データも同時に送信するように構成したものを記載しており、静止画データの通信を行なっている間でも、相手方では動画を再生できるものとしている。
【０００４】
また、特開平５−１３７１２６号公報では、複数のチャネルを用いて動画像情報を伝送するマルチメディア伝送システムで、動画像情報に加えて静止画像の情報も伝送する際には、上記複数チャネルの少なくとも一部を用いて静止画像情報を伝送する構成としたものを記載している。
【０００５】
さらに、特開平１０−２８５５６４号公報では、例えばカメラ一体型デジタルＶＴＲで撮像し、あるいは再生した動画データと静止画データとをＩＥＥＥ１３９４シリアルバスで同時にモニタあるいはプリンタに伝送するようにしたものを記載している。
【０００６】
【発明が解決しようとする課題】
しかしながら上記特開平１０−３２８０３号公報は、動画データを保存するために大容量のメモリが必要となるというシステム構成上の不具合を有しているだけでなく、送信される動画のデータがメモリである時間分蓄積されたものであるためにリアルタイムな動画を撮像して通信、再生させることができない。
【０００７】
また、上記特開平５−１３７１２６号公報は、動画像情報で使用する複数チャネルの一部を用いて静止画像情報の伝送を行なうために、静止画像情報の伝送を行なっている間は表示される動画像の画質が劣化するという不具合を有している。
【０００８】
さらに上記特開平１０−２８５５６４号公報は、例えばカメラ一体型デジタルＶＴＲを操作して動画データを撮像させながら、あるいは記録した動画データを再生させながら、同じくこのカメラ一体型デジタルＶＴＲでの操作により所望の静止画データを選択し、動画データと静止画データとを同時に伝送させるようにしたもので、監視カメラシステムのような、カメラを遠隔操作する必要があるシステムには適用することができない。
【０００９】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、ハードウェア回路に大きな負担を強いることなくリアルタイムでの動画データが可能で、必要により外部からの指示による任意のタイミングでの静止画データも同時に送信可能としながら、且つ静止画データ送信時の動画データの画質を劣化することがない、電子カメラを用いた監視システム等に好適な撮像装置を提供することにある。
【００１０】
【課題を解決するための手段】
請求項１記載の発明は、撮影レンズによって結像された被写体像を光電変換する撮像素子と、この撮像素子で得た電気信号から静止画情報を生成する静止画情報生成手段と、この静止画情報生成手段が生成した静止画情報を記憶する静止画記憶手段と、上記撮像素子で得た電気信号から動画情報を生成する動画情報生成手段と、データバスを介して外部機器と情報を通信する通信手段と、上記動画情報生成手段で得た動画情報及び上記静止画記憶手段が記憶した静止画情報を共にパケット単位で周期的に上記通信手段を介して上記外部機器に送信する送信制御手段と、外部からの撮影指示に応じて上記静止画情報生成手段を動作させる選択手段とを具備したことを特徴とする。
【００１１】
このような構成とすれば、動画情報と静止画情報の２つの画像ソースを提供可能な電子カメラ等の１つの撮像装置において、外部からの撮影を指示する任意のタイミングで静止画情報を得て、その静止画情報の処理中であっても動画情報が途切れることなく、また画質も劣化させずに２つの画像の送信を継続して実行させることができる。
【００１２】
請求項２記載の発明は、上記請求項１記載の発明において、上記動画情報生成手段で得た動画情報を記憶する動画記憶手段をさらに具備し、上記送信制御手段は、外部からの撮影指示による上記静止画情報生成手段の動作中は、上記動画記憶手段に記憶した動画情報のみを送信することを特徴とする。
【００１３】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、撮像素子が静止画情報を得るために占有されている間も動画記憶手段に記憶された画像により送信が継続されるため、動画像を途切れることなく送信させることができる。
【００１４】
請求項３記載の発明は、上記請求項２記載の発明において、画像を表示するための画像表示手段をさらに具備し、上記動画記憶手段は、この画像表示手段で表示させる動画情報を記憶することを特徴とする。
【００１５】
このような構成とすれば、上記請求項２記載の発明の作用に加えて、画像表示手段で出力する動画記憶手段としてのメモリを動画情報生成手段で得た動画情報を記憶するためのメモリと共用させることで、回路構成をより小規模化することができる。
【００１６】
請求項４記載の発明は、上記請求項１記載の発明において、上記静止画情報生成手段は、上記撮像素子の有する全画素の情報を読出す撮像素子駆動を行ない、上記動画情報生成手段は、上記撮像素子の有する一部の画素の情報を読出す撮像素子駆動を行なうことを特徴とする。
【００１７】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、高い画質が要求されない動画情報を得る際には撮像素子の画素を間欠的に駆動し、一方高い画質が要求される静止画情報を得る際には撮像素子の全画素を駆動するように撮像素子の駆動状態を切換設定するようにしたため、動画と静止画の各画像取得時に合わせて必要な画素数の画像情報を得ることができる。
【００１８】
請求項５記載の発明は、撮影レンズによって結像された被写体像を光電変換する撮像素子と、画像情報が記憶された記録媒体から画像情報を読出す読出手段と、上記撮像素子で得た電気信号から動画情報を生成する動画情報生成手段と、データバスを介して外部機器との通信を行なう通信手段と、上記動画情報生成手段で得た動画情報と、上記読出手段で読出した画像情報とを共にパケット単位で周期的に上記通信手段を介して上記外部機器に送信する送信制御手段とを具備したことを特徴とする。
【００１９】
このような構成とすれば、動画情報と装着した記録媒体から読出した画像情報の２つの画像ソースを提供可能な撮像装置において、動画情報が途切れることなく、またその画質も劣化させずに２つの画像の送信を継続させることができる。
【００２０】
【発明の実施の形態】
以下本発明を電子カメラ装置とこれを用いたシステムとに適用した場合の実施の一形態について図面を参照して説明する。
【００２１】
図１はそのシステム全体の構成を示すもので、１が動画と静止画の双方を撮像可能な電子カメラ装置であり、この電子カメラ装置１に対して例えばパーソナルコンピュータでなる情報処理装置２が接続される。
【００２２】
そして、この情報処理装置２がキーボードとマウスなどのポイント入力部とでなるキー入力部２ａを有すると共に、モニタ装置として使用される画像表示装置３及びこの画像表示装置３で表示した画像を印字出力するためのプリンタ４を接続している。
【００２３】
電子カメラ装置１は、被写体像５を撮像するためのレンズ部１１及びこのレンズ部１１による結像位置に配置されたＣＣＤでなる撮像素子１２を有し、撮像素子１２で得た画像情報は後述するＣＰＵ１４に制御される画像選択回路１３により動画像処理回路１５及び静止画像処理回路１６のいずれか一方に選択的に供給される。
【００２４】
動画像処理回路１５は、画像選択回路１３を介して入力される画像情報を予め定められたテレビジョン方式及び画素数にしたがってデジタル値の動画像情報を生成処理するもので、得られた動画像情報は１／３０［ｓｅｃ］毎に動画像情報記憶手段としてのＶＲＡＭ１７に順次書込まれ、動画切替回路１８に読出される。
【００２５】
この動画切替回路１８は、ＣＰＵ１４の切替制御に基づいてＶＲＡＭ１７から読出されてくる動画像情報を液晶表示パネル（図では「表示ＬＣＤ」と示す）１９あるいは通信回路２０へ送出する。
【００２６】
液晶表示パネル１９は、この電子カメラ装置１を単体で使用している状態で撮像した動画像を表示するためのものである。
【００２７】
上記静止画像処理回路１６は、任意のタイミングで画像選択回路１３を介して入力される画像情報に対して所定の画像処理を施すことで上記撮像素子１２の構成画素数を活かした静止画像情報を生成し、静止画記憶手段としてのＤＲＡＭ２２に書込む。
【００２８】
このＤＲＡＭ２２に書込まれた静止画像情報は、適宜圧伸回路２３でデータ圧縮され、符号化された後に記録媒体２４に格納記録される他、上記通信回路２０にも読出される。
【００２９】
また、記録媒体２４に記録されている静止画像情報が読出される際には、読出された静止画像情報は圧伸回路２３によりデータ伸長された後にＤＲＡＭ２２に書込まれた後、やはり上記通信回路２０へ読出される。
【００３０】
通信回路２０は、ＣＰＵ１４の制御の下に動画像情報のみあるいは動画像情報及び静止画像情報を所定のフォーマットにより、例えばＩＥＥＥ１３９４の仕様に則ったシリアルインタフェース（図では「１３９４Ｉ／Ｆ」と示す）２１に送出する。
【００３１】
このシリアルインタフェース２１は、上記情報処理装置２に備えられる同様のシリアルインタフェース２ｂとライン接続され、上記画像情報を送信出力する。
【００３２】
上記ＣＰＵ１４は、この電子カメラ装置１全体の制御動作を司るもので、特に情報処理装置２のキー入力部２ａでレリーズ指示がなされたことをシリアルインタフェース２ｂ、シリアルインタフェース２１、及び通信回路２０を介して認識した時点で、上記画像選択回路１３、動画切替回路１８、及び通信回路２０の動作状態を切替制御し、また撮像素子１２の駆動状態を切換えて動画像情報の操作時と静止画像情報の撮像時とで駆動画素数を切換える。
【００３３】
しかるに情報処理装置２では、シリアルインタフェース２ｂで受信した電子カメラ装置１からの画像情報により画像表示装置３で動画像のみまたはキー入力部２ａでレリーズ指示がなされた場合には図中で示す如く動画像及び静止画像を共に表示出力させる一方、キー入力部２ａでの指示に応じてプリンタ４で当該画像表示装置３での表示画像をプリントアウトさせる。
【００３４】
次に上記実施の形態の動作について説明する。
【００３５】
図２は主としてＣＰＵ１４により制御される電子カメラ装置１内の撮像系と通信系それぞれの動作を示すもので、撮像系においては、通常の動画像のみの撮像状態とし（ステップＳ１１）、撮像素子１２が有する全画素、例えば横１０２４×縦７６８画素のうちの一部、縦横共４画素毎に１つずつを使用して選択的に駆動し、横２５６×縦１９２画素の動画像情報を得て画像選択回路１３により動画像処理回路１５へ供給する。
【００３６】
動画像処理回路１５ではこの動画像情報に対して所定の動画像処理を施して１／３０［ｓｅｃ］毎に１枚の動画像情報をＶＲＡＭ１７に順次書込む処理を行なうもので、ＣＰＵ１４はこの動画像処理回路１５によるＶＲＡＭ１７への書込みを実行制御しながら、情報処理装置２側のキー入力部２ａによる静止画像取得のためのレリーズ指示を待機する（ステップＳ１２）、という処理を繰返し実行する。
【００３７】
このとき、電子カメラ装置１の通信系の回路でも、ＶＲＡＭ１７に書込まれる動画像情報をそのまま順次読出して動画切替回路１８により通信回路２０に送り、ここで所定のフォーマットに変換した後にシリアルインタフェース２１によりＩＥＥＥ１３９４の仕様に従って情報処理装置２側へ送信しながら（ステップＳ２１）、情報処理装置２側のキー入力部２ａによる静止画像取得のためのレリーズ指示を待機する（ステップＳ２２）、という処理を繰返し実行する。
【００３８】
図３はこの電子カメラ装置１のシリアルインタフェース２１から情報処理装置２のシリアルインタフェース２ｂへ送信される情報の内容を例示するもので、ルート装置としての情報処理装置２が１サイクル＝１２５［μｓｅｃ］毎にサイクルスタートデータを送出して通信サイクルのスタートをバスに接続された各端末に知らせるもので、各サイクルの前半は予め所定データ量が所定端末に優先的に割当てられているアイソクロナス通信とし、動画や音声等のリアルタイム性が要求される通信に用いられる。
【００３９】
ここでは、シリアルインタフェース２１から情報処理装置２のシリアルインタフェース２ｂへ送信される動画像情報がこれに相当するもので、このアイソクロナス通信により情報処理装置２は画像表示装置３の画面の一部、例えば左下部に被写体像５の最新の動画像をリアルタイムで表示することとなる。
【００４０】
このとき、各サイクルのアイソクロナス通信に続く後半のシンクロナス通信は使用せず、図１の画像表示装置３で示したような静止画像の情報の伝送は行なわない。
【００４１】
しかして、この画像表示装置３での動画像の表示に対してキー入力部２ａでレリーズを指示する入力がなされた場合、シリアルインタフェース２ｂからバス、シリアルインタフェース２１、通信回路２０を介してこれを認識したＣＰＵ１４は、１枚の静止画像情報を撮像する処理を実行する（ステップＳ１３）。
【００４２】
この場合、ＣＰＵ１４は、レリーズの指示がある直前に得てＶＲＡＭ１７に記憶させている動画像をリフレッシュ記憶させながらこれを繰返し読出し、動画切替回路１８、通信回路２０を介してシリアルインタフェース２１により情報処理装置２側に送信させて、画像表示装置３でそれまでの動画像に代えて停止した画像を表示させながら（ステップＳ２３）、電子カメラ装置１の静止画像処理回路１６が静止画像情報の処理が終わるのを待機する（ステップＳ２４）、という処理を繰返し実行する。
【００４３】
しかして、静止画像処理回路１６では、ＣＰＵ１４が上記レリーズの指示に応じて撮像素子１２が有する全画素、例えば横１０２４×縦７６８画素をすべて使用して駆動して得た横１０２４×縦７６８画素の静止画像情報を画像選択回路１３を介して入力し、所定の静止画像処理を施して１枚の静止画像情報を作成してＤＲＡＭ２２に書込む処理を行なう。
【００４４】
そして、１枚の静止画像情報がすべてＤＲＡＭ２２に書込まれた時点で、ＣＰＵ１４は静止画像の処理を終了したものと判断して、撮像系ではステップＳ１３から再び上記ステップＳ１１に戻り、画像選択回路１３を再び動画像処理回路１５の側に切換えて撮像素子１２を通常の動画像の撮像状態とさせ、撮像素子１２が有する全画素のうちの一部を選択的に駆動して画素を間引いた動画像情報を得て画像選択回路１３により動画像処理回路１５へ供給する。
【００４５】
動画像処理回路１５ではこの動画像情報に対して再び所定の動画像処理を施して１／３０［ｓｅｃ］毎に１枚の動画像情報をＶＲＡＭ１７に順次書込む処理を行なうもので、ＣＰＵ１４はこの動画像処理回路１５によるＶＲＡＭ１７への書込みと読出しを制御しながら、同時に上記ＤＲＡＭ２２に書込まれた静止画像を通信回路２０に読出させる制御も実行する。
【００４６】
このとき、電子カメラ装置１の通信系の回路においては、ＣＰＵ１４が通信回路２０によりＶＲＡＭ１７から動画切替回路１８を介して読出されてくる動画像情報とＤＲＡＭ２２から読出されてくる静止画像情報とを同時にシリアルインタフェース２１により情報処理装置２側へ送信させながら、今度はこの静止画情報の通信が終了するのを待機する（ステップＳ２６）、という処理を繰返し実行する。
【００４７】
すなわち、この状態で電子カメラ装置１のシリアルインタフェース２１から情報処理装置２のシリアルインタフェース２ｂへ送信される情報の内容としては、上記図３に示した各サイクルのアイソクロナス通信で動画像情報を送信すると共に、このアイソクロナス通信に続く後半のシンクロナス通信においてＤＲＡＭ２２から一定の容量ずつ分割して読出した静止画像情報を送信することとなる。
【００４８】
しかして、ＤＲＡＭ２２に記憶されていた静止画像情報がすべて読出され、情報処理装置２側に送信された時点で、ＣＰＵ１４はこれをステップＳ２６で判断して、再び上記ステップＳ２１からの動画のみの送信状態に復帰する。
【００４９】
このとき画像表示装置３では、画面の一部で最新の動画像が常時表示出力されると共に、画面の全体を使用して上記レリーズ指示により得た詳細な静止画像が表示出力されることとなる。
【００５０】
なお、画像表示装置３で最新の動画像を常時出力させると共に、上記レリーズ指示により得た詳細な静止画像をプリンタに直接通信してプリント出力するようにしてもよい。
【００５１】
このように、通常は電子カメラ装置１により動画像情報を得てこれを画像表示装置３の画面で表示させておき、必要に応じてレリーズを指示した時点で直ちに電子カメラ装置１により静止画像情報を撮像し、その画像処理に移行する。この静止画情報の撮像及び画像処理中も、ＶＲＡＭ１７に記憶させているリレーズ直前に得た画像を引続き表示し、該画像処理を終えた時点で再び最新の動画像情報を表示する動作に復帰しながら、併せて画像処理を終えた静止画像情報を表示するようになる。
【００５２】
そのため、所望する任意のタイミングで静止画像情報を得ることを可能としながら、動画像情報が途切れることなく、また画質も劣化させずに２つの画像の送信を継続させることができる。
【００５３】
また、電子カメラ装置１側で動画像情報を記憶するメモリであるＶＲＡＭ１７は、動画切替回路１８を介して液晶表示パネル１９で表示させる場合、及び動画切替回路１８から通信回路２０を介してシリアルインタフェース２１により情報処理装置２側へ送信させる場合の双方で共用するもので、電子カメラ装置１を構成する回路をより小規模化することに寄与できる。
【００５４】
さらに、それほど高い画質が要求されない動画情報を得る際には撮像素子の画素を間欠的に駆動し、一方高い画質が要求される静止画情報を得る際には撮像素子の全画素を駆動するように撮像素子の駆動状態を切換設定するようにしたため、動画と静止画の各画像取得時に合わせて必要な画素数の画像情報を得ることができる。
【００５５】
なお、上記実施の形態にあっては、電子カメラ装置１と情報処理装置２の間をＩＥＥＥ１３９４の仕様に則ったシリアルインタフェースで接続して通信を行なうものとして説明したが、シリアルインタフェースであれば他にＵＳＢあるいはＣＥＢｕｓといった家庭内ＬＡＮの規格に則ったものでもよい。
【００５６】
その他、本発明はその要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。
【００５７】
【発明の効果】
請求項１記載の発明によれば、動画情報と静止画情報の２つの画像ソースを提供可能な電子カメラ等の１つの撮像装置において、外部からの撮影を指示する任意のタイミングで静止画情報を得て、その静止画情報の処理中であっても動画情報が途切れることなく、また画質も劣化させずに２つの画像の送信を継続して実行させることができる。
【００５８】
請求項２記載の発明によれば、上記請求項１記載の発明の効果に加えて、撮像素子が静止画情報を得るために占有されている間も動画記憶手段に記憶された画像により送信が継続されるため、動画像を途切れることなく送信させることができる。
【００５９】
請求項３記載の発明によれば、上記請求項２記載の発明の効果に加えて、画像表示手段で出力する動画記憶手段としてのメモリを動画情報生成手段で得た動画情報を記憶するためのメモリと共用させることで、回路構成をより小規模化することができる。
【００６０】
請求項４記載の発明によれば、上記請求項１記載の発明の効果に加えて、高い画質が要求されない動画情報を得る際には撮像素子の画素を間欠的に駆動し、一方高い画質が要求される静止画情報を得る際には撮像素子の全画素を駆動するように撮像素子の駆動状態を切換設定するようにしたため、動画と静止画の各画像取得時に合わせて必要な画素数の画像情報を得ることができる。
【００６１】
請求項５記載の発明によれば、動画情報と装着した記録媒体から読出した画像情報の２つの画像ソースを提供可能な撮像装置において、動画情報が途切れることなく、またその画質も劣化させずに２つの画像の送信を継続させることができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態に係る回路構成を示すブロック図。
【図２】同実施の形態に係る動作内容を示すフローチャート。
【図３】同実施の形態に係る通信動作を説明する図。
【符号の説明】
１…電子カメラ装置
２…情報処理装置
２ａ…キー入力部
２ｂ…シリアルインタフェース
３…画像表示装置
４…プリンタ
１１…レンズ部
１２…撮像素子
１３…画像選択回路
１４…ＣＰＵ
１５…動画像処理回路
１６…静止画像処理回路
１７…ＶＲＡＭ
１８…動画切替回路
１９…液晶表示パネル
２０…通信回路
２１…シリアルインタフェース
Claims (5)
- 撮影レンズによって結像された被写体像を光電変換する撮像素子と、
この撮像素子で得た電気信号から静止画情報を生成する静止画情報生成手段と、
この静止画情報生成手段が生成した静止画情報を記憶する静止画記憶手段と、
上記撮像素子で得た電気信号から動画情報を生成する動画情報生成手段と、
データバスを介して外部機器と情報を通信する通信手段と、
上記動画情報生成手段で得た動画情報及び上静止画記憶手段が記憶した静止画情報を共にパケット単位で周期的に上記通信手段を介して上記外部機器に送信する送信制御手段と、
外部からの撮影指示に応じて上記静止画情報生成手段を動作させる選択手段と
を具備したことを特徴とする撮像装置。 - 上記動画情報生成手段で得た動画情報を記憶する動画記憶手段をさらに具備し、
上記送信制御手段は、外部からの撮影指示による上記静止画情報生成手段の動作中は、上記動画記憶手段に記憶した動画情報のみを送信する
ことを特徴とする請求項１記載の撮像装置。 - 画像を表示するための画像表示手段をさらに具備し、
上記動画記憶手段は、この画像表示手段で表示させる動画情報を記憶する
ことを特徴とする請求項２記載の撮像装置。 - 上記静止画情報生成手段は、上記撮像素子の有する全画素の情報を読出す撮像素子駆動を行ない、
上記動画情報生成手段は、上記撮像素子の有する一部の画素の情報を読出す撮像素子駆動を行なう
ことを特徴とする請求項１記載の撮像装置。 - 撮影レンズによって結像された被写体像を光電変換する撮像素子と、
画像情報が記憶された記録媒体から画像情報を読出す読出手段と、
上記撮像素子で得た電気信号から動画情報を生成する動画情報生成手段と、
データバスを介して外部機器との通信を行なう通信手段と、
上記動画情報生成手段で得た動画情報と、上記読出手段で読出した画像情報とを共にパケット単位で周期的に上記通信手段を介して上記外部機器に送信する送信制御手段と
を具備したことを特徴とする撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35454398A JP4142184B2 (ja) | 1998-12-14 | 1998-12-14 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35454398A JP4142184B2 (ja) | 1998-12-14 | 1998-12-14 | 撮像装置 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008120470A Division JP2008245313A (ja) | 2008-05-02 | 2008-05-02 | カメラシステム |
| JP2008120471A Division JP4343991B2 (ja) | 2008-05-02 | 2008-05-02 | カメラシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000184261A JP2000184261A (ja) | 2000-06-30 |
| JP4142184B2 true JP4142184B2 (ja) | 2008-08-27 |
Family
ID=18438267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35454398A Expired - Fee Related JP4142184B2 (ja) | 1998-12-14 | 1998-12-14 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4142184B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101783886B (zh) * | 2009-01-20 | 2013-04-24 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7209162B2 (en) | 2002-04-17 | 2007-04-24 | Pentax Corporation | Electronic endoscope apparatus |
| JP4652274B2 (ja) * | 2006-05-10 | 2011-03-16 | 富士フイルム株式会社 | デジタルカメラ |
| JP2013093828A (ja) * | 2011-10-05 | 2013-05-16 | Sanyo Electric Co Ltd | 電子カメラ |
| JP5893434B2 (ja) * | 2011-10-05 | 2016-03-23 | 株式会社ザクティ | 電子カメラ |
| JP5962200B2 (ja) * | 2012-05-21 | 2016-08-03 | カシオ計算機株式会社 | 撮像装置、撮像処理方法 |
-
1998
- 1998-12-14 JP JP35454398A patent/JP4142184B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101783886B (zh) * | 2009-01-20 | 2013-04-24 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000184261A (ja) | 2000-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2848396B2 (ja) | 電子スチルカメラ | |
| US6671408B1 (en) | Motion image reproducing apparatus | |
| CN100542249C (zh) | 摄影装置和显示控制方法 | |
| JPH07311569A (ja) | 画像処理装置および方法 | |
| JP2004080327A (ja) | 画像処理装置および画像処理方法、記録媒体、並びにプログラム | |
| JP4142184B2 (ja) | 撮像装置 | |
| US6661452B1 (en) | Digital camera capable of decreasing a required memory capacity | |
| EP1558031A1 (en) | Electronic camera | |
| JPH08223570A (ja) | 画像伝送装置 | |
| JPH10285564A (ja) | データ通信装置及び方法 | |
| JP4343991B2 (ja) | カメラシステム | |
| JPH0690435A (ja) | 画像再生装置 | |
| JP2008245313A (ja) | カメラシステム | |
| JPH10108133A (ja) | 撮像装置及びその制御方法 | |
| JPH1023365A (ja) | デジタルカメラ | |
| JPH10294939A (ja) | 画像伝送システム及び画像伝送装置 | |
| JP4345361B2 (ja) | 撮像装置及び撮像方法 | |
| JP3075265B2 (ja) | ディジタルスチルカメラおよび画像データの処理装置 | |
| JP3274347B2 (ja) | 画像処理装置 | |
| JP4253058B2 (ja) | デジタルカメラ装置 | |
| JP2002199322A (ja) | 撮像システム、撮像装置、画像処理装置および信号処理方法 | |
| JPH10108128A (ja) | ディジタル電子スチールカメラ | |
| JP3647102B2 (ja) | 撮像装置 | |
| JP3768987B2 (ja) | 撮像装置 | |
| JP4572603B2 (ja) | 画像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050824 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080603 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080612 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |