JP4295540B2 - 音声記録方法および装置、デジタルカメラ、並びに画像再生方法および装置 - Google Patents
音声記録方法および装置、デジタルカメラ、並びに画像再生方法および装置 Download PDFInfo
- Publication number
- JP4295540B2 JP4295540B2 JP2003091562A JP2003091562A JP4295540B2 JP 4295540 B2 JP4295540 B2 JP 4295540B2 JP 2003091562 A JP2003091562 A JP 2003091562A JP 2003091562 A JP2003091562 A JP 2003091562A JP 4295540 B2 JP4295540 B2 JP 4295540B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- recognition
- annotation
- recording
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮影手段により取得した画像の注釈として入力された音声を記録する音声記録方法および装置、撮影手段により取得した画像の注釈として入力された音声を記録する機能を有するデジタルカメラ、並びに注釈としての音声が関連付けて記録された画像を再生する画像再生方法および装置に関する。
【０００２】
【従来の技術】
現在市販されているデジタルカメラには、撮影した画像とともに注釈として音声を記録する、いわゆるボイスメモ機能を備えたものがある。このようなデジタルカメラとしては、撮影した画像毎に注釈として音声を記録することができ、外部電力が供給されたときに、記録した音声データを文字データに変換するものが提案されている（特許文献１参照）。
【０００３】
【特許文献１】
特許第３２７２３３６号
【０００４】
【発明が解決しようとする課題】
上記のようなボイスメモ機能を有するデジタルカメラで撮影した画像を編集する際に、記録した音声を利用することができれば、ボイスメモ機能が充分に活用され、より利便性が高まる可能性があるが、この場合は音声データをテキストデータに変換する必要がある。
【０００５】
テキスト変換の最も単純な方法としては、音声データを再生してユーザーが手入力により行う方法があるが、ユーザーに多大な労力を強いることになり、実用には不向きである。一方、現在盛んに研究されている音声認識技術を用いる方法が考えられるが、話者を特定して認識を行わないと、認識の精度が落ちるという問題があった。
【０００６】
本発明は、音声認識の精度を向上させ、画像の注釈として入力される音声の利用価値を高めることができる音声記録方法および装置、デジタルカメラ、並びに画像再生方法および装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載される発明は、撮影手段により取得した画像の注釈として入力された音声を記録する音声記録方法において、前記画像を表す画像データの記録時に添付される付属情報を元に、音声による注釈を行った人物を特定するステップと、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出するステップと、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換するステップと、前記テキストデータを前記画像データと関連付けて記録するステップとを備えたことを特徴とする。
【０００８】
請求項２に記載される発明は、撮影手段により取得した画像の注釈として入力された音声を記録する音声記録方法において、音声による注釈を行う人物の名前を音声入力するステップと、音声入力された人物名の音声認識を行い、音声による注釈を行う人物を特定するステップと、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出するステップと、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換するステップと、前記テキストデータを前記画像を表す画像データと関連付けて記録するステップとを備えたことを特徴とする。
【０００９】
請求項３に記載される発明は、撮影手段により取得した画像の注釈として入力された音声を記録する音声記録装置において、前記画像を表す画像データの記録時に添付される付属情報を元に、音声による注釈を行った人物を特定する人物特定手段と、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出する辞書抽出手段と、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換する音声認識手段と、前記テキストデータを前記画像データと関連付けて記録する記録手段とを備えたことを特徴とする。
【００１０】
請求項４に記載される発明は、撮影手段により取得した画像の注釈として入力された音声を記録する音声記録装置において、音声入力された人物名の音声認識を行って、音声による注釈を行う人物を特定する人物特定手段と、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出する辞書抽出手段と、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換する音声認識手段と、前記テキストデータを前記画像を表す画像データと関連付けて記録する記録手段とを備えたことを特徴とする。
【００１１】
請求項５に記載される発明は、撮影手段により取得した画像の注釈として入力された音声を記録する機能を有するデジタルカメラにおいて、前記画像を表す画像データの記録時に添付される付属情報を元に、音声による注釈を行った人物を特定する人物特定手段と、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出する辞書抽出手段と、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換する音声認識手段と、前記テキストデータを前記画像データと関連付けて記録する記録手段とを備えたことを特徴とする。
【００１２】
請求項６に記載される発明は、撮影手段により取得した画像の注釈として入力された音声を記録する機能を有するデジタルカメラにおいて、音声入力された人物名の音声認識を行って、音声による注釈を行う人物を特定する人物特定手段と、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出する辞書抽出手段と、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換する音声認識手段と、前記テキストデータを前記画像を表す画像データと関連付けて記録する記録手段とを備えたことを特徴とする。なお、前記音声認識手段は、前記抽出した認識辞書を用いて、カメラの操作命令を表す音声の音声認識を行い、この音声認識結果に基づいて前記操作を実行させることが好ましい。
【００１３】
請求項８に記載される発明は、注釈としての音声が関連付けて記録された画像を再生する画像再生方法において、前記画像を表す画像データの記録時に添付される付属情報を元に、音声による注釈を行った人物を特定するステップと、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出するステップと、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換するステップと、前記テキストデータを前記画像データと関連付けて記録するステップと、記録された前記テキストデータおよび前記画像データを読み出して、前記画像および前記音声認識された注釈を、同一画面上、または別画面に表示するステップとを備えたことを特徴とする。
【００１４】
請求項９に記載される発明は、注釈としての音声が関連付けて記録された画像を再生する画像再生方法において、音声による注釈を行う人物の名前を音声入力するステップと、音声入力された人物名の音声認識を行い、音声による注釈を行う人物を特定するステップと、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出するステップと、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換するステップと、前記テキストデータを前記画像データと関連付けて記録するステップと、記録された前記テキストデータおよび前記画像データを読み出して、前記画像および前記音声認識された注釈を、同一画面上、または別画面に表示するステップとを備えたことを特徴とする。なお、前記音声認識された注釈を訂正するステップを備えることが好ましい。
【００１５】
請求項１１に記載される発明は、注釈としての音声が関連付けて記録された画像を再生する画像再生装置において、前記画像を表す画像データの記録時に添付される付属情報を元に、音声による注釈を行った人物を特定する人物特定手段と、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出する辞書抽出手段と、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換する音声認識手段と、前記テキストデータを前記画像データと関連付けて記録する記録手段と、記録された前記テキストデータおよび前記画像データを読み出して、前記画像および前記音声認識された注釈を、同一画面上、または別画面に表示する表示制御手段とを備えたことを特徴とする。
【００１６】
請求項１２に記載される発明は、注釈としての音声が関連付けて記録された画像を再生する画像再生装置において、音声入力された人物名の音声認識を行って、音声による注釈を行う人物を特定する人物特定手段と、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出する辞書抽出手段と、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換する音声認識手段と、前記テキストデータを前記画像データと関連付けて記録する記録手段と、記録された前記テキストデータおよび前記画像データを読み出して、前記画像および前記音声認識された注釈を、同一画面上、または別画面に表示する表示制御手段とを備えたことを特徴とする。なお、前記音声認識された注釈を訂正する注釈訂正手段を備えることが好ましい。
【００１７】
【発明の実施の形態】
図１および図２において、デジタルカメラ２には、撮像レンズ１０が組み込まれたレンズ鏡胴１１、光学ファインダを構成するファインダ対物窓１２とファインダ接眼窓１３、ストロボ発光部１４、およびマイクロホン１５が設けられている。側面および上面には、グリップ部１６、モードダイヤル１７、およびレリーズボタン１８が設けられ、他方の側面には、メモリカード１９が着脱自在に装填されるメモリカードスロット２０が設けられている。
【００１８】
デジタルカメラ２の背面には、液晶表示器（ＬＣＤ）２１と、操作部２２とが設けられている。ＬＣＤ２１は、撮影した画像や、いわゆるスルー画像の表示を行う。操作部２２は、電源のオン／オフ切替えを行う電源ボタン２３、撮像レンズ１０のズームレンズをワイド側、テレ側に変倍するズーム操作ボタン２４、ＬＣＤ２１に表示されるメニュー画面内でカーソルを移動させるカーソル操作板２５、マイクロホン１５を介してボイスメモを録音する際に操作される音声入力ボタン２６などからなる。
【００１９】
デジタルカメラ２では、静止画撮影を行う静止画撮影モード、撮影した画像をＬＣＤ２１に表示する再生モード、および各種設定を行うセットアップモードが選択可能となっている。これらのモードの切り替えは、モードダイヤル１７を回動操作させることで行われる。また、デジタルカメラ２は、撮影した画像の注釈として音声を記録するボイスメモ機能を備えている。このボイスメモ機能は、画像の撮影後、操作部２２の音声入力ボタン２６を押圧操作した場合のみ有効となる。
【００２０】
デジタルカメラ２の電気的構成を示す図３において、撮像レンズ１０の背後には、撮像レンズ１０から入射する被写体光を撮像信号に変換するＣＣＤ３０が配置されている。ＣＣＤ３０から出力された撮像信号は、相関二重サンプリング回路（図示せず）に入力され、ＣＣＤ３０の各セルの蓄積電荷量に正確に対応したＲ、Ｇ、Ｂの画像データとして出力される。相関二重サンプリング回路から出力された画像データは、増幅器（図示せず）で増幅され、Ａ／Ｄ変換器３１でデジタルデータに変換される。
【００２１】
Ａ／Ｄ変換器３１から出力された画像データは、画像信号処理回路３２に送信される。画像信号処理回路３２では、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理が画像データに施される。一方、マイクロホン１５を介して収録された音声は、Ａ／Ｄ変換器３３でデジタルデータに変換され、音声信号処理回路３４に送信される。音声信号処理回路３４では、ノイズ除去などの各種処理が音声データに施される。
【００２２】
ＣＰＵ３５は、システムバス３６を介して各部に接続し、デジタルカメラ２全体の動作を統括制御する。システムバス３６には、圧縮伸長処理回路３７、ＹＣ処理回路３８、ＳＤＲＡＭ３９、外部Ｉ／Ｆ４０、カードＩ／Ｆ４１、ＬＣＤドライバ４２、および音声認識処理回路４３が接続されている。
【００２３】
画像信号処理回路３２で各種処理を施された画像データは、ＹＣ処理回路３８により輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換される。圧縮伸長処理回路３７は、この変換された画像データに対して、所定の圧縮形式（例えばＪＰＥＧ形式）で画像圧縮を施す。
【００２４】
圧縮伸長処理回路３７により圧縮された画像データは、外部Ｉ／Ｆ４０を介してパーソナルコンピュータなどの外部機器に送信される。または、カードＩ／Ｆ４１を介してメモリカード１９に保存される。あるいは、ＬＣＤドライバ４２によりコンポジット信号に変換され、ＬＣＤ２１に表示される。なお、図４に示すように、ボイスメモ機能を使用した画像データには、そのときの音声データが同一のファイル名で関連付けて記録される。
【００２５】
図３において、ＣＰＵ３５には、前述のレリーズボタン１８、操作部２２の他に、ＥＥＰＲＯＭ４４が接続されている。ＥＥＰＲＯＭ４４には、各種制御用のプログラムや設定情報などが記録されている。ＣＰＵ３５は、これらの情報をＥＥＰＲＯＭ４４から作業用メモリであるＳＤＲＡＭ３９に読み出して、各種処理を実行する。
【００２６】
音声認識処理回路４３は、認識辞書格納部４５に格納された認識辞書を用いて、マイクロホン１５を介してボイスメモとして入力された音声の音声認識を行い、この音声をテキストデータに変換する。変換されたテキストデータは、画像ファイルのタグ情報にユーザーコメントとして添付され、撮影した画像データと関連付けてメモリカード１９に記録される。なお、図５に示すように、変換されたテキストデータを、画像ファイルや音声ファイルと独立したテキストファイルとしてメモリカード１９に記録してもよい。この場合は、関連する各ファイルを同一のファイル名で記録する。
【００２７】
認識辞書格納部４５には、一般用の認識辞書および個人用にカスタマイズされた認識辞書が格納されている。この認識辞書格納部４５は、ＥＥＰＲＯＭ４４に設定情報として予め記録され、画像ファイルに付属情報として添付される撮影者名を元に、音声による注釈を行った撮影者を特定し、認識辞書の中から撮影者用の認識辞書を抽出して音声認識処理回路４３にロードする。音声認識処理回路４３は、認識辞書格納部４５で抽出された撮影者用の認識辞書を用いて、注釈として入力された音声の音声認識を行う。
【００２８】
次に、図６のフローチャートを参照して、上記構成による作用について説明する。まず、ＣＰＵ３５でメモリカード１９に記録されたファイルを検索する。ボイスメモ機能を使用せず、画像ファイルのみが記録されている場合は、音声認識処理を行わずに次のファイルを検索する。
【００２９】
ボイスメモ機能を使用して音声ファイルが記録されていた場合は、音声認識処理回路４３を起動させ、画像ファイルの付属情報から音声による注釈を行った撮影者を特定する。そして、認識辞書格納部４５で撮影者用の認識辞書を抽出し、音声認識処理回路４３にロードする。ここで、デジタルカメラ２を初期状態で使用する場合など、認識辞書格納部４５に撮影者用の認識辞書が格納されていないときには、一般用の認識辞書を抽出する。
【００３０】
音声認識処理回路４３で、抽出した撮影者用の認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換する。最後に、変換したテキストデータを画像データと関連付けてメモリカード１９に記録する。テキストデータの記録後、次の画像ファイルがある場合は、処理をリターンして再びファイル検索を行う。画像ファイルが無い場合は処理を終了する。
【００３１】
ここで、図６に示す音声記録方法では、画像ファイルに付属情報として添付される撮影者名を元に、音声による注釈を行った撮影者を特定し、撮影者用の認識辞書を抽出しているが、図７のフローチャートに示すように、デジタルカメラ２の起動時に認識辞書を抽出するようにしてもよい。この場合は、デジタルカメラ２の起動とともに音声認識処理回路４３を起動させ、音声による注釈を行う撮影者の名前の音声入力を促すメッセージをＬＣＤ２１に表示する。
【００３２】
ＬＣＤ２１にメッセージを表示した後、所定時間内に音声入力がされた場合は、一般用の認識辞書を用いて入力された音声の音声認識を行い、音声による注釈を行う撮影者を特定する。そして、認識辞書格納部４５で特定した撮影者用の認識辞書を抽出し、音声認識処理回路４３にロードして処理を終了する。音声認識処理回路４３は、この撮影者用の認識辞書を用いて以後の音声認識処理を行う。なお、ＬＣＤ２１にメッセージを表示して所定時間経過した後、音声入力が無いときや、デジタルカメラ２を初期状態で使用する場合など、認識辞書格納部４５に撮影者用の認識辞書が格納されていないときには、一般用の認識辞書を用いて以後の音声認識処理を行う。
【００３３】
図６に示す音声記録方法では、撮影終了後にファイル検索を行って音声認識処理を施す例を示したが、ボイスメモ機能を使用したときのみ音声認識処理回路４３を起動させ、個別に音声認識処理を行うようにしてもよい。また、抽出した撮影者用の認識辞書を用いて、デジタルカメラ２の操作命令、例えばシャッタレリーズやストロボ発光の有無、ズーム操作などを表す音声の音声認識を行い、この音声認識結果に基づいて操作を実行させるようにしてもよい。
【００３４】
図８に、本発明を適用したパーソナルコンピュータの概略構成を示す。パーソナルコンピュータ（ＰＣ）５０は、ＣＰＵ５１、メモリ５２、操作部５３、外部Ｉ／Ｆ５４、およびモニタ５５から構成される。メモリ５２には、図６または図７に示す音声記録方法を実行可能なプログラムがインストールされている。操作部５３は、キーボードやマウス、音声入力を行うためのマイクロホンなどから構成される。外部Ｉ／Ｆ５４は、デジタルカメラなどの外部機器とデータの送受信を行う。
【００３５】
ＣＰＵ５０は、ボイスメモ機能を有するデジタルカメラで撮影された画像データと、ボイスメモ機能を使用して記録された音声データとを、外部Ｉ／Ｆ５４を介してメモリ５２にダウンロードし、メモリ５２にインストールされたプログラムを用いて、図６または図７に示す音声認識処理を行い、この処理結果をモニタ５５に表示する。
【００３６】
図９に示すように、モニタ５５の表示画面５５ａには、撮影した画像６０と音声認識された注釈６１とが表示される。注釈６１は、音声認識の誤りを訂正したり、新たにコメントを追加することができるように、操作部５３のキーボードで修正加筆することが可能となっている。注釈６１を修正加筆した後、マウスのカーソル６２を「ＯＫ」ボタンに合わせて選択すると、注釈６１の内容が画像６０を表す画像データに関連付けて記録される。
【００３７】
なお、画像６０と注釈６１とは、同一画面上ではなく別画面で切り替え可能に表示してもよい。また、吹き出しなどを用いて画像６０に重ねて表示してもよい。さらに、音声認識前の音声を再生することができるようにしてもよい。
【００３８】
【発明の効果】
以上のように、本発明の音声記録方法および装置、デジタルカメラによれば、音声による注釈を行う人物用の認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換し、変換したテキストデータを画像データと関連付けて記録するので、音声認識の精度を向上させることができる。
【００３９】
また、本発明の画像再生方法および装置によれば、音声による注釈を行う人物用の認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換して、変換したテキストデータを画像データと関連付けて記録し、画像および音声認識された注釈を、同一画面上、または別画面に表示するので、画像の注釈として入力される音声の利用価値を高めることができる。
【図面の簡単な説明】
【図１】デジタルカメラの正面概観斜視図である。
【図２】デジタルカメラの背面概観斜視図である。
【図３】デジタルカメラの電気的構成を示すブロック図である。
【図４】ファイルのディレクトリ構造を示す図である。
【図５】テキストデータ記録後のファイルのディレクトリ構造を示す図である。
【図６】音声記録の処理手順を示すフローチャートである。
【図７】音声記録の別の処理手順を示すフローチャートである。
【図８】パーソナルコンピュータの概略構成を示すブロック図である。
【図９】モニタ表示の一例を示す図である。
【符号の説明】
２ デジタルカメラ
１０ 撮像レンズ
１５ マイクロホン
１８ レリーズボタン
１９ メモリカード
２１ 液晶表示器（ＬＣＤ）
２６ 音声入力ボタン
３０ ＣＣＤ
３５ ＣＰＵ
４３ 音声認識処理回路
４５ 認識辞書格納部
５０ パーソナルコンピュータ（ＰＣ）
５１ ＣＰＵ
５５ モニタ
６０ 画像
６１ 注釈
【発明の属する技術分野】
本発明は、撮影手段により取得した画像の注釈として入力された音声を記録する音声記録方法および装置、撮影手段により取得した画像の注釈として入力された音声を記録する機能を有するデジタルカメラ、並びに注釈としての音声が関連付けて記録された画像を再生する画像再生方法および装置に関する。
【０００２】
【従来の技術】
現在市販されているデジタルカメラには、撮影した画像とともに注釈として音声を記録する、いわゆるボイスメモ機能を備えたものがある。このようなデジタルカメラとしては、撮影した画像毎に注釈として音声を記録することができ、外部電力が供給されたときに、記録した音声データを文字データに変換するものが提案されている（特許文献１参照）。
【０００３】
【特許文献１】
特許第３２７２３３６号
【０００４】
【発明が解決しようとする課題】
上記のようなボイスメモ機能を有するデジタルカメラで撮影した画像を編集する際に、記録した音声を利用することができれば、ボイスメモ機能が充分に活用され、より利便性が高まる可能性があるが、この場合は音声データをテキストデータに変換する必要がある。
【０００５】
テキスト変換の最も単純な方法としては、音声データを再生してユーザーが手入力により行う方法があるが、ユーザーに多大な労力を強いることになり、実用には不向きである。一方、現在盛んに研究されている音声認識技術を用いる方法が考えられるが、話者を特定して認識を行わないと、認識の精度が落ちるという問題があった。
【０００６】
本発明は、音声認識の精度を向上させ、画像の注釈として入力される音声の利用価値を高めることができる音声記録方法および装置、デジタルカメラ、並びに画像再生方法および装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載される発明は、撮影手段により取得した画像の注釈として入力された音声を記録する音声記録方法において、前記画像を表す画像データの記録時に添付される付属情報を元に、音声による注釈を行った人物を特定するステップと、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出するステップと、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換するステップと、前記テキストデータを前記画像データと関連付けて記録するステップとを備えたことを特徴とする。
【０００８】
請求項２に記載される発明は、撮影手段により取得した画像の注釈として入力された音声を記録する音声記録方法において、音声による注釈を行う人物の名前を音声入力するステップと、音声入力された人物名の音声認識を行い、音声による注釈を行う人物を特定するステップと、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出するステップと、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換するステップと、前記テキストデータを前記画像を表す画像データと関連付けて記録するステップとを備えたことを特徴とする。
【０００９】
請求項３に記載される発明は、撮影手段により取得した画像の注釈として入力された音声を記録する音声記録装置において、前記画像を表す画像データの記録時に添付される付属情報を元に、音声による注釈を行った人物を特定する人物特定手段と、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出する辞書抽出手段と、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換する音声認識手段と、前記テキストデータを前記画像データと関連付けて記録する記録手段とを備えたことを特徴とする。
【００１０】
請求項４に記載される発明は、撮影手段により取得した画像の注釈として入力された音声を記録する音声記録装置において、音声入力された人物名の音声認識を行って、音声による注釈を行う人物を特定する人物特定手段と、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出する辞書抽出手段と、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換する音声認識手段と、前記テキストデータを前記画像を表す画像データと関連付けて記録する記録手段とを備えたことを特徴とする。
【００１１】
請求項５に記載される発明は、撮影手段により取得した画像の注釈として入力された音声を記録する機能を有するデジタルカメラにおいて、前記画像を表す画像データの記録時に添付される付属情報を元に、音声による注釈を行った人物を特定する人物特定手段と、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出する辞書抽出手段と、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換する音声認識手段と、前記テキストデータを前記画像データと関連付けて記録する記録手段とを備えたことを特徴とする。
【００１２】
請求項６に記載される発明は、撮影手段により取得した画像の注釈として入力された音声を記録する機能を有するデジタルカメラにおいて、音声入力された人物名の音声認識を行って、音声による注釈を行う人物を特定する人物特定手段と、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出する辞書抽出手段と、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換する音声認識手段と、前記テキストデータを前記画像を表す画像データと関連付けて記録する記録手段とを備えたことを特徴とする。なお、前記音声認識手段は、前記抽出した認識辞書を用いて、カメラの操作命令を表す音声の音声認識を行い、この音声認識結果に基づいて前記操作を実行させることが好ましい。
【００１３】
請求項８に記載される発明は、注釈としての音声が関連付けて記録された画像を再生する画像再生方法において、前記画像を表す画像データの記録時に添付される付属情報を元に、音声による注釈を行った人物を特定するステップと、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出するステップと、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換するステップと、前記テキストデータを前記画像データと関連付けて記録するステップと、記録された前記テキストデータおよび前記画像データを読み出して、前記画像および前記音声認識された注釈を、同一画面上、または別画面に表示するステップとを備えたことを特徴とする。
【００１４】
請求項９に記載される発明は、注釈としての音声が関連付けて記録された画像を再生する画像再生方法において、音声による注釈を行う人物の名前を音声入力するステップと、音声入力された人物名の音声認識を行い、音声による注釈を行う人物を特定するステップと、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出するステップと、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換するステップと、前記テキストデータを前記画像データと関連付けて記録するステップと、記録された前記テキストデータおよび前記画像データを読み出して、前記画像および前記音声認識された注釈を、同一画面上、または別画面に表示するステップとを備えたことを特徴とする。なお、前記音声認識された注釈を訂正するステップを備えることが好ましい。
【００１５】
請求項１１に記載される発明は、注釈としての音声が関連付けて記録された画像を再生する画像再生装置において、前記画像を表す画像データの記録時に添付される付属情報を元に、音声による注釈を行った人物を特定する人物特定手段と、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出する辞書抽出手段と、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換する音声認識手段と、前記テキストデータを前記画像データと関連付けて記録する記録手段と、記録された前記テキストデータおよび前記画像データを読み出して、前記画像および前記音声認識された注釈を、同一画面上、または別画面に表示する表示制御手段とを備えたことを特徴とする。
【００１６】
請求項１２に記載される発明は、注釈としての音声が関連付けて記録された画像を再生する画像再生装置において、音声入力された人物名の音声認識を行って、音声による注釈を行う人物を特定する人物特定手段と、音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出する辞書抽出手段と、抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換する音声認識手段と、前記テキストデータを前記画像データと関連付けて記録する記録手段と、記録された前記テキストデータおよび前記画像データを読み出して、前記画像および前記音声認識された注釈を、同一画面上、または別画面に表示する表示制御手段とを備えたことを特徴とする。なお、前記音声認識された注釈を訂正する注釈訂正手段を備えることが好ましい。
【００１７】
【発明の実施の形態】
図１および図２において、デジタルカメラ２には、撮像レンズ１０が組み込まれたレンズ鏡胴１１、光学ファインダを構成するファインダ対物窓１２とファインダ接眼窓１３、ストロボ発光部１４、およびマイクロホン１５が設けられている。側面および上面には、グリップ部１６、モードダイヤル１７、およびレリーズボタン１８が設けられ、他方の側面には、メモリカード１９が着脱自在に装填されるメモリカードスロット２０が設けられている。
【００１８】
デジタルカメラ２の背面には、液晶表示器（ＬＣＤ）２１と、操作部２２とが設けられている。ＬＣＤ２１は、撮影した画像や、いわゆるスルー画像の表示を行う。操作部２２は、電源のオン／オフ切替えを行う電源ボタン２３、撮像レンズ１０のズームレンズをワイド側、テレ側に変倍するズーム操作ボタン２４、ＬＣＤ２１に表示されるメニュー画面内でカーソルを移動させるカーソル操作板２５、マイクロホン１５を介してボイスメモを録音する際に操作される音声入力ボタン２６などからなる。
【００１９】
デジタルカメラ２では、静止画撮影を行う静止画撮影モード、撮影した画像をＬＣＤ２１に表示する再生モード、および各種設定を行うセットアップモードが選択可能となっている。これらのモードの切り替えは、モードダイヤル１７を回動操作させることで行われる。また、デジタルカメラ２は、撮影した画像の注釈として音声を記録するボイスメモ機能を備えている。このボイスメモ機能は、画像の撮影後、操作部２２の音声入力ボタン２６を押圧操作した場合のみ有効となる。
【００２０】
デジタルカメラ２の電気的構成を示す図３において、撮像レンズ１０の背後には、撮像レンズ１０から入射する被写体光を撮像信号に変換するＣＣＤ３０が配置されている。ＣＣＤ３０から出力された撮像信号は、相関二重サンプリング回路（図示せず）に入力され、ＣＣＤ３０の各セルの蓄積電荷量に正確に対応したＲ、Ｇ、Ｂの画像データとして出力される。相関二重サンプリング回路から出力された画像データは、増幅器（図示せず）で増幅され、Ａ／Ｄ変換器３１でデジタルデータに変換される。
【００２１】
Ａ／Ｄ変換器３１から出力された画像データは、画像信号処理回路３２に送信される。画像信号処理回路３２では、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理が画像データに施される。一方、マイクロホン１５を介して収録された音声は、Ａ／Ｄ変換器３３でデジタルデータに変換され、音声信号処理回路３４に送信される。音声信号処理回路３４では、ノイズ除去などの各種処理が音声データに施される。
【００２２】
ＣＰＵ３５は、システムバス３６を介して各部に接続し、デジタルカメラ２全体の動作を統括制御する。システムバス３６には、圧縮伸長処理回路３７、ＹＣ処理回路３８、ＳＤＲＡＭ３９、外部Ｉ／Ｆ４０、カードＩ／Ｆ４１、ＬＣＤドライバ４２、および音声認識処理回路４３が接続されている。
【００２３】
画像信号処理回路３２で各種処理を施された画像データは、ＹＣ処理回路３８により輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換される。圧縮伸長処理回路３７は、この変換された画像データに対して、所定の圧縮形式（例えばＪＰＥＧ形式）で画像圧縮を施す。
【００２４】
圧縮伸長処理回路３７により圧縮された画像データは、外部Ｉ／Ｆ４０を介してパーソナルコンピュータなどの外部機器に送信される。または、カードＩ／Ｆ４１を介してメモリカード１９に保存される。あるいは、ＬＣＤドライバ４２によりコンポジット信号に変換され、ＬＣＤ２１に表示される。なお、図４に示すように、ボイスメモ機能を使用した画像データには、そのときの音声データが同一のファイル名で関連付けて記録される。
【００２５】
図３において、ＣＰＵ３５には、前述のレリーズボタン１８、操作部２２の他に、ＥＥＰＲＯＭ４４が接続されている。ＥＥＰＲＯＭ４４には、各種制御用のプログラムや設定情報などが記録されている。ＣＰＵ３５は、これらの情報をＥＥＰＲＯＭ４４から作業用メモリであるＳＤＲＡＭ３９に読み出して、各種処理を実行する。
【００２６】
音声認識処理回路４３は、認識辞書格納部４５に格納された認識辞書を用いて、マイクロホン１５を介してボイスメモとして入力された音声の音声認識を行い、この音声をテキストデータに変換する。変換されたテキストデータは、画像ファイルのタグ情報にユーザーコメントとして添付され、撮影した画像データと関連付けてメモリカード１９に記録される。なお、図５に示すように、変換されたテキストデータを、画像ファイルや音声ファイルと独立したテキストファイルとしてメモリカード１９に記録してもよい。この場合は、関連する各ファイルを同一のファイル名で記録する。
【００２７】
認識辞書格納部４５には、一般用の認識辞書および個人用にカスタマイズされた認識辞書が格納されている。この認識辞書格納部４５は、ＥＥＰＲＯＭ４４に設定情報として予め記録され、画像ファイルに付属情報として添付される撮影者名を元に、音声による注釈を行った撮影者を特定し、認識辞書の中から撮影者用の認識辞書を抽出して音声認識処理回路４３にロードする。音声認識処理回路４３は、認識辞書格納部４５で抽出された撮影者用の認識辞書を用いて、注釈として入力された音声の音声認識を行う。
【００２８】
次に、図６のフローチャートを参照して、上記構成による作用について説明する。まず、ＣＰＵ３５でメモリカード１９に記録されたファイルを検索する。ボイスメモ機能を使用せず、画像ファイルのみが記録されている場合は、音声認識処理を行わずに次のファイルを検索する。
【００２９】
ボイスメモ機能を使用して音声ファイルが記録されていた場合は、音声認識処理回路４３を起動させ、画像ファイルの付属情報から音声による注釈を行った撮影者を特定する。そして、認識辞書格納部４５で撮影者用の認識辞書を抽出し、音声認識処理回路４３にロードする。ここで、デジタルカメラ２を初期状態で使用する場合など、認識辞書格納部４５に撮影者用の認識辞書が格納されていないときには、一般用の認識辞書を抽出する。
【００３０】
音声認識処理回路４３で、抽出した撮影者用の認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換する。最後に、変換したテキストデータを画像データと関連付けてメモリカード１９に記録する。テキストデータの記録後、次の画像ファイルがある場合は、処理をリターンして再びファイル検索を行う。画像ファイルが無い場合は処理を終了する。
【００３１】
ここで、図６に示す音声記録方法では、画像ファイルに付属情報として添付される撮影者名を元に、音声による注釈を行った撮影者を特定し、撮影者用の認識辞書を抽出しているが、図７のフローチャートに示すように、デジタルカメラ２の起動時に認識辞書を抽出するようにしてもよい。この場合は、デジタルカメラ２の起動とともに音声認識処理回路４３を起動させ、音声による注釈を行う撮影者の名前の音声入力を促すメッセージをＬＣＤ２１に表示する。
【００３２】
ＬＣＤ２１にメッセージを表示した後、所定時間内に音声入力がされた場合は、一般用の認識辞書を用いて入力された音声の音声認識を行い、音声による注釈を行う撮影者を特定する。そして、認識辞書格納部４５で特定した撮影者用の認識辞書を抽出し、音声認識処理回路４３にロードして処理を終了する。音声認識処理回路４３は、この撮影者用の認識辞書を用いて以後の音声認識処理を行う。なお、ＬＣＤ２１にメッセージを表示して所定時間経過した後、音声入力が無いときや、デジタルカメラ２を初期状態で使用する場合など、認識辞書格納部４５に撮影者用の認識辞書が格納されていないときには、一般用の認識辞書を用いて以後の音声認識処理を行う。
【００３３】
図６に示す音声記録方法では、撮影終了後にファイル検索を行って音声認識処理を施す例を示したが、ボイスメモ機能を使用したときのみ音声認識処理回路４３を起動させ、個別に音声認識処理を行うようにしてもよい。また、抽出した撮影者用の認識辞書を用いて、デジタルカメラ２の操作命令、例えばシャッタレリーズやストロボ発光の有無、ズーム操作などを表す音声の音声認識を行い、この音声認識結果に基づいて操作を実行させるようにしてもよい。
【００３４】
図８に、本発明を適用したパーソナルコンピュータの概略構成を示す。パーソナルコンピュータ（ＰＣ）５０は、ＣＰＵ５１、メモリ５２、操作部５３、外部Ｉ／Ｆ５４、およびモニタ５５から構成される。メモリ５２には、図６または図７に示す音声記録方法を実行可能なプログラムがインストールされている。操作部５３は、キーボードやマウス、音声入力を行うためのマイクロホンなどから構成される。外部Ｉ／Ｆ５４は、デジタルカメラなどの外部機器とデータの送受信を行う。
【００３５】
ＣＰＵ５０は、ボイスメモ機能を有するデジタルカメラで撮影された画像データと、ボイスメモ機能を使用して記録された音声データとを、外部Ｉ／Ｆ５４を介してメモリ５２にダウンロードし、メモリ５２にインストールされたプログラムを用いて、図６または図７に示す音声認識処理を行い、この処理結果をモニタ５５に表示する。
【００３６】
図９に示すように、モニタ５５の表示画面５５ａには、撮影した画像６０と音声認識された注釈６１とが表示される。注釈６１は、音声認識の誤りを訂正したり、新たにコメントを追加することができるように、操作部５３のキーボードで修正加筆することが可能となっている。注釈６１を修正加筆した後、マウスのカーソル６２を「ＯＫ」ボタンに合わせて選択すると、注釈６１の内容が画像６０を表す画像データに関連付けて記録される。
【００３７】
なお、画像６０と注釈６１とは、同一画面上ではなく別画面で切り替え可能に表示してもよい。また、吹き出しなどを用いて画像６０に重ねて表示してもよい。さらに、音声認識前の音声を再生することができるようにしてもよい。
【００３８】
【発明の効果】
以上のように、本発明の音声記録方法および装置、デジタルカメラによれば、音声による注釈を行う人物用の認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換し、変換したテキストデータを画像データと関連付けて記録するので、音声認識の精度を向上させることができる。
【００３９】
また、本発明の画像再生方法および装置によれば、音声による注釈を行う人物用の認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換して、変換したテキストデータを画像データと関連付けて記録し、画像および音声認識された注釈を、同一画面上、または別画面に表示するので、画像の注釈として入力される音声の利用価値を高めることができる。
【図面の簡単な説明】
【図１】デジタルカメラの正面概観斜視図である。
【図２】デジタルカメラの背面概観斜視図である。
【図３】デジタルカメラの電気的構成を示すブロック図である。
【図４】ファイルのディレクトリ構造を示す図である。
【図５】テキストデータ記録後のファイルのディレクトリ構造を示す図である。
【図６】音声記録の処理手順を示すフローチャートである。
【図７】音声記録の別の処理手順を示すフローチャートである。
【図８】パーソナルコンピュータの概略構成を示すブロック図である。
【図９】モニタ表示の一例を示す図である。
【符号の説明】
２ デジタルカメラ
１０ 撮像レンズ
１５ マイクロホン
１８ レリーズボタン
１９ メモリカード
２１ 液晶表示器（ＬＣＤ）
２６ 音声入力ボタン
３０ ＣＣＤ
３５ ＣＰＵ
４３ 音声認識処理回路
４５ 認識辞書格納部
５０ パーソナルコンピュータ（ＰＣ）
５１ ＣＰＵ
５５ モニタ
６０ 画像
６１ 注釈
Claims (5)
- 撮影手段により取得した画像の注釈として入力された音声を記録する音声記録方法において、
前記画像を表す画像データの記録時に添付される前記画像の撮影者名を元に、音声による注釈を行った人物を特定するステップと、
音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出するステップと、
抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換するステップと、
前記テキストデータを前記画像データと関連付けて記録するステップとを備えたことを特徴とする音声記録方法。 - 撮影手段により取得した画像の注釈として入力された音声を記録する音声記録装置において、
前記画像を表す画像データの記録時に添付される前記画像の撮影者名を元に、音声による注釈を行った人物を特定する人物特定手段と、
音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出する辞書抽出手段と、
抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換する音声認識手段と、
前記テキストデータを前記画像データと関連付けて記録する記録手段とを備えたことを特徴とする音声記録装置。 - 撮影手段により取得した画像の注釈として入力された音声を記録する機能を有するデジタルカメラにおいて、
前記画像を表す画像データの記録時に添付される前記画像の撮影者名を元に、音声による注釈を行った人物を特定する人物特定手段と、
音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出する辞書抽出手段と、
抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換する音声認識手段と、
前記テキストデータを前記画像データと関連付けて記録する記録手段とを備えたことを特徴とするデジタルカメラ。 - 注釈としての音声が関連付けて記録された画像を再生する画像再生方法において、
前記画像を表す画像データの記録時に添付される前記画像の撮影者名を元に、音声による注釈を行った人物を特定するステップと、
音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出するステップと、
抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換するステップと、
前記テキストデータを前記画像データと関連付けて記録するステップと、
記録された前記テキストデータおよび前記画像データを読み出して、前記画像および前記音声認識された注釈を、同一画面上、または別画面に表示するステップとを備えたことを特徴とする画像再生方法。 - 注釈としての音声が関連付けて記録された画像を再生する画像再生装置において、
前記画像を表す画像データの記録時に添付される前記画像の撮影者名を元に、音声による注釈を行った人物を特定する人物特定手段と、
音声認識を行う際に参照される複数の認識辞書の中から、特定した人物用の認識辞書を抽出する辞書抽出手段と、
抽出した認識辞書を用いて、注釈として入力された音声の音声認識を行い、この音声をテキストデータに変換する音声認識手段と、
前記テキストデータを前記画像データと関連付けて記録する記録手段と、
記録された前記テキストデータおよび前記画像データを読み出して、前記画像および前記音声認識された注釈を、同一画面上、または別画面に表示する表示制御手段とを備えたことを特徴とする画像再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003091562A JP4295540B2 (ja) | 2003-03-28 | 2003-03-28 | 音声記録方法および装置、デジタルカメラ、並びに画像再生方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003091562A JP4295540B2 (ja) | 2003-03-28 | 2003-03-28 | 音声記録方法および装置、デジタルカメラ、並びに画像再生方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004301894A JP2004301894A (ja) | 2004-10-28 |
| JP4295540B2 true JP4295540B2 (ja) | 2009-07-15 |
Family
ID=33404905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003091562A Expired - Lifetime JP4295540B2 (ja) | 2003-03-28 | 2003-03-28 | 音声記録方法および装置、デジタルカメラ、並びに画像再生方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4295540B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007025001A (ja) * | 2005-07-12 | 2007-02-01 | Sony Corp | 音声記録装置、音声記録方法及び音声記録プログラム |
| US20070106501A1 (en) * | 2005-11-07 | 2007-05-10 | General Electric Company | System and method for subvocal interactions in radiology dictation and UI commands |
| JP2008193531A (ja) * | 2007-02-06 | 2008-08-21 | Cpu Inc | オブジェクトデータ供給システム、画像生成プログラムおよび商品データ供給サービス |
| KR20130095659A (ko) * | 2010-06-02 | 2013-08-28 | 낫소스 파이낸스 에스에이 | 영상 데이터 레코딩 및 재생을 위한 장치 및 그 방법 |
-
2003
- 2003-03-28 JP JP2003091562A patent/JP4295540B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004301894A (ja) | 2004-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6829624B2 (en) | Data processing method for digital camera | |
| JPWO2006028172A1 (ja) | 記録装置および方法、再生装置および方法、並びにプログラム | |
| KR100770637B1 (ko) | 디지털 카메라 | |
| JP2010130437A (ja) | 撮像装置、及び、プログラム | |
| JPH09331502A (ja) | 情報入力装置 | |
| JP4429081B2 (ja) | 情報処理装置及び情報処理方法 | |
| JP4295540B2 (ja) | 音声記録方法および装置、デジタルカメラ、並びに画像再生方法および装置 | |
| JPH1118042A (ja) | 情報記録再生装置および記録媒体 | |
| JP4595832B2 (ja) | 撮像装置、プログラム、及び記憶媒体 | |
| JP4654947B2 (ja) | 動画処理装置及びそのプログラム | |
| US20030122943A1 (en) | Method of storing data, a method of storing and reproducing data and an image-pickup apparatus | |
| US20060051069A1 (en) | Recording and reproducing device and method and program thereof | |
| JP2010021819A (ja) | 画像表示装置、画像表示方法、及び、プログラム | |
| JP2008242714A (ja) | 撮影装置、楽譜撮影方法、及び楽譜撮影プログラム | |
| JP2003198909A (ja) | 撮像装置、その制御方法、及び制御プログラム | |
| JP5392244B2 (ja) | 撮像装置、制御方法およびプログラム | |
| JP5561044B2 (ja) | 撮像装置、撮像方法及びプログラム | |
| JP2005129994A (ja) | デジタルカメラ | |
| JP2003333470A (ja) | デジタルカメラのデータ管理方法 | |
| JP5045792B2 (ja) | 撮像装置、並びにプログラム | |
| JP2008091978A (ja) | 撮像装置及び画像記憶方法 | |
| JP2005303805A (ja) | デジタルカメラ及びプログラム | |
| JP2002369109A (ja) | デジタルカメラ | |
| JP2004208276A (ja) | 撮像装置 | |
| JP2009021733A (ja) | 画像ファイル生成装置、及び、画像ファイル生成プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050223 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061219 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070409 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070612 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080924 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081105 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090401 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090410 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4295540 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140417 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |