JP4437562B2 - Information processing apparatus and storage medium - Google Patents

Information processing apparatus and storage medium Download PDF

Info

Publication number
JP4437562B2
JP4437562B2 JP09690597A JP9690597A JP4437562B2 JP 4437562 B2 JP4437562 B2 JP 4437562B2 JP 09690597 A JP09690597 A JP 09690597A JP 9690597 A JP9690597 A JP 9690597A JP 4437562 B2 JP4437562 B2 JP 4437562B2
Authority
JP
Japan
Prior art keywords
image
image data
information
lcd
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP09690597A
Other languages
Japanese (ja)
Other versions
JPH10290433A (en
Inventor
聡 江島
晃 大村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP09690597A priority Critical patent/JP4437562B2/en
Publication of JPH10290433A publication Critical patent/JPH10290433A/en
Application granted granted Critical
Publication of JP4437562B2 publication Critical patent/JP4437562B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、情報処理装置および記憶媒体に関し、例えば、関連する情報を容易に再生することができるようにした情報処理装置および記憶媒体に関する。
【0002】
【従来の技術】
近年、フィルムを使用したカメラに代わって、CCD等を用いて被写体の画像を撮影し、それをディジタルのデータに変換して内蔵するメモリや、着脱可能なメモリカード等に記録する電子カメラが用いられるようになってきている。この電子カメラを用いて撮影した画像は、従来のカメラのように現像、焼き付けを経ることなく、即座に再生し、LCDまたはCRT等の画面に表示することができる。
【0003】
また、音声等を画像に関連づけて記録することができ、音声と画像とを同時にまたは別々に再生することができるようにしたものがある。
【0004】
【発明が解決しようとする課題】
しかしながら、互いに関連する複数の情報の中の所定の情報を再生している場合において、他の関連する情報を即座に再生することができない場合がある課題があった。
【0005】
本発明はこのような状況に鑑みてなされたものであり、互いに関連する複数の情報の所定のものを再生している場合、関連する他の情報を即座に再生することができるようにするものである。
【0006】
【課題を解決するための手段】
請求項1に記載の情報処理装置は、画像データおよび画像データと関連づけられた音声データまたは線画データを記録する記録手段(例えば、図6のメモリカード24)、所定の位置に固定配置され、記録手段に記録された画像データの再生を指示するために操作されるキー(例えば、図2の実行キー7B)と、キーにより再生が指示された画像データを再生する再生手段(例えば、図6のLCD6とスピーカ5)と、再生が指示された画像データの再生中に、キーが操作されたとき、再生が指示された画像データと関連づけられた音声データまたは線画データを再生するように再生手段を制御する制御手段(例えば、図6のCPU39)とを備えることを特徴とする。
【0008】
また、制御手段は、再生が指示された画像データの再生中にキーが操作されたとき、再生が指示された画像データの再生を継続したまま、再生が指示された画像データと関連づけられた音声データまたは線画データを再生するように再生手段を制御するようにすることができる。
【0009】
また、再生が指示された画像データの再生が開始された後、キーが操作される毎に、再生が指示された画像データ、および、再生が指示された画像データと関連づけられた音声データまたは線画データを順次再生するように再生手段を制御するようにすることができる。
【0010】
請求項4に記載の記憶媒体は、画像データおよび画像データと関連づけられた音声データまたは線画データを記録する記録手段と、所定の位置に固定配置され、記録手段に記録された画像データの再生を指示するために操作されるキーと、キーにより再生が指示された画像データを再生する再生手段とを備える情報処理装置のコンピュータに処理を実行させるプログラムであって、再生が指示された画像データの再生中に、キーが操作されたとき、再生が指示された画像データと関連づけられた音声データまたは線画データを再生するように再生手段を制御する制御ステップを含むプログラムが記憶されていることを特徴とする。
【0011】
請求項1に記載の情報処理装置においては、記録手段が、画像データおよび画像データと関連づけられた音声データまたは線画データを記録し、所定の位置に固定配置されたキーが、記録手段に記録された画像データの再生を指示するために操作され、再生手段が、キーにより再生が指示された画像データを再生し、制御手段が、再生が指示された画像データの再生中に、キーが操作されたとき、再生が指示された画像データと関連づけられた音声データまたは線画データを再生するように再生手段を制御する。
【0012】
請求項4に記載の記憶媒体においては、再生が指示された画像データの再生中に、所定の位置に固定配置され、記録手段に記録された画像データの再生を指示するために操作されるキーが操作されたとき、再生が指示された画像データと関連づけられた音声データまたは線画データを再生するように再生手段を制御する制御ステップを含むプログラムが記憶されている。
【0013】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【0014】
図1及び図2は、本発明を適用した電子カメラの一実施の形態の構成例を示す斜視図である。本実施の形態の電子カメラにおいては、被写体を撮影する場合において、被写体に向けられる面が面X1とされ、ユーザ側に向けられる面が面X2とされている。面X1の上端部には、被写体の撮影範囲の確認に用いられるファインダ2、被写体の光画像を取り込む撮影レンズ3、及び被写体を照明する光を発光する発光部(ストロボ)4が設けられている。
【0015】
さらに、面X1には、ストロボ4を発光させて撮影を行うときに、ストロボ4を発光させる前に発光させて赤目を軽減する赤目軽減LED15、CCD20(図4)の動作を停止させているときに測光を行う測光素子16、および、CCD20の動作を停止させているときに測色を行う測色素子17が設けられている。
【0016】
一方、面X1に対向する面X2の上端部(面X1のファインダ2、撮影レンズ3、発光部4が形成されている上端部に対応する位置)には、上記ファインダ2、及びこの電子カメラ1に記録されている音声を出力するスピーカ5が設けられている。また、面X2に形成されているLCD6及び操作キー7は、ファインダ2、撮影レンズ3、発光部4及びスピーカ5よりも、鉛直下側に形成されている。LCD6の表面上には、後述するペン型指示装置の接触操作により、指示された位置に対応する位置データを出力する、いわゆるタッチタブレット6Aが配置されている。
【0017】
このタッチタブレット6Aは、ガラス、樹脂等の透明な材料によって構成されており、ユーザは、タッチタブレット6Aの内側に形成されているLCD6に表示される画像を、タッチタブレット6Aを介して観察することができる。
【0018】
操作キー7は、LCD6に記録データを再生表示する場合などに操作されるキーであり、ユーザによる操作(入力)を検知し、CPU(central processing unit)39(図6)に供給するようになされている。
【0019】
操作キー7のうちのメニューキー7Aは、LCD6上にメニュー画面を表示する場合に操作されるキーである。実行キー7Bは、ユーザによって選択された記録情報を再生する場合に操作されるキーである。
【0020】
キャンセルキー7Cは、記録情報の再生処理を中断する場合に操作されるキーである。デリートキー7Dは、記録した情報を削除する場合に操作されるキーである。スクロールキー7E乃至7Hは、LCD6に記録情報の一覧が表示されている場合において、画面を上下方向にスクロールさせるときに操作されるキーである。
【0021】
面X2には、LCD6を使用していないときに保護する、摺動自在なLCDカバー14が設けられている。LCDカバー14は、鉛直上方向に移動させた場合、図3に示すように、LCD6及びタッチタブレット6Aを覆うようになされている。また、LCDカバー14を鉛直下方向に移動した場合、LCD6及びタッチタブレット6Aが現れるとともに、LCDカバー14の腕部14Aによって、面Y2に配置された電源スイッチ11(後述)がオン状態に切り換えられるようになされている。
【0022】
この電子カメラ1の上面である面Zには、音声を集音するマイクロホン8、及び図示せぬイヤホンが接続されるイヤホンジャック9が設けられている。
【0023】
左側面(面Y1)には、被写体を撮像するときに操作されるレリーズスイッチ10と、撮影時の連写モードを切り換えるときに操作される連写モード切り換えスイッチ13が設けられている。このレリーズスイッチ10及び連写モード切り換えスイッチ13は、面X1の上端部に設けられているファインダ2、撮影レンズ3及び発光部4よりも鉛直下側に配置されている。
【0024】
一方、面Y1に対向する面Y2(右側面)には、音声を録音するときに操作される録音スイッチ12と、電源スイッチ11が設けられている。この録音スイッチ12及び電源スイッチ11は、上記レリーズスイッチ10及び連写モード切り換えスイッチ13と同様に、面X1の上端部に設けられているファインダ2、撮影レンズ3及び発光部4よりも鉛直下側に配置されている。また、録音スイッチ12は、面Y1のレリーズスイッチ10とほぼ同じ高さに形成されており、左右どちらの手で持っても、違和感のないように構成されている。
【0025】
なお、録音スイッチ12とレリーズスイッチ10の高さを、あえて異ならせることにより、一方のスイッチを押す場合に、この押圧力によるモーメントを打ち消すために反対側の側面を指で保持したとき、誤ってこの反対側の側面に設けられたスイッチが押されてしまわないようにしてもよい。
【0026】
上記連写モード切り換えスイッチ13は、ユーザがレリーズスイッチ10を押して被写体を撮影するとき、被写体を1コマだけ撮影するのか、または、所定の複数コマ撮影するのかを設定する場合に用いられる。例えば、連写モード切り換えスイッチ13の指針が「S」と印刷された位置に切り換えられている(すなわち、Sモードに切り換えられている)場合において、レリーズスイッチ10が押されると、1コマだけ撮影が行われるようになされている。
【0027】
また、連写モード切り換えスイッチ13の指針が「L」と印刷された位置に切り換えられている(すなわち、Lモードに切り換えられている)場合において、レリーズスイッチ10が押されると、レリーズスイッチ10の押されている期間中、1秒間に8コマの撮影が行われるようになされている(すなわち、低速連写モードになる)。
【0028】
さらに、連写モード切り換えスイッチ13の指針が「H」と印刷された位置に切り換えられている(すなわち、Hモードに切り換えられている)場合において、レリーズスイッチ10が押されると、レリーズスイッチ10の押されている期間中、1秒間に30コマの撮影が行われるようになされている(すなわち、高速連写モードになる)。
【0029】
次に、電子カメラ1の内部の構成について説明する。図4は、図1及び図2に示す電子カメラの内部の構成例を示す斜視図である。CCD20は、撮影レンズ3の後段(面X2側)に設けられており、撮影レンズ3を介して結像する被写体の光画像を電気信号に光電変換するようになされている。
【0030】
ファインダ内表示素子26は、ファインダ2の視野内に配置され、ファインダ2を介して被写体を視ているユーザに対して、各種機能の設定状態などを表示するようになされている。
【0031】
LCD6の鉛直下側には、円柱形状の4本のバッテリ(単3の乾電池)21が縦に並べられており、このバッテリ21に蓄積されている電力が各部に供給されるようになされている。さらに、LCD6の鉛直下側には、バッテリ21とともに、発光部4に光を発光させるための電荷を蓄積するコンデンサ22が配置されている。
【0032】
回路基板23には、この電子カメラ1の各部を制御する、種々の制御回路が形成されている。また、回路基板23と、LCD6及びバッテリ21の間には、挿抜可能なメモリカード24が設けられており、この電子カメラ1に入力される各種の情報が、それぞれ、メモリカード24の予め設定されている領域に記録されるようになされている。
【0033】
さらに、電源スイッチ11に隣接して配置されているLCDスイッチ25は、その突起部が押圧されている間のみオン状態となるスイッチであり、LCDカバー14を鉛直下方向に移動させた場合、図5(a)に示すように、LCDカバー14の腕部14Aによって、電源スイッチ11とともにオン状態に切り換えられるようになされている。
【0034】
なお、LCDカバー14が鉛直上方向に位置する場合、電源スイッチ11は、LCDスイッチ25とは独立に、ユーザによって操作される。例えば、LCDカバー14が閉じられ、電子カメラ1が使用されていない場合、図5(b)に示すように、電源スイッチ11及びLCDスイッチ25がオフ状態になっている。この状態において、ユーザが電源スイッチ11を図5(c)に示すように、オン状態に切り換えると、電源スイッチ11はオン状態となるが、LCDスイッチ25は、オフ状態のままである。一方、図5(b)に示すように、電源スイッチ11及びLCDスイッチ25がオフ状態になっているとき、LCDカバー14が開かれると、図5(a)に示すように、電源スイッチ11及びLCDスイッチ25がオン状態となる。そして、この後、LCDカバー14を閉じると、LCDスイッチ25だけが、図5(c)に示すように、オフ状態となる。
【0035】
なお、本実施の形態においては、メモリカード24は挿抜可能とされているが、回路基板23上にメモリを設け、そのメモリに各種情報を記録可能とするようにしてもよい。また、メモリ(メモリカード24)に記録されている各種情報を、図示せぬインタフェースを介して外部のパーソナルコンピュータ等に出力することができるようにしてもよい。
【0036】
次に、本実施の形態の電子カメラ1の内部の電気的構成例を、図6のブロック図を参照して説明する。複数の画素を備えているCCD20は、各画素に結像した光画像を画像信号(電気信号)に光電変換するようになされている。デジタルシグナルプロセッサ(以下、DSPという)33は、CCD20にCCD水平駆動パルスを供給するとともに、CCD駆動回路34を制御し、CCD20にCCD垂直駆動パルスを供給させるようになされている。
【0037】
画像処理部31は、CPU39に制御され、CCD20が光電変換した画像信号を所定のタイミングでサンプリングし、そのサンプリングした信号を、所定のレベルに増幅するようになされている。CPU39は、ROM43に記憶されている制御プログラムに従って、各部を制御するようになされている。アナログ/デジタル変換回路(以下、A/D変換回路という)32は、画像処理部31でサンプリングした画像信号をデジタル化してDSP33に供給するようになされている。
【0038】
DSP33は、バッファメモリ36およびメモリカード24に接続されるデータバスを制御し、A/D変換回路32より供給された画像データをバッファメモリ36に一旦記憶させた後、バッファメモリ36に記憶した画像データを読み出し、その画像データを、メモリカード24に記録するようになされている。
【0039】
また、DSP33は、A/D変換回路32より供給された画像データをフレームメモリ35に記憶させ、LCD6に表示させるとともに、メモリカード24から撮影画像データを読み出し、その撮影画像データを伸張した後、伸張後の画像データをフレームメモリ35に記憶させ、LCD6に表示させるようになされている。
【0040】
さらに、DSP33は、電子カメラ1の起動時において、CCD20の露光レベルが適正な値になるまで、露光時間(露出値)を調節しながら、CCD20を繰り返し動作させるようになされている。このとき、DSP33が、最初に、測光回路51を動作させ、測光素子16により検出された受光レベルに対応して、CCD20の露光時間の初期値を算出するようにしてもよい。このようにすることにより、CCD20の露光時間の調節を短時間で行うことができる。
【0041】
この他、DSP33は、メモリカード24への記録、伸張後の画像データのバッファメモリ36への記憶などにおけるデータ入出力のタイミング管理を行うようになされている。
【0042】
バッファメモリ36は、メモリカード24に対するデータの入出力の速度と、CPU39やDSP33などにおける処理速度の違いを緩和するために利用される。
【0043】
マイクロホン8は、音声情報を入力し(音声を集音し)、その音声情報をA/DおよびD/A変換回路42に供給するようになされている。
【0044】
A/DおよびD/A変換回路42は、マイクロホン8により検出された音声に対応するアナログ信号をデジタル信号に変換した後、そのデジタル信号をCPU39に供給するとともに、CPU39より供給された音声データをアナログ化し、アナログ化した音声信号をスピーカ5に出力するようになされている。
【0045】
測光素子16は、被写体およびその周囲の光量を測定し、その測定結果を測光回路51に出力するようになされている。測光回路51は、測光素子16より供給された測光結果であるアナログ信号に対して所定の処理を施した後、デジタル信号に変換し、そのデジタル信号をCPU39に出力するようになされている。
【0046】
測色素子17は、被写体およびその周囲の色温度を測定し、その測定結果を測色回路52に出力するようになされている。測色回路52は、測色素子17より供給された測色結果であるアナログ信号に対して所定の処理を施した後、デジタル信号に変換し、そのデジタル信号をCPU39に出力するようになされている。
【0047】
タイマ45は、時計回路を内蔵し、現在の時刻に対応するデータをCPU39に出力するようになされている。
【0048】
絞り駆動回路53は、絞り54の開口径を所定の値に設定するようになされている。絞り54は、撮影レンズ3とCCD20の間に配置され、撮影レンズ3からCCD20に入射する光の開口を変更するようになされている。
【0049】
CPU39は、LCDスイッチ25からの信号に応じて、LCDカバー14が開いているときにおいては、測光回路51および測色回路52の動作を停止させ、LCDカバー14が閉じているときにおいては、測光回路51および測色回路52を動作させるとともに、レリーズスイッチ10が半押し状態になるまで、CCD20の動作(例えば電子シャッタ動作)を停止させるようになされている。
【0050】
CPU39は、CCD20の動作を停止させているとき、測光回路51および測色回路52を制御し、測光素子16の測光結果を受け取るとともに、測色素子17の測色結果を受け取るようになされている。
【0051】
そして、CPU39は、所定のテーブルを参照して、測色回路52より供給された色温度に対応するホワイトバランス調整値を算出し、そのホワイトバランス調整値を画像処理部31に供給するようになされている。
【0052】
即ち、LCDカバー14が閉じているときにおいては、LCD6が電子ビューファインダとして使用されないので、CCD20の動作を停止させるようにする。CCD20は多くの電力を消費するので、このようにCCD20の動作を停止させることにより、バッテリ21の電力を節約することができる。
【0053】
また、CPU39は、LCDカバー14が閉じているとき、レリーズスイッチ10が操作されるまで(レリーズスイッチ10が半押し状態になるまで)、画像処理部31が各種処理を行わないように、画像処理部31を制御するようになされている。
【0054】
さらに、CPU39は、LCDカバー14が閉じているとき、レリーズスイッチ10が操作されるまで(レリーズスイッチ10が半押し状態になるまで)、絞り駆動回路53が絞り54の開口径を変更などの動作を行わないように、絞り駆動回路53を制御するようになされている。
【0055】
また、CPU39は、ストロボ駆動回路37を制御して、ストロボ4を適宜発光させるようになされている他、赤目軽減LED駆動回路38を制御して、ストロボ4を発光させる前に、赤目軽減LED15を適宜発光させるようになされている。
【0056】
なお、CPU39は、LCDカバー14が開いているとき(即ち、電子ビューファインダが利用されているとき)においては、ストロボ4を発光させないようにすることができる。このようにすることにより、電子ビューファインダに表示されている画像の状態で、被写体を撮影することができる。
【0057】
CPU39は、タイマ45より供給される日時データに従って、撮影した日時の情報を画像データのヘッダ情報として、メモリカード24の撮影画像記録領域に記録するようになされている。(すなわち、メモリカード24の撮影画像記録領域に記録される撮影画像データには、撮影日時のデータが付随している)。
【0058】
また、CPU39は、デジタル化された音声情報を圧縮した後、デジタル化及び圧縮化された音声データを一旦、バッファメモリ36に記憶させた後、メモリカード24の所定の領域(音声記録領域)に記録するようになされている。また、このとき、メモリカード24の音声記録領域には、録音日時のデータが音声データのヘッダ情報として記録されるようになされている。
【0059】
CPU39は、レンズ駆動回路30を制御し、撮影レンズ3を移動させることにより、オートフォーカス動作を行う他、絞り駆動回路53を制御して、撮影レンズ3とCCD20の間に配置されている絞り54の開口径を変更させるようになされている。
【0060】
さらに、CPU39は、ファインダ内表示回路40を制御して、各種動作における設定などをファインダ内表示素子26に表示させるようになされている。
【0061】
CPU39は、インタフェース(I/F)48を介して、所定の外部装置(図示せず)と所定のデータの授受を行うようになされている。
【0062】
また、CPU39は、操作キー7からの信号を受け取り、適宜処理するようになされている。
【0063】
ユーザの操作するペン(ペン型指示部材)41によってタッチタブレット6Aの所定の位置が押圧されると、CPU39は、タッチタブレット6Aの押圧された位置のX−Y座標を読み取り、その座標データ(後述するメモ情報)を、バッファメモリ36に蓄積させるようになされている。また、CPU39は、バッファメモリ36に蓄積したメモ情報を、メモ情報入力日時のヘッダ情報とともに、メモリカード24のメモ情報記録領域に記録するようになされている。
【0064】
次に、本実施の形態の電子カメラ1の各種動作について説明する。最初に、本装置のLCD6における電子ビューファインダ動作について説明する。
【0065】
ユーザがレリーズスイッチ10を半押し状態にすると、DSP33は、CPU39より供給される、LCDスイッチ25の状態に対応する信号の値から、LCDカバー14が開いているか否かを判断し、LCDカバー14が閉じていると判断した場合、電子ビューファインダ動作を行わない。この場合、DSP33は、レリーズスイッチ10が操作されるまで、処理を停止する。
【0066】
なお、LCDカバー14が閉じている場合、電子ビューファインダ動作を行わないので、CPU39は、CCD20、画像処理部31、および、絞り駆動回路53の動作を停止させる。そして、CPU39は、CCD20を停止させる代わりに、測光回路51および測色回路52を動作させ、それらの測定結果を、画像処理部31に供給する。画像処理部31は、それらの測定結果の値を、ホワイトバランス制御や輝度値の制御を行うときに利用する。
【0067】
また、レリーズスイッチ10が操作された場合、CPU39は、CCD20および絞り駆動回路53の動作を行わせる。
【0068】
一方、LCDカバー14が開いている場合、CCD20は、所定の時間毎に、所定の露光時間で、電子シャッタ動作を行い、撮影レンズ3によって集光された被写体の光画像を光電変換し、その動作で得られた画像信号を画像処理部31に出力する。
【0069】
画像処理部31は、ホワイトバランス制御および輝度値の制御を行い、その画像信号に対して所定の処理を施した後、画像信号をA/D変換回路32に出力する。なお、CCD20が動作しているときは、画像処理部31は、CPU39により、CCD20の出力を利用して算出された、ホワイトバランス制御および輝度値の制御に利用される調整値を利用する。
【0070】
そして、A/D変換回路32は、その画像信号(アナログ信号)を、デジタル信号である画像データに変換し、その画像データをDSP33に出力する。
【0071】
DSP33は、その画像データをフレームメモリ35に出力し、LCD6にその画像データに対応する画像を表示させる。
【0072】
このように、電子カメラ1においては、LCDカバー14が開いている場合、所定の時間間隔で、CCD20が電子シャッタ動作し、その度に、CCD20から出力された信号を画像データに変換し、その画像データをフレームメモリ35に出力して、LCD6に被写体の画像を絶えず表示させることで、電子ビューファインダ動作を行う。
【0073】
また、上述のように、LCDカバー14が閉じている場合においては、電子ビューファインダ動作を行わず、CCD20、画像処理部31、および、絞り駆動回路53の動作を停止させ、消費電力を節約している。
【0074】
次に、本装置による被写体の撮影について説明する。
【0075】
第1に、面Y1に設けられている連写モード切り換えスイッチ13が、Sモード(1コマだけ撮影を行うモード)に切り換えられている場合について説明する。最初に、図1に示す電源スイッチ11を「ON」と印刷されている側に切り換えて電子カメラ1に電源を投入する。ファインダ2で被写体を確認し、面Y1に設けられているレリーズスイッチ10を押すと、被写体の撮影処理が開始される。
【0076】
なお、LCDカバー14が閉じられている場合、CPU39は、レリーズスイッチ10が半押し状態になったとき、CCD20、画像処理部31、および、絞り駆動回路53の動作を再開させて、レリーズスイッチ10が全押し状態になったとき、被写体の撮影処理を開始させる。
【0077】
ファインダ2で観察される被写体の光画像が撮影レンズ3によって集光され、複数の画素を備えるCCD20に結像する。CCD20に結像した被写体の光画像は、各画素で画像信号に光電変換され、画像処理部31によってサンプリングされる。画像処理部31によってサンプリングされた画像信号は、A/D変換回路32に供給され、そこでデジタル化されてDSP33に出力される。
【0078】
DSP33は、その画像データをバッファメモリ36に一旦出力した後、バッファメモリ36より、その画像データを読み出し、離散的コサイン変換、量子化及びハフマン符号化を組み合わせたJPEG(Joint Photographic Experts Group)方式に従って圧縮し、メモリカード24の撮影画像記録領域に記録させる。このとき、メモリカード24の撮影画像記録領域には、撮影日時のデータが、撮影画像データのヘッダ情報として記録される。
【0079】
なお、連写モード切り換えスイッチ13がSモードに切り換えられている場合においては、1コマの撮影だけが行われ、レリーズスイッチ10が継続して押されても、それ以降の撮影は行われない。また、レリーズスイッチ10が継続して押されると、LCDカバー14が開いている場合、LCD6に、撮影した画像が表示される。
【0080】
第2に、連写モード切り換えスイッチ13がLモード(1秒間に8コマの連写を行うモード)に切り換えられている場合について説明する。電源スイッチ11を「ON」と印刷されている側に切り換えて電子カメラ1に電源を投入し、面Y1に設けられているレリーズスイッチ10を押すと、被写体の撮影処理が開始される。
【0081】
なお、LCDカバー14が閉じられている場合、CPU39は、レリーズスイッチ10が半押し状態になったとき、CCD20、画像処理部31、および、絞り駆動回路53の動作を再開させて、レリーズスイッチ10が全押し状態になったとき、被写体の撮影処理を開始させる。
【0082】
ファインダ2で観察される被写体の光画像は、撮影レンズ3によって集光され、複数の画素を備えるCCD20に結像する。CCD20に結像した被写体の光画像は、各画素で画像信号に光電変換され、画像処理部31によって1秒間に8回の割合でサンプリングされる。また、このとき、画像処理部31は、CCD20の全画素の画像電気信号のうち4分の3の画素を間引く。
【0083】
すなわち、画像処理部31は、マトリクス状に配列されているCCD20の画素を、図7に示すように、2×2画素(4つの画素)を1つとする領域に分割し、その1つの領域から、所定の位置に配置されている1画素の画像信号をサンプリングし、残りの3画素を間引く。
【0084】
例えば、第1回目のサンプリング時(1コマ目)においては、各領域の左上の画素aがサンプリングされ、その他の画素b,c,dが間引かれる。第2回目のサンプリング時(2コマ目)においては、各領域の右上の画素bがサンプリングされ、その他の画素a,c,dが間引かれる。以下、第3回目、第4回目のサンプリング時においては、左下の画素c、右下の画素dが、それぞれ、サンプリングされ、その他の画素が間引かれる。つまり、4コマ毎に各画素がサンプリングされる。
【0085】
画像処理部31によってサンプリングされた画像信号(CCD20の全画素中の4分の1の画素の画像信号)は、A/D変換回路32に供給され、そこでデジタル化されてDSP33に出力される。
【0086】
DSP33は、デジタル化された画像信号をバッファメモリ36に一旦出力した後、その画像信号を読み出し、JPEG方式に従って圧縮した後、デジタル化及び圧縮処理された撮影画像データを、メモリカード24の撮影画像記録領域に記録する。このとき、メモリカード24の撮影画像記録領域には、撮影日時のデータが、撮影画像データのヘッダ情報として記録される。
【0087】
第3に、連写モード切り換えスイッチ13がHモード(1秒間に30コマの連写を行うモード)に切り換えられている場合について説明する。電源スイッチ11を「ON」と印刷されている側に切り換えて電子カメラ1に電源を投入し、面Y1に設けられているレリーズスイッチ10を押すと、被写体の撮影処理が開始される。
【0088】
なお、LCDカバー14が閉じられている場合、CPU39は、レリーズスイッチ10が半押し状態になったとき、CCD20、画像処理部31、および、絞り駆動回路53の動作を再開させて、レリーズスイッチ10が全押し状態になったとき、被写体の撮影処理を開始させる。
【0089】
ファインダ2で観察される被写体の光画像が撮影レンズ3によって集光され、CCD20に結像する。複数の画素を備えるCCD20に結像した被写体の光画像は、各画素で画像信号に光電変換され、画像処理部31によって1秒間に30回の割合でサンプリングされる。また、このとき、画像処理部31は、CCD20の全画素の画像電気信号のうち9分の8の画素を間引く。
【0090】
すなわち、画像処理部31は、マトリクス状に配列されているCCD20の画素を、図8に示すように、3×3画素を1つとする領域に分割し、その1つの領域から、所定の位置に配置されている1画素の画像電気信号を、1秒間に30回の割合でサンプリングし、残りの8画素を間引く。
【0091】
例えば、第1回目のサンプリング時(1コマ目)においては、各領域の左上の画素aがサンプリングされ、その他の画素b乃至iが間引かれる。第2回目のサンプリング時(2コマ目)においては、画素aの右側に配置されている画素bがサンプリングされ、その他の画素a,c乃至iが間引かれる。以下、第3回目以降のサンプリング時においては、画素c、画素d・・・が、それぞれ、サンプリングされ、その他の画素が間引かれる。つまり、9コマ毎に各画素がサンプリングされる。
【0092】
画像処理部31によってサンプリングされた画像信号(CCD20の全画素中の9分の1の画素の画像信号)は、A/D変換回路32に供給され、そこでデジタル化されてDSP33に出力される。
【0093】
DSP33は、デジタル化された画像信号をバッファメモリ36に一旦出力した後、その画像信号を読み出し、JPEG方式に従って圧縮した後、デジタル化及び圧縮処理された撮影画像データを、撮影日時のヘッダ情報を付随して、メモリカード24の撮影画像記録領域に記録する。
【0094】
なお、必要に応じて、ストロボ4を動作させ、被写体に光を照射させることもできる。ただし、LCDカバー14が開いているとき、即ち、LCD6が電子ビューファインダ動作を行っているとき、CPU39は、ストロボ4を、発光させないように制御することができる。
【0095】
次に、タッチタブレット6Aから2次元の情報(ペン入力情報)を入力する場合の動作について説明する。
【0096】
タッチタブレット6Aがペン41のペン先で押圧されると、接触した箇所のX−Y座標が、CPU39に入力される。このX−Y座標は、バッファメモリ36に記憶される。また、フレームメモリ35における上記X−Y座標の各点に対応した箇所にデータを書き込み、LCD6における上記X−Y座標に、ペン41の接触に対応したメモを表示させることができる。
【0097】
上述したように、タッチタブレット6Aは、透明部材によって構成されているので、ユーザは、LCD6上に表示される点(ペン41のペン先で押圧された位置の点)を観察することができ、あたかもLCD6上に直接ペン入力をしたかのように感じることができる。また、ペン41をタッチタブレット6A上で移動させると、LCD6上には、ペン41の移動に伴う線が表示される。さらに、ペン41をタッチタブレット6A上で断続的に移動させると、LCD6上には、ペン41の移動に伴う破線が表示される。以上のようにして、ユーザは、タッチタブレット6A(LCD6)に所望の文字、図形等のメモ情報を入力する。
【0098】
また、LCD6上に撮影画像が表示されている場合において、ペン41によってメモ情報が入力されると、このメモ情報が、撮影画像情報とともに、フレームメモリ35で合成され、LCD6上に同時に表示される。
【0099】
なお、ユーザは、所定のパレット100を操作することにより、LCD6上に表示されるメモの色を、黒、白、赤、青等の色から選択することができる。
【0100】
ペン41によるタッチタブレット6Aへのメモ情報の入力後、操作キー7の実行キー7Bが押されると、バッファメモリ36に蓄積されているメモ情報が、入力日時のヘッダ情報とともにメモリカード24に供給され、メモリカード24のメモ情報記録領域に記録される。
【0101】
なお、メモリカード24に記録されるメモ情報は、圧縮処理の施された情報である。タッチタブレット6Aに入力されたメモ情報は空間周波数成分の高い情報を多く含んでいるので、上記撮影画像の圧縮に用いられるJPEG方式によって圧縮処理を行うと、圧縮効率が悪く情報量が小さくならず、圧縮及び伸張に必要とされる時間が長くなってしまう。さらに、JPEG方式による圧縮は、非可逆圧縮であるので、情報量の少ないメモ情報の圧縮には適していない(伸張してLCD6上に表示した場合、情報の欠落に伴うギャザ、にじみが際だってしまうため)。
【0102】
そこで、本実施の形態においては、ファックス等において用いられるランレングス法によって、メモ情報を圧縮するようにしている。ランレングス法とは、メモ画面を水平方向に走査し、黒、白、赤、青等の各色の情報(点)の継続する長さ、及び無情報(ペン入力のない部分)の継続する長さを符号化することにより、メモ情報を圧縮する方法である。
【0103】
このランレングス法を用いることにより、メモ情報を最小に圧縮することができ、また、圧縮されたメモ情報を伸張した場合においても、情報の欠落を抑制することが可能になる。なお、メモ情報は、その情報量が比較的少ない場合には、圧縮しないようにすることもできる。
【0104】
また、上述したように、LCD6上に撮影画像が表示されている場合において、ペン入力を行うと、撮影画像データとペン入力のメモ情報がフレームメモリ35で合成され、撮影画像とメモの合成画像がLCD6上に表示される。その一方で、メモリカード24においては、撮影画像データは、撮影画像記録領域に記録され、メモ情報は、メモ情報記録領域に記録される。このように、2つの情報が、各々異なる領域に記録されるので、ユーザは、撮影画像とメモの合成画像から、いずれか一方の画像(例えばメモ)を削除することができ、さらに、各々の画像情報を個別の圧縮方法で圧縮することもできる。
【0105】
メモリカード24の音声記録領域、撮影画像記録領域、またはメモ情報記録領域にデータを記録した場合、図9に示すように、LCD6にその一覧表を表示させることができる。
【0106】
図9に示すLCD6の表示画面上においては、情報を記録した時点の年月日(記録年月日)(この場合、1996年11月1日)が画面の上端部に表示され、その記録年月日に記録された情報の番号(ファイル番号)と記録時刻が画面の左側に表示されている。
【0107】
記録時刻の右側には、サムネイル画像が表示されている。このサムネイル画像は、メモリカード24に記録された撮影画像データの各画像データのビットマップデータを間引いて(縮小して)作成されたものである。この表示のある情報は、撮影画像情報を含む情報である。つまり、「10時16分」、および「10時21分」に記録(入力)された情報には、撮影画像情報が含まれており、それ以外の時間に記録された情報には画像情報が含まれていない。
【0108】
また、メモアイコン「□」は、線画情報として所定のメモが記録されていることを表している。
【0109】
サムネイル画像の表示領域の右側には、音声アイコン(音符)が表示され、その右隣りには録音時間(単位は秒)が表示されている(音声情報が入力されていない場合には、これらは表示されない)。
【0110】
ユーザは、図9に示すように、LCD6に表示された一覧表の中の所望の音声アイコンを、ペン41のペン先で押圧して再生する情報を選択指定し、図2に示す実行キー7Bをペン41のペン先で押圧することにより、選択した情報を再生する。
【0111】
例えば、図9に示す「10時16分」の表示されている音声アイコンがペン41によって押圧されると、CPU39は、選択された録音日時(10時16分)に対応する音声データをメモリカード24から読み出し、その音声データを伸張した後、A/DおよびD/A変換回路42に供給する。A/DおよびD/A変換回路42は、供給された音声データをアナログ化した後、スピーカ5を介して再生する。
【0112】
メモリカード24に記録した撮影画像データを再生する場合、ユーザは、所望のサムネイル画像を、ペン41のペン先で押圧することによりその情報を選択し、実行キー7Bを押して選択した情報を再生させる。
【0113】
即ち、CPU39は、選択されたサムネイル画像の撮影日時に対応する撮影画像データをメモリカード24から読み出すように、DSP33に指示する。DSP33は、メモリカード24より読み出した上記撮影画像データ(圧縮されている撮影画像データ)を伸張し、この撮影画像データをビットマップデータとしてフレームメモリ35に蓄積させ、LCD6に表示させる。
【0114】
Sモードで撮影された画像は、LCD6上に、静止画像として表示される。この静止画像は、CCD20の全ての画素の画像信号を再生したものであることはいうまでもない。
【0115】
Lモードで撮影された画像は、LCD6上において、1秒間に8コマの割合で連続して表示される。このとき、各コマに表示される画素数は、CCD20の全画素数の4分の1である。
【0116】
通常、人間の目は、静止画像の解像度の劣化に対しては敏感に反応するため、静止画像の画素を間引くことは、ユーザに画質の劣化として捉えられてしまう。しかしながら、撮影時の連写速度が上がり、Lモードにおいて1秒間に8コマ撮影され、この画像が1秒間に8コマの速さで再生された場合においては、各コマの画素数がCCD20の画素数の4分の1になるが、人間の目は1秒間に8コマの画像を観察するので、1秒間に人間の目に入る情報量は、静止画像の場合に比べて2倍になる。
【0117】
すなわち、Sモードで撮影された画像の1コマの画素数を1とすると、Lモードで撮影された画像の1コマの画素数は1/4となる。Sモードで撮影された画像(静止画像)がLCD6に表示された場合、1秒間に人間の目に入る情報量は1(=(画素数1)×(コマ数1))となる。一方、Lモードで撮影された画像がLCD6に表示された場合、1秒間に人間の目に入る情報量は2(=(画素数1/4)×(コマ数8))となる(すなわち、人間の目には、静止画像の2倍の情報が入る)。従って、1コマ中の画素の数を4分の1にしても、再生時において、ユーザは、画質の劣化をさほど気にすることなく再生画像を観察することができる。
【0118】
さらに、本実施の形態においては、各コマ毎に異なる画素をサンプリングし、そのサンプリングした画素をLCD6に表示するようにしているので、人間の目に残像効果が起こり、1コマ当たり4分の3画素を間引いたとしても、ユーザは、画質の劣化をさほど気にすることなくLCD6に表示されるLモードで撮影された画像を観察することができる。
【0119】
また、Hモードで撮影された画像は、LCD6上において、1秒間に30コマの割合で連続して表示される。このとき、各コマに表示される画素数は、CCD20の全画素数の9分の1であるが、Lモードの場合と同様の理由で、ユーザは、画質の劣化をさほど気にすることなくLCD6に表示されるHモードで撮影された画像を観察することができる。
【0120】
本実施の形態においては、Lモード及びHモードで被写体を撮像する場合、画像処理部31が、再生時における画質の劣化が気にならない程度にCCD20の画素を間引くようにしているので、DSP33の負荷を低減することができ、DSP33を、低速度、低電力で作動させることができる。また、このことにより、装置の低コスト化及び低消費電力化が可能になる。
【0121】
ところで、本実施の形態においては、既述のように、被写体の光画像を撮影するだけでなく、メモ(線画)情報を記録することも可能である。本実施の形態においては、これらの情報を入力するモード(撮影モードおよびメモ入力モード)を具備しており、ユーザの操作に応じてこれらのモードが適宜選択され、情報の入力がスムーズに実行されるようになされている。
【0122】
次に、図10のフローチャートを参照して、任意の情報を再生している場合において、実行キー7Bを操作することにより、関連する情報を再生する場合の動作について説明する。
【0123】
最初に、ステップS1において、図11に示すような一覧表画面(サムネイル画面)をLCD6に表示させる。次に、ステップS2において、一覧表画面の中のファイル番号をペン41を用いてピックすることにより、任意の情報ファイルを選択する。あるいは、音声アイコン、メモアイコン、またはサムネイル画像をペン41を用いてピックすることにより所定の情報を選択する。ここでは、例えば、画像情報、線画情報、および音声情報からなるファイル番号が1の情報ファイルの中のサムネイル画像を選択するものとする。
【0124】
ステップS3においては、ステップS2における選択を確定するために実行キー7Bをペン41等で押す。これにより、ステップS4に進み、CPU39は、DSP33に対して、選択されたサムネイル画像に対応する画像をメモリカード24から読み出すように指令する。DSP33は、CPU39の指令に従って、メモリカード24に記憶されている選択されたサムネイル画像に対応する画像を読み出す。そして、読み出した画像を一旦バッファメモリ36に転送する。
【0125】
バッファメモリ36に転送された画像は、CPU制御バスを介してフレームメモリ35に供給され、図12に示すような画面がLCD6に表示される。この例の場合、選択されたサムネイル画像に対応する画像と、その画像に対応づけられた音声情報が記録されていることを示す音声アイコンが表示される。
【0126】
次に、ステップS5において、実行キー7Bが押されたか否かが判定される。実行キー7Bが押されたと判定された場合、ステップS6に進み、選択された情報(この例の場合サムネイル画像)を含む情報ファイルの中に、他の関連する情報が含まれているか否かが判定される。他の関連する情報が含まれていると判定された場合、ステップS7において、他の関連する情報の再生が行われる。この例の場合、選択されたサムネイル画像を含む情報ファイルの中に、そのサムネイル画像に関連する線画情報および音声情報が含まれているので、例えば、まず、線画情報の再生が行われる。
【0127】
即ち、CPU39は、メモリカード24の線画情報記憶領域から線画情報を読み出し、そのビットマップイメージをフレームメモリ35に書き込む。これにより、図13に示すように、線画情報が画像情報に重なるようにして表示される。ステップS7における処理が終了した後、またはステップS6において、選択された情報を含む情報ファイルに他の関連する情報が含まれていないと判定された場合、ステップS5に戻り、ステップS5以降の処理が繰り返し実行される。
【0128】
この例の場合、再度、実行キー7Bが押されたものとする。従って、ステップS5において実行キー7Bが押されたと判定され、ステップS6に進み、選択された情報(サムネイル画像)を含む情報ファイルの中に他の関連する情報が含まれているか否かが判定される。この例の場合、LCD6に表示されている画像に関連する上記線画情報と音声情報とがあり、線画情報は上述したようにして、既にLCD6の画面に表示されているので、次に、音声情報が再生される。
【0129】
即ち、CPU39は、メモリカード24よりいまLCD6に表示されている画像に関連する音声情報を読み出し、それをCPU制御バスを介してA/DおよびD/A変換回路42に供給する。A/DおよびD/A変換回路42は、CPU制御バスを介してメモリカード24より供給された音声情報をアナログの音声信号に変換し、スピーカ5を介して再生する。これにより、LCD6に表示されている画像および線画に関連する音声がスピーカ5より出力される。
【0130】
その後、ステップS5に戻り、ステップS5以降の処理が繰り返し実行される。
【0131】
また、ステップS5において、実行キー7Bが押されていないと判定された場合、ステップS8に進み、他のキーが押されたか否かが判定される。他のキーが押されていないと判定された場合、ステップS5に戻り、ステップS5以降の処理が繰り返し実行される。一方、他のキーが押されたと判定された場合、ステップS9において対応する他の処理が実行された後、処理を終了する。
【0132】
以上のようにして、複数の関連する情報からなる情報ファイルの中の所定の情報を再生しているときに、実行キー7Bを押すだけで、他の関連する情報を順次再生するようにすることができる。このとき、音声情報のように、再生開始後、所定の時間だけ経過すると再生が終了するような情報の場合、実行キー7Bが押される度に、繰り返し再生されるようにすることができる。
【0133】
また、ファイル番号を選択したとき、最初、選択されたファイル番号の情報ファイルに含まれる画像情報だけが再生されるようにし、実行キー7Bを押す毎に、順次、関連する他の情報が再生されるようにすることができる。
【0134】
例えば、図11に示した一覧表画面において、ファイル番号が1の情報ファイルを選択すると、最初、ファイル番号が1の情報ファイルの中の画像情報が再生され、対応する画像がLCD6に表示される。そして、実行キー7Bを押すと関連する線画情報が再生され、対応する線画がLCD6に表示される。さらに実行キー7Bを押すと、関連する音声情報が再生され、スピーカ5より出力される。そして、以後、実行キー7Bを押す度に、音声情報が再生される。
【0135】
あるいは、図11に示した一覧表画面において、ファイル番号が1の情報ファイルを選択すると、最初、ファイル番号が1の情報ファイルの中の画像情報が再生され、対応する画像がLCD6に表示される。そして、実行キー7Bを押すと、いま表示中の画像が画面から消去され、その画像に関連する線画情報が再生され、対応する線画が表示される。さらに実行キー7Bを押すと、表示中の線画が画面から消去され、関連する音声情報が再生される。そして、以後、実行キー7Bを押す毎に、画像、線画、音声の順番で、順次、再生される。
【0136】
図10のフローチャートに示す処理をCPU39に行わせるためのプログラムは、電子カメラ1のROM43やメモリカード24等に記憶させるようにすることができる。また、このプログラムは、予め上記ROM43やメモリカード24に記憶された状態で使用者に供給されるようにしてもよいし、ROM43やメモリカード24にコピー可能なように、CD−ROM(compact disc-read only memory)等に記憶された状態で使用者に供給されるようにしてもよい。その場合、ROM43は、例えば、電気的に書き換え可能なEEPROM(electrically erasable and programmable read only memory)等で構成するようにする。
【0137】
なお、上記実施の形態におけるLCD6の画面レイアウトは一例であって、これに限定されるものではない。
【0138】
また、上記実施の形態においては、画像情報が再生されている場合において、実行キー7Bが押されたとき、まず、線画情報が再生され、次に実行キー7Bが押されたとき、音声情報が再生されるようにしたが、この順番に限定されるものではなく、他の任意の順番で情報が再生されるようにすることができる。
【0139】
【発明の効果】
請求項1に記載の情報処理装置によれば、制御手段が、再生が指示された画像データの再生中に、所定の位置に固定配置され、記録手段に記録された画像データの再生を指示するために操作されるキーが操作されたとき、再生が指示された画像データと関連づけられた音声データまたは線画データを再生するように再生手段を制御するようにしたので、関連する情報を簡単な操作で再生することができる。
【0140】
請求項4に記載の記憶媒体によれば、再生が指示された画像データの再生中に、所定の位置に固定配置され、記録手段に記録された画像データの再生を指示するために操作されるキーが操作されたとき、再生が指示された画像データと関連づけられた音声データまたは線画データを再生するように再生手段を制御する制御ステップを含むプログラムを記憶するようにしたので、関連する情報を簡単な操作で再生することができる。
【図面の簡単な説明】
【図1】本発明を適用した電子カメラの一実施の形態を正面の側から見た斜視図である。
【図2】電子カメラ1をLCDカバー14を開けた状態で背面の側から見た斜視図である。
【図3】電子カメラ1をLCDカバー14を閉じた状態で背面の側から見た斜視図である。
【図4】電子カメラ1の内部の構成例を示す図である。
【図5】電子カメラ1のLCDスイッチ25とLCDカバー14の動作を説明する図である。
【図6】電子カメラ1の内部の電気的構成例を示すブロック図である。
【図7】間引き処理を説明するための図である。
【図8】間引き処理の他の例を示す図である。
【図9】電子カメラ1のLCD6に表示される表示画面例を示す図である。
【図10】関連する情報を再生させる手順を説明するフローチャートである。
【図11】一覧表画面の例を示す図である。
【図12】図11において、サムネイルを選択したときの表示画面例を示す図である。
【図13】図12において、実行キー7Bを押したときの表示画面例を示す図である。
【符号の説明】
1 電子カメラ
2 ファインダ
3 撮影レンズ
4 発光部(ストロボ)
5 スピーカ(再生手段)
6 LCD(再生手段)
6A タッチタブレット(選択手段)
7 操作キー
7A メニューキー
7B 実行キー(指示手段)
7C キャンセルキー
7D デリートキー
7E,7F,7G,7H スクロールキー
8 マイクロホン
9 イヤホンジャック
10 レリーズスイッチ
11 電源スイッチ
12 録音スイッチ
13 連写モード切り換えスイッチ
15 赤目軽減LED
16 測光素子
17 測色素子
20 CCD
21 バッテリ
22 コンデンサ
23 回路基板
24 メモリカード
26 ファインダ内表示素子
30 レンズ駆動回路
31 画像処理部
32 アナログ/ディジタル変換回路(A/D)
33 ディジタルシグナルプロセッサ(DSP)
34 CCD駆動回路
35 フレームメモリ
36 バッファメモリ
37 ストロボ駆動回路
38 赤目軽減LED駆動回路
39 CPU(制御手段)
40 ファインダ内表示回路
41 ペン(選択手段)
42 A/DおよびD/A変換回路
45 タイマ
48 インタフェース
51 測光回路
52 測色回路
53 絞り駆動回路
54 絞り
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information processing device and a storage medium, for example, an information processing device and a storage medium that can easily reproduce related information.
[0002]
[Prior art]
In recent years, instead of using a camera using film, an electronic camera that takes a picture of a subject using a CCD or the like and converts it to digital data and records it in a built-in memory or a removable memory card is used. It is getting to be. Images taken using this electronic camera can be immediately reproduced and displayed on a screen such as an LCD or CRT without being developed and burned as in a conventional camera.
[0003]
In addition, there is a recording device that can record audio or the like in association with an image, and can reproduce the audio and the image simultaneously or separately.
[0004]
[Problems to be solved by the invention]
However, in the case where predetermined information among a plurality of pieces of information related to each other is reproduced, there is a problem that other related information may not be reproduced immediately.
[0005]
The present invention has been made in view of such a situation, and in the case where a plurality of pieces of information related to each other are played back, other related information can be played back immediately. It is.
[0006]
[Means for Solving the Problems]
The information processing apparatus according to claim 1 is a recording unit (for example, a memory card 24 in FIG. 6) that records image data and audio data or line drawing data associated with the image data. Fixedly placed in place, Operated to instruct the reproduction of the image data recorded on the recording means Key (For example, the execution key 7B in FIG. 2), Key Reproduction means (for example, the LCD 6 and the speaker 5 in FIG. 6) for reproducing the image data instructed for reproduction, and during reproduction of the image data instructed for reproduction, Key Control means (for example, CPU 39 in FIG. 6) for controlling the reproduction means so as to reproduce audio data or line drawing data associated with the image data for which reproduction is instructed. .
[0008]
In addition, the control means during the reproduction of the image data instructed to reproduce. Key When the is operated, the reproduction means is controlled to reproduce the audio data or the line drawing data associated with the image data instructed to be reproduced while continuing to reproduce the image data instructed to be reproduced. Can do.
[0009]
In addition, after the playback of the image data for which playback has been instructed has started, Key The reproduction means can be controlled so as to sequentially reproduce the image data instructed to be reproduced and the audio data or the line drawing data associated with the image data instructed to be reproduced every time is operated. .
[0010]
The storage medium according to claim 4 includes recording means for recording image data and audio data or line drawing data associated with the image data; Fixedly placed in place, Operated to instruct the reproduction of the image data recorded on the recording means Key When, Key A program for causing a computer of an information processing apparatus to include a reproducing unit that reproduces image data instructed to reproduce by the processing, during reproduction of image data instructed to reproduce, Key When the is operated, a program including a control step for controlling the reproduction means to reproduce audio data or line drawing data associated with image data instructed to be reproduced is stored.
[0011]
In the information processing apparatus according to claim 1, the recording unit records the audio data or the line drawing data associated with the image data and the image data, Key fixed in place Is operated to instruct the reproduction of the image data recorded in the recording means, and the reproducing means Key The image data instructed to be reproduced is reproduced by the control means, while the control means reproduces the image data instructed to reproduce, Key When is operated, the reproduction means is controlled to reproduce the audio data or the line drawing data associated with the image data instructed to be reproduced.
[0012]
In the storage medium according to claim 4, during the reproduction of the image data instructed to be reproduced, A key that is fixedly arranged at a predetermined position and operated to instruct the reproduction of the image data recorded on the recording means. When the is operated, a program including a control step for controlling the reproducing means to reproduce the audio data or the line drawing data associated with the image data instructed to be reproduced is stored.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0014]
1 and 2 are perspective views showing a configuration example of an embodiment of an electronic camera to which the present invention is applied. In the electronic camera of the present embodiment, when photographing a subject, the surface directed to the subject is the surface X1, and the surface directed to the user side is the surface X2. At the upper end of the surface X1, there are provided a finder 2 used for confirming the photographing range of the subject, a photographing lens 3 for capturing a light image of the subject, and a light emitting portion (strobe) 4 for emitting light for illuminating the subject. .
[0015]
Further, when shooting with the strobe 4 flashing on the surface X1, the operation of the red-eye reduction LED 15 and the CCD 20 (FIG. 4) for stopping the strobe 4 to emit red light and reducing red-eye is stopped. In addition, a photometric element 16 for performing photometry and a colorimetric element 17 for performing color measurement when the operation of the CCD 20 is stopped are provided.
[0016]
On the other hand, at the upper end of the surface X2 facing the surface X1 (the position corresponding to the upper end of the finder 2, the photographing lens 3, and the light emitting unit 4 on the surface X1), the finder 2 and the electronic camera 1 are provided. A speaker 5 is provided for outputting the sound recorded in the. In addition, the LCD 6 and the operation keys 7 formed on the surface X2 are formed vertically below the viewfinder 2, the photographing lens 3, the light emitting unit 4, and the speaker 5. On the surface of the LCD 6, a so-called touch tablet 6 </ b> A that outputs position data corresponding to an instructed position by a touch operation of a pen-type pointing device described later is disposed.
[0017]
The touch tablet 6A is made of a transparent material such as glass or resin, and the user observes an image displayed on the LCD 6 formed inside the touch tablet 6A via the touch tablet 6A. Can do.
[0018]
The operation key 7 is a key that is operated when recording data is reproduced and displayed on the LCD 6. The operation key 7 detects an operation (input) by a user and supplies it to a CPU (central processing unit) 39 (FIG. 6). ing.
[0019]
The menu key 7 </ b> A among the operation keys 7 is a key that is operated when a menu screen is displayed on the LCD 6. The execution key 7B is a key operated when reproducing the recording information selected by the user.
[0020]
The cancel key 7 </ b> C is a key operated when the recording information reproduction process is interrupted. The delete key 7D is a key operated when deleting recorded information. The scroll keys 7E to 7H are keys that are operated when the screen is scrolled up and down when a list of recorded information is displayed on the LCD 6.
[0021]
The surface X2 is provided with a slidable LCD cover 14 that protects the LCD 6 when not in use. As shown in FIG. 3, the LCD cover 14 covers the LCD 6 and the touch tablet 6A when moved in the vertical upward direction. When the LCD cover 14 is moved vertically downward, the LCD 6 and the touch tablet 6A appear, and a power switch 11 (described later) disposed on the surface Y2 is turned on by the arm portion 14A of the LCD cover 14. It is made like that.
[0022]
A surface Z that is the upper surface of the electronic camera 1 is provided with a microphone 8 that collects sound and an earphone jack 9 to which an earphone (not shown) is connected.
[0023]
The left side surface (surface Y1) is provided with a release switch 10 that is operated when imaging a subject and a continuous shooting mode changeover switch 13 that is operated when switching a continuous shooting mode at the time of shooting. The release switch 10 and the continuous shooting mode change-over switch 13 are arranged vertically below the finder 2, the photographing lens 3 and the light emitting unit 4 provided at the upper end of the surface X1.
[0024]
On the other hand, on the surface Y2 (right side surface) facing the surface Y1, a recording switch 12 and a power switch 11 that are operated when recording sound are provided. The recording switch 12 and the power switch 11 are vertically lower than the finder 2, the photographing lens 3 and the light emitting unit 4 provided at the upper end portion of the surface X 1, similarly to the release switch 10 and the continuous shooting mode switching switch 13. Is arranged. Further, the recording switch 12 is formed to have almost the same height as the release switch 10 on the surface Y1, and is configured so as not to feel uncomfortable even if it is held with either the left or right hand.
[0025]
In addition, when one switch is pressed by making the height of the recording switch 12 and the release switch 10 different, if the opposite side is held with a finger in order to cancel the moment due to the pressing force, it is mistakenly The switch provided on the opposite side surface may not be pushed.
[0026]
The continuous shooting mode switch 13 is used when the user presses the release switch 10 to shoot a subject and sets whether to shoot only one frame of the subject or a predetermined plurality of frames. For example, when the pointer of the continuous shooting mode switch 13 is switched to the position where “S” is printed (that is, switched to the S mode), when the release switch 10 is pressed, only one frame is shot. Has been made to be done.
[0027]
Further, when the pointer of the continuous shooting mode switch 13 is switched to the position where “L” is printed (that is, the mode is switched to the L mode), if the release switch 10 is pressed, the release switch 10 During the pressed period, 8 frames are taken per second (that is, the low-speed continuous shooting mode is set).
[0028]
Further, when the pointer of the continuous shooting mode switch 13 is switched to the position where “H” is printed (that is, switched to the H mode), if the release switch 10 is pressed, the release switch 10 During the pressed period, 30 frames are taken per second (that is, the high-speed continuous shooting mode is set).
[0029]
Next, the internal configuration of the electronic camera 1 will be described. FIG. 4 is a perspective view illustrating an internal configuration example of the electronic camera illustrated in FIGS. 1 and 2. The CCD 20 is provided on the rear stage (surface X2 side) of the photographic lens 3, and photoelectrically converts a light image of a subject imaged through the photographic lens 3 into an electrical signal.
[0030]
The in-finder display element 26 is arranged in the field of view of the finder 2 and displays various function setting states and the like to the user who is viewing the subject through the finder 2.
[0031]
Four cylindrical batteries (AA batteries) 21 are vertically arranged on the lower side of the LCD 6, and the electric power stored in the battery 21 is supplied to each part. . Further, a capacitor 22 that accumulates charges for causing the light emitting unit 4 to emit light is disposed along with the battery 21 on the lower side of the LCD 6.
[0032]
On the circuit board 23, various control circuits for controlling each part of the electronic camera 1 are formed. A memory card 24 that can be inserted and removed is provided between the circuit board 23, the LCD 6, and the battery 21, and various information input to the electronic camera 1 is set in advance in the memory card 24, respectively. Is recorded in the area.
[0033]
Further, the LCD switch 25 arranged adjacent to the power switch 11 is a switch that is turned on only while the projection is pressed. When the LCD cover 14 is moved vertically downward, As shown in FIG. 5 (a), the arm portion 14 </ b> A of the LCD cover 14 can be switched on together with the power switch 11.
[0034]
When the LCD cover 14 is positioned vertically upward, the power switch 11 is operated by the user independently of the LCD switch 25. For example, when the LCD cover 14 is closed and the electronic camera 1 is not used, the power switch 11 and the LCD switch 25 are turned off as shown in FIG. In this state, when the user switches the power switch 11 to the on state as shown in FIG. 5C, the power switch 11 is turned on, but the LCD switch 25 remains off. On the other hand, as shown in FIG. 5B, when the LCD cover 14 is opened when the power switch 11 and the LCD switch 25 are in the OFF state, as shown in FIG. The LCD switch 25 is turned on. Thereafter, when the LCD cover 14 is closed, only the LCD switch 25 is turned off as shown in FIG.
[0035]
In this embodiment, the memory card 24 can be inserted and removed, but a memory may be provided on the circuit board 23 so that various types of information can be recorded in the memory. Various information recorded in the memory (memory card 24) may be output to an external personal computer or the like via an interface (not shown).
[0036]
Next, an example of the internal electrical configuration of the electronic camera 1 of the present embodiment will be described with reference to the block diagram of FIG. The CCD 20 provided with a plurality of pixels photoelectrically converts a light image formed on each pixel into an image signal (electric signal). A digital signal processor (hereinafter referred to as DSP) 33 supplies a CCD horizontal drive pulse to the CCD 20 and controls the CCD drive circuit 34 to supply the CCD 20 with a CCD vertical drive pulse.
[0037]
The image processing unit 31 is controlled by the CPU 39 to sample the image signal photoelectrically converted by the CCD 20 at a predetermined timing and amplify the sampled signal to a predetermined level. The CPU 39 controls each unit in accordance with a control program stored in the ROM 43. An analog / digital conversion circuit (hereinafter referred to as A / D conversion circuit) 32 digitizes the image signal sampled by the image processing unit 31 and supplies the digitized signal to the DSP 33.
[0038]
The DSP 33 controls the data bus connected to the buffer memory 36 and the memory card 24, temporarily stores the image data supplied from the A / D conversion circuit 32 in the buffer memory 36, and then stores the image data stored in the buffer memory 36. Data is read out and the image data is recorded on the memory card 24.
[0039]
Further, the DSP 33 stores the image data supplied from the A / D conversion circuit 32 in the frame memory 35 and displays it on the LCD 6, reads out the photographed image data from the memory card 24, decompresses the photographed image data, The decompressed image data is stored in the frame memory 35 and displayed on the LCD 6.
[0040]
Further, the DSP 33 repeatedly operates the CCD 20 while adjusting the exposure time (exposure value) until the exposure level of the CCD 20 reaches an appropriate value when the electronic camera 1 is activated. At this time, the DSP 33 may first operate the photometry circuit 51 and calculate the initial value of the exposure time of the CCD 20 corresponding to the light reception level detected by the photometry element 16. In this way, the exposure time of the CCD 20 can be adjusted in a short time.
[0041]
In addition, the DSP 33 performs data input / output timing management in recording to the memory card 24, storing the decompressed image data in the buffer memory 36, and the like.
[0042]
The buffer memory 36 is used to alleviate the difference between the data input / output speed with respect to the memory card 24 and the processing speed of the CPU 39, DSP 33, and the like.
[0043]
The microphone 8 inputs voice information (collects voice) and supplies the voice information to the A / D and D / A conversion circuit 42.
[0044]
The A / D and D / A conversion circuit 42 converts an analog signal corresponding to the sound detected by the microphone 8 into a digital signal, and then supplies the digital signal to the CPU 39 and the sound data supplied from the CPU 39. An analog audio signal is output to the speaker 5 as an analog signal.
[0045]
The photometric element 16 measures the amount of light in the subject and its surroundings and outputs the measurement result to the photometric circuit 51. The photometry circuit 51 performs predetermined processing on the analog signal that is the photometry result supplied from the photometry element 16, converts the analog signal into a digital signal, and outputs the digital signal to the CPU 39.
[0046]
The color measuring element 17 measures the color temperature of the subject and its surroundings and outputs the measurement result to the color measuring circuit 52. The color measurement circuit 52 performs predetermined processing on the analog signal that is the color measurement result supplied from the color measurement element 17, converts the analog signal into a digital signal, and outputs the digital signal to the CPU 39. Yes.
[0047]
The timer 45 has a built-in clock circuit, and outputs data corresponding to the current time to the CPU 39.
[0048]
The aperture driving circuit 53 is configured to set the aperture diameter of the aperture 54 to a predetermined value. The stop 54 is disposed between the photographing lens 3 and the CCD 20 and changes the aperture of light incident on the CCD 20 from the photographing lens 3.
[0049]
In response to a signal from the LCD switch 25, the CPU 39 stops the operation of the photometric circuit 51 and the colorimetric circuit 52 when the LCD cover 14 is open, and performs photometry when the LCD cover 14 is closed. The circuit 51 and the colorimetric circuit 52 are operated, and the operation of the CCD 20 (for example, an electronic shutter operation) is stopped until the release switch 10 is pressed halfway.
[0050]
When the operation of the CCD 20 is stopped, the CPU 39 controls the photometry circuit 51 and the color measurement circuit 52 to receive the photometry result of the photometry element 16 and receive the color measurement result of the color measurement element 17. .
[0051]
Then, the CPU 39 refers to a predetermined table, calculates a white balance adjustment value corresponding to the color temperature supplied from the color measurement circuit 52, and supplies the white balance adjustment value to the image processing unit 31. ing.
[0052]
That is, when the LCD cover 14 is closed, the LCD 6 is not used as an electronic viewfinder, so that the operation of the CCD 20 is stopped. Since the CCD 20 consumes a lot of power, the power of the battery 21 can be saved by stopping the operation of the CCD 20 in this way.
[0053]
Further, the CPU 39 performs image processing so that the image processing unit 31 does not perform various processes until the release switch 10 is operated when the LCD cover 14 is closed (until the release switch 10 is pressed halfway). The unit 31 is controlled.
[0054]
Further, the CPU 39 operates such that the aperture driving circuit 53 changes the aperture diameter of the aperture 54 until the release switch 10 is operated when the LCD cover 14 is closed (until the release switch 10 is pressed halfway). The aperture driving circuit 53 is controlled so as not to perform the operation.
[0055]
Further, the CPU 39 controls the strobe driving circuit 37 so that the strobe 4 emits light appropriately, and also controls the red-eye reduction LED driving circuit 38 to turn on the red-eye reduction LED 15 before causing the strobe 4 to emit light. It is made to emit light appropriately.
[0056]
Note that the CPU 39 can prevent the flash 4 from emitting light when the LCD cover 14 is open (that is, when the electronic viewfinder is used). In this way, the subject can be photographed in the state of the image displayed on the electronic viewfinder.
[0057]
In accordance with the date / time data supplied from the timer 45, the CPU 39 records information on the date / time of shooting as header information of the image data in the shot image recording area of the memory card 24. (That is, the shooting image data recorded in the shooting image recording area of the memory card 24 is accompanied by shooting date and time data).
[0058]
Further, the CPU 39 compresses the digitized audio information, temporarily stores the digitized and compressed audio data in the buffer memory 36, and then stores it in a predetermined area (audio recording area) of the memory card 24. It is made to record. At this time, recording date and time data is recorded in the audio recording area of the memory card 24 as header information of the audio data.
[0059]
The CPU 39 controls the lens driving circuit 30 and moves the photographing lens 3 to perform an autofocus operation, and also controls the diaphragm driving circuit 53 to control the diaphragm 54 disposed between the photographing lens 3 and the CCD 20. The opening diameter is changed.
[0060]
Further, the CPU 39 controls the in-finder display circuit 40 to display settings in various operations on the in-finder display element 26.
[0061]
The CPU 39 exchanges predetermined data with a predetermined external device (not shown) via an interface (I / F) 48.
[0062]
The CPU 39 receives a signal from the operation key 7 and processes it appropriately.
[0063]
When a predetermined position of the touch tablet 6A is pressed by a pen (pen-type instruction member) 41 operated by the user, the CPU 39 reads the XY coordinates of the pressed position of the touch tablet 6A, and the coordinate data (described later). Memo information) is stored in the buffer memory 36. The CPU 39 records the memo information stored in the buffer memory 36 in the memo information recording area of the memory card 24 together with the header information of the memo information input date and time.
[0064]
Next, various operations of the electronic camera 1 according to the present embodiment will be described. First, the electronic viewfinder operation in the LCD 6 of this apparatus will be described.
[0065]
When the user presses the release switch 10 halfway, the DSP 33 determines whether the LCD cover 14 is open from the value of the signal supplied from the CPU 39 and corresponding to the state of the LCD switch 25. If it is determined that is closed, the electronic viewfinder operation is not performed. In this case, the DSP 33 stops the processing until the release switch 10 is operated.
[0066]
When the LCD cover 14 is closed, the electronic viewfinder operation is not performed, so the CPU 39 stops the operations of the CCD 20, the image processing unit 31, and the aperture driving circuit 53. Then, instead of stopping the CCD 20, the CPU 39 operates the photometry circuit 51 and the color measurement circuit 52 and supplies the measurement results to the image processing unit 31. The image processing unit 31 uses these measurement result values when performing white balance control or luminance value control.
[0067]
When the release switch 10 is operated, the CPU 39 causes the CCD 20 and the aperture driving circuit 53 to operate.
[0068]
On the other hand, when the LCD cover 14 is opened, the CCD 20 performs an electronic shutter operation at a predetermined exposure time every predetermined time, photoelectrically converts the light image of the subject condensed by the photographing lens 3, and The image signal obtained by the operation is output to the image processing unit 31.
[0069]
The image processing unit 31 performs white balance control and luminance value control, performs predetermined processing on the image signal, and then outputs the image signal to the A / D conversion circuit 32. When the CCD 20 is operating, the image processing unit 31 uses the adjustment value used for white balance control and luminance value control calculated by the CPU 39 using the output of the CCD 20.
[0070]
The A / D conversion circuit 32 converts the image signal (analog signal) into image data that is a digital signal, and outputs the image data to the DSP 33.
[0071]
The DSP 33 outputs the image data to the frame memory 35 and causes the LCD 6 to display an image corresponding to the image data.
[0072]
As described above, in the electronic camera 1, when the LCD cover 14 is open, the CCD 20 performs an electronic shutter operation at a predetermined time interval, and each time the signal output from the CCD 20 is converted into image data. The electronic viewfinder operation is performed by outputting the image data to the frame memory 35 and continuously displaying the subject image on the LCD 6.
[0073]
Further, as described above, when the LCD cover 14 is closed, the electronic viewfinder operation is not performed, and the operations of the CCD 20, the image processing unit 31, and the aperture driving circuit 53 are stopped to save power consumption. ing.
[0074]
Next, shooting of a subject by this apparatus will be described.
[0075]
First, a case where the continuous shooting mode changeover switch 13 provided on the surface Y1 is switched to the S mode (a mode in which only one frame is shot) will be described. First, the power switch 11 shown in FIG. 1 is switched to the side where “ON” is printed to turn on the electronic camera 1. When the subject is confirmed with the finder 2 and the release switch 10 provided on the surface Y1 is pressed, the photographing process of the subject is started.
[0076]
When the LCD cover 14 is closed, when the release switch 10 is half-pressed, the CPU 39 restarts the operations of the CCD 20, the image processing unit 31, and the aperture drive circuit 53, and the release switch 10 When is fully pressed, the subject photographing process is started.
[0077]
An optical image of a subject observed with the finder 2 is condensed by the photographing lens 3 and formed on a CCD 20 having a plurality of pixels. The optical image of the subject imaged on the CCD 20 is photoelectrically converted into an image signal at each pixel and sampled by the image processing unit 31. The image signal sampled by the image processing unit 31 is supplied to the A / D conversion circuit 32 where it is digitized and output to the DSP 33.
[0078]
The DSP 33 once outputs the image data to the buffer memory 36, then reads the image data from the buffer memory 36, and follows a JPEG (Joint Photographic Experts Group) system that combines discrete cosine transform, quantization, and Huffman coding. The compressed image is recorded in the captured image recording area of the memory card 24. At this time, shooting date / time data is recorded in the shot image recording area of the memory card 24 as header information of the shot image data.
[0079]
When the continuous shooting mode switch 13 is switched to the S mode, only one frame is shot, and no further shooting is performed even if the release switch 10 is continuously pressed. When the release switch 10 is continuously pressed, the captured image is displayed on the LCD 6 when the LCD cover 14 is open.
[0080]
Secondly, a case where the continuous shooting mode switch 13 is switched to the L mode (a mode for performing continuous shooting of 8 frames per second) will be described. When the electronic switch 1 is turned on by switching the power switch 11 to the side printed “ON” and the release switch 10 provided on the surface Y1 is pressed, the photographing process of the subject is started.
[0081]
When the LCD cover 14 is closed, when the release switch 10 is half-pressed, the CPU 39 restarts the operations of the CCD 20, the image processing unit 31, and the aperture drive circuit 53, and the release switch 10 When is fully pressed, the subject photographing process is started.
[0082]
The light image of the subject observed with the viewfinder 2 is collected by the photographing lens 3 and formed on the CCD 20 having a plurality of pixels. The light image of the subject imaged on the CCD 20 is photoelectrically converted into an image signal at each pixel, and is sampled by the image processing unit 31 at a rate of 8 times per second. At this time, the image processing unit 31 thins out three-fourths of the image electrical signals of all the pixels of the CCD 20.
[0083]
That is, the image processing unit 31 divides the pixels of the CCD 20 arranged in a matrix into areas each having 2 × 2 pixels (four pixels) as shown in FIG. The image signal of one pixel arranged at a predetermined position is sampled, and the remaining three pixels are thinned out.
[0084]
For example, at the time of the first sampling (first frame), the pixel a at the upper left of each region is sampled, and the other pixels b, c, d are thinned out. At the time of the second sampling (second frame), the upper right pixel b in each region is sampled, and the other pixels a, c, and d are thinned out. Hereinafter, at the time of the third sampling and the fourth sampling, the lower left pixel c and the lower right pixel d are sampled, and the other pixels are thinned out. That is, each pixel is sampled every four frames.
[0085]
The image signal sampled by the image processing unit 31 (image signal of one-fourth of all the pixels of the CCD 20) is supplied to the A / D conversion circuit 32, where it is digitized and output to the DSP 33.
[0086]
The DSP 33 once outputs the digitized image signal to the buffer memory 36, reads the image signal, compresses it according to the JPEG method, and then converts the digitized and compressed photographed image data to the photographed image of the memory card 24. Record in the recording area. At this time, shooting date / time data is recorded in the shot image recording area of the memory card 24 as header information of the shot image data.
[0087]
Thirdly, a case where the continuous shooting mode changeover switch 13 is switched to the H mode (a mode for performing continuous shooting of 30 frames per second) will be described. When the electronic switch 1 is turned on by switching the power switch 11 to the side printed “ON” and the release switch 10 provided on the surface Y1 is pressed, the photographing process of the subject is started.
[0088]
When the LCD cover 14 is closed, when the release switch 10 is half-pressed, the CPU 39 restarts the operations of the CCD 20, the image processing unit 31, and the aperture drive circuit 53, and the release switch 10 When is fully pressed, the subject photographing process is started.
[0089]
An optical image of a subject observed with the finder 2 is condensed by the photographing lens 3 and formed on the CCD 20. An optical image of a subject formed on the CCD 20 having a plurality of pixels is photoelectrically converted into an image signal at each pixel, and is sampled by the image processing unit 31 at a rate of 30 times per second. At this time, the image processing unit 31 thins out 8/9 pixels of the image electrical signals of all the pixels of the CCD 20.
[0090]
That is, the image processing unit 31 divides the pixels of the CCD 20 arranged in a matrix into areas each having 3 × 3 pixels as shown in FIG. The image electrical signal of one arranged pixel is sampled at a rate of 30 times per second, and the remaining 8 pixels are thinned out.
[0091]
For example, at the time of the first sampling (first frame), the upper left pixel a of each region is sampled, and the other pixels b to i are thinned out. At the time of the second sampling (second frame), the pixel b arranged on the right side of the pixel a is sampled, and the other pixels a, c to i are thinned out. Hereinafter, in the third and subsequent samplings, the pixel c, the pixel d,... Are sampled, and the other pixels are thinned out. That is, each pixel is sampled every nine frames.
[0092]
The image signal sampled by the image processing unit 31 (image signal of 1/9 of all the pixels of the CCD 20) is supplied to the A / D conversion circuit 32, where it is digitized and output to the DSP 33.
[0093]
The DSP 33 once outputs the digitized image signal to the buffer memory 36, reads the image signal, compresses it according to the JPEG method, and then converts the digitized and compressed photographed image data to the header information of the photographing date and time. Along with this, the image is recorded in the captured image recording area of the memory card 24.
[0094]
If necessary, the strobe 4 can be operated to irradiate the subject with light. However, when the LCD cover 14 is open, that is, when the LCD 6 is performing an electronic viewfinder operation, the CPU 39 can control the strobe 4 not to emit light.
[0095]
Next, an operation when inputting two-dimensional information (pen input information) from the touch tablet 6A will be described.
[0096]
When the touch tablet 6 </ b> A is pressed with the pen tip of the pen 41, the XY coordinates of the contacted part are input to the CPU 39. The XY coordinates are stored in the buffer memory 36. In addition, data can be written in locations corresponding to the respective points of the XY coordinates in the frame memory 35, and a memo corresponding to the touch of the pen 41 can be displayed at the XY coordinates of the LCD 6.
[0097]
As described above, since the touch tablet 6A is made of a transparent member, the user can observe a point displayed on the LCD 6 (a point at a position pressed by the pen tip of the pen 41). It can be felt as if the pen input was made directly on the LCD 6. When the pen 41 is moved on the touch tablet 6 </ b> A, a line accompanying the movement of the pen 41 is displayed on the LCD 6. Further, when the pen 41 is moved intermittently on the touch tablet 6 </ b> A, a broken line accompanying the movement of the pen 41 is displayed on the LCD 6. As described above, the user inputs memo information such as desired characters and figures on the touch tablet 6A (LCD 6).
[0098]
In addition, when a photographic information is displayed on the LCD 6, when memo information is input by the pen 41, the memo information is combined with the photographic image information in the frame memory 35 and displayed on the LCD 6 at the same time. .
[0099]
The user can select a color of the memo displayed on the LCD 6 from black, white, red, blue, and the like by operating a predetermined palette 100.
[0100]
When the execution key 7B of the operation key 7 is pressed after the memo information is input to the touch tablet 6A by the pen 41, the memo information stored in the buffer memory 36 is supplied to the memory card 24 together with the header information of the input date and time. , Recorded in the memo information recording area of the memory card 24.
[0101]
Note that the memo information recorded in the memory card 24 is information subjected to compression processing. Since the memo information input to the touch tablet 6A includes a large amount of information having a high spatial frequency component, if compression processing is performed by the JPEG method used for compression of the captured image, the compression efficiency is low and the amount of information is not reduced. This increases the time required for compression and decompression. Furthermore, since compression using the JPEG method is irreversible compression, it is not suitable for compression of memo information with a small amount of information (when decompressed and displayed on the LCD 6, gathers and blurs due to missing information are prominent). To end up).
[0102]
Therefore, in the present embodiment, the memo information is compressed by a run length method used in a fax or the like. In the run length method, the memo screen is scanned in the horizontal direction, the length of information (points) for each color such as black, white, red, and blue, and the length of no information (portion without pen input). This is a method of compressing memo information by encoding the length.
[0103]
By using this run length method, it is possible to compress the memo information to the minimum, and even when the compressed memo information is expanded, it is possible to suppress the loss of information. Note that the memo information may be not compressed when the amount of information is relatively small.
[0104]
Further, as described above, when a photographic image is displayed on the LCD 6, when pen input is performed, the photographic image data and the memo information of the pen input are combined in the frame memory 35, and the combined image of the photographic image and the memo is obtained. Is displayed on the LCD 6. On the other hand, in the memory card 24, the photographed image data is recorded in the photographed image recording area, and the memo information is recorded in the memo information recording area. In this way, since the two pieces of information are recorded in different areas, the user can delete one of the images (for example, a memo) from the combined image of the photographed image and the memo, and each The image information can also be compressed by an individual compression method.
[0105]
When data is recorded in the voice recording area, the photographed image recording area, or the memo information recording area of the memory card 24, the list can be displayed on the LCD 6, as shown in FIG.
[0106]
On the display screen of the LCD 6 shown in FIG. 9, the date when the information was recorded (recorded date) (in this case, November 1, 1996) is displayed at the upper end of the screen, and the recorded year The number (file number) of the information recorded on the month and day and the recording time are displayed on the left side of the screen.
[0107]
A thumbnail image is displayed on the right side of the recording time. This thumbnail image is created by thinning out (reducing) the bitmap data of each image data of the photographed image data recorded in the memory card 24. Information with this display is information including photographed image information. That is, the information recorded (input) at “10:16” and “10:21” includes photographed image information, and the information recorded at other times includes image information. Not included.
[0108]
A memo icon “□” represents that a predetermined memo is recorded as line drawing information.
[0109]
A sound icon (note) is displayed on the right side of the thumbnail image display area, and the recording time (unit: seconds) is displayed on the right side of it (if no sound information is input, these are Do not show).
[0110]
As shown in FIG. 9, the user selects and designates information to be reproduced by pressing a desired voice icon in the list displayed on the LCD 6 with the pen tip of the pen 41, and the execution key 7B shown in FIG. Is pressed with the pen tip of the pen 41 to reproduce the selected information.
[0111]
For example, when the voice icon displaying “10:16” shown in FIG. 9 is pressed by the pen 41, the CPU 39 stores the voice data corresponding to the selected recording date and time (10:16) in the memory card. 24, and the audio data is expanded and supplied to the A / D and D / A conversion circuit 42. The A / D and D / A conversion circuit 42 converts the supplied audio data into an analog signal and reproduces it through the speaker 5.
[0112]
When playing back the captured image data recorded in the memory card 24, the user selects the desired thumbnail image by pressing the pen tip of the pen 41, and presses the execution key 7B to play back the selected information. .
[0113]
That is, the CPU 39 instructs the DSP 33 to read out the photographed image data corresponding to the photographing date / time of the selected thumbnail image from the memory card 24. The DSP 33 expands the photographed image data (compressed photographed image data) read from the memory card 24, stores the photographed image data in the frame memory 35 as bitmap data, and displays it on the LCD 6.
[0114]
The image shot in the S mode is displayed on the LCD 6 as a still image. It goes without saying that this still image is a reproduction of the image signal of all the pixels of the CCD 20.
[0115]
Images taken in the L mode are continuously displayed on the LCD 6 at a rate of 8 frames per second. At this time, the number of pixels displayed in each frame is a quarter of the total number of pixels of the CCD 20.
[0116]
Normally, the human eye reacts sensitively to degradation of the resolution of a still image, and thus thinning out still image pixels is perceived by the user as degradation of image quality. However, when the continuous shooting speed at the time of shooting is increased and 8 frames are shot per second in the L mode and this image is reproduced at a speed of 8 frames per second, the number of pixels of each frame is the number of pixels of the CCD 20. Although it is a quarter of the number, since the human eye observes eight frames of images per second, the amount of information that enters the human eye per second is twice that of a still image.
[0117]
That is, if the number of pixels of one frame of an image shot in the S mode is 1, the number of pixels of one frame of the image shot in the L mode is ¼. When an image (still image) shot in the S mode is displayed on the LCD 6, the amount of information that enters the human eye per second is 1 (= (number of pixels 1) × (number of frames 1)). On the other hand, when an image shot in the L mode is displayed on the LCD 6, the amount of information that enters the human eye per second is 2 (= (number of pixels 1/4) × (number of frames 8)) (that is, The human eye contains twice as much information as still images). Therefore, even when the number of pixels in one frame is reduced to ¼, the user can observe the reproduced image without much concern for the deterioration of the image quality during reproduction.
[0118]
Furthermore, in the present embodiment, different pixels are sampled for each frame, and the sampled pixels are displayed on the LCD 6, so that an afterimage effect occurs in the human eye and three-quarters per frame. Even if the pixels are thinned out, the user can observe the image shot in the L mode displayed on the LCD 6 without much concern about the deterioration of the image quality.
[0119]
In addition, images taken in the H mode are continuously displayed on the LCD 6 at a rate of 30 frames per second. At this time, the number of pixels displayed in each frame is 1/9 of the total number of pixels of the CCD 20, but for the same reason as in the L mode, the user does not care much about the deterioration of the image quality. An image taken in the H mode displayed on the LCD 6 can be observed.
[0120]
In this embodiment, when the subject is imaged in the L mode and the H mode, the image processing unit 31 thins out the pixels of the CCD 20 to such an extent that the image quality is not deteriorated during reproduction. The load can be reduced, and the DSP 33 can be operated at low speed and low power. In addition, this makes it possible to reduce the cost and power consumption of the apparatus.
[0121]
By the way, in the present embodiment, as described above, not only a light image of a subject but also memo (line drawing) information can be recorded. In the present embodiment, modes for inputting these information (photographing mode and memo input mode) are provided, and these modes are appropriately selected according to the user's operation, and the information input is executed smoothly. It is made so that.
[0122]
Next, with reference to the flowchart of FIG. 10, an operation in the case of reproducing related information by operating the execution key 7B when arbitrary information is being reproduced will be described.
[0123]
First, in step S1, a list screen (thumbnail screen) as shown in FIG. Next, in step S2, an arbitrary information file is selected by picking the file number in the list screen using the pen 41. Alternatively, predetermined information is selected by picking a voice icon, a memo icon, or a thumbnail image using the pen 41. Here, for example, it is assumed that a thumbnail image in an information file having a file number 1 consisting of image information, line drawing information, and audio information is selected.
[0124]
In step S3, the execution key 7B is pressed with the pen 41 or the like in order to confirm the selection in step S2. Accordingly, the process proceeds to step S4, and the CPU 39 instructs the DSP 33 to read an image corresponding to the selected thumbnail image from the memory card 24. The DSP 33 reads an image corresponding to the selected thumbnail image stored in the memory card 24 in accordance with a command from the CPU 39. The read image is once transferred to the buffer memory 36.
[0125]
The image transferred to the buffer memory 36 is supplied to the frame memory 35 via the CPU control bus, and a screen as shown in FIG. In the case of this example, an image corresponding to the selected thumbnail image and a sound icon indicating that sound information associated with the image is recorded are displayed.
[0126]
Next, in step S5, it is determined whether or not the execution key 7B has been pressed. If it is determined that the execution key 7B has been pressed, the process proceeds to step S6, and whether or not other related information is included in the information file including the selected information (thumbnail image in this example). Determined. If it is determined that other related information is included, in step S7, the other related information is reproduced. In the case of this example, the line drawing information and audio information related to the thumbnail image are included in the information file including the selected thumbnail image. For example, the line drawing information is first reproduced.
[0127]
That is, the CPU 39 reads line drawing information from the line drawing information storage area of the memory card 24 and writes the bitmap image in the frame memory 35. As a result, as shown in FIG. 13, the line drawing information is displayed so as to overlap the image information. After the process in step S7 is completed, or in step S6, if it is determined that no other related information is included in the information file including the selected information, the process returns to step S5, and the processes after step S5 are performed. Repeatedly executed.
[0128]
In this example, it is assumed that the execution key 7B is pressed again. Accordingly, it is determined in step S5 that the execution key 7B has been pressed, the process proceeds to step S6, and it is determined whether or not other related information is included in the information file including the selected information (thumbnail image). The In the case of this example, there is the line drawing information and audio information related to the image displayed on the LCD 6, and the line drawing information has already been displayed on the screen of the LCD 6 as described above. Is played.
[0129]
That is, the CPU 39 reads audio information related to the image currently displayed on the LCD 6 from the memory card 24 and supplies it to the A / D and D / A conversion circuit 42 via the CPU control bus. The A / D and D / A conversion circuit 42 converts the audio information supplied from the memory card 24 via the CPU control bus into an analog audio signal and reproduces it via the speaker 5. As a result, the sound related to the image and the line drawing displayed on the LCD 6 is output from the speaker 5.
[0130]
Then, it returns to step S5 and the process after step S5 is repeatedly performed.
[0131]
If it is determined in step S5 that the execution key 7B has not been pressed, the process proceeds to step S8 to determine whether or not another key has been pressed. If it is determined that no other key has been pressed, the process returns to step S5, and the processes after step S5 are repeatedly executed. On the other hand, if it is determined that another key has been pressed, the corresponding process is executed in step S9, and then the process ends.
[0132]
As described above, when the predetermined information in the information file made up of a plurality of related information is being played back, the other related information is played back sequentially only by pressing the execution key 7B. Can do. At this time, in the case where the information is such that the reproduction ends when a predetermined time elapses after the start of reproduction, such as audio information, it can be repeatedly reproduced every time the execution key 7B is pressed.
[0133]
When a file number is selected, only the image information included in the information file with the selected file number is first played back, and other related information is played back sequentially each time the execution key 7B is pressed. You can make it.
[0134]
For example, when an information file with a file number of 1 is selected on the list screen shown in FIG. 11, first, image information in the information file with a file number of 1 is reproduced and the corresponding image is displayed on the LCD 6. . When the execution key 7B is pressed, the related line drawing information is reproduced, and the corresponding line drawing is displayed on the LCD 6. When the execute key 7B is further pressed, related audio information is reproduced and output from the speaker 5. Thereafter, each time the execution key 7B is pressed, the audio information is reproduced.
[0135]
Alternatively, when an information file with a file number of 1 is selected on the list screen shown in FIG. 11, first, image information in the information file with a file number of 1 is reproduced and the corresponding image is displayed on the LCD 6. . When the execution key 7B is pressed, the currently displayed image is erased from the screen, the line drawing information related to the image is reproduced, and the corresponding line drawing is displayed. When the execution key 7B is further pressed, the currently displayed line drawing is erased from the screen, and the related audio information is reproduced. Thereafter, every time the execution key 7B is pressed, images are reproduced in the order of image, line drawing, and sound.
[0136]
A program for causing the CPU 39 to perform the processing shown in the flowchart of FIG. 10 can be stored in the ROM 43 or the memory card 24 of the electronic camera 1. The program may be supplied to the user in a state stored in the ROM 43 or the memory card 24 in advance, or a CD-ROM (compact disc) so that the program can be copied to the ROM 43 or the memory card 24. -read only memory) may be supplied to the user. In this case, the ROM 43 is configured by, for example, an electrically rewritable EEPROM (electrically erasable and programmable read only memory).
[0137]
In addition, the screen layout of LCD6 in the said embodiment is an example, Comprising: It is not limited to this.
[0138]
In the above embodiment, when image information is being reproduced, when the execution key 7B is pressed, the line drawing information is first reproduced, and then when the execution key 7B is pressed, the audio information is However, the information is not limited to this order, and information can be reproduced in any other order.
[0139]
【The invention's effect】
According to the information processing apparatus of the first aspect, the control unit is configured to reproduce the image data instructed to be reproduced. A key that is fixedly arranged at a predetermined position and operated to instruct the reproduction of the image data recorded on the recording means. Since the playback means is controlled to play back audio data or line drawing data associated with image data for which playback has been instructed, related information can be played back with a simple operation. .
[0140]
According to the storage medium of the fourth aspect, during the reproduction of the image data instructed to be reproduced, A key that is fixedly arranged at a predetermined position and operated to instruct the reproduction of the image data recorded on the recording means. Since the program including the control step for controlling the reproduction means to reproduce the audio data or the line drawing data associated with the image data instructed to be reproduced is stored when the is operated, the related information can be simplified. Can be played with simple operation.
[Brief description of the drawings]
FIG. 1 is a perspective view of an embodiment of an electronic camera to which the present invention is applied as viewed from the front side.
FIG. 2 is a perspective view of the electronic camera 1 viewed from the back side with the LCD cover 14 opened.
3 is a perspective view of the electronic camera 1 viewed from the back side with the LCD cover 14 closed. FIG.
FIG. 4 is a diagram illustrating an internal configuration example of the electronic camera 1;
FIG. 5 is a diagram for explaining operations of the LCD switch 25 and the LCD cover 14 of the electronic camera 1;
6 is a block diagram showing an example of an electrical configuration inside the electronic camera 1. FIG.
FIG. 7 is a diagram for explaining a thinning process;
FIG. 8 is a diagram illustrating another example of the thinning process.
9 is a diagram showing an example of a display screen displayed on the LCD 6 of the electronic camera 1. FIG.
FIG. 10 is a flowchart illustrating a procedure for reproducing related information.
FIG. 11 is a diagram showing an example of a list screen.
12 is a diagram showing an example of a display screen when a thumbnail is selected in FIG.
FIG. 13 is a diagram showing an example of a display screen when the execution key 7B is pressed in FIG.
[Explanation of symbols]
1 Electronic camera
2 Finder
3 Shooting lens
4 Light emitting part (strobe)
5 Speaker (reproduction means)
6 LCD (reproduction means)
6A touch tablet (selection means)
7 Operation keys
7A Menu key
7B execution key (instruction means)
7C Cancel key
7D Delete key
7E, 7F, 7G, 7H Scroll key
8 Microphone
9 Earphone jack
10 Release switch
11 Power switch
12 Recording switch
13 Continuous shooting mode switch
15 Red-eye reduction LED
16 Photometric element
17 Color measuring element
20 CCD
21 battery
22 capacitors
23 Circuit board
24 memory card
26 Display element in the viewfinder
30 Lens drive circuit
31 Image processing unit
32 Analog / digital conversion circuit (A / D)
33 Digital Signal Processor (DSP)
34 CCD drive circuit
35 frame memory
36 Buffer memory
37 Strobe drive circuit
38 Red-eye reduction LED drive circuit
39 CPU (control means)
40 Display circuit in the viewfinder
41 Pen (selection means)
42 A / D and D / A conversion circuit
45 timer
48 interface
51 Metering circuit
52 Colorimetric circuit
53 Aperture drive circuit
54 Aperture

Claims (4)

画像データおよび前記画像データと関連づけられた音声データまたは線画データを記録する記録手段と、
所定の位置に固定配置され、前記記録手段に記録された画像データの再生を指示するために操作されるキーと、
前記キーにより再生が指示された画像データを再生する再生手段と、
前記再生が指示された画像データの再生中に、前記キーが操作されたとき、前記再生が指示された画像データと関連づけられた音声データまたは線画データを再生するように前記再生手段を制御する制御手段と
を備えることを特徴とする情報処理装置。
Recording means for recording image data and audio data or line drawing data associated with the image data;
A key fixedly arranged at a predetermined position and operated to instruct reproduction of image data recorded in the recording means;
Reproduction means for reproducing image data instructed to be reproduced by the key ;
Control for controlling the reproducing means to reproduce audio data or line drawing data associated with the image data instructed to be reproduced when the key is operated during reproduction of the image data instructed to reproduce. An information processing apparatus comprising: means.
前記制御手段は、前記再生が指示された画像データの再生中に前記キーが操作されたとき、前記再生が指示された画像データの再生を継続したまま、前記再生が指示された画像データと関連づけられた音声データまたは線画データを再生するように前記再生手段を制御する
ことを特徴とする請求項1に記載の情報処理装置。
When the key is operated during the reproduction of the image data instructed to reproduce, the control means associates the image data instructed with the reproduction while continuing the reproduction of the image data instructed to reproduce. The information processing apparatus according to claim 1, wherein the reproduction unit is controlled to reproduce the audio data or the line drawing data.
前記制御手段は、前記再生が指示された画像データの再生が開始された後、前記キーが操作される毎に、前記再生が指示された画像データ、および、前記再生が指示された画像データと関連づけられた音声データまたは線画データを順次再生するように前記再生手段を制御する
ことを特徴とする請求項1に記載の情報処理装置。
Each time the key is operated after the reproduction of the image data instructed to be reproduced is started, the control means includes the image data instructed to reproduce and the image data instructed to reproduce. The information processing apparatus according to claim 1, wherein the reproduction unit is controlled so as to sequentially reproduce the associated audio data or line drawing data.
画像データおよび前記画像データと関連づけられた音声データまたは線画データを記録する記録手段と、所定の位置に固定配置され、前記記録手段に記録された画像データの再生を指示するために操作されるキーと、前記キーにより再生が指示された画像データを再生する再生手段とを備える情報処理装置のコンピュータに処理を実行させるプログラムであって、
前記再生が指示された画像データの再生中に、前記キーが操作されたとき、前記再生が指示された画像データと関連づけられた音声データまたは線画データを再生するように前記再生手段を制御する制御ステップを
含むプログラムが記憶されていることを特徴とする記憶媒体。
Recording means for recording image data and audio data or line drawing data associated with the image data, and a key fixedly arranged at a predetermined position and operated to instruct reproduction of the image data recorded in the recording means A program for causing a computer of an information processing apparatus to execute processing, and a reproducing means for reproducing image data instructed to reproduce by the key ,
Control for controlling the reproduction means to reproduce audio data or line drawing data associated with the image data instructed to be reproduced when the key is operated during reproduction of the image data instructed to be reproduced. A storage medium in which a program including steps is stored.
JP09690597A 1997-04-15 1997-04-15 Information processing apparatus and storage medium Expired - Lifetime JP4437562B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP09690597A JP4437562B2 (en) 1997-04-15 1997-04-15 Information processing apparatus and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP09690597A JP4437562B2 (en) 1997-04-15 1997-04-15 Information processing apparatus and storage medium

Publications (2)

Publication Number Publication Date
JPH10290433A JPH10290433A (en) 1998-10-27
JP4437562B2 true JP4437562B2 (en) 2010-03-24

Family

ID=14177390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09690597A Expired - Lifetime JP4437562B2 (en) 1997-04-15 1997-04-15 Information processing apparatus and storage medium

Country Status (1)

Country Link
JP (1) JP4437562B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4649050B2 (en) 2001-03-13 2011-03-09 キヤノン株式会社 Image processing apparatus, image processing method, and control program
JP5526620B2 (en) * 2009-06-25 2014-06-18 株式会社ニコン Digital camera

Also Published As

Publication number Publication date
JPH10290433A (en) 1998-10-27

Similar Documents

Publication Publication Date Title
JP4239041B2 (en) Electronic camera, electronic camera control method, and recording medium
JP3899497B2 (en) Electronic camera, electronic camera control method, and recording medium
US20110285650A1 (en) Apparatus for recording and reproducing plural types of information, method and recording medium for controlling same
US6327423B1 (en) Information processing apparatus and recording medium
JPH10313444A (en) Information processing unit and recording medium
JP4408456B2 (en) Information processing device
JPH10228483A (en) Information processor
JPH10224684A (en) Information processing unit
JP4570171B2 (en) Information processing apparatus and recording medium
JPH10224745A (en) Information processing unit
JP3918228B2 (en) Information processing apparatus and recording medium
JP4671989B2 (en) camera
JP4045377B2 (en) Information processing apparatus and recording medium
JP4437562B2 (en) Information processing apparatus and storage medium
JP4423681B2 (en) Information processing apparatus and recording medium
JP2008065851A (en) Information processing apparatus and recording medium
JP4558108B2 (en) Information processing apparatus, information processing method, and recording medium
JP4360395B2 (en) Information processing device
JPH11341454A (en) Image information processor, information processor and recording medium
JP4492890B2 (en) Digital camera
JP4038842B2 (en) Information processing device
JPH10224690A (en) Information processing unit and recording medium
JP4397055B2 (en) Electronic camera
JP4571111B2 (en) Information processing apparatus and recording medium
JP4310711B2 (en) Information processing apparatus and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061027

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070330

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070531

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070723

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20080314

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091224

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140115

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term