JP4097567B2 - Information recording / reproducing device - Google Patents
Information recording / reproducing device Download PDFInfo
- Publication number
- JP4097567B2 JP4097567B2 JP2003165215A JP2003165215A JP4097567B2 JP 4097567 B2 JP4097567 B2 JP 4097567B2 JP 2003165215 A JP2003165215 A JP 2003165215A JP 2003165215 A JP2003165215 A JP 2003165215A JP 4097567 B2 JP4097567 B2 JP 4097567B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- frame
- sight
- black eye
- information recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、視線検出部を有する情報記録再生装置に関し、特に、記録媒体に記録されている情報ファイルの再生中に、情報ファイル内の特定のフレームを素早く検索する情報記録再生装置に関する。
【0002】
【従来の技術】
従来技術おける情報記録再生装置においては、ユーザーが記録媒体に記録されている情報ファイルの再生を途中で終了した後、後日前記記録媒体に記録されている情報ファイルの続きを見ようとすると、そのファイルの最初から再生を開始し、そのファイルの所望のフレームまで早送りしたりすることにより、そのフレームを検索していた。また、従来技術において、過去に再生したことのあるフレームを特定できる再生済み情報を保持する保持手段が開示されている(特許文献1参照)。
【0003】
【特許文献1】
特開平11−176096号公報
【0004】
【発明が解決しようとする課題】
しかし、上述の従来技術における情報記録再生装置では、記録媒体に記録されている情報ファイルを再生するたびに、ユーザーが早送りなどの機能を用いて既に再生済のフレームや未再生のフレームを探すという手間がかかるという問題がある。一方、上記特許文献1(特開平11−176096号公報)に記載の技術においては、再生したかどうかを記録することが出来るだけであり、ユーザーが実際に見たかどうか、即ち、再生したかどうかの判断が出来ないという問題がある。例えば、再生途中にユーザーが寝てしまい記録媒体に記録されている情報を最後まで再生したとすると、上述の技術では再生済みと記録されてしまい実際にはユーザーが見ていないフレームにもかかわらず消去の対象になったりするという問題がある。
【0005】
そこで、本発明は、上記述べたような従来技術の問題点に鑑みてなされたものであり、ユーザーが情報ファイル内の再生済のフレームや未再生のフレームを素早く検索することを可能とする情報記録再生装置を提供するものである。
【0006】
【課題を解決するための手段】
本発明に係る情報記録再生装置は、ユーザーの視線の有無を示す視線検出信号を出力する視線検出部と、記録媒体に記録されている情報ファイルのフレームを再生する際に、前記視線検出部からの視線有無状態を前記フレーム毎に記録する記録再生制御手段と、を備えたことを特徴とする。
【0007】
本発明に係る情報記録再生装置は、前記フレームを再生する際に、前記記録再生制御手段により、前記フレームに記録されている前記視線有無状態を読み出し、所定の期間前記視線有状態が記録されているフレームを読み飛ばしするスキップ制御手段を備えたことを特徴とする。
【0008】
本発明に係る情報記録再生装置は、前記スキップ制御手段が、前記視線検出信号有無状態が記録されている時間と比較するための閾値時間を設け、前記閾値時間以上前記視線検出信号有状態が記録されている時間を有する前記フレームを確実に読み飛ばしすることを特徴とする。
【0009】
本発明に係る情報記録再生装置は、前記スキップ制御手段が、前記視線有無状態が記録されている時間と比較するための閾値時間を設け、前記閾値時間以上前記視線有状態が記録されている時間を有する前記フレームを読み飛ばしすることを特徴とする。
【0010】
本発明に係る情報記録再生装置は、前記閾値時間を変更する閾値時間設定変更制御手段を備え、前記閾値時間設定変更制御手段が、前記スキップ制御手段に対して、前記フレームの内容に応じて前記フレームを読み飛ばしするように、前記閾値時間を変更することを特徴とする。
【0011】
本発明の情報記録再生装置によれば、情報ファイルのフレーム検索する上で、検索していないフレームの視線検出信号無状態の時間と閾値時間とを比較することで、検索していないフレームを検索したと判断するような誤判定を防止することができる。さらに、情報ファイルの内容に応じて、上記閾値時間を変更することもでき、誤判定の低減を図ることも可能である。
【0012】
本発明に係る情報記録再生装置は、前記情報ファイルのフレームに記録されている前記視線検出信号有無状態を全て無状態とする視線クリア制御手段を備えたことを特徴とする。
【0013】
本発明の情報記録再生装置によれば、何度も再生した情報ファイルを別のユーザーが検索する場合、初めて再生するファイルと同様に扱うことができる。
【0014】
本発明に係る情報記録再生装置は、ユーザーに対して、前記視線有無状態が検索又は未検索されたフレームであるかを確認させるために、前記フレームを表示するディスプレイ上に、前記視線有無状態を表示する視線表示制御手段を備えたことを特徴とする。
【0015】
本発明に係る情報記録再生装置は、前記視線表示制御手段が、前記ファイル再生時に、前記視線信号無状態が記録されている前記フレームがないことを検索した場合に、前記情報ファイル内に未検索の前記フレームが存在しないことを知らせるメッセージを前記ディスプレイ上に表示することを特徴とする。
【0016】
本発明の情報記録再生装置によれば、フレームのうち、検索していないフレームがないことを容易に、ユーザーに知らせることができる。
【0017】
本発明に係る情報記録再生装置は、前記視線検出信号検出部が、ユーザーの前記視線検出信号を検出するためにユーザーの黒目部分の画像を入力する画像入力部と、前記画像入力部から出力される画像内において、前記黒目部分の黒目枠領域の大きさ及び位置を設定する黒目位置設定部と、前記黒目枠領域の画像が前記黒目部分を含んでいることを判定するための種々の画像特徴量を設定する黒目判定部と、前記黒目位置設定部により設定された前記黒目枠領域の画像の特徴量と前記黒目判定部からの画像情報とを比較し、前記画像領域内の画像が前記黒目部分であることを判定する視線判定部とを備えたことを特徴とする。
【0018】
このように、本発明に係る情報記録再生装置は、フレームを再生中に、実際にユーザーが見たかどうかを示す視線検出信号有無状態をフレーム内に記録した後、記録媒体に保存する。再度、フレームを再生する際に、視線検出信号有無状態をフレームから読み出し、ディスプレイに表示しながら、スキップ制御手段により、ユーザーが見ていないフレームを素早く検索することが可能な情報記録再生装置を提供することにより、上記のような課題を解決したものである。
【0019】
【発明の実施の形態】
本発明の実施形態について、図を参照しながら以下に説明する。
【0020】
図1は、本発明の一実施形態に係る情報記録再生装置の機能ブロック図である。
【0021】
情報記録再生装置1は、制御部101、ダイレクトメモリアクセスコントローラ(以下、DMAコントローラという)102、メモリ103、画像圧縮伸長部104、記録媒体105、ディスプレイ106、視線検出部107、スキップスイッチ108、クリアスイッチ109、時間設定変更部110、視線フラグ書き換許可スイッチ111を備えている。
【0022】
このような構成からなる情報記録再生装置1において、記録媒体105に記録されているファイルを再生する場合の情報記録再生装置1の概略動作について説明する。
【0023】
上記ファイルの各フレームは、制御部101の管理の下、DMAコントローラ102に従って、一旦、メモリ103に記憶される。さらに、メモリ103に記憶されたフレームは、DMAコントローラ102に従って、画像圧縮伸長部104に転送され、伸長される。伸長されたフレームは、DMAコントローラ102を介して、ディスプレイ106にOSD表示されることによって再生される。
【0024】
ここで、通常、ファイルの各フレームは、データ圧縮されて記録媒体105に記録されている。また、上記フレームは、動画像のフレームも含むものとする。
【0025】
以下に、このようにして再生されるフレームの中から所望のフレームを素早く検索する動作について説明する。
【0026】
図2は、本発明に係る情報記録再生装置1の制御部101の各手段を示す概略構成図である。
【0027】
視線検出部107は、ユーザーがフレームの内容を実際に見ているか否かを示す視線検出信号112を発生する。即ち、この視線検出信号112は、視線有無状態を表す信号である。なお、ここでいうフレームとは、1つのファイルの内、ディスプレイ106上に表示される1画面分の情報と、その他、その画面の属性を示す情報を含むデータ量を有する1単位をいう。
【0028】
この視線検出信号112は、制御部101の記録再生制御手段(以下、視線フラグ記録再生制御手段という)120に送出される。視線フラグ記録再生制御手段120は、この視線検出信号112をフレーム内に記録できるデータ形式に変換し、フレームの属性領域内に書き込むことができる。この変換された信号を視線フラグといい、フレームの識別又は表示のために用いられる信号である。視線検出信号112が、視線有状態の時、上記視線フラグは、視線フラグ「ON」を表すものとする。また、視線検出信号112が、視線無状態の時、上記視線フラグは、視線フラグ「OFF」を表すものとする。なお、視線検出信号112の発生を行う視線検出部107の具体的動作については、後述する。
【0029】
先ず、記録媒体105に記録されているファイルのフレームを再生する場合における視線フラグの書込み動作について説明する。
【0030】
視線検出信号112から変換された視線フラグは、視線フラグ記録再生制御手段120によって、現在再生しているフレーム内に記録される。
【0031】
視線フラグ「ON」の場合には、視線フラグをセット(セット=“ON”)して現在再生しているフレームに記録する。一方、視線フラグ「OFF」の場合には、視線フラグをクリア(クリア=“OFF”)して、現在再生しているフレームに記録する。
【0032】
この場合、視線フラグ「ON」は、デジタル信号の“1”、視線フラグ「OFF」は、“0”で表してもよい。
【0033】
次に、記録媒体105に記録されているファイルのフレームを再生する場合における視線フラグの読み込み動作について説明する。
【0034】
視線フラグ記録再生制御手段120によって、上記説明したように、視線フラグ書込み動作と同様に、現在再生しているフレームに記憶されている視線フラグの状態、即ち、視線フラグ「ON/OFF」が読み出される。これにより、再度、フレームを読み出したとき、視線フラグが「ON」か、「OFF」かの視線フラグの状態を検出することにより、その再生しているフレームの内容をユーザーが実際に見たかどうかを容易に判定することが可能となる。また、読み出された視線フラグの状態は、ディスプレイ106にOSD表示される。これによって、ユーザーにとってもそのフレームを見たかどうかの判定が容易となる。
【0035】
このように、ユーザーが実際にフレームを見た場合のみ、フレーム内に視線フラグ「ON」を記録することで、再度、そのフレームを検索するときに、この視線フラグの「ON/OFF」を読み出すことによって、フレームの内容を見たかどうかを容易に識別することが可能となる。また、ユーザーは、ディスプレイ106上に、表示される視線フラグを見ることで、そのフレームを見たかどうかを容易に確認することができる。
【0036】
ここで、フレームの再生時において視線フラグをフレームに書き込む場合とは、ユーザーが実際にフレームを観察して、そのフレームの内容を見たかどうかを決定する場合である。この視線フラグをフレームに書き込む場合には、一旦、フレームに既に記録されている視線フラグを読み出した後、視線検出部からの視線フラグを書き込む手順となるが、例えば、読み出した視線フラグが「ON」であり、視線検出信号を変換した視線フラグが本来「ON」であるにも拘わらず「OFF」になっている場合、「OFF」がフレームに書き込まれてしまう恐れがある。このような状態を確実に防ぐために、フラグ書換え許可スイッチ111を設けている。
【0037】
この許可スイッチが「許可」状態にある場合のみ、視線フラグの書き換えを行うことができる。
【0038】
なお、初めてフレームを再生する場合は、全てのフレーム内に記録されて視線フラグがクリア(OFF)された状態で記録されている。
【0039】
図3は、フレーム再生時における視線フラグの書込み動作についてのフローチャート図である。
【0040】
再生動作を開始すると(ステップS1)、記録媒体105に圧縮されて記録されているファイルのフレームは、DMAコントローラ102を介してメモリ103に記憶される。メモリ103に書き込まれたフレームのデータは、メモリ103からDMAコントローラ102を介して、画像圧縮伸長部104に送られ伸長処理されて、再びメモリ103に記憶され、DMAコントローラ102を介してディスプレイ106に送られ表示される(ステップS2)。この際、制御部101の視線フラグ記録再生制御手段120は、フレームに書き込まれている視線フラグ「ON/OFF」を読み出し、ディスプレイ106にOSD表示する(ステップS3)。
【0041】
次に、再生動作が終了かどうかを判断し(ステップS4)、終了である場合には、視線フラグ記録再生制御手段120は、視線フラグ書込み処理を終了する(ステップS4;Yes)。終了でないと判断した場合(ステップS4;No)には、視線フラグ記録再生制御手段120は、視線フラグの書き換えが「許可」状態かどうかを判定する(ステップS5)。「不許可」状態であれば(ステップS5;no)、視線フラグ「ON/OFF」に関わらず記憶されている元の視線フラグの状態を変更せずに、ステップS2に戻り、通常のフレームの再生状態を続行する。一方、「許可」状態であれば(ステップS5;yes)、視線フラグ記録再生制御手段120は、視線フラグ「ON/OFF」かどうかの判定を行う(ステップS6)。視線フラグ「ON」である場合には(ステップS6;yes)、視線フラグ記録再生制御手段120は、視線フラグの「ON」をフレームに記録する。さらに、視線記録時間算出制御手段(以下、視線フラグ時間算出手段という)122により、視線フラグ「ON」時間の積算を行う。その後、視線フラグ記録再生制御手段120は、メモリ103の伸長されたフレーム・データを再度、画像圧縮伸長部104で画像圧縮処理して記録媒体105に記録し(ステップS7)、ステップS2に戻り、再生動作を続行する。一方、視線フラグ「OFF」である場合には(ステップS6;no)、視線フラグ記録再生制御手段120は、視線フラグ「OFF」をフレームに記録する。さらに、視線フラグ時間算出手段122により、フレーム「OFF」時間の積算を行う。その後、視線フラグ記録再生制御手段120は、メモリ103の伸長されたフレーム・データを再度、画像圧縮伸長部104で画像圧縮処理して記録媒体105に記録し(ステップS8)、ステップS2に戻り、再生動作を続行する。
【0042】
これによって、ユーザーは現在再生されているフレームが過去に見たことのあるフレームかどうかが容易に判断することができる。さらに、視線フラグ「ON」及び「OFF」のそれぞれの上記積算された視線フラグ時間を参照することにより、下記に示すスキップ動作を容易に行うことができる。
【0043】
ここで、視線フラグ時間算出手段122により、視線フラグ「ON」及び「OFF」のそれぞれ独立して上記積算された視線フラグ時間分のフレームの集合体をシーンという。また、このシーンを識別するための番号が各シーンの最終フレームが終了したときに、視線フラグ記録再生制御手段120によって付与され、その最終フレームの属性領域に記録される。さらに、同時にその属性領域に積算された視線フラグ時間も記録される。
【0044】
次に、視線フラグを利用した高速に視線フラグ記録再生制御手段120によるシーンの頭だしを行うスキップ動作について説明する。
【0045】
図4は、シーンに記録されている視線フラグ「ON/OFF」の例を示す図である。
【0046】
図5は、一度以上再生したことのあるシーンをスキップする場合のスキップ動作を示すフローチャートである。
【0047】
図4に示すように、このファイルは、ユーザーが再生中に1度は10分間席を立ち(シーン番号N1)、もう1度は20分間席を立ち(シーン番号N3)、最後に、M分間(シーン番号N5)、寝てしまった場合の視線フラグ「OFF」である3つのシーンが存在する場合の例である。また、その他のシーンは、視線フラグ「ON」を有するシーンである。
【0048】
なお、シーンの番号に一般性をもたせるために、シーンの番号をN0として、次に続くシーンの番号をN1、N2、・・・・・で表すものとする。
【0049】
また、さらに、各シーン番号N0,N1,N2・・・に対応して、これらの視線フラグ「ON/OFF」時間をそれぞれT0、T1,T2・・・で表すものとする。
【0050】
ここで、上記に説明したように、シーン番号N及び視線フラグ時間Tは、そのシーンを再度、再生する時に、これらのシーン番号N及び視線フラグ時間Tが記録されているそのシーンの最後のフレームの属性領域を検索することによって読み出す。また、例えば、ファイル番号N及びその視線フラグ「ON/OFF」時間Tは、ファイル領域の所定の領域に記憶テーブルを設け、その領域に記憶しておいても良い。
【0051】
視線フラグ「ON」を有するシーンN0を再生中に、スキップスイッチ108を押されると、このシーンをスキップさせる指令信号が発生する。
【0052】
制御部101のスキップ制御手段121は、上記スキップさせる指令信号を取り込んだ後、下記に説明する閾値時間と視線フラグがクリア状態で記録されているシーンNの視線フラグ「OFF」時間Tと比較する。上記比較結果、視線フラグ「OFF」時間Tの方が閾値時間より大きい場合には、未だ内容が把握されていないシーンであると判断する。図4に示す例では、シーン番号N1を有するシーンである。この場合、そのシーンの最初から再生動作を開始し、そのシーンの最後まで再生動作を行う。この再生動作により、この未検索シーンは、視線フラグが「OFF」から「ON」に記録されて、検索されたシーンとなる。
【0053】
一方、閾値時間がクリア時間Tより大きい場合には、内容が把握されてはいないがこの閾値時間では読み飛ばすシーンであると判断するとともに、閾値時間を変更要求のメッセージを出す。
【0054】
なお、上記スキップスイッチ108は、圧電型の無接点スイッチであってもよい。
【0055】
このように、このスキップ制御手段121により、高速に未検索のシーンの頭だしを行い、再生することが可能である。
【0056】
次に、閾値時間について説明する。
【0057】
ここでいう閾値時間とは、検索したフレームの視線フラグ「ON」の時間がこの閾値時間を超えていなければ、検索したシーンではないと判定するためのスレショールド時間をいう。
【0058】
閾値時間設定変更部110は、上記閾値時間を設定する。この設定された閾値時間は、閾値時間設定変更制御手段124により、再生動作開始前に読み込まれる。なお、閾値時間設定変更部110は、通常のサムホイールスイッチであってもよい。
【0059】
これにより、シーンを検索する上で、検索していないシーンを検索したと判断するような誤判定を防止することもできる。さらには、シーンの各フレームの内容に応じて、上記読み込んだ閾値時間に対して係数を乗じて閾値時間を変更することもできる。例えば、フレームの内容として、動画フレーム、テキストフレームなどのフレームがある。このように、フレームの内容に応じて、閾値時間を変更することにより、これらの誤判定の低減を図ることができる。
【0060】
また、クリアスイッチ109を押すと、制御部101の視線検出クリア手段123により、フレームに記録されている全ての視線フラグがクリアされる。これによって、何度も再生したファイルを別のユーザーが見る場合などに初めて再生するファイルと同様に扱うことが可能となる。
【0061】
次に、閾値時間を変えた場合におけるスキップ動作について図4を用いて説明する。
【0062】
閾値時間を10分に設定して、再生動作を開始した場合、最初に、スキップスイッチ108が押されると、シーンN1の視線フラグ「OFF」時間が10分であるから、フレームN1にスキップする。従って、シーンN1から再生が開始する。シーンN1の再生が終了した後、通常の再生モード中に、再度、スキップスイッチ108が押されると、視線フラグ「OFF」時間であるシーンN3にスキップし、再生を開始する。更に、シーンN3の再生が終了した後、通常再生中にスキップスイッチ108が押されると、シーンN5を再生することになる。ここで、閾値時間を15分に設定していたとすると、最初にスキップスイッチ108を押すと、シーンN1ではなくシーンN3から再生を開始する。シーンN3の再生が終了した後、通常の再生中に、再度、スキップスイッチ108が押されると、シーンN5にスキップし、シーンN5が再生することになる。
【0063】
ここで、シーンN5の視線フラグ「OFF」時間であるM時間は、閾値時間の15分よりも長いものとする。
【0064】
上記説明したスキップ動作を図5のフローチャート図を用いて説明する。
【0065】
ユーザーが、スキップスイッチ108が押されるまでは、通常の再生動作であるS1からS8までのステップと同様である。スキップスイッチ108を押されたかどうかを判断する(ステップS10)。次に、スキップスイッチ108を押されたと判断すると(ステップS10;yes)、制御部101のスキップ制御手段121は、一旦、現在のシーンNの再生動作を止めて、ファイルから視線フラグ「OFF」を有するシーンNをサーチする(ステップS11)。次に、あらかじめ設定した閾値時間とサーチされたフレームNのクリア時間Tとを比較する(ステップS12)。クリア時間Tの方が閾値時間より長い場合は(ステップS12;no)、シーンNは、未だ検索していないシーンであると判断され、記録媒体105から視線フラグがクリアされているシーンNは、その最初から最後まで読み出され、メモリ103、画像圧縮伸長部104を経てディスプレイ106に表示され、視線フラグ「ON」又は「OFF」をシーンNに記録する。(ステップS13)。その後、ステップS10に戻る。
【0066】
一方、クリア時間Tの方が短い場合は(ステップS12;yes)、通常の再生動作中にファイルの最後まで閾値時間より長いシーンがないかどうかを判断する(ステップS14)。判断した結果、ファイル上にシーンの最後まで閾値時間Aより長いシーンがない場合には(ステップS14;yes)、視線表示制御手段125は、「見てないフレームはありません」という旨のメッセージをOSD表示する。そして、ステップS12において、Yesと判断されたため、上述したように、閾値時間の変更要求のメッセージを出す(ステップS15)。ファイル上にシーンの最後まで閾値時間より長いシーンがある場合には(ステップS14;no)、ステップS10に戻る。
【0067】
上記説明したように、スキップスイッチ108が押されることで、ユーザーが未だ見ていないシーンまで容易にスキップすることが可能となる。なお、本実施形態では、視線フラグがクリアしているシーンを検索する動作を示しているが、再度確認するために既に検索完了のシーンを検索することも可能である。
【0068】
次に、視線検出信号112を発生する視線検出部107の動作を説明する。
【0069】
図6は、本発明に係る情報記録再生装置1の視線検出部107の機能ブロック図を示す。
【0070】
視線検出部107は、イメージセンサ、センサの輝度制御を行うAGC等を含む画像入力部501、画像デジタル信号、例えば、YUV信号を生成する信号処理部502、視線の有無を判定し、視線検出信号112を発生する視線判定部503、黒目位置設定部504および黒目判定部505を備えている。
【0071】
図7は、視線検出部107の再生前の設定を示すフローチャート図である。
【0072】
再生前の視線検出部107の設定動作について図7を用いて説明する。
【0073】
フレームの再生前に、予め、画像入力部501をユーザーに向ける。画像入力部501は、ユーザーの眼球領域の画像を入力し、画像信号を出力する。出力された画像信号を信号処理部502で信号処理し、画像デジタル信号を制御部101に送出し、ディスプレイ106に表示する。同時に、眼球の黒目位置を判定するための黒目枠領域をディスプレイ106上にOSD表示する(ステップS31)。
【0074】
次に、ディスプレイ106に表示されたユーザーの目が上記黒目枠内に入るように黒目位置設定部504により、黒目枠の所定の大きさ、位置を設定し、OSD表示する(ステップS32)。更に、黒目判定部505は、黒目枠領域の画像が黒目部分を含んでいることを判定するための種々の画像特徴量を設定する。例えば、画像特徴量として上記黒目位置設定部504で設定した黒目枠領域に黒目の周辺に白部分がどのくらいの割合で存在するか、輝度等が挙げられる。これらの画像特徴量から、黒目枠領域の画像が黒目部分を含んでいること判定するための条件を設定する(ステップS33)。以上の処理を実行し、事前の調整が完了する。
【0075】
次に、フレームを再生中の視線検出部の動作について図8に基づいて説明する。
【0076】
図8は、視線検出部107の動作を示すフローチャート図である。
【0077】
フレームの再生中、信号処理部502で処理された眼球の画像デジタル信号及び予め黒目位置設定部504により設定された黒目を判定するための黒目枠の大きさ、位置等の情報を視線判定部503に送る(ステップS50)。
【0078】
視線判定部503は、「黒目」が予め、設定した黒目枠領域の内部にあるかどうかを判定する(ステップS51)。ここで、黒目判定部505からの情報と、黒目枠内の画像を比較して、「黒目」が黒目枠内にあると判定すると(ステップS51;yes)、視線判定部503は、視線検出信号112を視線有状態にして制御部101に送る(ステップS52)。一方、「黒目」が存在しないと判定した場合(ステップS51;no)、視線検出信号112を視線無状態にして制御部101に送る。
【0079】
上記説明したように、事前に設定したユーザーの黒目枠領域に実際に黒目が存在しているかを判定することによって、実際にユーザーがフレームを検索しているか否かを容易に判定することができる。
【0080】
上記の実施形態は説明のためのものであり、本発明の範囲を制限するものではない。従って、当業者であればこれらの各要素もしくは全要素をこれと均等なものによって置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【0081】
【発明の効果】
上述したように、本発明によれば、フレームを再生中に、実際にユーザーが見たかどうかを示す視線検出信号有無状態をフレーム内に記録した後、記録媒体に保存し、再度、フレームを再生する際に、視線検出信号有無状態をフレームから読み出し、ディスプレイに表示しながら、スキップ制御手段により、ユーザーが見ていないフレームを素早く検索することができる。また、情報ファイルのフレーム検索する上で、検索していないフレームの視線検出信号無状態の時間と閾値時間とを比較することで、検索していないフレームを検索したと判断するような誤判定を防止することができる。また、情報ファイルの内容に応じて、上記閾値時間を変更することもでき、誤判定の低減を図ることも可能である。
【0082】
さらに、ユーザーは、ディスプレイ上に記録された視線フラグを観察することができるため、フレームの再生位置を変更するトリガを与えることができ、所望するフレームの位置の検索時間を短縮することが可能である。
【図面の簡単な説明】
【図1】本発明に係る情報記録再生装置のブロック図である。
【図2】本発明に係る情報記録再生装置1の制御部101の各手段を示す概略構成図である。
【図3】フレーム再生時における視線フラグの書込み動作についてのフローチャート図である。
【図4】フレームに記録されている視線フラグ「ON/OFF」の例を示す図である。
【図5】一度以上再生したことのあるフレームをスキップする場合のスキップ動作を示すフローチャートである。
【図6】本発明に係る情報記録再生装置1の視線検出部107の機能ブロック図を示す。
【図7】視線検出部107の再生前の設定を示すフローチャート図である。
【図8】視線検出部107の動作を示すフローチャート図である。
【符号の説明】
1 情報記録再生装置
101 制御部
102 DMAコントローラ
103 メモリ
104 画像圧縮伸長部
105 記録媒体
106 ディスプレイ
107 視線検出部
108 スキップスイッチ
109 クリアスイッチ
110 時間設定部
111 フラグ書き換え許可スイッチ
112 視線検出信号
120 記録再生制御手段
121 スキップ制御手段
122 視線記録時間算出制御手段
123 視線クリア制御手段
124 閾値時間設定変更制御手段
501 画像入力部
502 信号処理部
503 視線判定部
504 黒目位置設定部
505 黒目判定部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information recording / reproducing apparatus having a line-of-sight detection unit, and more particularly to an information recording / reproducing apparatus for quickly searching for a specific frame in an information file during reproduction of an information file recorded on a recording medium.
[0002]
[Prior art]
In the information recording / reproducing apparatus in the prior art, after the user finishes reproducing the information file recorded on the recording medium halfway, if the user tries to see the continuation of the information file recorded on the recording medium at a later date, the file The frame is searched by starting playback from the beginning and fast-forwarding to the desired frame of the file. Further, in the prior art, there is disclosed a holding means for holding reproduced information that can specify a frame that has been reproduced in the past (see Patent Document 1).
[0003]
[Patent Document 1]
JP-A-11-176096
[0004]
[Problems to be solved by the invention]
However, in the above-described conventional information recording / reproducing apparatus, every time an information file recorded on a recording medium is reproduced, the user searches for a frame that has already been reproduced or an unreproduced frame by using a function such as fast-forwarding. There is a problem that it takes time and effort. On the other hand, in the technique described in Patent Document 1 (Japanese Patent Laid-Open No. 11-176096), it is only possible to record whether or not it has been played back, and whether or not the user has actually seen it, that is, whether or not it has been played back. There is a problem that cannot be judged. For example, if the user goes to sleep during playback and the information recorded on the recording medium is played back to the end, the above-mentioned technique is recorded as played back, even though the frame is not actually viewed by the user. There is a problem that it becomes a target of erasure.
[0005]
Accordingly, the present invention has been made in view of the above-described problems of the prior art, and information that allows a user to quickly search for a reproduced frame or an unreproduced frame in an information file. A recording / reproducing apparatus is provided.
[0006]
[Means for Solving the Problems]
An information recording / reproducing apparatus according to the present invention includes a line-of-sight detection unit that outputs a line-of-sight detection signal indicating the presence or absence of a user's line of sight, and the line-of-sight detection unit when reproducing a frame of an information file recorded on a recording medium. Recording / reproducing control means for recording the gaze presence / absence state for each frame.
[0007]
In the information recording / reproducing apparatus according to the present invention, when the frame is reproduced, the recording / reproduction control unit reads the gaze presence / absence state recorded in the frame, and the gaze presence state is recorded for a predetermined period. The present invention is characterized by comprising skip control means for skipping a frame being read.
[0008]
In the information recording / reproducing apparatus according to the present invention, the skip control means provides a threshold time for comparing the time when the visual line detection signal presence / absence state is recorded, and records the state where the visual line detection signal is present for the threshold time or longer. The frame having the set time is surely skipped.
[0009]
In the information recording / reproducing apparatus according to the present invention, the skip control means provides a threshold time for comparison with the time when the gaze presence / absence state is recorded, and the time when the gaze presence state is recorded more than the threshold time The frame having the above is skipped.
[0010]
The information recording / reproducing apparatus according to the present invention further comprises threshold time setting change control means for changing the threshold time, and the threshold time setting change control means sends the skip control means to the skip control means according to the content of the frame. The threshold time is changed so as to skip frames.
[0011]
According to the information recording / reproducing apparatus of the present invention, when searching for a frame of an information file, a frame that has not been searched for is searched for by searching for a frame that has not been searched by comparing the time when the line-of-sight detection signal is not present and the threshold time. It is possible to prevent an erroneous determination such as determining that it has been performed. Furthermore, the threshold time can be changed in accordance with the contents of the information file, and erroneous determination can be reduced.
[0012]
The information recording / reproducing apparatus according to the present invention is characterized by comprising visual line clear control means for setting all the visual line detection signal presence / absence states recorded in the frame of the information file to no state.
[0013]
According to the information recording / reproducing apparatus of the present invention, when another user searches for an information file reproduced many times, it can be handled in the same manner as a file reproduced for the first time.
[0014]
The information recording / reproducing apparatus according to the present invention displays the gaze presence / absence state on a display that displays the frame in order to make a user check whether the gaze presence / absence state is a searched or unsearched frame. A visual line display control means for displaying is provided.
[0015]
In the information recording / reproducing apparatus according to the present invention, when the line-of-sight display control means searches for the absence of the frame in which the line-of-sight signal non-state is recorded during the file reproduction, the information file is not searched. A message informing that the frame does not exist is displayed on the display.
[0016]
According to the information recording / reproducing apparatus of the present invention, it is possible to easily notify the user that there is no unsearched frame among the frames.
[0017]
In the information recording / reproducing apparatus according to the present invention, the line-of-sight detection signal detection unit outputs an image input unit that inputs an image of a user's black eye part in order to detect the user's line-of-sight detection signal, and is output from the image input unit. A black eye position setting unit for setting the size and position of the black eye frame area of the black eye part, and various image features for determining that the image of the black eye frame area includes the black eye part. Comparing the feature amount of the image of the black eye frame region set by the black eye position setting unit with the image information from the black eye determination unit, and determining that the image in the image region is the black eye And a line-of-sight determination unit that determines a portion.
[0018]
As described above, the information recording / reproducing apparatus according to the present invention records the presence / absence of the line-of-sight detection signal indicating whether or not the user has actually seen during the reproduction of the frame, and then saves it in the recording medium. Providing an information recording / playback device that can quickly search for frames that have not been viewed by the user using skip control means while reading the presence / absence of the line-of-sight detection signal from the frame and displaying it on the display. By doing so, the above problems are solved.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0020]
FIG. 1 is a functional block diagram of an information recording / reproducing apparatus according to an embodiment of the present invention.
[0021]
The information recording / reproducing
[0022]
A schematic operation of the information recording / reproducing
[0023]
Each frame of the file is temporarily stored in the
[0024]
Here, each frame of the file is usually compressed in the data and recorded in the
[0025]
Hereinafter, an operation for quickly searching for a desired frame from the frames reproduced in this way will be described.
[0026]
FIG. 2 is a schematic configuration diagram showing each unit of the
[0027]
The line-of-
[0028]
The line-of-
[0029]
First, the line-of-sight flag writing operation in the case of reproducing the frame of the file recorded on the
[0030]
The line-of-sight flag converted from the line-of-
[0031]
When the line-of-sight flag is “ON”, the line-of-sight flag is set (set = “ON”) and recorded in the currently reproduced frame. On the other hand, when the line-of-sight flag is “OFF”, the line-of-sight flag is cleared (clear = “OFF”) and recorded in the currently reproduced frame.
[0032]
In this case, the line-of-sight flag “ON” may be represented by “1” of the digital signal, and the line-of-sight flag “OFF” may be represented by “0”.
[0033]
Next, the line-of-sight flag reading operation when the frame of the file recorded on the
[0034]
As described above, the line-of-sight flag recording / reproduction control means 120 reads the state of the line-of-sight flag stored in the currently reproduced frame, that is, the line-of-sight flag “ON / OFF”, as in the line-of-sight flag writing operation. It is. Thus, when the frame is read again, whether or not the user has actually seen the contents of the frame being reproduced by detecting the state of the line-of-sight flag whether the line-of-sight flag is "ON" or "OFF" Can be easily determined. Further, the state of the read line-of-sight flag is displayed on the
[0035]
As described above, only when the user actually sees the frame, the line-of-sight flag “ON” is recorded in the frame, and when the frame is searched again, “ON / OFF” of the line-of-sight flag is read out. Thus, it is possible to easily identify whether or not the contents of the frame have been viewed. Further, the user can easily confirm whether or not the user has seen the frame by viewing the line-of-sight flag displayed on the
[0036]
Here, the case where the line-of-sight flag is written in the frame at the time of reproducing the frame is a case where the user actually observes the frame and determines whether or not the contents of the frame are viewed. When writing this line-of-sight flag to a frame, it is a procedure to read the line-of-sight flag already recorded in the frame and then writing the line-of-sight flag from the line-of-sight detection unit. If the line-of-sight flag converted from the line-of-sight detection signal is “ON” in spite of being “ON”, “OFF” may be written in the frame. In order to prevent such a state reliably, a flag rewrite permission switch 111 is provided.
[0037]
The line-of-sight flag can be rewritten only when the permission switch is in the “permitted” state.
[0038]
When frames are reproduced for the first time, they are recorded in all frames and recorded with the line-of-sight flag cleared (OFF).
[0039]
FIG. 3 is a flowchart of the line-of-sight flag writing operation during frame reproduction.
[0040]
When the reproduction operation is started (step S 1), the frame of the file compressed and recorded on the
[0041]
Next, it is determined whether or not the reproduction operation is finished (step S4). If it is finished, the line-of-sight flag recording / reproduction control means 120 ends the line-of-sight flag writing process (step S4; Yes). When it is determined that it is not finished (step S4; No), the line-of-sight flag recording / reproducing
[0042]
As a result, the user can easily determine whether the currently played frame is a frame that has been viewed in the past. Further, the skip operation described below can be easily performed by referring to the above-described accumulated line-of-sight flag times of the line-of-sight flags “ON” and “OFF”.
[0043]
Here, the aggregate of frames corresponding to the above-mentioned line-of-sight flag time accumulated independently by the line-of-sight flag time calculation means 122 for each of the line-of-sight flags “ON” and “OFF” is referred to as a scene. Further, when the last frame of each scene is finished, a number for identifying this scene is given by the line-of-sight flag recording / playback control means 120 and recorded in the attribute area of the last frame. At the same time, the line-of-sight flag time accumulated in the attribute area is also recorded.
[0044]
Next, a skip operation for cueing a scene by the line-of-sight flag recording / reproducing control means 120 using the line-of-sight flag at high speed will be described.
[0045]
FIG. 4 is a diagram illustrating an example of the line-of-sight flag “ON / OFF” recorded in the scene.
[0046]
FIG. 5 is a flowchart showing a skip operation when a scene that has been played once or more is skipped.
[0047]
As shown in FIG. 4, this file is reserved for 10 minutes (scene number N1) once during playback by the user, once for 20 minutes (scene number N3), and finally for M minutes. (Scene No. N5) is an example in the case where there are three scenes with the line-of-sight flag “OFF” in the case of falling asleep. The other scenes are scenes having a line-of-sight flag “ON”.
[0048]
In order to give generality to the scene number, the scene number is represented by N0, and the subsequent scene numbers are represented by N1, N2,.
[0049]
Further, the line-of-sight flag “ON / OFF” times are represented by T0, T1, T2,... Corresponding to the scene numbers N0, N1, N2,.
[0050]
Here, as described above, the scene number N and the line-of-sight flag time T are the last frame of the scene in which the scene number N and the line-of-sight flag time T are recorded when the scene is reproduced again. Read by searching the attribute area. Further, for example, the file number N and the line-of-sight flag “ON / OFF” time T may be stored in a predetermined area of the file area.
[0051]
If the
[0052]
The skip control means 121 of the
[0053]
On the other hand, when the threshold time is larger than the clear time T, it is determined that the scene is skipped at this threshold time although the contents are not grasped, and a message for requesting a change of the threshold time is issued.
[0054]
The
[0055]
As described above, the skip control means 121 can quickly search for an unsearched scene and reproduce it.
[0056]
Next, the threshold time will be described.
[0057]
Here, the threshold time is a threshold time for determining that the scene is not searched if the time of the line-of-sight flag “ON” of the searched frame does not exceed the threshold time.
[0058]
The threshold time setting changing
[0059]
Thereby, when searching for a scene, it is possible to prevent erroneous determination such as determining that an unsearched scene has been searched. Further, the threshold time can be changed by multiplying the read threshold time by a coefficient in accordance with the contents of each frame of the scene. For example, the content of the frame includes a frame such as a moving image frame and a text frame. In this way, by changing the threshold time according to the contents of the frame, it is possible to reduce these erroneous determinations.
[0060]
When the
[0061]
Next, the skip operation when the threshold time is changed will be described with reference to FIG.
[0062]
When the playback operation is started with the threshold time set to 10 minutes, when the
[0063]
Here, it is assumed that the M time that is the line-of-sight flag “OFF” time of the scene N5 is longer than the threshold time of 15 minutes.
[0064]
The skip operation described above will be described with reference to the flowchart of FIG.
[0065]
Until the user presses the
[0066]
On the other hand, when the clear time T is shorter (step S12; yes), it is determined whether or not there is a scene longer than the threshold time until the end of the file during the normal reproduction operation (step S14). As a result of the determination, if there is no scene in the file that is longer than the threshold time A until the end of the scene (step S14; yes), the line-of-sight display control means 125 displays an OSD message “There are no unseen frames”. indicate. And since it was judged as Yes in step S12, the message of a change request of threshold time is issued as mentioned above (step S15). If there is a scene longer than the threshold time until the end of the scene in the file (step S14; no), the process returns to step S10.
[0067]
As described above, when the
[0068]
Next, the operation of the line-of-
[0069]
FIG. 6 shows a functional block diagram of the line-of-
[0070]
The line-of-
[0071]
FIG. 7 is a flowchart showing the setting of the line-of-
[0072]
The setting operation of the line-of-
[0073]
Prior to frame reproduction, the
[0074]
Next, a predetermined size and position of the black eye frame are set by the black eye
[0075]
Next, the operation of the line-of-sight detection unit during frame reproduction will be described with reference to FIG.
[0076]
FIG. 8 is a flowchart showing the operation of the line-of-
[0077]
During playback of the frame, the eyeball image digital signal processed by the
[0078]
The line-of-
[0079]
As described above, it is possible to easily determine whether or not the user is actually searching for a frame by determining whether or not a black eye actually exists in the user's previously set black eye frame region. .
[0080]
The above embodiments are for illustrative purposes and do not limit the scope of the present invention. Accordingly, those skilled in the art can employ embodiments in which each or all of these elements are replaced by equivalents thereof, and these embodiments are also included in the scope of the present invention.
[0081]
【The invention's effect】
As described above, according to the present invention, during playback of a frame, a gaze detection signal presence / absence state indicating whether or not the user has actually seen is recorded in the frame, and then stored in the recording medium, and the frame is played back again. At this time, the presence / absence state of the eye-gaze detection signal is read from the frame and displayed on the display, and the skip control means can quickly search for the frame that the user has not seen. In addition, when searching for a frame in an information file, an erroneous determination is made such that it is determined that a frame that has not been searched is searched by comparing the time when there is no line-of-sight detection signal in the frame that has not been searched and the threshold time. Can be prevented. In addition, the threshold time can be changed according to the contents of the information file, and erroneous determination can be reduced.
[0082]
Furthermore, since the user can observe the line-of-sight flag recorded on the display, it is possible to give a trigger to change the playback position of the frame, and to shorten the search time of the desired frame position. is there.
[Brief description of the drawings]
FIG. 1 is a block diagram of an information recording / reproducing apparatus according to the present invention.
FIG. 2 is a schematic configuration diagram showing each unit of a
FIG. 3 is a flowchart of a line-of-sight flag writing operation during frame reproduction;
FIG. 4 is a diagram illustrating an example of a line-of-sight flag “ON / OFF” recorded in a frame.
FIG. 5 is a flowchart showing a skip operation when skipping a frame that has been played once or more.
FIG. 6 is a functional block diagram of a line-of-
FIG. 7 is a flowchart showing a setting before reproduction of the line-of-
FIG. 8 is a flowchart showing the operation of the line-of-
[Explanation of symbols]
1 Information recording and playback device
101 Control unit
102 DMA controller
103 memory
104 Image compression / decompression unit
105 Recording medium
106 display
107 Gaze detection unit
108 Skip switch
109 Clear switch
110 hours setting section
111 Flag rewrite permission switch
112 Gaze detection signal
120 Recording / reproducing control means
121 Skip control means
122 Gaze recording time calculation control means
123 Line of sight clear control means
124 Threshold time setting change control means
501 Image input unit
502 signal processing unit
503 Gaze determination unit
504 Black eye position setting section
505 Black eye determination part
Claims (8)
記録媒体に記録されている情報ファイルのフレームを再生する際に、前記視線検出部からの視線有無状態を前記フレーム毎に記録する記録再生制御手段と、
を備えたことを特徴とする情報記録再生装置。A line-of-sight detection unit that outputs a line-of-sight detection signal indicating the presence or absence of the user's line of sight;
A recording / reproducing control unit that records the gaze presence / absence state from the gaze detection unit for each frame when reproducing the frame of the information file recorded on the recording medium;
An information recording / reproducing apparatus comprising:
前記画像入力部から出力される画像内において、前記黒目部分の黒目枠領域の大きさ及び位置を設定する黒目位置設定部と、
前記黒目枠領域の画像が前記黒目部分を含んでいることを判定するための種々の画像特徴量を設定する黒目判定部と、
前記黒目位置設定部により設定された前記黒目枠領域の画像の特徴量と前記黒目判定部からの画像情報とを比較し、前記画像領域内の画像が前記黒目部分であることを判定する視線判定部と、
を備えたことを特徴とする請求項1に記載の情報記録再生装置。The line-of-sight detection signal detection unit is configured to input an image of a user's black eye part in order to detect the user's line-of-sight detection signal; and
In the image output from the image input unit, a black eye position setting unit for setting the size and position of the black eye frame region of the black eye part,
A black eye determination unit that sets various image feature amounts for determining that the image of the black eye frame region includes the black eye part;
A line-of-sight determination that compares the feature amount of the image in the black eye frame region set by the black eye position setting unit with the image information from the black eye determination unit, and determines that the image in the image region is the black eye portion. And
The information recording / reproducing apparatus according to claim 1, further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003165215A JP4097567B2 (en) | 2003-06-10 | 2003-06-10 | Information recording / reproducing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003165215A JP4097567B2 (en) | 2003-06-10 | 2003-06-10 | Information recording / reproducing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005005867A JP2005005867A (en) | 2005-01-06 |
JP4097567B2 true JP4097567B2 (en) | 2008-06-11 |
Family
ID=34091767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003165215A Expired - Fee Related JP4097567B2 (en) | 2003-06-10 | 2003-06-10 | Information recording / reproducing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4097567B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006077791A1 (en) * | 2005-01-18 | 2006-07-27 | Matsushita Electric Industrial Co., Ltd. | Digital broadcast reproduction device and digital broadcast recording device |
JP2007104331A (en) * | 2005-10-04 | 2007-04-19 | Sharp Corp | Recording device and recording and reproducing device |
JP6222148B2 (en) * | 2015-03-19 | 2017-11-01 | カシオ計算機株式会社 | Imaging apparatus, image reproduction method, and program |
-
2003
- 2003-06-10 JP JP2003165215A patent/JP4097567B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005005867A (en) | 2005-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4456675B2 (en) | Video recording / reproducing apparatus and video recording / reproducing method | |
US8437623B2 (en) | Recording apparatus and method | |
US7505674B2 (en) | Image processing apparatus and method for generating and displaying playlist for image data | |
US20120243847A1 (en) | Image playback apparatus, image recording apparatus, and methods thereof | |
US9071806B2 (en) | Reproducing apparatus | |
JP2007110193A (en) | Image processing apparatus | |
JP2007174378A (en) | Image filing method, digital camera, image filing processing program, and moving picture recording and reproducing device | |
KR20050026850A (en) | Image display method, image display program, and image display apparatus | |
JP2007073007A (en) | Image data selection method and image data processor | |
US8989555B2 (en) | Information processor | |
JP4097567B2 (en) | Information recording / reproducing device | |
US6697563B1 (en) | Information recording medium, motion-picture voice recording/reproducing apparatus, and motion-picture voice recording/reproducing method | |
JP2007172670A (en) | Optical disk playback apparatus, and optical disk playback method | |
JP5536464B2 (en) | Imaging device | |
JP2010263374A (en) | Recording and reproducing device and recording and reproducing method | |
JP2002314917A (en) | Information reproducing system | |
US8471926B2 (en) | Imaging apparatus, information processing apparatus and information processing method | |
US20070280647A1 (en) | Moving Image Processing Device, Moving Image Processing Method And Program | |
JP2005175905A (en) | Information recording/reproducing device, information recording reproducing method, program, and recording medium | |
JP4037852B2 (en) | Video playback device | |
JP3791543B2 (en) | Digital video / audio recording / reproducing device | |
JP5170205B2 (en) | Information storage medium and moving picture audio recording and reproducing apparatus | |
JP4345762B2 (en) | Recording apparatus and recording method | |
JP2006180101A (en) | Moving video recording apparatus and method of thumbnail displaying | |
JP2000115703A (en) | Storage medium used for picture display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080229 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080311 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080311 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140321 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |