JP4097567B2 - Information recording / reproducing device - Google Patents

Information recording / reproducing device Download PDF

Info

Publication number
JP4097567B2
JP4097567B2 JP2003165215A JP2003165215A JP4097567B2 JP 4097567 B2 JP4097567 B2 JP 4097567B2 JP 2003165215 A JP2003165215 A JP 2003165215A JP 2003165215 A JP2003165215 A JP 2003165215A JP 4097567 B2 JP4097567 B2 JP 4097567B2
Authority
JP
Japan
Prior art keywords
line
frame
sight
black eye
information recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003165215A
Other languages
Japanese (ja)
Other versions
JP2005005867A (en
Inventor
忠伺 吉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2003165215A priority Critical patent/JP4097567B2/en
Publication of JP2005005867A publication Critical patent/JP2005005867A/en
Application granted granted Critical
Publication of JP4097567B2 publication Critical patent/JP4097567B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、視線検出部を有する情報記録再生装置に関し、特に、記録媒体に記録されている情報ファイルの再生中に、情報ファイル内の特定のフレームを素早く検索する情報記録再生装置に関する。
【0002】
【従来の技術】
従来技術おける情報記録再生装置においては、ユーザーが記録媒体に記録されている情報ファイルの再生を途中で終了した後、後日前記記録媒体に記録されている情報ファイルの続きを見ようとすると、そのファイルの最初から再生を開始し、そのファイルの所望のフレームまで早送りしたりすることにより、そのフレームを検索していた。また、従来技術において、過去に再生したことのあるフレームを特定できる再生済み情報を保持する保持手段が開示されている(特許文献1参照)。
【0003】
【特許文献1】
特開平11−176096号公報
【0004】
【発明が解決しようとする課題】
しかし、上述の従来技術における情報記録再生装置では、記録媒体に記録されている情報ファイルを再生するたびに、ユーザーが早送りなどの機能を用いて既に再生済のフレームや未再生のフレームを探すという手間がかかるという問題がある。一方、上記特許文献1(特開平11−176096号公報)に記載の技術においては、再生したかどうかを記録することが出来るだけであり、ユーザーが実際に見たかどうか、即ち、再生したかどうかの判断が出来ないという問題がある。例えば、再生途中にユーザーが寝てしまい記録媒体に記録されている情報を最後まで再生したとすると、上述の技術では再生済みと記録されてしまい実際にはユーザーが見ていないフレームにもかかわらず消去の対象になったりするという問題がある。
【0005】
そこで、本発明は、上記述べたような従来技術の問題点に鑑みてなされたものであり、ユーザーが情報ファイル内の再生済のフレームや未再生のフレームを素早く検索することを可能とする情報記録再生装置を提供するものである。
【0006】
【課題を解決するための手段】
本発明に係る情報記録再生装置は、ユーザーの視線の有無を示す視線検出信号を出力する視線検出部と、記録媒体に記録されている情報ファイルのフレームを再生する際に、前記視線検出部からの視線有無状態を前記フレーム毎に記録する記録再生制御手段と、を備えたことを特徴とする。
【0007】
本発明に係る情報記録再生装置は、前記フレームを再生する際に、前記記録再生制御手段により、前記フレームに記録されている前記視線有無状態を読み出し、所定の期間前記視線有状態が記録されているフレームを読み飛ばしするスキップ制御手段を備えたことを特徴とする。
【0008】
本発明に係る情報記録再生装置は、前記スキップ制御手段が、前記視線検出信号有無状態が記録されている時間と比較するための閾値時間を設け、前記閾値時間以上前記視線検出信号有状態が記録されている時間を有する前記フレームを確実に読み飛ばしすることを特徴とする。
【0009】
本発明に係る情報記録再生装置は、前記スキップ制御手段が、前記視線有無状態が記録されている時間と比較するための閾値時間を設け、前記閾値時間以上前記視線有状態が記録されている時間を有する前記フレームを読み飛ばしすることを特徴とする。
【0010】
本発明に係る情報記録再生装置は、前記閾値時間を変更する閾値時間設定変更制御手段を備え、前記閾値時間設定変更制御手段が、前記スキップ制御手段に対して、前記フレームの内容に応じて前記フレームを読み飛ばしするように、前記閾値時間を変更することを特徴とする。
【0011】
本発明の情報記録再生装置によれば、情報ファイルのフレーム検索する上で、検索していないフレームの視線検出信号無状態の時間と閾値時間とを比較することで、検索していないフレームを検索したと判断するような誤判定を防止することができる。さらに、情報ファイルの内容に応じて、上記閾値時間を変更することもでき、誤判定の低減を図ることも可能である。
【0012】
本発明に係る情報記録再生装置は、前記情報ファイルのフレームに記録されている前記視線検出信号有無状態を全て無状態とする視線クリア制御手段を備えたことを特徴とする。
【0013】
本発明の情報記録再生装置によれば、何度も再生した情報ファイルを別のユーザーが検索する場合、初めて再生するファイルと同様に扱うことができる。
【0014】
本発明に係る情報記録再生装置は、ユーザーに対して、前記視線有無状態が検索又は未検索されたフレームであるかを確認させるために、前記フレームを表示するディスプレイ上に、前記視線有無状態を表示する視線表示制御手段を備えたことを特徴とする。
【0015】
本発明に係る情報記録再生装置は、前記視線表示制御手段が、前記ファイル再生時に、前記視線信号無状態が記録されている前記フレームがないことを検索した場合に、前記情報ファイル内に未検索の前記フレームが存在しないことを知らせるメッセージを前記ディスプレイ上に表示することを特徴とする。
【0016】
本発明の情報記録再生装置によれば、フレームのうち、検索していないフレームがないことを容易に、ユーザーに知らせることができる。
【0017】
本発明に係る情報記録再生装置は、前記視線検出信号検出部が、ユーザーの前記視線検出信号を検出するためにユーザーの黒目部分の画像を入力する画像入力部と、前記画像入力部から出力される画像内において、前記黒目部分の黒目枠領域の大きさ及び位置を設定する黒目位置設定部と、前記黒目枠領域の画像が前記黒目部分を含んでいることを判定するための種々の画像特徴量を設定する黒目判定部と、前記黒目位置設定部により設定された前記黒目枠領域の画像の特徴量と前記黒目判定部からの画像情報とを比較し、前記画像領域内の画像が前記黒目部分であることを判定する視線判定部とを備えたことを特徴とする。
【0018】
このように、本発明に係る情報記録再生装置は、フレームを再生中に、実際にユーザーが見たかどうかを示す視線検出信号有無状態をフレーム内に記録した後、記録媒体に保存する。再度、フレームを再生する際に、視線検出信号有無状態をフレームから読み出し、ディスプレイに表示しながら、スキップ制御手段により、ユーザーが見ていないフレームを素早く検索することが可能な情報記録再生装置を提供することにより、上記のような課題を解決したものである。
【0019】
【発明の実施の形態】
本発明の実施形態について、図を参照しながら以下に説明する。
【0020】
図1は、本発明の一実施形態に係る情報記録再生装置の機能ブロック図である。
【0021】
情報記録再生装置1は、制御部101、ダイレクトメモリアクセスコントローラ(以下、DMAコントローラという)102、メモリ103、画像圧縮伸長部104、記録媒体105、ディスプレイ106、視線検出部107、スキップスイッチ108、クリアスイッチ109、時間設定変更部110、視線フラグ書き換許可スイッチ111を備えている。
【0022】
このような構成からなる情報記録再生装置1において、記録媒体105に記録されているファイルを再生する場合の情報記録再生装置1の概略動作について説明する。
【0023】
上記ファイルの各フレームは、制御部101の管理の下、DMAコントローラ102に従って、一旦、メモリ103に記憶される。さらに、メモリ103に記憶されたフレームは、DMAコントローラ102に従って、画像圧縮伸長部104に転送され、伸長される。伸長されたフレームは、DMAコントローラ102を介して、ディスプレイ106にOSD表示されることによって再生される。
【0024】
ここで、通常、ファイルの各フレームは、データ圧縮されて記録媒体105に記録されている。また、上記フレームは、動画像のフレームも含むものとする。
【0025】
以下に、このようにして再生されるフレームの中から所望のフレームを素早く検索する動作について説明する。
【0026】
図2は、本発明に係る情報記録再生装置1の制御部101の各手段を示す概略構成図である。
【0027】
視線検出部107は、ユーザーがフレームの内容を実際に見ているか否かを示す視線検出信号112を発生する。即ち、この視線検出信号112は、視線有無状態を表す信号である。なお、ここでいうフレームとは、1つのファイルの内、ディスプレイ106上に表示される1画面分の情報と、その他、その画面の属性を示す情報を含むデータ量を有する1単位をいう。
【0028】
この視線検出信号112は、制御部101の記録再生制御手段(以下、視線フラグ記録再生制御手段という)120に送出される。視線フラグ記録再生制御手段120は、この視線検出信号112をフレーム内に記録できるデータ形式に変換し、フレームの属性領域内に書き込むことができる。この変換された信号を視線フラグといい、フレームの識別又は表示のために用いられる信号である。視線検出信号112が、視線有状態の時、上記視線フラグは、視線フラグ「ON」を表すものとする。また、視線検出信号112が、視線無状態の時、上記視線フラグは、視線フラグ「OFF」を表すものとする。なお、視線検出信号112の発生を行う視線検出部107の具体的動作については、後述する。
【0029】
先ず、記録媒体105に記録されているファイルのフレームを再生する場合における視線フラグの書込み動作について説明する。
【0030】
視線検出信号112から変換された視線フラグは、視線フラグ記録再生制御手段120によって、現在再生しているフレーム内に記録される。
【0031】
視線フラグ「ON」の場合には、視線フラグをセット(セット=“ON”)して現在再生しているフレームに記録する。一方、視線フラグ「OFF」の場合には、視線フラグをクリア(クリア=“OFF”)して、現在再生しているフレームに記録する。
【0032】
この場合、視線フラグ「ON」は、デジタル信号の“1”、視線フラグ「OFF」は、“0”で表してもよい。
【0033】
次に、記録媒体105に記録されているファイルのフレームを再生する場合における視線フラグの読み込み動作について説明する。
【0034】
視線フラグ記録再生制御手段120によって、上記説明したように、視線フラグ書込み動作と同様に、現在再生しているフレームに記憶されている視線フラグの状態、即ち、視線フラグ「ON/OFF」が読み出される。これにより、再度、フレームを読み出したとき、視線フラグが「ON」か、「OFF」かの視線フラグの状態を検出することにより、その再生しているフレームの内容をユーザーが実際に見たかどうかを容易に判定することが可能となる。また、読み出された視線フラグの状態は、ディスプレイ106にOSD表示される。これによって、ユーザーにとってもそのフレームを見たかどうかの判定が容易となる。
【0035】
このように、ユーザーが実際にフレームを見た場合のみ、フレーム内に視線フラグ「ON」を記録することで、再度、そのフレームを検索するときに、この視線フラグの「ON/OFF」を読み出すことによって、フレームの内容を見たかどうかを容易に識別することが可能となる。また、ユーザーは、ディスプレイ106上に、表示される視線フラグを見ることで、そのフレームを見たかどうかを容易に確認することができる。
【0036】
ここで、フレームの再生時において視線フラグをフレームに書き込む場合とは、ユーザーが実際にフレームを観察して、そのフレームの内容を見たかどうかを決定する場合である。この視線フラグをフレームに書き込む場合には、一旦、フレームに既に記録されている視線フラグを読み出した後、視線検出部からの視線フラグを書き込む手順となるが、例えば、読み出した視線フラグが「ON」であり、視線検出信号を変換した視線フラグが本来「ON」であるにも拘わらず「OFF」になっている場合、「OFF」がフレームに書き込まれてしまう恐れがある。このような状態を確実に防ぐために、フラグ書換え許可スイッチ111を設けている。
【0037】
この許可スイッチが「許可」状態にある場合のみ、視線フラグの書き換えを行うことができる。
【0038】
なお、初めてフレームを再生する場合は、全てのフレーム内に記録されて視線フラグがクリア(OFF)された状態で記録されている。
【0039】
図3は、フレーム再生時における視線フラグの書込み動作についてのフローチャート図である。
【0040】
再生動作を開始すると(ステップS1)、記録媒体105に圧縮されて記録されているファイルのフレームは、DMAコントローラ102を介してメモリ103に記憶される。メモリ103に書き込まれたフレームのデータは、メモリ103からDMAコントローラ102を介して、画像圧縮伸長部104に送られ伸長処理されて、再びメモリ103に記憶され、DMAコントローラ102を介してディスプレイ106に送られ表示される(ステップS2)。この際、制御部101の視線フラグ記録再生制御手段120は、フレームに書き込まれている視線フラグ「ON/OFF」を読み出し、ディスプレイ106にOSD表示する(ステップS3)。
【0041】
次に、再生動作が終了かどうかを判断し(ステップS4)、終了である場合には、視線フラグ記録再生制御手段120は、視線フラグ書込み処理を終了する(ステップS4;Yes)。終了でないと判断した場合(ステップS4;No)には、視線フラグ記録再生制御手段120は、視線フラグの書き換えが「許可」状態かどうかを判定する(ステップS5)。「不許可」状態であれば(ステップS5;no)、視線フラグ「ON/OFF」に関わらず記憶されている元の視線フラグの状態を変更せずに、ステップS2に戻り、通常のフレームの再生状態を続行する。一方、「許可」状態であれば(ステップS5;yes)、視線フラグ記録再生制御手段120は、視線フラグ「ON/OFF」かどうかの判定を行う(ステップS6)。視線フラグ「ON」である場合には(ステップS6;yes)、視線フラグ記録再生制御手段120は、視線フラグの「ON」をフレームに記録する。さらに、視線記録時間算出制御手段(以下、視線フラグ時間算出手段という)122により、視線フラグ「ON」時間の積算を行う。その後、視線フラグ記録再生制御手段120は、メモリ103の伸長されたフレーム・データを再度、画像圧縮伸長部104で画像圧縮処理して記録媒体105に記録し(ステップS7)、ステップS2に戻り、再生動作を続行する。一方、視線フラグ「OFF」である場合には(ステップS6;no)、視線フラグ記録再生制御手段120は、視線フラグ「OFF」をフレームに記録する。さらに、視線フラグ時間算出手段122により、フレーム「OFF」時間の積算を行う。その後、視線フラグ記録再生制御手段120は、メモリ103の伸長されたフレーム・データを再度、画像圧縮伸長部104で画像圧縮処理して記録媒体105に記録し(ステップS8)、ステップS2に戻り、再生動作を続行する。
【0042】
これによって、ユーザーは現在再生されているフレームが過去に見たことのあるフレームかどうかが容易に判断することができる。さらに、視線フラグ「ON」及び「OFF」のそれぞれの上記積算された視線フラグ時間を参照することにより、下記に示すスキップ動作を容易に行うことができる。
【0043】
ここで、視線フラグ時間算出手段122により、視線フラグ「ON」及び「OFF」のそれぞれ独立して上記積算された視線フラグ時間分のフレームの集合体をシーンという。また、このシーンを識別するための番号が各シーンの最終フレームが終了したときに、視線フラグ記録再生制御手段120によって付与され、その最終フレームの属性領域に記録される。さらに、同時にその属性領域に積算された視線フラグ時間も記録される。
【0044】
次に、視線フラグを利用した高速に視線フラグ記録再生制御手段120によるシーンの頭だしを行うスキップ動作について説明する。
【0045】
図4は、シーンに記録されている視線フラグ「ON/OFF」の例を示す図である。
【0046】
図5は、一度以上再生したことのあるシーンをスキップする場合のスキップ動作を示すフローチャートである。
【0047】
図4に示すように、このファイルは、ユーザーが再生中に1度は10分間席を立ち(シーン番号N1)、もう1度は20分間席を立ち(シーン番号N3)、最後に、M分間(シーン番号N5)、寝てしまった場合の視線フラグ「OFF」である3つのシーンが存在する場合の例である。また、その他のシーンは、視線フラグ「ON」を有するシーンである。
【0048】
なお、シーンの番号に一般性をもたせるために、シーンの番号をN0として、次に続くシーンの番号をN1、N2、・・・・・で表すものとする。
【0049】
また、さらに、各シーン番号N0,N1,N2・・・に対応して、これらの視線フラグ「ON/OFF」時間をそれぞれT0、T1,T2・・・で表すものとする。
【0050】
ここで、上記に説明したように、シーン番号N及び視線フラグ時間Tは、そのシーンを再度、再生する時に、これらのシーン番号N及び視線フラグ時間Tが記録されているそのシーンの最後のフレームの属性領域を検索することによって読み出す。また、例えば、ファイル番号N及びその視線フラグ「ON/OFF」時間Tは、ファイル領域の所定の領域に記憶テーブルを設け、その領域に記憶しておいても良い。
【0051】
視線フラグ「ON」を有するシーンN0を再生中に、スキップスイッチ108を押されると、このシーンをスキップさせる指令信号が発生する。
【0052】
制御部101のスキップ制御手段121は、上記スキップさせる指令信号を取り込んだ後、下記に説明する閾値時間と視線フラグがクリア状態で記録されているシーンNの視線フラグ「OFF」時間Tと比較する。上記比較結果、視線フラグ「OFF」時間Tの方が閾値時間より大きい場合には、未だ内容が把握されていないシーンであると判断する。図4に示す例では、シーン番号N1を有するシーンである。この場合、そのシーンの最初から再生動作を開始し、そのシーンの最後まで再生動作を行う。この再生動作により、この未検索シーンは、視線フラグが「OFF」から「ON」に記録されて、検索されたシーンとなる。
【0053】
一方、閾値時間がクリア時間Tより大きい場合には、内容が把握されてはいないがこの閾値時間では読み飛ばすシーンであると判断するとともに、閾値時間を変更要求のメッセージを出す。
【0054】
なお、上記スキップスイッチ108は、圧電型の無接点スイッチであってもよい。
【0055】
このように、このスキップ制御手段121により、高速に未検索のシーンの頭だしを行い、再生することが可能である。
【0056】
次に、閾値時間について説明する。
【0057】
ここでいう閾値時間とは、検索したフレームの視線フラグ「ON」の時間がこの閾値時間を超えていなければ、検索したシーンではないと判定するためのスレショールド時間をいう。
【0058】
閾値時間設定変更部110は、上記閾値時間を設定する。この設定された閾値時間は、閾値時間設定変更制御手段124により、再生動作開始前に読み込まれる。なお、閾値時間設定変更部110は、通常のサムホイールスイッチであってもよい。
【0059】
これにより、シーンを検索する上で、検索していないシーンを検索したと判断するような誤判定を防止することもできる。さらには、シーンの各フレームの内容に応じて、上記読み込んだ閾値時間に対して係数を乗じて閾値時間を変更することもできる。例えば、フレームの内容として、動画フレーム、テキストフレームなどのフレームがある。このように、フレームの内容に応じて、閾値時間を変更することにより、これらの誤判定の低減を図ることができる。
【0060】
また、クリアスイッチ109を押すと、制御部101の視線検出クリア手段123により、フレームに記録されている全ての視線フラグがクリアされる。これによって、何度も再生したファイルを別のユーザーが見る場合などに初めて再生するファイルと同様に扱うことが可能となる。
【0061】
次に、閾値時間を変えた場合におけるスキップ動作について図4を用いて説明する。
【0062】
閾値時間を10分に設定して、再生動作を開始した場合、最初に、スキップスイッチ108が押されると、シーンN1の視線フラグ「OFF」時間が10分であるから、フレームN1にスキップする。従って、シーンN1から再生が開始する。シーンN1の再生が終了した後、通常の再生モード中に、再度、スキップスイッチ108が押されると、視線フラグ「OFF」時間であるシーンN3にスキップし、再生を開始する。更に、シーンN3の再生が終了した後、通常再生中にスキップスイッチ108が押されると、シーンN5を再生することになる。ここで、閾値時間を15分に設定していたとすると、最初にスキップスイッチ108を押すと、シーンN1ではなくシーンN3から再生を開始する。シーンN3の再生が終了した後、通常の再生中に、再度、スキップスイッチ108が押されると、シーンN5にスキップし、シーンN5が再生することになる。
【0063】
ここで、シーンN5の視線フラグ「OFF」時間であるM時間は、閾値時間の15分よりも長いものとする。
【0064】
上記説明したスキップ動作を図5のフローチャート図を用いて説明する。
【0065】
ユーザーが、スキップスイッチ108が押されるまでは、通常の再生動作であるS1からS8までのステップと同様である。スキップスイッチ108を押されたかどうかを判断する(ステップS10)。次に、スキップスイッチ108を押されたと判断すると(ステップS10;yes)、制御部101のスキップ制御手段121は、一旦、現在のシーンNの再生動作を止めて、ファイルから視線フラグ「OFF」を有するシーンNをサーチする(ステップS11)。次に、あらかじめ設定した閾値時間とサーチされたフレームNのクリア時間Tとを比較する(ステップS12)。クリア時間Tの方が閾値時間より長い場合は(ステップS12;no)、シーンNは、未だ検索していないシーンであると判断され、記録媒体105から視線フラグがクリアされているシーンNは、その最初から最後まで読み出され、メモリ103、画像圧縮伸長部104を経てディスプレイ106に表示され、視線フラグ「ON」又は「OFF」をシーンNに記録する。(ステップS13)。その後、ステップS10に戻る。
【0066】
一方、クリア時間Tの方が短い場合は(ステップS12;yes)、通常の再生動作中にファイルの最後まで閾値時間より長いシーンがないかどうかを判断する(ステップS14)。判断した結果、ファイル上にシーンの最後まで閾値時間Aより長いシーンがない場合には(ステップS14;yes)、視線表示制御手段125は、「見てないフレームはありません」という旨のメッセージをOSD表示する。そして、ステップS12において、Yesと判断されたため、上述したように、閾値時間の変更要求のメッセージを出す(ステップS15)。ファイル上にシーンの最後まで閾値時間より長いシーンがある場合には(ステップS14;no)、ステップS10に戻る。
【0067】
上記説明したように、スキップスイッチ108が押されることで、ユーザーが未だ見ていないシーンまで容易にスキップすることが可能となる。なお、本実施形態では、視線フラグがクリアしているシーンを検索する動作を示しているが、再度確認するために既に検索完了のシーンを検索することも可能である。
【0068】
次に、視線検出信号112を発生する視線検出部107の動作を説明する。
【0069】
図6は、本発明に係る情報記録再生装置1の視線検出部107の機能ブロック図を示す。
【0070】
視線検出部107は、イメージセンサ、センサの輝度制御を行うAGC等を含む画像入力部501、画像デジタル信号、例えば、YUV信号を生成する信号処理部502、視線の有無を判定し、視線検出信号112を発生する視線判定部503、黒目位置設定部504および黒目判定部505を備えている。
【0071】
図7は、視線検出部107の再生前の設定を示すフローチャート図である。
【0072】
再生前の視線検出部107の設定動作について図7を用いて説明する。
【0073】
フレームの再生前に、予め、画像入力部501をユーザーに向ける。画像入力部501は、ユーザーの眼球領域の画像を入力し、画像信号を出力する。出力された画像信号を信号処理部502で信号処理し、画像デジタル信号を制御部101に送出し、ディスプレイ106に表示する。同時に、眼球の黒目位置を判定するための黒目枠領域をディスプレイ106上にOSD表示する(ステップS31)。
【0074】
次に、ディスプレイ106に表示されたユーザーの目が上記黒目枠内に入るように黒目位置設定部504により、黒目枠の所定の大きさ、位置を設定し、OSD表示する(ステップS32)。更に、黒目判定部505は、黒目枠領域の画像が黒目部分を含んでいることを判定するための種々の画像特徴量を設定する。例えば、画像特徴量として上記黒目位置設定部504で設定した黒目枠領域に黒目の周辺に白部分がどのくらいの割合で存在するか、輝度等が挙げられる。これらの画像特徴量から、黒目枠領域の画像が黒目部分を含んでいること判定するための条件を設定する(ステップS33)。以上の処理を実行し、事前の調整が完了する。
【0075】
次に、フレームを再生中の視線検出部の動作について図8に基づいて説明する。
【0076】
図8は、視線検出部107の動作を示すフローチャート図である。
【0077】
フレームの再生中、信号処理部502で処理された眼球の画像デジタル信号及び予め黒目位置設定部504により設定された黒目を判定するための黒目枠の大きさ、位置等の情報を視線判定部503に送る(ステップS50)。
【0078】
視線判定部503は、「黒目」が予め、設定した黒目枠領域の内部にあるかどうかを判定する(ステップS51)。ここで、黒目判定部505からの情報と、黒目枠内の画像を比較して、「黒目」が黒目枠内にあると判定すると(ステップS51;yes)、視線判定部503は、視線検出信号112を視線有状態にして制御部101に送る(ステップS52)。一方、「黒目」が存在しないと判定した場合(ステップS51;no)、視線検出信号112を視線無状態にして制御部101に送る。
【0079】
上記説明したように、事前に設定したユーザーの黒目枠領域に実際に黒目が存在しているかを判定することによって、実際にユーザーがフレームを検索しているか否かを容易に判定することができる。
【0080】
上記の実施形態は説明のためのものであり、本発明の範囲を制限するものではない。従って、当業者であればこれらの各要素もしくは全要素をこれと均等なものによって置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【0081】
【発明の効果】
上述したように、本発明によれば、フレームを再生中に、実際にユーザーが見たかどうかを示す視線検出信号有無状態をフレーム内に記録した後、記録媒体に保存し、再度、フレームを再生する際に、視線検出信号有無状態をフレームから読み出し、ディスプレイに表示しながら、スキップ制御手段により、ユーザーが見ていないフレームを素早く検索することができる。また、情報ファイルのフレーム検索する上で、検索していないフレームの視線検出信号無状態の時間と閾値時間とを比較することで、検索していないフレームを検索したと判断するような誤判定を防止することができる。また、情報ファイルの内容に応じて、上記閾値時間を変更することもでき、誤判定の低減を図ることも可能である。
【0082】
さらに、ユーザーは、ディスプレイ上に記録された視線フラグを観察することができるため、フレームの再生位置を変更するトリガを与えることができ、所望するフレームの位置の検索時間を短縮することが可能である。
【図面の簡単な説明】
【図1】本発明に係る情報記録再生装置のブロック図である。
【図2】本発明に係る情報記録再生装置1の制御部101の各手段を示す概略構成図である。
【図3】フレーム再生時における視線フラグの書込み動作についてのフローチャート図である。
【図4】フレームに記録されている視線フラグ「ON/OFF」の例を示す図である。
【図5】一度以上再生したことのあるフレームをスキップする場合のスキップ動作を示すフローチャートである。
【図6】本発明に係る情報記録再生装置1の視線検出部107の機能ブロック図を示す。
【図7】視線検出部107の再生前の設定を示すフローチャート図である。
【図8】視線検出部107の動作を示すフローチャート図である。
【符号の説明】
1 情報記録再生装置
101 制御部
102 DMAコントローラ
103 メモリ
104 画像圧縮伸長部
105 記録媒体
106 ディスプレイ
107 視線検出部
108 スキップスイッチ
109 クリアスイッチ
110 時間設定部
111 フラグ書き換え許可スイッチ
112 視線検出信号
120 記録再生制御手段
121 スキップ制御手段
122 視線記録時間算出制御手段
123 視線クリア制御手段
124 閾値時間設定変更制御手段
501 画像入力部
502 信号処理部
503 視線判定部
504 黒目位置設定部
505 黒目判定部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information recording / reproducing apparatus having a line-of-sight detection unit, and more particularly to an information recording / reproducing apparatus for quickly searching for a specific frame in an information file during reproduction of an information file recorded on a recording medium.
[0002]
[Prior art]
In the information recording / reproducing apparatus in the prior art, after the user finishes reproducing the information file recorded on the recording medium halfway, if the user tries to see the continuation of the information file recorded on the recording medium at a later date, the file The frame is searched by starting playback from the beginning and fast-forwarding to the desired frame of the file. Further, in the prior art, there is disclosed a holding means for holding reproduced information that can specify a frame that has been reproduced in the past (see Patent Document 1).
[0003]
[Patent Document 1]
JP-A-11-176096
[0004]
[Problems to be solved by the invention]
However, in the above-described conventional information recording / reproducing apparatus, every time an information file recorded on a recording medium is reproduced, the user searches for a frame that has already been reproduced or an unreproduced frame by using a function such as fast-forwarding. There is a problem that it takes time and effort. On the other hand, in the technique described in Patent Document 1 (Japanese Patent Laid-Open No. 11-176096), it is only possible to record whether or not it has been played back, and whether or not the user has actually seen it, that is, whether or not it has been played back. There is a problem that cannot be judged. For example, if the user goes to sleep during playback and the information recorded on the recording medium is played back to the end, the above-mentioned technique is recorded as played back, even though the frame is not actually viewed by the user. There is a problem that it becomes a target of erasure.
[0005]
Accordingly, the present invention has been made in view of the above-described problems of the prior art, and information that allows a user to quickly search for a reproduced frame or an unreproduced frame in an information file. A recording / reproducing apparatus is provided.
[0006]
[Means for Solving the Problems]
An information recording / reproducing apparatus according to the present invention includes a line-of-sight detection unit that outputs a line-of-sight detection signal indicating the presence or absence of a user's line of sight, and the line-of-sight detection unit when reproducing a frame of an information file recorded on a recording medium. Recording / reproducing control means for recording the gaze presence / absence state for each frame.
[0007]
In the information recording / reproducing apparatus according to the present invention, when the frame is reproduced, the recording / reproduction control unit reads the gaze presence / absence state recorded in the frame, and the gaze presence state is recorded for a predetermined period. The present invention is characterized by comprising skip control means for skipping a frame being read.
[0008]
In the information recording / reproducing apparatus according to the present invention, the skip control means provides a threshold time for comparing the time when the visual line detection signal presence / absence state is recorded, and records the state where the visual line detection signal is present for the threshold time or longer. The frame having the set time is surely skipped.
[0009]
In the information recording / reproducing apparatus according to the present invention, the skip control means provides a threshold time for comparison with the time when the gaze presence / absence state is recorded, and the time when the gaze presence state is recorded more than the threshold time The frame having the above is skipped.
[0010]
The information recording / reproducing apparatus according to the present invention further comprises threshold time setting change control means for changing the threshold time, and the threshold time setting change control means sends the skip control means to the skip control means according to the content of the frame. The threshold time is changed so as to skip frames.
[0011]
According to the information recording / reproducing apparatus of the present invention, when searching for a frame of an information file, a frame that has not been searched for is searched for by searching for a frame that has not been searched by comparing the time when the line-of-sight detection signal is not present and the threshold time. It is possible to prevent an erroneous determination such as determining that it has been performed. Furthermore, the threshold time can be changed in accordance with the contents of the information file, and erroneous determination can be reduced.
[0012]
The information recording / reproducing apparatus according to the present invention is characterized by comprising visual line clear control means for setting all the visual line detection signal presence / absence states recorded in the frame of the information file to no state.
[0013]
According to the information recording / reproducing apparatus of the present invention, when another user searches for an information file reproduced many times, it can be handled in the same manner as a file reproduced for the first time.
[0014]
The information recording / reproducing apparatus according to the present invention displays the gaze presence / absence state on a display that displays the frame in order to make a user check whether the gaze presence / absence state is a searched or unsearched frame. A visual line display control means for displaying is provided.
[0015]
In the information recording / reproducing apparatus according to the present invention, when the line-of-sight display control means searches for the absence of the frame in which the line-of-sight signal non-state is recorded during the file reproduction, the information file is not searched. A message informing that the frame does not exist is displayed on the display.
[0016]
According to the information recording / reproducing apparatus of the present invention, it is possible to easily notify the user that there is no unsearched frame among the frames.
[0017]
In the information recording / reproducing apparatus according to the present invention, the line-of-sight detection signal detection unit outputs an image input unit that inputs an image of a user's black eye part in order to detect the user's line-of-sight detection signal, and is output from the image input unit. A black eye position setting unit for setting the size and position of the black eye frame area of the black eye part, and various image features for determining that the image of the black eye frame area includes the black eye part. Comparing the feature amount of the image of the black eye frame region set by the black eye position setting unit with the image information from the black eye determination unit, and determining that the image in the image region is the black eye And a line-of-sight determination unit that determines a portion.
[0018]
As described above, the information recording / reproducing apparatus according to the present invention records the presence / absence of the line-of-sight detection signal indicating whether or not the user has actually seen during the reproduction of the frame, and then saves it in the recording medium. Providing an information recording / playback device that can quickly search for frames that have not been viewed by the user using skip control means while reading the presence / absence of the line-of-sight detection signal from the frame and displaying it on the display. By doing so, the above problems are solved.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0020]
FIG. 1 is a functional block diagram of an information recording / reproducing apparatus according to an embodiment of the present invention.
[0021]
The information recording / reproducing apparatus 1 includes a control unit 101, a direct memory access controller (hereinafter referred to as a DMA controller) 102, a memory 103, an image compression / decompression unit 104, a recording medium 105, a display 106, a line-of-sight detection unit 107, a skip switch 108, and a clear switch. A switch 109, a time setting change unit 110, and a line-of-sight flag rewrite permission switch 111 are provided.
[0022]
A schematic operation of the information recording / reproducing apparatus 1 when reproducing the file recorded on the recording medium 105 in the information recording / reproducing apparatus 1 having such a configuration will be described.
[0023]
Each frame of the file is temporarily stored in the memory 103 according to the DMA controller 102 under the control of the control unit 101. Further, the frame stored in the memory 103 is transferred to the image compression / decompression unit 104 according to the DMA controller 102 and decompressed. The expanded frame is reproduced by being OSD-displayed on the display 106 via the DMA controller 102.
[0024]
Here, each frame of the file is usually compressed in the data and recorded in the recording medium 105. The frame includes a moving image frame.
[0025]
Hereinafter, an operation for quickly searching for a desired frame from the frames reproduced in this way will be described.
[0026]
FIG. 2 is a schematic configuration diagram showing each unit of the control unit 101 of the information recording / reproducing apparatus 1 according to the present invention.
[0027]
The line-of-sight detection unit 107 generates a line-of-sight detection signal 112 indicating whether or not the user is actually viewing the contents of the frame. In other words, the line-of-sight detection signal 112 is a signal representing the state of presence or absence of the line of sight. Note that the frame here means one unit having a data amount including information for one screen displayed on the display 106 in one file and other information indicating attributes of the screen.
[0028]
The line-of-sight detection signal 112 is sent to a recording / reproduction control unit (hereinafter referred to as a line-of-sight flag recording / reproduction control unit) 120 of the control unit 101. The line-of-sight flag recording / reproducing control means 120 can convert the line-of-sight detection signal 112 into a data format that can be recorded in the frame and write it in the attribute area of the frame. This converted signal is referred to as a line-of-sight flag, and is a signal used for frame identification or display. When the line-of-sight detection signal 112 is in the line-of-sight presence state, the line-of-sight flag represents the line-of-sight flag “ON”. Further, when the line-of-sight detection signal 112 is in the state of no line of sight, the line-of-sight flag represents the line-of-sight flag “OFF”. A specific operation of the line-of-sight detection unit 107 that generates the line-of-sight detection signal 112 will be described later.
[0029]
First, the line-of-sight flag writing operation in the case of reproducing the frame of the file recorded on the recording medium 105 will be described.
[0030]
The line-of-sight flag converted from the line-of-sight detection signal 112 is recorded in the frame currently being reproduced by the line-of-sight flag recording / reproducing control means 120.
[0031]
When the line-of-sight flag is “ON”, the line-of-sight flag is set (set = “ON”) and recorded in the currently reproduced frame. On the other hand, when the line-of-sight flag is “OFF”, the line-of-sight flag is cleared (clear = “OFF”) and recorded in the currently reproduced frame.
[0032]
In this case, the line-of-sight flag “ON” may be represented by “1” of the digital signal, and the line-of-sight flag “OFF” may be represented by “0”.
[0033]
Next, the line-of-sight flag reading operation when the frame of the file recorded on the recording medium 105 is reproduced will be described.
[0034]
As described above, the line-of-sight flag recording / reproduction control means 120 reads the state of the line-of-sight flag stored in the currently reproduced frame, that is, the line-of-sight flag “ON / OFF”, as in the line-of-sight flag writing operation. It is. Thus, when the frame is read again, whether or not the user has actually seen the contents of the frame being reproduced by detecting the state of the line-of-sight flag whether the line-of-sight flag is "ON" or "OFF" Can be easily determined. Further, the state of the read line-of-sight flag is displayed on the display 106 as OSD. This makes it easy for the user to determine whether the frame has been viewed.
[0035]
As described above, only when the user actually sees the frame, the line-of-sight flag “ON” is recorded in the frame, and when the frame is searched again, “ON / OFF” of the line-of-sight flag is read out. Thus, it is possible to easily identify whether or not the contents of the frame have been viewed. Further, the user can easily confirm whether or not the user has seen the frame by viewing the line-of-sight flag displayed on the display 106.
[0036]
Here, the case where the line-of-sight flag is written in the frame at the time of reproducing the frame is a case where the user actually observes the frame and determines whether or not the contents of the frame are viewed. When writing this line-of-sight flag to a frame, it is a procedure to read the line-of-sight flag already recorded in the frame and then writing the line-of-sight flag from the line-of-sight detection unit. If the line-of-sight flag converted from the line-of-sight detection signal is “ON” in spite of being “ON”, “OFF” may be written in the frame. In order to prevent such a state reliably, a flag rewrite permission switch 111 is provided.
[0037]
The line-of-sight flag can be rewritten only when the permission switch is in the “permitted” state.
[0038]
When frames are reproduced for the first time, they are recorded in all frames and recorded with the line-of-sight flag cleared (OFF).
[0039]
FIG. 3 is a flowchart of the line-of-sight flag writing operation during frame reproduction.
[0040]
When the reproduction operation is started (step S 1), the frame of the file compressed and recorded on the recording medium 105 is stored in the memory 103 via the DMA controller 102. The frame data written in the memory 103 is sent from the memory 103 to the image compression / decompression unit 104 via the DMA controller 102, decompressed, stored again in the memory 103, and sent to the display 106 via the DMA controller 102. Sent and displayed (step S2). At this time, the line-of-sight flag recording / reproducing control unit 120 of the control unit 101 reads the line-of-sight flag “ON / OFF” written in the frame, and displays the line-of-sight flag on the display 106 (step S3).
[0041]
Next, it is determined whether or not the reproduction operation is finished (step S4). If it is finished, the line-of-sight flag recording / reproduction control means 120 ends the line-of-sight flag writing process (step S4; Yes). When it is determined that it is not finished (step S4; No), the line-of-sight flag recording / reproducing control unit 120 determines whether or not the line-of-sight flag rewrite is in the “permitted” state (step S5). If it is in the “non-permitted” state (step S5; no), the stored state of the original line-of-sight flag is not changed regardless of the line-of-sight flag “ON / OFF”, and the process returns to step S2 to Continue playback state. On the other hand, if the state is “permitted” (step S5; yes), the line-of-sight flag recording / reproducing control unit 120 determines whether the line-of-sight flag is “ON / OFF” (step S6). When the line-of-sight flag is “ON” (step S6; yes), the line-of-sight flag recording / reproducing control unit 120 records the line-of-sight flag “ON” in the frame. Further, the line-of-sight flag “ON” time is integrated by the line-of-sight recording time calculation control means (hereinafter referred to as line-of-sight flag time calculation means) 122. Thereafter, the line-of-sight flag recording / reproducing control means 120 performs image compression processing on the decompressed frame data in the memory 103 again by the image compression / decompression unit 104 and records it on the recording medium 105 (step S7), and returns to step S2. Continue playback. On the other hand, when the line-of-sight flag is “OFF” (step S6; no), the line-of-sight flag recording / reproducing control unit 120 records the line-of-sight flag “OFF” in the frame. Further, the frame “OFF” time is integrated by the line-of-sight flag time calculation means 122. Thereafter, the line-of-sight flag recording / reproducing control means 120 performs image compression processing on the decompressed frame data in the memory 103 again by the image compression / decompression unit 104 and records it on the recording medium 105 (step S8), and returns to step S2. Continue playback.
[0042]
As a result, the user can easily determine whether the currently played frame is a frame that has been viewed in the past. Further, the skip operation described below can be easily performed by referring to the above-described accumulated line-of-sight flag times of the line-of-sight flags “ON” and “OFF”.
[0043]
Here, the aggregate of frames corresponding to the above-mentioned line-of-sight flag time accumulated independently by the line-of-sight flag time calculation means 122 for each of the line-of-sight flags “ON” and “OFF” is referred to as a scene. Further, when the last frame of each scene is finished, a number for identifying this scene is given by the line-of-sight flag recording / playback control means 120 and recorded in the attribute area of the last frame. At the same time, the line-of-sight flag time accumulated in the attribute area is also recorded.
[0044]
Next, a skip operation for cueing a scene by the line-of-sight flag recording / reproducing control means 120 using the line-of-sight flag at high speed will be described.
[0045]
FIG. 4 is a diagram illustrating an example of the line-of-sight flag “ON / OFF” recorded in the scene.
[0046]
FIG. 5 is a flowchart showing a skip operation when a scene that has been played once or more is skipped.
[0047]
As shown in FIG. 4, this file is reserved for 10 minutes (scene number N1) once during playback by the user, once for 20 minutes (scene number N3), and finally for M minutes. (Scene No. N5) is an example in the case where there are three scenes with the line-of-sight flag “OFF” in the case of falling asleep. The other scenes are scenes having a line-of-sight flag “ON”.
[0048]
In order to give generality to the scene number, the scene number is represented by N0, and the subsequent scene numbers are represented by N1, N2,.
[0049]
Further, the line-of-sight flag “ON / OFF” times are represented by T0, T1, T2,... Corresponding to the scene numbers N0, N1, N2,.
[0050]
Here, as described above, the scene number N and the line-of-sight flag time T are the last frame of the scene in which the scene number N and the line-of-sight flag time T are recorded when the scene is reproduced again. Read by searching the attribute area. Further, for example, the file number N and the line-of-sight flag “ON / OFF” time T may be stored in a predetermined area of the file area.
[0051]
If the skip switch 108 is pressed during reproduction of the scene N0 having the line-of-sight flag “ON”, a command signal for skipping this scene is generated.
[0052]
The skip control means 121 of the control unit 101 captures the command signal to be skipped, and then compares the threshold time described below with the line-of-sight flag “OFF” time T of the scene N recorded in the clear state. . As a result of the comparison, if the line-of-sight flag “OFF” time T is greater than the threshold time, it is determined that the scene has not yet been grasped. In the example shown in FIG. 4, the scene has the scene number N1. In this case, the reproduction operation is started from the beginning of the scene and the reproduction operation is performed until the end of the scene. By this reproduction operation, the unsearched scene becomes a searched scene with the line-of-sight flag recorded from “OFF” to “ON”.
[0053]
On the other hand, when the threshold time is larger than the clear time T, it is determined that the scene is skipped at this threshold time although the contents are not grasped, and a message for requesting a change of the threshold time is issued.
[0054]
The skip switch 108 may be a piezoelectric contactless switch.
[0055]
As described above, the skip control means 121 can quickly search for an unsearched scene and reproduce it.
[0056]
Next, the threshold time will be described.
[0057]
Here, the threshold time is a threshold time for determining that the scene is not searched if the time of the line-of-sight flag “ON” of the searched frame does not exceed the threshold time.
[0058]
The threshold time setting changing unit 110 sets the threshold time. The set threshold time is read by the threshold time setting change control means 124 before starting the reproduction operation. The threshold time setting changing unit 110 may be a normal thumbwheel switch.
[0059]
Thereby, when searching for a scene, it is possible to prevent erroneous determination such as determining that an unsearched scene has been searched. Further, the threshold time can be changed by multiplying the read threshold time by a coefficient in accordance with the contents of each frame of the scene. For example, the content of the frame includes a frame such as a moving image frame and a text frame. In this way, by changing the threshold time according to the contents of the frame, it is possible to reduce these erroneous determinations.
[0060]
When the clear switch 109 is pressed, all the line-of-sight flags recorded in the frame are cleared by the line-of-sight detection clear unit 123 of the control unit 101. This makes it possible to handle a file that has been played many times in the same way as a file that is played for the first time when another user views it.
[0061]
Next, the skip operation when the threshold time is changed will be described with reference to FIG.
[0062]
When the playback operation is started with the threshold time set to 10 minutes, when the skip switch 108 is pressed first, the line-of-sight flag “OFF” time of the scene N1 is 10 minutes, so the process skips to the frame N1. Accordingly, playback starts from the scene N1. When the skip switch 108 is pressed again in the normal playback mode after the playback of the scene N1 is finished, the scene N3 is skipped to the sight line flag “OFF” time, and playback is started. Further, when the skip switch 108 is pressed during normal reproduction after the reproduction of the scene N3 is completed, the scene N5 is reproduced. Here, assuming that the threshold time is set to 15 minutes, when the skip switch 108 is first pressed, reproduction is started from the scene N3 instead of the scene N1. When the skip switch 108 is pressed again during normal playback after the playback of the scene N3 is completed, the scene N5 is played back, skipping to the scene N5.
[0063]
Here, it is assumed that the M time that is the line-of-sight flag “OFF” time of the scene N5 is longer than the threshold time of 15 minutes.
[0064]
The skip operation described above will be described with reference to the flowchart of FIG.
[0065]
Until the user presses the skip switch 108, the steps from S1 to S8, which are normal reproduction operations, are the same. It is determined whether or not the skip switch 108 has been pressed (step S10). Next, if it is determined that the skip switch 108 has been pressed (step S10; yes), the skip control means 121 of the control unit 101 once stops the playback operation of the current scene N and sets the line-of-sight flag “OFF” from the file. The scene N that the user has is searched (step S11). Next, the preset threshold time is compared with the clear time T of the searched frame N (step S12). When the clear time T is longer than the threshold time (step S12; no), it is determined that the scene N is a scene that has not yet been searched, and the scene N in which the line-of-sight flag is cleared from the recording medium 105 is It is read from the beginning to the end, displayed on the display 106 through the memory 103 and the image compression / decompression unit 104, and records the line-of-sight flag “ON” or “OFF” in the scene N. (Step S13). Then, it returns to step S10.
[0066]
On the other hand, when the clear time T is shorter (step S12; yes), it is determined whether or not there is a scene longer than the threshold time until the end of the file during the normal reproduction operation (step S14). As a result of the determination, if there is no scene in the file that is longer than the threshold time A until the end of the scene (step S14; yes), the line-of-sight display control means 125 displays an OSD message “There are no unseen frames”. indicate. And since it was judged as Yes in step S12, the message of a change request of threshold time is issued as mentioned above (step S15). If there is a scene longer than the threshold time until the end of the scene in the file (step S14; no), the process returns to step S10.
[0067]
As described above, when the skip switch 108 is pressed, it is possible to easily skip to a scene that the user has not yet seen. In the present embodiment, an operation for searching for a scene in which the line-of-sight flag is cleared is shown. However, a search-completed scene can also be searched for confirmation again.
[0068]
Next, the operation of the line-of-sight detection unit 107 that generates the line-of-sight detection signal 112 will be described.
[0069]
FIG. 6 shows a functional block diagram of the line-of-sight detection unit 107 of the information recording / reproducing apparatus 1 according to the present invention.
[0070]
The line-of-sight detection unit 107 includes an image sensor, an image input unit 501 including an AGC for performing brightness control of the sensor, an image digital signal, for example, a signal processing unit 502 that generates a YUV signal, and the presence or absence of the line of sight, 112 includes a line-of-sight determination unit 503, a black eye position setting unit 504, and a black eye determination unit 505.
[0071]
FIG. 7 is a flowchart showing the setting of the line-of-sight detection unit 107 before reproduction.
[0072]
The setting operation of the line-of-sight detection unit 107 before reproduction will be described with reference to FIG.
[0073]
Prior to frame reproduction, the image input unit 501 is directed to the user in advance. The image input unit 501 inputs an image of the user's eyeball region and outputs an image signal. The output image signal is signal-processed by the signal processing unit 502, and the image digital signal is sent to the control unit 101 and displayed on the display 106. At the same time, the black eye frame region for determining the black eye position of the eyeball is OSD-displayed on the display 106 (step S31).
[0074]
Next, a predetermined size and position of the black eye frame are set by the black eye position setting unit 504 so that the user's eyes displayed on the display 106 fall within the black eye frame, and OSD display is performed (step S32). Further, the black eye determination unit 505 sets various image feature amounts for determining that the image of the black eye frame region includes a black eye part. For example, the ratio of the white portion around the black eye in the black eye frame region set by the black eye position setting unit 504 as the image feature amount, the luminance, and the like can be mentioned. From these image feature amounts, conditions for determining that the image of the black eye frame region includes a black eye portion are set (step S33). The above processing is executed, and the advance adjustment is completed.
[0075]
Next, the operation of the line-of-sight detection unit during frame reproduction will be described with reference to FIG.
[0076]
FIG. 8 is a flowchart showing the operation of the line-of-sight detection unit 107.
[0077]
During playback of the frame, the eyeball image digital signal processed by the signal processing unit 502 and information such as the size and position of the black eye frame for determining the black eye previously set by the black eye position setting unit 504 are used as the line-of-sight determination unit 503. (Step S50).
[0078]
The line-of-sight determination unit 503 determines whether or not “black eyes” are within the previously set black eye frame region (step S51). When the information from the black eye determination unit 505 is compared with the image in the black eye frame and it is determined that “black eye” is in the black eye frame (step S51; yes), the line of sight determination unit 503 detects the line of sight detection signal. 112 is set to the line-of-sight state and sent to the control unit 101 (step S52). On the other hand, when it is determined that “black eyes” do not exist (step S51; no), the line-of-sight detection signal 112 is sent to the control unit 101 with no line-of-sight state.
[0079]
As described above, it is possible to easily determine whether or not the user is actually searching for a frame by determining whether or not a black eye actually exists in the user's previously set black eye frame region. .
[0080]
The above embodiments are for illustrative purposes and do not limit the scope of the present invention. Accordingly, those skilled in the art can employ embodiments in which each or all of these elements are replaced by equivalents thereof, and these embodiments are also included in the scope of the present invention.
[0081]
【The invention's effect】
As described above, according to the present invention, during playback of a frame, a gaze detection signal presence / absence state indicating whether or not the user has actually seen is recorded in the frame, and then stored in the recording medium, and the frame is played back again. At this time, the presence / absence state of the eye-gaze detection signal is read from the frame and displayed on the display, and the skip control means can quickly search for the frame that the user has not seen. In addition, when searching for a frame in an information file, an erroneous determination is made such that it is determined that a frame that has not been searched is searched by comparing the time when there is no line-of-sight detection signal in the frame that has not been searched and the threshold time. Can be prevented. In addition, the threshold time can be changed according to the contents of the information file, and erroneous determination can be reduced.
[0082]
Furthermore, since the user can observe the line-of-sight flag recorded on the display, it is possible to give a trigger to change the playback position of the frame, and to shorten the search time of the desired frame position. is there.
[Brief description of the drawings]
FIG. 1 is a block diagram of an information recording / reproducing apparatus according to the present invention.
FIG. 2 is a schematic configuration diagram showing each unit of a control unit 101 of the information recording / reproducing apparatus 1 according to the present invention.
FIG. 3 is a flowchart of a line-of-sight flag writing operation during frame reproduction;
FIG. 4 is a diagram illustrating an example of a line-of-sight flag “ON / OFF” recorded in a frame.
FIG. 5 is a flowchart showing a skip operation when skipping a frame that has been played once or more.
FIG. 6 is a functional block diagram of a line-of-sight detection unit 107 of the information recording / reproducing apparatus 1 according to the present invention.
FIG. 7 is a flowchart showing a setting before reproduction of the line-of-sight detection unit 107;
FIG. 8 is a flowchart showing the operation of the line-of-sight detection unit 107.
[Explanation of symbols]
1 Information recording and playback device
101 Control unit
102 DMA controller
103 memory
104 Image compression / decompression unit
105 Recording medium
106 display
107 Gaze detection unit
108 Skip switch
109 Clear switch
110 hours setting section
111 Flag rewrite permission switch
112 Gaze detection signal
120 Recording / reproducing control means
121 Skip control means
122 Gaze recording time calculation control means
123 Line of sight clear control means
124 Threshold time setting change control means
501 Image input unit
502 signal processing unit
503 Gaze determination unit
504 Black eye position setting section
505 Black eye determination part

Claims (8)

ユーザーの視線の有無を示す視線検出信号を出力する視線検出部と、
記録媒体に記録されている情報ファイルのフレームを再生する際に、前記視線検出部からの視線有無状態を前記フレーム毎に記録する記録再生制御手段と、
を備えたことを特徴とする情報記録再生装置。
A line-of-sight detection unit that outputs a line-of-sight detection signal indicating the presence or absence of the user's line of sight;
A recording / reproducing control unit that records the gaze presence / absence state from the gaze detection unit for each frame when reproducing the frame of the information file recorded on the recording medium;
An information recording / reproducing apparatus comprising:
前記フレームを再生する際に、前記記録再生制御手段により、前記フレームに記録されている前記視線有無状態を読み出し、所定の期間前記視線有状態が記録されているフレームを読み飛ばしするスキップ制御手段を備えたことを特徴とする請求項1に記載の情報記録再生装置。A skip control unit that reads out the gaze presence / absence state recorded in the frame and skips a frame in which the gaze presence state is recorded for a predetermined period when the frame is reproduced by the recording / reproduction control unit; The information recording / reproducing apparatus according to claim 1, further comprising: 前記スキップ制御手段は、前記視線有無状態が記録されている時間と比較するための閾値時間を設け、前記閾値時間以上前記視線有状態が記録されている時間を有する前記フレームを読み飛ばしすることを特徴とする請求項2に記載の情報記録再生装置。The skip control means provides a threshold time for comparing with the time when the visual line presence / absence state is recorded, and skips the frame having the time when the visual line presence state is recorded for the threshold time or longer. The information recording / reproducing apparatus according to claim 2, wherein: 前記閾値時間を変更する閾値時間設定変更制御手段を備え、前記閾値時間設定変更制御手段は、前記スキップ制御手段に対して、前記フレームの内容に応じて前記フレームを読み飛ばしするように、前記閾値時間を変更することを特徴とする請求項3に記載の情報記録再生装置。Threshold time setting change control means for changing the threshold time, and the threshold time setting change control means causes the skip control means to skip the frame according to the content of the frame. 4. The information recording / reproducing apparatus according to claim 3, wherein the time is changed. 前記情報ファイルのフレームに記録されている前記視線有無状態を全て視線無状態とする視線クリア制御手段を備えたことを特徴とする請求項1から請求項4のいずれか1項に記載の情報記録再生装置。5. The information recording according to claim 1, further comprising line-of-sight clear control means for setting all the lines of sight presence or absence recorded in the frame of the information file to a line-of-sight state. Playback device. ユーザーに対して、前記視線有無状態が検索又は未検索されたフレームであるかを確認させるために、前記フレームを表示するディスプレイ上に、前記視線有無状態を表示する視線表示制御手段を備えたことを特徴とする請求項1から5のいずれか1項に記載の情報記録再生装置。In order to allow the user to check whether the gaze presence / absence state is a searched or unsearched frame, gaze display control means for displaying the gaze presence / absence state is provided on a display that displays the frame. The information recording / reproducing apparatus according to claim 1, wherein: 前記視線表示制御手段は、前記ファイル再生時に、前記視線無状態が記録されている前記フレームがないことを検索した場合に、前記情報ファイル内に未検索の前記フレームが存在しないことを知らせるメッセージを前記ディスプレイ上に表示することを特徴とする請求項6に記載の情報記録再生装置。The line-of-sight display control means sends a message notifying that there is no unsearched frame in the information file when searching for the absence of the frame in which the line-of-sight state is recorded during the file reproduction. The information recording / reproducing apparatus according to claim 6, wherein the information recording / reproducing apparatus displays on the display. 前記視線検出信号検出部は、ユーザーの前記視線検出信号を検出するためにユーザーの黒目部分の画像を入力する画像入力部と、
前記画像入力部から出力される画像内において、前記黒目部分の黒目枠領域の大きさ及び位置を設定する黒目位置設定部と、
前記黒目枠領域の画像が前記黒目部分を含んでいることを判定するための種々の画像特徴量を設定する黒目判定部と、
前記黒目位置設定部により設定された前記黒目枠領域の画像の特徴量と前記黒目判定部からの画像情報とを比較し、前記画像領域内の画像が前記黒目部分であることを判定する視線判定部と、
を備えたことを特徴とする請求項1に記載の情報記録再生装置。
The line-of-sight detection signal detection unit is configured to input an image of a user's black eye part in order to detect the user's line-of-sight detection signal; and
In the image output from the image input unit, a black eye position setting unit for setting the size and position of the black eye frame region of the black eye part,
A black eye determination unit that sets various image feature amounts for determining that the image of the black eye frame region includes the black eye part;
A line-of-sight determination that compares the feature amount of the image in the black eye frame region set by the black eye position setting unit with the image information from the black eye determination unit, and determines that the image in the image region is the black eye portion. And
The information recording / reproducing apparatus according to claim 1, further comprising:
JP2003165215A 2003-06-10 2003-06-10 Information recording / reproducing device Expired - Fee Related JP4097567B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003165215A JP4097567B2 (en) 2003-06-10 2003-06-10 Information recording / reproducing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003165215A JP4097567B2 (en) 2003-06-10 2003-06-10 Information recording / reproducing device

Publications (2)

Publication Number Publication Date
JP2005005867A JP2005005867A (en) 2005-01-06
JP4097567B2 true JP4097567B2 (en) 2008-06-11

Family

ID=34091767

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003165215A Expired - Fee Related JP4097567B2 (en) 2003-06-10 2003-06-10 Information recording / reproducing device

Country Status (1)

Country Link
JP (1) JP4097567B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006077791A1 (en) * 2005-01-18 2006-07-27 Matsushita Electric Industrial Co., Ltd. Digital broadcast reproduction device and digital broadcast recording device
JP2007104331A (en) * 2005-10-04 2007-04-19 Sharp Corp Recording device and recording and reproducing device
JP6222148B2 (en) * 2015-03-19 2017-11-01 カシオ計算機株式会社 Imaging apparatus, image reproduction method, and program

Also Published As

Publication number Publication date
JP2005005867A (en) 2005-01-06

Similar Documents

Publication Publication Date Title
JP4456675B2 (en) Video recording / reproducing apparatus and video recording / reproducing method
US8437623B2 (en) Recording apparatus and method
US7505674B2 (en) Image processing apparatus and method for generating and displaying playlist for image data
US20120243847A1 (en) Image playback apparatus, image recording apparatus, and methods thereof
US9071806B2 (en) Reproducing apparatus
JP2007110193A (en) Image processing apparatus
JP2007174378A (en) Image filing method, digital camera, image filing processing program, and moving picture recording and reproducing device
KR20050026850A (en) Image display method, image display program, and image display apparatus
JP2007073007A (en) Image data selection method and image data processor
US8989555B2 (en) Information processor
JP4097567B2 (en) Information recording / reproducing device
US6697563B1 (en) Information recording medium, motion-picture voice recording/reproducing apparatus, and motion-picture voice recording/reproducing method
JP2007172670A (en) Optical disk playback apparatus, and optical disk playback method
JP5536464B2 (en) Imaging device
JP2010263374A (en) Recording and reproducing device and recording and reproducing method
JP2002314917A (en) Information reproducing system
US8471926B2 (en) Imaging apparatus, information processing apparatus and information processing method
US20070280647A1 (en) Moving Image Processing Device, Moving Image Processing Method And Program
JP2005175905A (en) Information recording/reproducing device, information recording reproducing method, program, and recording medium
JP4037852B2 (en) Video playback device
JP3791543B2 (en) Digital video / audio recording / reproducing device
JP5170205B2 (en) Information storage medium and moving picture audio recording and reproducing apparatus
JP4345762B2 (en) Recording apparatus and recording method
JP2006180101A (en) Moving video recording apparatus and method of thumbnail displaying
JP2000115703A (en) Storage medium used for picture display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080311

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110321

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120321

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120321

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130321

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130321

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140321

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees