JP3372096B2 - Image information access device - Google Patents

Image information access device

Info

Publication number
JP3372096B2
JP3372096B2 JP35105593A JP35105593A JP3372096B2 JP 3372096 B2 JP3372096 B2 JP 3372096B2 JP 35105593 A JP35105593 A JP 35105593A JP 35105593 A JP35105593 A JP 35105593A JP 3372096 B2 JP3372096 B2 JP 3372096B2
Authority
JP
Japan
Prior art keywords
image
information
index
signal
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP35105593A
Other languages
Japanese (ja)
Other versions
JPH07200632A (en
Inventor
恒 青木
俊一 沼崎
敏充 金子
Original Assignee
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝 filed Critical 株式会社東芝
Priority to JP35105593A priority Critical patent/JP3372096B2/en
Publication of JPH07200632A publication Critical patent/JPH07200632A/en
Application granted granted Critical
Publication of JP3372096B2 publication Critical patent/JP3372096B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】 【0001】 【産業上の利用分野】本発明は、画像情報の検索に適し
た画像情報アクセス装置に関する。 【0002】 【従来の技術】画像を記録する装置は、使用者が撮影し
たい風景の光学的情報を直接フィルム上の粒子の化学変
化に変換、あるいは同情報を電磁的信号に変換して媒体
に残存させる。直接フィルムに記録するものとして写真
カメラや映画撮影機、信号として媒体に記録するものと
して電子スチルカメラやビデオレコーダーが実用化され
ており、媒体には磁性体のテープやディスク、光学的な
特性を部分的に変化させる光ディスクや記憶を保持する
機能を備えた集積回路などが用いられている。記憶媒体
の性能の向上や記録方法の改善により、単一の媒体に記
録できる画像情報の量は増大し、今後も更なる向上が期
待されている。 【0003】このような画像記録装置では、蓄積された
画像情報の中から別途、目的の画像を探す際に効率よく
探索できるような目印をつけることが望まれる。これは
写真カメラやビデオカメラで撮影日付・時間をフィルム
に写し込む機能や、VTR(ビデオテープレコーダー)
で録画開始の位置に特別な信号を記録するインデックス
機能として実用化されている。しかしこれらの場合、画
像内容に関する情報管理は人間に任されており、目的と
する内容を含む画像部分を検索するためには、記録場所
についての使用者の記憶をたどるか、記憶がなければす
べての画像を精査する必要がある。あるいは、あらかじ
め手作業で内容に関する記述と対応する記録場所とを記
録し、保存しておかなければならない。 【0004】この場合、不特定の使用者からの検索に対
応した内容記述を行うためには、画像中の検索対象とな
りうる、より多くの物体について客観的に記述しておか
なければならない一方で、物体の状態や相互の関係から
の検索を許容するためには、著述的に内容を描写してお
く必要がある。これは利用者に大きな作業量を要求する
だけでなく、索引情報に極めて大きい記憶領域を用意す
る必要をも生じ、媒体の使用量が増大する。 【0005】内容の理解・記述をすべて自動化しようと
すると、様々な物体が明るさと色の違いだけで表されて
いる画面の中から、すべての物体について、物体同士の
分離、物体の認識、状態の記述といった過程をたどらな
ければならず、高度な知能的処理を備えたシステムが必
要となる。また前記のような著述的な描写には、さらに
大規模な知識データベースが必要とされ、この理由から
いまだ完成されたものは見られない。 【0006】したがって従来、特定の画像を検索する際
には、画像を総覧しながら目的の部分を探索するか、内
容についてあらかじめ緻密に記述された索引を参照して
探索するか、あるいは高度な処理系によって自動的に付
与された客観的で細分化された表現から探索することが
要求され、それぞれ使用者、索引製作者、システム設計
者に多大な負担を必要とした。また、意図した画像を装
置に理解させるためには、キーボードやマウスなど入力
装置による煩雑な作業を必要とし、さらに、使用者以外
の者あるいはシステムが用意した索引は、必ずしも特定
の使用者に適合した索引ではないという問題もあった。 【0007】 【0008】 【0009】 【0010】 【0011】 【0012】 【0013】 【0014】 【0015】 【0016】 【0017】 【発明が解決しようとする課題】上述したように従来の
画像記録再生装置では、使用者の意図する画像を検索す
るための索引を、検索しやすい形で利用するためには、
大規模な索引を映像製作者側が用意するか、複雑で高度
な画像認識システムに客観的な内容記述をさせることが
要求され、索引が冗長で、使用者にとって必ずしも効率
的でない、処理時間が増大する、処理系が複雑で高価で
ある、使用者の負担が大きいという問題があった。 【0018】 【0019】 【0020】本発明は、使用者に負担をかけずに、効率
的な処理で画像情報検索のための索引を作成し、目的と
する画像を適切に検索することができる画像情報アクセ
ス装置を提供することを目的とする。 【0021】 【0022】 【0023】 【課題を解決するための手段】本発明に係る画像情報ア
クセス装置は、画像情報を記録する画像情報記録手段
と、前記画像情報記録手段に対する前記画像情報の記録
又は再生の際に使用者の該画像情報に対する視線の位置
を検出する視線検出手段と、前記視線検出手段で検出さ
れた視線の位置を前記画像情報と関連付けて記憶する視
線位置情報記憶手段と、前記視線情報記憶手段に記憶さ
れた視線の位置に基づいて前記画像情報記録手段に記録
された画像情報中の部分画像を抽出する抽出手段と、前
記抽出手段により抽出された部分画像により表され、同
一のカット単位内において重複して出現する物体が、同
一の物体であることを検査する検査手段と、前記検査手
段による検査結果に応じて前記画像情報の検索のための
索引情報を生成する索引情報生成手段とを備えたことを
特徴とする。 【0024】 【0025】 【0026】 【作用】本発明の画像情報アクセス装置によれば、画像
記録または再生時の使用者の視線の位置を検出して画像
情報と関連付けて記録し、その記録内容から画像情報内
での視線の位置、動き、および停留時間等を根拠に、画
像情報内の使用者が注目している部分を選択的に抽出
し、画像情報の検索のための索引を生成する。これによ
り、使用者がとりわけ興味をひいた物体や部分を全画像
の中から選択し、選択された部分を索引とすることがで
きる。 【0027】本発明では、画像の通常の観察、記録又は
再生の過程で、特別な情報入力操作を必要とせずに関心
の高い部分のみが特定されて索引が生成されるため、使
用者の負担を大幅に削減することができる。また、注目
点を中心に解析を行うので、全画像に関する認識、理解
を必要とせず、処理が簡素化される。 【0028】 【0029】 【0030】 【0031】 【実施例】以下、図面を参照して本発明の実施例につい
て説明する。 【0032】まず、図1〜図6を参照して、本発明の実
施例に係る画像情報アクセス装置について説明する。 【0033】図1は、画像記録装置の構成を示すブロッ
ク図で、光ディスクを用いたディジタルビデオ装置の例
を示している。この装置は、撮影者が自分で被写体に装
置を向ける場合で、動画撮影時に撮影者の視線を観察
し、画像中の索引となりうる物体を選択する例である。 【0034】記録される映像信号は入力端子101を介
して入力され、A/D変換装置102によって量子化さ
れた後、符号化装置103によって記録に適した信号に
変換され、記録信号発生装置104を通じて記憶媒体1
05に記録される。 【0035】これと同時に入力端子106には、撮影者
の眼球の動きが電気信号で供給される。この眼球運動信
号はA/D変換装置107によって量子化された後、位
置検出器108によって画像中の視点位置情報として計
算される。計算された視点位置情報は符号化装置109
によって記録に適した信号に変換されて、映像信号とと
もに記録信号発生装置104の出力により記憶媒体10
5に記録される。 【0036】ここで、視点位置情報は映像信号の記録信
号発生装置104と異なる記録信号発生装置によって、
記憶媒体105の映像信号と異なる領域に格納してもよ
い。また記憶信号発生装置、記憶媒体ともに映像信号と
異なるものを用いて記録してもよい。 【0037】入力端子110にはスイッチ、ボタンなど
を通じて撮影者の指示をシステムコントローラ111に
伝える信号が供給される。この信号により画像記録装置
は録画の開始、終了やズームイン、ズームアウトなどを
制御する。装置の制御情報112は、符号化装置113
によって、やはり記録に適した信号に変換されて映像信
号、視線位置情報とともに、記録信号発生装置104の
出力により記憶媒体105に記録される。 【0038】撮影者による指示方法としては、索引とし
たい物体に注目しつつ撮影している際に装置にそれを知
らせる入力信号を用意して、入力端子110から上記の
経路を経る装置制御情報112に含めてもよい。 【0039】ここで装置制御情報は、符号化装置113
の後、映像信号の記録信号発生装置104と異なる記録
信号発生装置によって、記憶媒体105の映像信号と異
なる領域に格納してもよい。また記憶信号発生装置、記
憶媒体ともに映像信号と異なるものを用いて記録しても
よい。 【0040】図2は索引作成装置の構成を示すブロック
図である。この装置は、図1の画像記録装置によって記
録された映像信号、視線位置情報および装置制御情報に
基づいて、索引を作成するものである。 【0041】記憶媒体201に記憶された映像信号、視
線位置情報および装置制御情報は記憶信号読出装置20
2によって取り出され、映像信号203、視線位置情報
217および装置制御情報212に分けられる。ここ
で、記憶媒体は前記のように映像信号、視線位置情報、
装置制御情報で異なるものを用いてもよい。また、同一
記憶媒体を用いても異なる読みだし装置を用いて、あら
かじめ記録された異なる領域から取り出してもよい。映
像信号203は復号器204によって記録信号からディ
ジタル画像信号に変換され、画像蓄積部205に一定時
間分の画像が蓄えられる。 【0042】一方、装置制御情報212も同様に復号器
213によって記録信号からディジタル制御信号に変換
され、システムコントローラ214に供給される。シス
テムコントローラ214では、入力端子215から入力
される使用者の指示を受け、装置全体を管理するととも
に、記録されていた装置制御情報から連続した録画が途
切れる箇所(カット)を検出し、これをカット情報21
6として前記画像蓄積部205に供給する。画像蓄積部
205はこれを受けて、カット単位で画像を蓄える。 【0043】さらに視線位置情報217も同様に復号器
218によって記録信号からディジタル信号に変換され
る。この段階の信号は撮影の各フレームでの視線の位置
を表しているにすぎない。眼球運動は、一点を凝視して
いる時にも微妙な振動をする固視微動と、運動する対象
を追跡する際の随従運動、および視対象間を移動する際
の跳躍運動の3つに大別される。種別判定機219は、
復号器218によってディジタル化された視線位置情報
から、こうした運動の性格を判断し、その種類に関する
情報を視線位置情報に付加する。眼球運動の種類に関す
る情報を付加された視線位置情報は、注視点決定器22
0に供給される。注視点決定器220では、種別判定器
219からの運動種情報に基づいて注視点と判断できる
画面上の座標をエッジ認識装置206に供給する。 【0044】一方、エッジ認識装置206には前記画像
蓄積部205から一連のカット内の画像が画像の走査単
位(1フレーム)、または連続したフレームのまとまり
として供給され、その画像情報と注視点決定器220か
ら供給される注視点座標情報とから、注視している対象
物とその背景および前景との境界線(エッジ)を判定す
る。ここでエッジ認識装置206にはシステムコントロ
ーラ214を通じて使用者の指示を与え、指示に即して
エッジを認識させてもよい。 【0045】画像情報は、注視点の存在するフレームに
は注視点を含む物体の輪郭に関する情報が付加されて画
像部分抽出器207に供給される。画像部分抽出器20
7では注視点を含む物体(注目物体)を、注視点の存在
するフレームすべてについて部分画像として抽出し、重
複検査器208に供給する。ここで注目物体はカット内
や同一フレーム内に複数存在してもよい。 【0046】重複検査器208では、異なるフレームで
異なる姿勢であったり、ズームによって大きさが異なっ
ている同一物体について、それらが同一のものであると
いうことを検査し、供給された注目物体の画像とともに
重複情報として画像選定器209に供給する。ここで重
複検査器208は、検査中のカットだけでなくカットを
越えて重複の有無を検査してもよい。また、前記の画像
記録装置であらかじめ索引としたい物体を見ているとき
にそれを知らせる指示が記録されている場合、これを直
接索引候補の物体に加えてもよい。 【0047】画像選定器209は、注目物体画像と重複
情報に加えて登場回数、注視時間、大きさなど注目物体
画像から得られる副次的情報に基づいて、複数供給され
た注目物体の中から索引に適した対象物を選定するとと
もに、重複した同一物体の画像の中で、索引に適した状
態のものを選定する。ここで選定される索引は、カット
継続時間に対するその物体への注視時間の割合が一定値
を越えるものすべてを候補にするなどの方法を用いて、
カット内で複数存在してもよい。また索引に、同一物体
が違う状態で複数存在してもよい。さらにここでの選定
作業はシステムコントローラ214を通じて使用者の指
示を与え、指示に即して索引とする画像を選択してもよ
い。 【0048】以上のようにして索引と決定された対象物
は、抽出された部分画像そのもの、あるいは索引とされ
た画像のフレームを表す情報および索引とする画像領域
を表す情報として出力され、あわせてその対象物が含ま
れる他のフレームの情報(関連フレーム情報)も重複情
報に基づいて作成され、出力される。 【0049】画像選定器209から出力された索引画像
あるいは索引画の存在領域情報、関連フレーム情報は符
号化装置210を通じて記録に適した信号に変換され、
記録信号発生装置211の出力により記憶媒体201に
再記録される。ここで、索引の記録に用いる記憶媒体
は、元の画像および視線位置情報が記録された記憶媒体
201と異なるものを用いてもよい。 【0050】図3は画像再生検索装置の構成を示すブロ
ック図である。この装置は図2の索引作成装置によって
記録された映像信号、索引画信号および関連フレーム情
報に基づいて、索引を提示して使用者の目的画像の検索
を可能にするものである。 【0051】記憶媒体301に記憶された映像信号、索
引画信号および関連フレーム情報は記憶信号読出装置3
02によって取り出され、映像信号303、索引画信号
314および関連フレーム情報308に分けられる。こ
こで、記憶媒体は前記のように映像信号、索引画信号、
関連フレーム情報で異なるものを用いてもよい。また、
同一記憶媒体を用いても異なる読み出し装置を用いて、
あらかじめ記録された異なる領域から取り出してもよ
い。 【0052】索引参照を必要とする通常の再生の場合、
映像信号303は復号器304によって記録信号からデ
ィジタル画像信号に変換され、入力端子311を通じて
使用者の指示を受けたシステムコントローラ312の指
示に基づいて、画面作成器305で色、表示範囲、字幕
などの加工を受け、D/A変換器306でモニターテレ
ビに出力されるべき信号に変換された後、出力される。
ここで、モニターテレビがディジタルデータを許容する
ものである場合、D/A変換器306は作用しなくても
よい。 【0053】一方、使用者による検索に備えて索引画信
号314は復号器315によりディジタル画像信号に変
換され、索引画格納部316に蓄積される。ここで前記
のように索引画ではなく、索引画となるべき画像の存在
位置(アドレス)およびそのフレームの中での表示領域
を記録する方法の場合、この存在位置、表示領域情報に
基づいて画像データを参照し、画像として同様に索引画
格納部316に蓄積される。 【0054】索引で参照すべき物体が存在するフレーム
を記録した関連フレーム情報308は、復号器309に
よってディジタル信号に変換され、索引関連情報格納部
310に蓄積される。この索引関連情報格納部310で
は索引として指示する画像の索引画格納部316内での
蓄積場所や、その索引と対応する物体の存在するフレー
ムのアドレスが蓄積されており、システムコントローラ
312にこの情報を供給したり、入力端子311から使
用者の指示を受けたシステムコントローラ312の指示
によってこの対応関係を変更、更新できる。 【0055】システムコントローラ312は、使用者の
検索要求指示に従って一覧表作成装置317に索引一覧
表を作成させる。一覧表作成装置317は索引画格納部
316から使用者の希望する範囲の索引画の供給を受
け、画面作成器305にそれを送る。画面作成器305
ではシステムコントローラ313の指示を通じて使用者
に提示すべき画面を、元の映像信号、索引一覧表を組み
合わせて作成し、D/A変換器306に供給する。D/
A変換器306はモニターテレビに出力されるべき信号
に変換し、出力端子307に出力する。ここで、モニタ
ーテレビがディジタルデータを許容するものである場
合、D/A変換器306は作用しなくてもよい。 【0056】使用者は指示された索引から、目的とする
対象物を選択しスイッチ、ボタンなどの入力手段を通じ
て入力端子311に指示を伝達する。ここで目的となる
対象物は複数でもよい。また索引を選択する手段として
再び視線を利用し、選択したい画像を注視したことを選
択の意志表示ととらえる方法を用いてもよい。 【0057】システムコントローラ312は選択された
索引と関連するフレームを索引関連情報格納部310に
問い合わせ、通常の再生と同様の方法で画面に目的の画
像を供給する。 【0058】上記実施例では視線位置の検出と索引画の
作成および検索再生をそれぞれ別の装置で行っている
が、これらの中の任意の二つ、または三つすべてを同一
の装置で行ってもよい。 【0059】図4は画像記録装置兼索引作成装置の構成
を示すブロック図で、視線位置の検出と索引画の作成を
同一の装置で行う場合の実施例を示す図ある。 【0060】記録される映像信号は入力端子401に供
給され、A/D変換装置402によって量子化された
後、符号化装置411によって記録に適した信号に変換
され、記録信号発生装置409を通じて記憶媒体410
に記録される。同時に画像蓄積部403に一定時間分の
画像が蓄えられる。 【0061】一方、同時に入力端子415には撮影者の
眼球の動きが電気信号で供給される。この眼球運動信号
はA/D変換装置416によって量子化された後、位置
検出器417によって画像中の視点位置情報として計算
される。計算された視点位置情報は種別判定器418に
よってその運動の性格を判定される。眼球運動の種類に
関する情報を付加された視線位置情報は、注視点決定器
419に供給される。注視点決定器419では、種別判
定器418からの運動種情報に基づいて注視点と判断で
きる画面上の座標をエッジ認識装置404に供給する。 【0062】入力端子412にはスイッチ、ボタンなど
を通じて撮影者の指示をシステムコントローラ413に
伝える信号が供給される。この信号により画像記録装置
は録画の開始、終了やズームイン、ズームアウトなどを
制御する。装置の制御情報420は、符号化装置421
によって、やはり記録に適した信号に変換されて映像信
号、索引画情報とともに、記録信号発生装置409の出
力により記憶媒体410に記録される。また、システム
コントローラ413は、連続した録画の単位(カット)
を検出し、これをカット情報414として画像蓄積部4
03に供給する。画像蓄積部403はこれを受けて、カ
ット単位で画像を蓄える。 【0063】一方、エッジ認識装置404には画像蓄積
部403から一連のカット内の画像が画像の走査単位
(1フレーム)、または連続したフレームのまとまりと
して供給され、その画像情報と注視点決定器419から
供給される注視点座標情報とから、注視している対象物
と、その背景および前景との境界線(エッジ)を判定す
る。ここでエッジ認識装置404にはシステムコントロ
ーラ413を通じて使用者の指示を与え、指示に即して
エッジを認識させてもよい。 【0064】画像情報は、注視点の存在するフレームに
は注視点を含む物体の輪郭に関する情報が付加されて画
像部分抽出器405に供給される。画像部分抽出器40
5では注視点を含む物体(注目物体)を、注視点の存在
するフレームすべてについて部分画像として抽出し、重
複検査器406に供給する。ここで注目物体はカット内
や同一フレーム内に複数存在してもよい。 【0065】重複検査器406では、異なるフレームで
異なる姿勢であったり、ズームによって大きさが異なっ
ている同一物体について、それらが同一のものであると
いうことを検査し、供給された注目物体の画像とともに
重複情報として画像選定器407に供給する。ここで重
複検査器406は、検査中のカットだけでなくカットを
越えて重複の有無を検査してもよい。 【0066】画像選定器407は、注目物体画像と重複
情報に加えて登場回数、注視時間、大きさなど注目物体
画像から得られる副次的情報に基づいて、複数供給され
た注目物体の中から索引に適した対象物を選定するとと
もに、重複した同一物体の画像の中で、索引に適した状
態のものを選定する。ここで選定される索引は、カット
継続時間に対するその物体への注視時間の割合が一定値
を越えるものすべてを候補にするなどの方法を用いて、
カット内で複数存在してもよい。また索引に、同一物体
が違う状態で複数存在してもよい。さらにここでの選定
作業はシステムコントローラ413を通じて使用者の指
示を与え、指示に即して索引とする画像を選択してもよ
い。 【0067】以上のようにして索引と決定された対象物
は、抽出された部分画像そのもの、あるいは索引とされ
た画像のフレームを表す情報および索引とする画像領域
を表す情報として出力され、あわせてその対象物が含ま
れる他のフレームの情報も重複情報に基づいて作成さ
れ、出力される。 【0068】画像選定器407から出力された索引画像
あるいは索引画の存在領域情報、関連フレーム情報は符
号化装置408を通じて記録に適した信号に変換され、
記録信号発生装置409の出力により記憶媒体410に
記録される。ここで、索引の記録に用いる記憶媒体は、
元の画像および装置制御情報が記録された記憶媒体41
0と異なるものを用いてもよい。 【0069】撮影者の指示としては、索引としたい物体
に注目しつつ撮影している際に装置にそれを知らせる入
力信号を用意して、入力端子412から上記の経路を経
る装置制御情報420に含めてもよい。 【0070】以上の中で映像信号、索引画信号と関連フ
レーム情報、装置制御情報は符号化装置421の後、そ
れぞれ異なる記録信号発生装置によって、記憶媒体41
0の異なる領域に格納してもよい。また記憶信号発生装
置、記憶媒体ともにそれぞれ異なるものを用いて記録し
てもよい。 【0071】図5は、他の光ディスクを用いたディジタ
ルビデオ装置等の画像記録装置の概念を示す図で、動画
撮影時に撮影者の視線を観察し、視線の方向に自動的に
装置を向けつつ、画像中の索引となりうる物体を同時記
録する例を示している。本実施例は、撮影者自身が記録
装置の撮影方向を変化させない点で先の実施例とは異な
る。また、ここでは例として索引画像を記録するための
専用の光学系をもち、撮影者が意図した撮影画像を記録
する媒体と索引画像を記録する媒体が異なる場合を説明
する。 【0072】画像記録装置本体501は、前記のように
撮影者が意図した撮影をするための光学系と、索引画を
撮影するための光学系の2つを持っている。撮影者50
4の目の部分には、視線検出器502が装着され、本体
501とは有線または無線で結ばれている。本体501
あるいは視線検出器502は、互いの位置関係を察知す
る機能を持っており、その位置関係は本体501によっ
て把握される。撮影者504は端末503を手に持ち、
これによって装置本体501を制御する。端末503
は、本体501とは有線または無線で結ばれている。5
05は仮に撮影者504が撮影しようとしている被写体
である。 【0073】本体501によって撮影されている画像5
06,508のうち、一方の画像506は、撮影者50
4の指示によるズームを行っているもの(ユーザ画像)
である。撮影者504が被写体505に注視すると、本
体501は自動で被写体505の方向へ向きを変え、端
末503によって撮影者504に指示された拡大率で撮
影を行う。ユーザ画像506中の記号507は、仮に撮
影者504の視点が表示されているものである。他方の
画像508は索引画像で、ユーザ画像506と別の光学
系を用い、装置側であらかじめ決められた拡大率で注視
点を中心に撮影されるものである。 【0074】図6はこの画像記録装置の構成を示すブロ
ック図であり、図5の概念図では本体501の内部の処
理装置に対応する。 【0075】二つの光学系から入力された映像信号はユ
ーザ画像信号601、索引画像信号606として装置に
供給される。ユーザ画像信号はA/D変換装置602に
よってディジタル信号に変換された後、符号化装置60
3によってそのまま符号化され、記録信号発生装置60
4の出力を介して記憶媒体605に記録される。ここで
符号化の前に電気信号上での拡大処理であるディジタル
ズームを施してもよい。 【0076】一方、入力端子606から供給された索引
画像信号も同様にA/D変換装置607によってディジ
タル信号に変換され、ディジタルズーム608に供給さ
れる。カメラは撮影者の注視点を向いているため、その
まま入力された索引画像信号は注目物体を含んでいる。
ディジタルズーム608はその注視点を中心にあらかじ
め決められたズームを施した画像信号を画像蓄積部60
9に供給する。 【0077】撮影と同時に入力端子620からは眼球運
動信号が、入力端子624からは視線検出器と本体(撮
影装置)との位置関係を示す信号が供給される。この二
信号はそれぞれA/D変換器621、A/D変換器62
5によってディジタル信号に変換される。この後、眼球
運動信号は位置検出器622によって視野内での視線の
位置に変換される。これと並行して検出器位置信号が位
置検出器626によって本体の向き、検出器の向きと本
体・検出器の向きと距離などの情報に変換され、前記の
視線情報とともに注視点決定器623に供給される。 【0078】注視点決定器623では、本体、検出器の
位置関係、および撮影者の両眼の視線方向から、撮影者
の注視点の絶対位置を決定し、三次元座標としてシステ
ムコントローラ615に伝える。システムコントローラ
615では得られた注視点座標からカメラを向けるべき
方向、光学系の焦点を合わせるべき距離を計算し、カメ
ラ方向変位信号として出力端子619に出力する。 【0079】一方、撮影者は制御端末から装置に指示を
与えるが、その信号が入力端子618からシステムコン
トローラ615に提供される。システムコントローラ6
15は、指示に従ってユーザ画像ズームフォーカス信号
として出力端子614にズーム指示を伝達し、光学系の
ズームを行う。ここで、前記の符号化装置603の前に
ディジタルズームを設けるなどして、光学的なズームお
よび焦点合わせの必要がないときにはこの出力はなくて
もよい。また、カメラと被写体との距離の情報に基づ
き、あらかじめ決められた拡大率で注視点周辺のズーム
画を撮影するためのズームコントロール信号を出力端子
617から出力する。 【0080】カット検出器616は、入力端子618か
らシステムコントローラ615に入力した撮影者の指示
の中から、録画の開始、終了に関するものをカット信号
として取り出し、画像蓄積部609に蓄積の単位として
供給する。画像蓄積部609は画像信号を1フレームま
たは連続したフレームのまとまりとして画像選定器61
0に送る。画像選定器610では注目物体が移っている
画像の中から、登場回数、注視時間など注目物体画像か
ら得られる副次的情報に基づいて、複数供給された注目
物体の中から索引に適した対象物を選定するとともに、
重複した同一物体の画像の中で、索引に適した状態のも
のを選定する。ここで選定される索引は、カット継続時
間に対するその物体への注視時間の割合が一定値を越え
るものすべてを候補にするなどの方法を用いて、カット
内で複数存在してもよい。また索引に、同一物体が違う
状態で複数存在してもよい。ここでの選定作業はシステ
ムコントローラ618を通じて使用者の指示を与え、指
示に即して索引とする画像を選択してもよい。 【0081】こうして決定された索引画像は符号装置6
11によって記録に適した信号に変換され、記録信号発
生装置612の出力により、記憶媒体613に記録され
る。ここで、記憶媒体に映像信号の記録媒体605と同
一のものを用いて、媒体605の映像信号と異なる領域
に記憶させてもよい。また、符号化装置611によって
符号化された索引画像信号を、符号化装置603によっ
て符号化された映像信号と混合し、記録信号発生装置6
04の出力により記憶媒体605に記憶させてもよい。 【0082】さらに本実施例では注視点周辺の画像の拡
大のみを索引として用いたが、実施例の第一と同様に、
対象物のエッジを認識して部分画像として取り出しても
よい。このとき、映像および視線記録装置と索引作成装
置は一体でもよく、異なる装置でもよい。 【0083】その他の実施例として、動画再生時に視
(聴)者の視線を観察し、画像中の索引となりうる物体
を記録する例を説明する。本実施例は、録画時ではなく
再生時の使用者の視線を観察する点で先の実施例と異な
る。 【0084】本実施例の構成を示すブロック図は図4と
類似であるので、図4を参照しながら、先の実施例との
相違を示しつつ説明する。なお本実施例は映像信号と索
引信号を同一の媒体に記録するディジタルビデオ装置で
ある。 【0085】映像信号は再生画面として視(聴)者に提
供されると同時に入力端子401にも供給される。映像
信号はA/D変換装置402によってディジタル信号に
変換され、画像蓄積部403に一定時間分の画像が蓄え
られる。画像蓄積部403では提供された画像の中から
カットを検出し、それを蓄積の単位とする。なお本実施
例ではA/D変換装置402と画像蓄積部403の中間
から符号化装置411を結ぶ流路、および符号化装置4
11は必要としない。 【0086】一方、視(聴)者の眼球運動は、眼球運動
検出器と再生画面との位置関係の情報も含めて入力端子
415からA/D変換装置416に供給され、ディジタ
ル信号に変換される。変換されたディジタル信号は位置
検出器417で画面内での視線の位置として計算され
る。計算の結果は種別判定器418に供給され、眼球運
動の種類が解析される。その解析結果は注視点決定器4
19に与えられ、画面内での注視点としてエッジ認識装
置404に注視点情報を与える。 【0087】エッジ認識装置404には前記画像蓄積部
403から一連のカット内の画像が1フレーム、または
連続したフレームのまとまりとして供給され、その画像
情報と注視点決定器419から供給される注視点座標情
報とから、注視している対象物のエッジを判定する。こ
こでエッジ認識装置404にはシステムコントローラ4
13を通じて使用者の指示を与え、指示に即してエッジ
を認識させてもよい。 【0088】画像情報は、注視点の存在するフレームに
は注視点を含む物体の輪郭に関する情報とともに画像部
分抽出器405に供給される。画像部分抽出器405で
は注視点を含む物体(注目物体)を、注視点の存在する
フレームすべてについて部分画像として抽出し、重複検
査器406に供給する。ここで注目物体はカット内や同
一フレーム内に複数存在してもよい。 【0089】重複検査器406では、異なるフレームで
異なる姿勢であったり、ズームによって大きさが異なっ
ている同一物体について、それらが同一のものであると
いうことを検査し、供給された注目物体の画像とともに
重複情報として画像選定器407に供給する。ここで重
複検査器406は、検査中のカットだけでなくカットを
越えて重複の有無を検査してもよい。 【0090】画像選定器407は、注目物体画像と重複
情報に加えて登場回数、注視時間、大きさなど注目物体
画像から得られる副次的情報に基づいて、複数供給され
た注目物体の中から索引に適した対象物を選定するとと
もに、重複した同一物体の画像の中で、索引に適した状
態のものを選定する。ここで選定される索引は、カット
継続時間に対するその物体への注視時間の割合が一定値
を越えるものすべてを候補にするなどの方法を用いて、
カット内で複数存在してもよい。また索引に、同一物体
が違う状態で複数存在してもよい。さらにここでの選定
作業はシステムコントローラ413を通じて使用者の指
示を与え、指示に即して索引とする画像を選択してもよ
い。 【0091】以上のようにして索引と決定された対象物
は、抽出された部分画像、あるいは索引とされた画像の
フレームを表す情報および索引とする画像領域を表す情
報として出力され、あわせてその対象物が含まれるフレ
ームの情報も重複情報に基づいて作成され、出力され
る。 【0092】画像選定器407から出力された索引画像
あるいは索引画の存在領域情報、関連フレーム情報は符
号化装置408を通じて記録に適した信号に変換され、
記録信号発生装置409の出力により記録媒体410に
記録される。ここで、索引の記録に用いる記憶媒体は、
元の画像および装置制御情報が記録された記憶媒体41
0と異なるものを用いてよい。 【0093】視(聴)者の指示として、画面の中の索引
としたい物体を注目している際に装置にそれを知らせる
入力信号を用意して、入力端子412から上記の経路を
経る装置制御情報420に含めてもよい。 【0094】以上の中で、索引画信号と索引関連情報、
装置制御情報は符号化装置421の後、それぞれ異なる
記録信号発生装置によって、記憶媒体410の異なる領
域に格納してもよい。また記憶信号発生装置、記憶媒体
ともにそれぞれ異なるものを用いて記録してもよい。 【0095】本実施例では視線の検出と索引の作成を同
一の装置で行ったが、視線検出装置と索引作成装置が異
なるものでもよい。また、眼球運動検出器を複数用意し
て、同時に複数名の視点を分析し、それを画像選定器4
07の判断基準に用いてもよい。さらに、同一画像が繰
り返し再生された際に、前回までの索引と新たな視点情
報とを併せて判断基準として画像選定器407に入力
し、索引を更新してもよい。 【0096】この実施例では、画像再生検索装置として
図3の実施例と同じものを用いる。ここで、上記視線検
出装置兼索引生成装置と画像再生検索装置が一体のもの
でもよい。 【0097】以上の実施例の中では、記録方式がディジ
タル方式であるとして説明を行ったが、アナログ方式の
ビデオに用いてもよい。また記録媒体としては光ディス
クのほか、磁気ディスク、磁気テープ、メモリ素子など
を用いてもよい。また動画に関して説明を行ったが、静
止画を記録する装置に本発明を用いてもよい。また視点
検出装置内で画像内での視線の位置を計算する例で説明
を行ったが、視点の方向だけを記録し、索引作成装置で
画像内の視線の位置を計算させてもよい。また先の実施
例では、対象物体のエッジを利用して対象物の抽出を行
ったが、撮影時に画像内のすべての物体に対してカメラ
からの距離を計測して記録し、その情報から注視点を含
む同程度の距離の集合として対象物を抽出してもよい。
また図5の実施例に関して、索引画像撮影用にユーザ画
像撮影用とは異なる光学系を用いたが、これを同一の光
学系を用いて撮影してもよい。この場合には一つの入力
画像を二つに分岐させ、前記実施例と同じ処理を行って
もよいし、時間的に分割してユーザ画像撮影と索引画像
撮影を交互に行ってもよい。 【0098】以上の画像情報アクセス装置によれば、索
引をつけるべき画像を提示した際の人間の眼球運動を観
測し、その運動状態から注視点を判定し、注視点を中心
とした画像部分に特徴となる画像要素を求めるので、画
像中のすべての物体に対する認識を行うことなく索引を
作成することができる。また、そうして作成された索引
には撮影者が関心を示した物体が抽出されており、効率
のよい索引を作成することができる。 【0099】さらに画像認識で取り扱うべき領域が減少
するため、索引作成処理が簡素化され、処理速度の向上
が望める。また記録量も減少するため、記録媒体の節約
が可能になる。 【0100】次に、図7〜図9を参照して、本発明の実
施例に係る遠隔操作装置について説明する。 【0101】図7は、この遠隔操作装置の機能ブロック
図である。 【0102】まずユーザの手の存在する領域を距離画像
入力手段701で入力し、変化量検出手段702で距離
画像の時間差分を求める。動き物体検出手段703は、
距離画像とその時間差分から、どの程度の大きさの物体
がどの方向へ移動したかを計算する。この一連の処理に
より、ユーザが手を前方に伸ばしたときに、その動きを
検出することができる。 【0103】上述したそれぞれの手段について、より詳
細に説明する。 【0104】図9のステップS1〜S4は、この装置で
の処理の流れを示している。 【0105】先ず、距離画像から動き領域を抽出する
(S1)。距離画像入力手段701としては様々なもの
が提案されている。非接触で距離を測定できるものとし
て、三角測量の原理を利用したステレオ法、レンズ焦点
面の検出による方法、変調光の投射と反射光の位相差ま
たは時間差による計測などがある。変化量検出手段70
2では、時間軸で連続した2つのフレームの差分をとる
ことにより、変化のない背景画像を除去する。動き物体
検出手段703は距離画像および距離画像の変化量から
動きのある物体を検出する。 【0106】次に動き領域の中で距離が近い画素を分離
して同一オブジェクトであると判定する(S2)。そし
て、オブジェクトの距離と大きさとから手であるかどう
かを判定する(S3)。手を伸ばしたときにそれを検出
することを目的とするならば、手と同程度の大きさの物
体を検出できれば良い。この時たまたま手に何かを持っ
たまま操作をすることも考えられるため、厳密に手の形
状を判定する必要はない。むしろ、手と同程度の物体を
誤って手と判断してしまわないよう、この物体がどのよ
うな動きをしたときに手と判断するかというところを最
適に決めねばならない。ここでは、手を前方に伸ばした
ときに検出されるようにする。したがって手と同程度の
大きさの物体が、検出器に向かってある範囲の距離だけ
前進してきたことを検出する(S4)。 【0107】ノイズを低減したいならば、手と同程度の
物体が近づいてきた後、一定時間静止したとき手と判断
させるようにすれば良い。また、指の太さより細かい空
間分解能があれば、手と同程度の大きさの物体があり、
さらにその一部が局所的に検出器の方向に出っぱってい
るときにも手であると判定する方法もある。この場合
は、指を検出器の方向に向けて、手を伸ばしたときに検
出される。また、ペンなどの棒状のものを検出器に向け
て手を伸ばしても同様の効果が得られ、人がポイントす
る作業において自然な形である。 【0108】図8は本発明の他の遠隔操作装置の実施例
を示す機能ブロック図である。 【0109】距離画像入力手段801、変化量検出手段
802及び動き物体検出手段803は図1と同じもので
あり、動き物体検出手段803が手を検出したあとの処
理を下側の部分で行っている。図9は、この装置の処理
を示している。 【0110】動き物体追跡手段803が手と同程度の大
きさの物体が手前に近付いて来たことを検出すると(S
4)、以降の処理は動き物体追跡手段804に任され
る。処理が動き物体検出手段803に移ると、カーソル
表示手段805は動き物体追跡手段804の追跡結果に
したがって手の指し示す部分にカーソルを表示する(S
5)。動き物体追跡手段804で検出された動きベクト
ルは順次動きベクトル蓄積部806に蓄積されていく
(S6)。動きコマンド判定部807は、手があらかじ
め与えられた特別な動きをしたとき、それを検知する
(S7)。特別な動きが検出された場合には、コマンド
実行部809が、あらかじめ登録されたコマンドを実行
する(S8)。どのうよな動きをしたときにどのような
コマンドを実行するかは、あらかじめ動きコマンド登録
部808に登録されている。ここに登録される手の動き
及びそれに対応するコマンドとしては、例えば、一定時
間静止した場合、そのポイントにあるメニューを選択す
る、一定時間静止した後わずかな距離だけに下方に動
き、またもとに戻ってきたとき(つまり、ボタンを“押
す”ような動作をしたとき)、そのポイントにあるメニ
ューを選択する、ある場所で、開いていた手を握り、動
かしてまた開くことで、マウスのドラッグ操作をする
(開いた閉じたは、手と検知した物体の大きさの変化を
捕らえる)、など様々考えられる。 【0111】次に、図10〜図12を参照して、本発明
の実施例に係る情報記録装置について説明する。 【0112】図10は、本発明の実施例に係る情報再生
機器の機能ブロック図である。 【0113】本実施例では一つの動画像、静止画像、音
声、テキストなどの情報ファイルはマップ上では一つの
アイコンで表現し、情報ファイル間に張られたリンクは
それぞれの情報ファイルに対応するアイコンを線で結ぶ
ことにより表現する。 【0114】入力インタフェース901は、リモコンボ
タン、手書き入力装置、キーボード、またはマウス、ト
ラックボールなどのポインティングデバイスである。情
報ファイルとリンクの構造をマップ表示させる命令は、
ユーザが入力インタフェース901を通して行う。情報
ファイル・リンク記録装置902は、ハードディスクや
光ディスク等の大容量記録媒体である。ここには、動画
像、静止画像データのほか、音声データやテキストデー
タも記録することができ、また、これらの間に張られた
リンクの情報も記録されている。表示装置903は、映
像、メッセージなど、ユーザへの表示を行う。組み合わ
せ最適化手段904は、情報ファイルのアイコンの配置
の中から、与えられたパラメータを最大、もしくは最小
にする組み合わせを計算し、出力する。最も単純な組み
合わせ最適化手段904は全探索を行うもので、すべて
の組み合わせについてパラメータの値を計算し、この値
を最大もしくは最小にする組み合わせを出力する。制御
装置905は、システム全体の制御を行う。 【0115】ユーザは、情報ファイルとそのファイル間
に張られたリンクの構造が知りたいときには、入力イン
タフェース901にマップ表示の命令を入力する。マッ
プ表示の命令が入力されると、制御装置905は情報フ
ァイル・リンク記録装置902から情報ファイル及び情
報ファイル間に張られたリンク情報を読みとる。情報フ
ァイル・リンク記録装置902がハードディスク、光デ
ィスク、又はフロッピーディスクである場合には、ファ
イル名、どのようなアイコンを表示させるかといった情
報ファイルに関する情報、及びリンク情報をいったんバ
ッファに読み込んでおき、マップ表示の命令があったと
きには、バッファから情報ファイルに関する情報、リン
ク情報を読み込んでも良い。読み込まれた情報ファイル
に関する情報・リンク情報は、組み合わせ最適化手段9
04に送られ、表示装置903上での情報ファイル・リ
ンクの表示位置が決定される。 【0116】この表示位置の決定により、例えば、通常
ならば図11のように表示される情報ファアル・リンク
のマップが、図12のようにより見やすくなって表示さ
れる。ただし、(1)〜(2)は映像ファイルのアイコ
ン、これらを結ぶ線は情報ファイルの間に張られている
リンクを表している。 【0117】表示位置決定は、例えば次のように行われ
る。まず、表示装置903の表示用画面をいくつかの区
画に分割する。この区画には情報ファイルを表す情報フ
ァイルアイコンが表示される。一つの区画には最大で1
つの情報ファイルアイコンが表示される。リンクの張ら
れたファイル同士はそれを表す情報ファイルアイコン同
士が、リンクを表す線で結ばれるように表示される。情
報ファイルアイコンの表示位置の組み合わせは、情報フ
ァイルアイコンの個数をN,区画の数をMとすると、M
!/(M−N)!通りある。この組み合わせの中から、
組み合わせ最適化手段904は一つの組み合わせを選ぶ
のだが、それは組み合わせによって特定される見やすさ
を代表するパラメータの値により決められる。すなわ
ち、見やすさの代表パラメータとして、リンクを表す線
の交差の数が採用される場合には、この値を最小にする
組み合わせを選ぶ、パラメータを最小にする組み合わせ
が複数存在する場合にはどれを選んでも良い。この見や
すさの代表パラメータとしては交差しているリンク線の
数のほかに、リンク線の長さの分散、リンク線の長さの
総和なども使うことができる。これらの一つを使って最
適な組み合わせを選ぶこともできるし、また、いくつか
のパラメータを複合して新たに一つのパラメータを作
り、それを使って最適な組み合わせを選んでも良い。こ
のほか、一画面内に表示できるか、情報ファイルアイコ
ンの表示に片寄りがないか等を考慮しても良い。 【0118】組み合わせ最適化手段904はこれらパラ
メータを最適にする組み合わせを選ぶのだが、それには
最も単純な方法として、すべての組み合わせについてパ
ラメータを計算し、最適なものを選ぶという方法があ
る。一般にこの方法はNやMが大きくなると大変な計算
を要する。そのため、すべてについて計算するのではな
く、一部の組み合わせについてパラメータを計算し、そ
の中で最適なものを選び、実際の最適解に近似するとい
う方法もある。一般には、全ての組み合わせについて計
算しなければ最適な組み合わせは得られないが、必ずし
も最適でなくてもある程度の最適化が計られていれば良
い場合には、最適解の近似法を用いることが多い。本実
施例においても、このような近似を用いても良い。 【0119】組み合わせ最適化手段904により情報フ
ァイルアイコン・リンクの表示位置が決まると、それに
従って表示装置903にマップが表示される。このと
き、マップの部分的なズームやパンを入力インタフェー
ス901を介しての命令入力によって行うことも可能で
ある。 【0120】 【発明の効果】以上述べたように、本発明の画像情報ア
クセス装置によれば、画像記録または再生時の使用者の
視線を検出し、それを画像情報とともに記録して、使用
者にとって特徴的な物体を自動的かつ選択的に抽出する
ようにしているので、使用者の負担が少なく、簡単な処
理系で効率的な索引作成、および処理時間や記録媒体消
費量の削減が可能になる。 【0121】 【0122】
Description: BACKGROUND OF THE INVENTION , Painting Suitable for searching image information
Image information access equipment In place Related. 2. Description of the Related Art An apparatus for recording an image is used for photographing by a user.
Chemical information of particles on film directly
Or convert the information into an electromagnetic signal
To remain. Photographs to be recorded directly on film
Cameras and cinema cameras, those that record on the medium as signals
Electronic still cameras and video recorders
Media, such as magnetic tapes and disks, optical
Maintains optical disks and memories that partially change characteristics
An integrated circuit having a function is used. Storage media
Recording on a single medium by improving the recording performance and recording method
The amount of image information that can be recorded has increased, and further improvements are expected in the future.
I have been waiting. In such an image recording apparatus, the stored
Efficiently searches for the desired image separately from image information
It is desirable to have a mark that can be searched. this is
Filming date and time taken with a photo camera or video camera
Function to copy to video, VTR (video tape recorder)
To record a special signal at the recording start position with
It has been put to practical use as a function. But in these cases,
Information management on image content is left to humans,
To search for the part of the image that contains the content
Follow the user's memory of
All images need to be scrutinized. Or,
Manual description of the content and the corresponding recording location.
It must be recorded and stored. [0004] In this case, search from an unspecified user is not possible.
In order to make a content description tailored to the
Objective description of more possible objects
While it must be
In order to allow search, the content must be written
It is needed. This requires a lot of work from the user
In addition, prepare an extremely large storage area for index information
And the amount of media used increases. [0005] Attempting to automate all understanding and description of contents
Then, various objects are represented only by differences in brightness and color
From among the objects on the screen
Follow processes such as separation, object recognition, and state description
Must have a system with sophisticated intelligent processing.
It becomes important. In addition, the descriptive description as described above further includes
A large knowledge database is needed and for this reason
Nothing has been completed yet. Therefore, conventionally, when searching for a specific image,
Search for the desired part while browsing the images, or
Please refer to the index which is described in detail
Search or automatically attached by advanced processing system.
Search from given objective and fragmented expressions
Required, user, indexer, system design respectively
Required a heavy burden on the people. Also, the intended image
Input, such as a keyboard or mouse,
Complicated work by the device is required, and moreover,
The index prepared by the person or the system is not necessarily specified
There is also a problem that the index is not suitable for the user of the. SUMMARY OF THE INVENTION Problems to be Solved by the Invention As described above, the prior art
The image recording / reproducing apparatus searches for an image intended by the user.
In order to use the index for search in a form that is easy to search,
A large index must be prepared by the video producer or complex and advanced
A simple image recognition system to describe objective content
Required, redundant index, not necessarily efficient for users
Undesired, increases processing time, complicated and expensive processing system
There was a problem that the burden on the user was large. According to the present invention, the efficiency is reduced without burdening the user.
Creates an index for image information search with a simple process,
Image information access that can search for
Providing equipment Eyes Target. According to the present invention, there is provided an image information processing apparatus comprising:
Access device for storing image information
Recording the image information in the image information recording means
Or the position of the line of sight of the user with respect to the image information at the time of reproduction
Gaze detecting means for detecting
A visual point that stores the position of the visual line of sight associated with the image information.
Line position information storage means;
Recorded in the image information recording means based on the position of the line of sight
Extracting means for extracting a partial image in the extracted image information,
Represented by the partial image extracted by the extracting means,
Objects that appear repeatedly in one cut unit are
Inspection means for inspecting that the object is an object;
For retrieving the image information according to the inspection result by the step
Index information generating means for generating index information.
Features. According to the image information access apparatus of the present invention, the image
Detects the position of the user's line of sight during recording or
Recorded in association with the information, and
Based on the gaze position, movement, and
Selectively extract the part of the image information that the user is paying attention to
Then, an index for searching image information is generated. This
Objects and parts of particular interest to the user
Can be selected from the list and the selected part can be used as an index.
Wear. In the present invention, normal observation, recording, or
Interest in the process of playback without requiring special information input operations
Index is generated by identifying only the
The burden on the user can be greatly reduced. Also attention
Recognition and understanding of all images because analysis is performed around points
And the process is simplified. Embodiments of the present invention will be described below with reference to the drawings.
Will be explained. First, referring to FIG. 1 to FIG.
An image information access device according to the embodiment will be described. FIG. 1 is a block diagram showing the configuration of an image recording apparatus.
In the diagram, an example of a digital video device using an optical disc
Is shown. This device allows the photographer to
Observe the photographer's line of sight when shooting movies
In this example, an object that can be an index in an image is selected. A video signal to be recorded is input through an input terminal 101.
Input and quantized by the A / D converter 102.
After that, the encoding device 103 converts the signal into a signal suitable for recording.
The storage medium 1 is converted and transmitted through the recording signal generator 104.
05 is recorded. At the same time, the input terminal 106
Eye movements are provided by electrical signals. This eye movement signal
After the signal is quantized by the A / D converter 107,
The position detector 108 calculates the viewpoint position information in the image.
Is calculated. The calculated viewpoint position information is stored in the encoding device 109.
Is converted to a signal suitable for recording by the
The output of the recording signal generator 104 is used for the storage medium 10.
5 is recorded. Here, the viewpoint position information is the recording signal of the video signal.
With a recording signal generator different from the signal generator 104,
It may be stored in an area of the storage medium 105 different from the video signal.
No. In addition, both the storage signal generator and storage medium
You may record using a different thing. The input terminal 110 has a switch, a button, etc.
To the system controller 111
A signaling signal is provided. The image recording device
Starts, ends, zooms in, zooms out, etc.
Control. The device control information 112 includes an encoding device 113
Is also converted to a signal suitable for recording
Along with the line-of-sight position information,
It is recorded on the storage medium 105 by the output. The method of instruction by the photographer is to use an index.
When shooting while paying attention to the object you want to know
Prepare an input signal to be
It may be included in the device control information 112 via the route. Here, the device control information is transmitted to the encoding device 113
After that, recording different from the recording signal generator 104 of the video signal
The signal generator differs from the video signal of the storage medium 105.
May be stored in an area. In addition, a memory signal generator,
Even if the storage medium is recorded using something different from the video signal
Good. FIG. 2 is a block diagram showing the configuration of the index creation device.
FIG. This apparatus is recorded by the image recording apparatus shown in FIG.
Recorded video signal, gaze position information and device control information
Based on this, an index is created. The video signal stored in the storage medium 201,
The line position information and the device control information are stored in the storage signal reading device 20.
2, the video signal 203, the line-of-sight position information
217 and device control information 212. here
In, the storage medium is a video signal, line-of-sight position information,
Different device control information may be used. Also the same
Even if the storage medium is used, a different reading device can be used.
It may be taken out from a different area recorded in advance. Movie
The image signal 203 is decoded by the decoder 204 from the recording signal.
Digital image signal and stored in the image storage unit 205
Images for the interval are stored. On the other hand, the device control information 212
Conversion of recording signal to digital control signal by 213
Then, it is supplied to the system controller 214. Cis
In the system controller 214, an input from the input terminal 215
To manage the entire device
Continuous recording from the recorded device control information
A cut (cut) is detected, and this is cut information 21.
The number 6 is supplied to the image storage unit 205. Image storage unit
In response to this, the image 205 stores an image in cut units. Further, the line-of-sight position information 217 is similarly decoded by the decoder.
218, the recorded signal is converted into a digital signal.
You. The signal at this stage is the position of the line of sight in each frame of shooting
It just represents. Eye movements stare at one point
Fixation tremor that makes subtle vibrations when moving
Follow-up movements when tracking objects and when moving between viewing objects
Are generally divided into three types of jumping movements. The type determination device 219
Eye position information digitized by the decoder 218
To determine the nature of these movements and
Information is added to gaze position information. Regarding types of eye movement
The gaze position information to which the information is added is
0 is supplied. In the fixation point determiner 220, a type determiner
Can be determined as the point of gaze based on the exercise type information from 219
The coordinates on the screen are supplied to the edge recognition device 206. On the other hand, the edge recognition device 206
The images in the series of cuts are stored in the
Position (one frame) or a group of consecutive frames
Is supplied as the image information and the fixation point determiner 220
From the gaze point coordinate information supplied from
Determine the boundary (edge) between an object and its background and foreground
You. Here, the system control is provided to the edge recognition device 206.
The user's instruction is given through the
Edges may be recognized. Image information is stored in the frame where the point of interest exists.
Is added with information on the outline of the object including the point of regard.
It is supplied to the image part extractor 207. Image partial extractor 20
At 7, the object including the point of interest (the object of interest) is determined by
Extracted as partial images for all frames
It is supplied to the double inspection device 208. Here the attention object is in the cut
Alternatively, there may be more than one in the same frame. In the duplicate checker 208, different frames are used.
Different postures and different sizes due to zoom
Objects that are the same
Is inspected, along with the supplied image of the target object
It is supplied to the image selector 209 as overlapping information. Heavy here
The double inspection device 208 not only cuts during inspection but also cuts
The presence or absence of overlap may be checked. Also the above image
When viewing an object that you want to index in advance on the recording device
If instructions have been recorded to inform
It may be added to the object of the indexing candidate. The image selector 209 overlaps the target object image.
Attention object such as appearance frequency, gaze time, size in addition to information
Based on the side information obtained from the image,
To select an object that is suitable for indexing
In the case of duplicate images of the same object,
Choose the one that is in the state. The index selected here is cut
The ratio of the gaze time to the object to the duration is constant
Using a method such as making all candidates that exceed
There may be more than one in the cut. In the index, the same object
May exist in different states. Further selection here
The work is performed by the user's finger through the system controller 214.
And select the image to be indexed according to the instruction.
No. The object determined as the index as described above
Is the extracted partial image itself or an index
Information indicating the frame of the image and the image area to be used as an index
Is output as information indicating
Other frame information (related frame information)
It is created and output based on the information. Index image output from image selector 209
Alternatively, the index area existence area information and related frame information
The signal is converted into a signal suitable for recording through the encoding device 210,
To the storage medium 201 by the output of the recording signal generator 211
Will be re-recorded. Here, the storage medium used for recording the index
Is a storage medium on which the original image and the line-of-sight position information are recorded
A different one from 201 may be used. FIG. 3 is a block diagram showing the structure of the image reproduction / search apparatus.
FIG. This device is operated by the indexing device shown in FIG.
Recorded video signal, index picture signal and related frame information
Based on the information, search the target image of the user by presenting the index
Is what makes it possible. The video signal and the video signal stored in the storage medium 301
The drawing signal and the related frame information are stored in the storage signal reading device 3.
02, the video signal 303, the index picture signal
314 and related frame information 308. This
Here, the storage medium is a video signal, an index picture signal,
Different related frame information may be used. Also,
Even if the same storage medium is used, different reading devices are used,
May be taken from different pre-recorded areas
No. In the case of normal reproduction requiring index reference,
The video signal 303 is decoded by the decoder 304 from the recording signal.
Is converted into a digital image signal,
The finger of the system controller 312 receiving the user's instruction
Based on the color, display range, subtitles
And the like, and monitor the monitor with the D / A converter 306.
After being converted into a signal to be output to the TV, it is output.
Here, the monitor television allows digital data
If so, the D / A converter 306 may not work
Good. On the other hand, the index image
The signal 314 is converted by the decoder 315 into a digital image signal.
The image data is stored in the index image storage unit 316. Where
There is an image that should be an index image instead of an index image like
Position (address) and display area in the frame
In the case of the method of recording
Image data based on the
It is stored in the storage unit 316. Frame in which object to be referred to by index exists
Is stored in the decoder 309.
Therefore, it is converted into a digital signal, and the index related information storage
310. In this index related information storage unit 310
Is the index of the image designated as the index in the index image storage unit 316.
The storage location and the frame where the object corresponding to the index exists
System addresses are stored in the system controller.
This information is supplied to 312 or used from input terminal 311.
Instruction of system controller 312 which received user's instruction
This correspondence can be changed and updated by the. The system controller 312 is provided for the user.
Index list in list generating device 317 according to search request instruction
Make a table. The list creation device 317 is an index image storage unit.
From 316, supply of the index image in the range desired by the user is received.
And sends it to the screen creator 305. Screen creator 305
Now, the user is given an instruction from the system controller 313.
Screens to be presented in the original video signal and index list
It is also created and supplied to the D / A converter 306. D /
A converter 306 is a signal to be output to the monitor television
And outputs it to the output terminal 307. Where the monitor
-If the television allows digital data
In this case, the D / A converter 306 may not operate. The user selects the target from the designated index.
Select an object and use input means such as switches and buttons
To the input terminal 311. Here is the purpose
There may be a plurality of objects. Also as a means to select an index
Using your gaze again, select that you gaze at the image you want to select.
A method of indicating the intention of selection may be used. The system controller 312 has selected
The frame related to the index is stored in the index related information storage unit 310.
Inquiry, the desired image is displayed on the screen in the same
Supply the image. In the above embodiment, the detection of the line of sight and the index image
Creation and search / playback are performed on different devices.
But any two or all three of these are identical
May be performed by the above-described apparatus. FIG. 4 shows the structure of the image recording device and the index creating device.
Is a block diagram showing how to detect the gaze position and create an index image.
FIG. 3 is a diagram showing an embodiment in the case where the same apparatus is used. A video signal to be recorded is supplied to an input terminal 401.
And quantized by the A / D converter 402
After that, it is converted into a signal suitable for recording by the encoding device 411.
And the recording medium 410 through the recording signal generator 409.
Will be recorded. At the same time, the image
An image is stored. On the other hand, at the same time, the input terminal 415
Eye movements are provided by electrical signals. This eye movement signal
Is quantized by the A / D converter 416 and the position
Calculated as viewpoint position information in the image by detector 417
Is done. The calculated viewpoint position information is sent to the type determiner 418.
Therefore, the character of the exercise is determined. To the type of eye movement
The gaze position information to which information about
419. In the fixation point determiner 419, the type
At the point of gaze and judgment based on the exercise type information from the fixed unit 418
The coordinates on the screen are supplied to the edge recognition device 404. The input terminal 412 has switches, buttons, etc.
To the system controller 413
A signaling signal is provided. The image recording device
Starts, ends, zooms in, zooms out, etc.
Control. The device control information 420 includes an encoding device 421
Is also converted to a signal suitable for recording
Output of the recording signal generator 409 along with the signal and index picture information.
Recorded on the storage medium 410 by force. Also the system
The controller 413 is a unit (cut) of continuous recording.
Is detected, and this is used as cut information 414 in the image storage unit 4.
03. The image storage unit 403 receives this, and
Store images on a per-unit basis. On the other hand, the edge recognition device 404 stores an image.
The image in the series of cuts from the unit 403 is the scanning unit of the image.
(1 frame) or a group of consecutive frames
And the image information and the point of interest determiner 419
From the supplied gaze point coordinate information, the gaze target is
And the border (edge) between the background and the foreground
You. Here, the edge recognition device 404 has a system control.
The user's instruction is given through the
Edges may be recognized. The image information is stored in the frame where the point of interest exists.
Is added with information on the outline of the object including the point of regard.
It is supplied to the image part extractor 405. Image part extractor 40
In the case of 5, the object including the point of interest (object of interest), the presence of the point of interest
Extracted as partial images for all frames
It is supplied to the double inspection device 406. Here the attention object is in the cut
Alternatively, there may be more than one in the same frame. In the duplication checker 406, different frames are used.
Different postures and different sizes due to zoom
Objects that are the same
Is inspected, along with the supplied image of the target object
It is supplied to the image selector 407 as overlapping information. Heavy here
The double inspection device 406 performs not only the cut under inspection but also the cut.
The presence or absence of overlap may be checked. The image selector 407 overlaps the target object image.
Attention object such as appearance frequency, gaze time, size in addition to information
Based on the side information obtained from the image,
To select an object that is suitable for indexing
In the case of duplicate images of the same object,
Choose the one that is in the state. The index selected here is cut
The ratio of the gaze time to the object to the duration is constant
Using a method such as making all candidates that exceed
There may be more than one in the cut. In the index, the same object
May exist in different states. Further selection here
The work is performed by the user's finger through the system controller 413.
And select the image to be indexed according to the instruction.
No. The object determined as the index as described above
Is the extracted partial image itself or an index
Information indicating the frame of the image and the image area to be used as an index
Is output as information indicating
Information of other frames to be created is also created based on the duplicated information.
Is output. Index image output from image selector 407
Alternatively, the index area existence area information and related frame information
The signal is converted into a signal suitable for recording through the encoding device 408,
The output of the recording signal generator 409 is used to store data in the storage medium 410.
Be recorded. Here, the storage medium used for recording the index is:
Storage medium 41 on which original image and device control information are recorded
A different value from 0 may be used. As the instruction of the photographer, the object to be indexed
To inform the device when shooting while paying attention to
A force signal is prepared and the input terminal 412 passes through the above path.
May be included in the device control information 420. In the above description, the video signal, the index picture signal and the related
The frame information and device control information are transmitted after the encoding device 421.
The storage medium 41 is provided by different recording signal generators.
0 may be stored in different areas. Also, a memory signal generator
Recording using different storage and storage media.
You may. FIG. 5 is a diagram showing a digital image using another optical disk.
Is a diagram showing the concept of an image recording device such as a video device.
Observes the photographer's line of sight during shooting and automatically
While pointing the device, simultaneously record objects that can serve as indexes in the image
An example of recording is shown. In this embodiment, the photographer himself records
It differs from the previous embodiment in that the shooting direction of the device is not changed.
You. In addition, here, as an example, an index image is recorded.
It has a special optical system and records the image intended by the photographer
When the media to be indexed and the media to record index images are different
I do. The image recording apparatus main body 501 is, as described above,
Optical system for taking the photographer's intended
It has two optical systems for shooting. Photographer 50
The eye-gaze detector 502 is attached to the eye part 4 and
501 is wired or wirelessly connected. Body 501
Alternatively, the line-of-sight detectors 502 detect the mutual positional relationship
And the positional relationship depends on the main body 501.
Is understood. The photographer 504 holds the terminal 503 in his hand,
Thus, the apparatus main body 501 is controlled. Terminal 503
Is connected to the main body 501 by wire or wirelessly. 5
05 is a subject that the photographer 504 is going to photograph.
It is. Image 5 photographed by main body 501
06, 508, one image 506 is the photographer 50
One that performs zooming according to the instruction of 4 (user image)
It is. When the photographer 504 gazes at the subject 505, the book
The body 501 automatically turns in the direction of the subject 505,
Shooting at the magnification specified by the photographer 504 by the end 503
Do the shadows. The symbol 507 in the user image 506 is temporarily
The viewpoint of the shadow person 504 is displayed. The other
Image 508 is an indexed image that is separate from user image
Gaze at a predetermined magnification on the device side using a system
The image is shot around a point. FIG. 6 is a block diagram showing the configuration of this image recording apparatus.
FIG. 5 is a conceptual diagram of FIG.
Corresponds to the processing device. The video signals input from the two optical systems are
To the device as a user image signal 601 and an index image signal 606.
Supplied. The user image signal is sent to the A / D converter 602.
Therefore, after being converted into a digital signal, the encoding device 60
3, the recording signal generator 60
4 is recorded on the storage medium 605 via the output of the storage medium 605. here
Digital encoding, which is an expansion process on electrical signals before encoding
A zoom may be applied. On the other hand, the index supplied from the input terminal 606
The image signal is similarly digitized by the A / D converter 607.
Digital zoom signal and supplied to the digital zoom 608.
It is. Because the camera is looking at the photographer's point of interest,
The index image signal input as it is contains the object of interest.
Digital zoom 608 is pre-
The image signal subjected to the predetermined zoom is stored in the image storage unit 60.
9. At the same time as shooting, the eyeball movement is
A motion signal is input from the input terminal 624 to the line-of-sight
A signal indicating the positional relationship with the shadow device is supplied. These two
The signals are supplied to the A / D converter 621 and the A / D converter 62, respectively.
5 is converted into a digital signal. After this, the eyeball
The motion signal is detected by the position detector 622 to detect the line of sight in the visual field.
Converted to position. At the same time, the detector position signal is
The orientation of the body, the orientation of the detector and the book
Converted to information such as body and detector orientation and distance,
The gaze information is supplied to the fixation point determiner 623 together with the gaze information. At the gazing point determiner 623, the main body and the detector
From the positional relationship and the line of sight of the photographer's eyes, the photographer
The absolute position of the gazing point of the
System controller 615. System controller
In 615, the camera should be pointed at the obtained fixation point coordinates
Calculate the direction, the distance to focus the optical system, and
It is output to the output terminal 619 as a displacement signal in the direction of the axis. On the other hand, the photographer instructs the device from the control terminal.
The signal is input from the input terminal 618 to the system
Provided to the Troller 615. System controller 6
15 is a user image zoom focus signal according to the instruction
The zoom instruction is transmitted to the output terminal 614 as
Perform the zoom. Here, before the encoding device 603,
Optical zoom and digital zoom
This output is not available when there is no need for focusing.
Is also good. Also, based on information on the distance between the camera and the subject,
Zoom around the point of interest at a predetermined magnification
Output terminal for zoom control signal for taking pictures
617. The cut detector 616 is connected to the input terminal 618
Instructions given by the photographer to the system controller 615
Cut signal for start and end of recording from among
And stored in the image storage unit 609 as a unit of storage.
Supply. The image storage unit 609 stores the image signal in one frame.
Or the image selector 61 as a set of continuous frames.
Send to 0. The object of interest has moved in the image selector 610
From the images, select the image of the object of interest, such as the number of appearances and gaze time
Attention provided multiple times based on secondary information obtained
In addition to selecting objects suitable for indexing from among objects,
Among images of the same duplicated object, some are suitable for indexing.
Is selected. The index selected here is when cutting is continued
The ratio of the gaze time for the object to the interval exceeds a certain value
Using a method such as making everything a candidate
There may be more than one. Also, the same object is different in the index
There may be more than one in the state. The selection work here is system
The instruction of the user is given through the
The image to be indexed may be selected according to the indication. The index image determined in this way is
11 converts the signal into a signal suitable for recording and generates a recording signal.
The output of the raw device 612 is recorded on the storage medium 613.
You. Here, the storage medium is the same as the recording medium 605 for the video signal.
Using one, the area different from the video signal of the medium 605
May be stored. Also, the encoding device 611
The encoded index image signal is encoded by the encoding device 603.
Recording signal generation device 6
04 may be stored in the storage medium 605. Further, in this embodiment, the enlargement of the image around the fixation point is performed.
Only large was used as an index, but as in the first example,
Even if you recognize the edge of the object and extract it as a partial image
Good. At this time, the video and gaze recording device and the index creation device
The devices may be integrated or different devices. As another embodiment, a method for viewing a moving image
(Listening) Observing the line of sight of the person, an object that can be an index in the image
An example of recording is described. This embodiment is not for recording
It differs from the previous embodiment in that it observes the user's gaze during playback.
You. FIG. 4 is a block diagram showing the configuration of this embodiment.
Since they are similar, with reference to FIG.
The description will be given while showing the differences. In this embodiment, the video signal and the
Digital video device that records the reference signal on the same medium.
is there. The video signal is presented to the viewer (listener) as a playback screen.
At the same time, it is also supplied to the input terminal 401. Video
The signal is converted into a digital signal by the A / D converter 402.
The converted image is stored in the image storage unit 403 for a certain period of time.
Can be The image storage unit 403 selects from among the provided images
Detect cuts and use them as the unit of accumulation. This implementation
In the example, an intermediate point between the A / D converter 402 and the image storage unit 403
And a channel connecting the encoding device 411 and the encoding device 4
11 is not required. On the other hand, the eye movements of the viewer (listener) are the eye movements.
Input terminal including information on the positional relationship between the detector and the playback screen
415 to the A / D conversion device 416,
Is converted to a video signal. The converted digital signal is
Calculated as the position of the line of sight in the screen by the detector 417
You. The result of the calculation is supplied to the type determiner 418,
The type of motion is analyzed. The analysis result is the fixation point determiner 4
19, and the edge recognition device
Attention information is given to the location 404. The edge recognition device 404 has the image storage unit
The image in a series of cuts from 403 is one frame, or
The image is supplied as a set of consecutive frames
Information and gazing point coordinate information supplied from the gazing point determiner 419
From the information, the edge of the object being watched is determined. This
Here, the edge recognition device 404 has a system controller 4
13 to give the user's instruction,
May be recognized. The image information is stored in the frame where the point of interest exists.
Is the image section with information on the contour of the object including the point of regard.
It is supplied to the fraction extractor 405. In the image part extractor 405
Indicates the object containing the point of interest (the object of interest)
All frames are extracted as partial images and duplicated
To the detector 406. Here, the object of interest is
A plurality may exist in one frame. In the duplicate checker 406, different frames are used.
Different postures and different sizes due to zoom
Objects that are the same
Is inspected, along with the supplied image of the target object
It is supplied to the image selector 407 as overlapping information. Heavy here
The double inspection device 406 performs not only the cut under inspection but also the cut.
The presence or absence of overlap may be checked. The image selector 407 overlaps the object image of interest.
Attention object such as appearance frequency, gaze time, size in addition to information
Based on the side information obtained from the image,
To select an object that is suitable for indexing
In the case of duplicate images of the same object,
Choose the one that is in the state. The index selected here is cut
The ratio of the gaze time to the object to the duration is constant
Using a method such as making all candidates that exceed
There may be more than one in the cut. In the index, the same object
May exist in different states. Further selection here
The work is performed by the user's finger through the system controller 413.
And select the image to be indexed according to the instruction.
No. The object determined as the index as described above
Is the extracted partial image or indexed image
Information representing a frame and information representing an image area to be an index
Report that includes the object.
Information is also created and output based on the duplicated information.
You. Index image output from image selector 407
Alternatively, the index area existence area information and related frame information
The signal is converted into a signal suitable for recording through the encoding device 408,
The output of the recording signal generator 409 causes the recording medium 410
Be recorded. Here, the storage medium used for recording the index is:
Storage medium 41 on which original image and device control information are recorded
A different value from 0 may be used. As an instruction of the viewer (listener), an index in the screen
Notify the device when you are looking at the object you want
Prepare an input signal and follow the above path from the input terminal 412.
May be included in the passed device control information 420. In the above, the index picture signal and the index related information,
The device control information is different after the coding device 421.
Depending on the recording signal generator, different areas of the storage medium 410 may be used.
It may be stored in the area. Storage signal generator, storage medium
Both may be recorded using different ones. In this embodiment, the detection of the line of sight and the creation of the index are the same.
Gaze detection device and index creation device are different.
It may be. Also, prepare multiple eye movement detectors
And simultaneously analyze the viewpoints of multiple people,
07 may be used as a criterion. In addition, the same image
When replayed, the previous index and new viewpoint information
Information and input it to the image selector 407 as a criterion.
Then, the index may be updated. In this embodiment, the image reproduction and retrieval apparatus is
The same one as in the embodiment of FIG. 3 is used. Here, the line-of-sight
The output device / index generation device and the image reproduction / search device are integrated
May be. In the above embodiment, the recording method is digital.
Although the explanation was made assuming that the
May be used for video. As a recording medium, an optical disc
Disk, magnetic disk, magnetic tape, memory device, etc.
May be used. I explained about video,
The present invention may be applied to an apparatus for recording still images. Also a viewpoint
Explanation of the example of calculating the position of the line of sight in the image in the detection device
Was performed, but only the direction of the viewpoint was recorded, and the index creation device
The position of the line of sight in the image may be calculated. Further implementation
In the example, the target object is extracted using the edge of the target object.
However, at the time of shooting, the camera
Measure and record the distance from
The target object may be extracted as a set of similar distances.
In addition, with respect to the embodiment of FIG.
Although an optical system different from that used for imaging was used, this was
You may take pictures using academic systems. In this case one input
Divide the image into two and perform the same processing as in the previous embodiment
May be divided into user images and index images
Shooting may be performed alternately. According to the above image information access device,
Observe human eye movements when presenting an image to be attracted
Measurement, determine the gazing point from the movement state, and center on the gazing point
Image elements that are characteristic of the image part
Index without recognizing every object in the image
Can be created. Also, the index created in that way
Are the objects that the photographer is interested in.
A good index can be created. Further, the area to be handled in image recognition is reduced.
Simplifies the index creation process and increases the processing speed
Can be expected. It also saves recording media because the recording volume is reduced.
Becomes possible. Next, referring to FIG. 7 to FIG.
A remote control device according to the embodiment will be described. FIG. 7 is a functional block diagram of the remote control device.
FIG. First, the area where the user's hand is located is represented by a distance image.
Input by the input means 701 and distance by the change amount detecting means 702
Find the time difference between images. The moving object detection means 703
From the distance image and its time difference, what size object
Calculate in which direction has moved. This series of processing
Rather, when the user extends his hand forward,
Can be detected. Each of the above means will be described in more detail.
This will be described in detail. Steps S1 to S4 in FIG.
3 shows the flow of processing. First, a motion area is extracted from a distance image.
(S1). Various types of distance image input means 701
Has been proposed. The distance can be measured without contact
Stereo method using the principle of triangulation, lens focus
Surface detection method, the phase difference between the projection of modulated light and reflected light
Or time difference measurement. Change amount detecting means 70
In 2, calculate the difference between two consecutive frames on the time axis
Thus, the background image that does not change is removed. Moving object
The detecting unit 703 detects the distance image and the amount of change in the distance image.
Detect moving objects. Next, a pixel having a short distance in the moving area is separated.
Then, it is determined that the objects are the same (S2). Soshi
The distance and size of the object
Is determined (S3). Detecting when reaching
If the purpose is to do something similar to the size of the hand
It just needs to be able to detect the body. I happen to have something in my hand
It may be possible to operate the product while holding it,
There is no need to judge the condition. Rather, an object similar to a hand
What is this object so that you do not mistakenly judge it as a hand?
When you make such a movement,
You have to decide appropriately. Here, I reached my hand forward
To be detected when. Therefore, as good as a hand
Object of size is within a certain distance toward the detector
It is detected that the vehicle has advanced (S4). If you want to reduce noise,
Judgment as a hand when stationary for a certain time after an object approaches
You can make it happen. Also, the sky finer than the thickness of the finger
If there is an inter-resolution, there is an object of the same size as the hand,
In addition, some of them are protruding locally in the direction of the detector.
There is also a method of determining that the hand is held when the hand is pressed. in this case
With the finger pointing toward the detector and reaching when reaching
Will be issued. Also, point a rod-shaped object such as a pen at the detector.
The same effect can be obtained by reaching
Is a natural form of work. FIG. 8 shows another embodiment of the remote controller according to the present invention.
FIG. 3 is a functional block diagram showing Distance image input means 801, change amount detecting means
802 and the moving object detecting means 803 are the same as those in FIG.
The processing after the moving object detection means 803 detects the hand.
Is done in the lower part. FIG. 9 shows the processing of this device.
Is shown. When the moving object tracking means 803 is as large as the hand,
When it is detected that the object of the size is approaching (S
4) The subsequent processing is left to the moving object tracking means 804
You. When the processing moves to the moving object detection means 803, the cursor
The display means 805 displays the tracking result of the moving object tracking means 804.
Therefore, the cursor is displayed at the position indicated by the hand (S
5). The motion vector detected by the moving object tracking unit 804
Are sequentially stored in the motion vector storage unit 806.
(S6). The movement command determination unit 807
Detect when a given special movement is made
(S7). If a special movement is detected, the command
Execution unit 809 executes a command registered in advance
(S8). What kind of movement
Whether to execute a command is to register a motion command in advance.
Registered in the section 808. Hand movement registered here
And the corresponding command are, for example,
When the camera is stationary for a while, select the menu at that point.
Move for a short distance after standing still for
When you come back again (that is, press the button
Action), the menu at that point
Select a menu, hold an open hand at a location, and
Then drag the mouse by opening it again
(Open and closed means changes in the size of the hand and the detected object
Capture), and so on. Next, the present invention will be described with reference to FIGS.
An information recording apparatus according to the embodiment will be described. FIG. 10 shows information reproduction according to the embodiment of the present invention.
It is a functional block diagram of a device. In this embodiment, one moving image, still image, sound
Information files such as voice, text, etc.
Expressed as icons, the links between the information files are
Connect the icon corresponding to each information file with a line
Expressed by An input interface 901 is provided with a remote control button.
Button, handwriting input device, keyboard or mouse,
It is a pointing device such as a rack ball. Affection
The command to display the report file and link structure on the map
This is performed by the user through the input interface 901. information
The file link recording device 902 includes a hard disk,
It is a large-capacity recording medium such as an optical disk. Here are the videos
Image and still image data, as well as audio and text data
Data can also be recorded, and
Link information is also recorded. The display device 903 displays
Display images, messages, etc. to the user. Combination
Optimization means 904 is for arranging icons of information files.
From among, set the given parameter to the maximum or minimum
Is calculated and output. The simplest set
The matching optimization means 904 performs a full search.
Calculate the value of the parameter for the combination of
Output the combination that maximizes or minimizes. control
The device 905 controls the entire system. [0115] The user can select between the information file and the file.
If you want to know the structure of the link attached to
A command for displaying a map is input to the interface 901. Ma
When a command for displaying a loop is input, the control device 905 causes the information file to be displayed.
File and information from the file / link recording device 902.
Read the link information between the information files. Information
When the file link recording device 902 is a hard disk or an optical
Disk or floppy disk.
File name, what icon to display, etc.
Once the information about the report file and link information has been
The map display command.
Information about the information file from the buffer
May be read. Read information file
Information and link information relating to the combination optimization means 9
04 on the display device 903.
The display position of the link is determined. By determining the display position, for example,
Then, the information faal link displayed as shown in Fig. 11
Map is displayed more easily as shown in FIG.
It is. However, (1) and (2) indicate the icon of the video file.
The line connecting them is placed between the information files
Represents a link. The display position is determined, for example, as follows.
You. First, the display screen of the display device 903 is divided into several sections.
Divide into images. This section contains an information file representing the information file.
A file icon is displayed. At most one per block
Two information file icons are displayed. Link
Files that have the same information file icon
Are displayed as if they were connected by a line representing a link. Affection
The combination of information file icon display positions depends on the information file
If the number of file icons is N and the number of sections is M, M
! / (M-N)! There is a street. From this combination,
Combination optimization means 904 selects one combination
However, it is the legibility specified by the combination
Is determined by the value of the parameter representing Sand
A line representing a link as a representative parameter of readability
If the number of intersections of is adopted, minimize this value
Choose a combination, a combination that minimizes parameters
If there are a plurality of, any one may be selected. This look
As a representative parameter of SUSU, the intersecting link line
In addition to the number, the variance of the link line length, the link line length
Summation can also be used. Using one of these
You can choose the right combination, and some
Create a new parameter by combining parameters
And use it to select the best combination. This
In addition to the information file icon,
It is also possible to consider whether or not the display of the buttons is not offset. The combination optimizing means 904 uses these parameters.
Choose the combination that optimizes the meter,
The simplest method is to pass on all combinations.
Calculate parameters and select the best one.
You. Generally, this method requires a large calculation when N and M are large.
Cost. So don't calculate for everything
Parameters for some combinations and calculate
Is to choose the best one and approximate it to the actual optimal solution.
There is also a method. In general, the total for all combinations
If you don't calculate the best combination,
It is good if some optimization is done even if it is not optimal
In this case, an approximation method of the optimal solution is often used. Real truth
In the embodiment, such approximation may be used. An information file is obtained by the combination optimizing means 904.
Once the display position of the file icon / link is determined,
Accordingly, a map is displayed on the display device 903. This and
Interface for zooming and panning the map
Can also be performed by inputting an instruction via the
is there. As described above, the image information storage device of the present invention has the following advantages.
According to the access device, the user can
Detect gaze, record it with image information and use
And selective extraction of objects that are characteristic for the elderly
So that the burden on the user is small and the processing is simple.
Efficient and efficient indexing, processing time and storage media
Costs can be reduced. [0122]
【図面の簡単な説明】 【図1】 本発明の実施例に係る画像記録装置の構成を
示すブロック図。 【図2】 本発明の実施例に係る索引作成装置の構成を
示すブロック図。 【図3】 本発明の実施例に係る画像再生検索装置の構
成を示すブロック図。 【図4】 本発明の実施例に係る画像記録装置兼索引装
置の構成を示すブロック図。 【図5】 本発明の実施例に係る他の画像記録装置の構
成を示す概念図。 【図6】 図5の画像記録装置の構成を示すブロック
図。 【図7】 本発明の実施例に係る遠隔操作装置の機能ブ
ロック図。 【図8】 本発明の実施例に係る他の遠隔操作装置の機
能ブロック図。 【図9】 同装置の処理を示すフローチャート。 【図10】 本発明の実施例に係る情報再生機器の機能
ブロック図。 【図11】 同装置における最適化前のマップを示す
図。 【図12】 同装置における最適化後のマップを示す
図。 【符号の説明】 101…映像信号、104…記録信号発生装置、105
…記憶媒体、106…眼球運動信号、108…眼球位置
検出器、110…操作信号、202… 記憶信号読出装
置、206…エッジ認識装置、207…画像部分抽出
器、208…重複検査器、209…画像選定器、219
…種別判定器、220…注視点決定器、303…映像信
号、305…画面作成器、307…モニター出力端子、
308…関連フレーム情報、317…一覧表作成装置、
401…映像信号、412…操作信号、415…眼球運
動信号、501…画像記録装置本体、502…視線検出
器、504…撮影者、505…被写体、508…索引画
像、601…ユーザ画像信号、606…索引画像信号、
608…ディジタルズーム、614…ユーザ画像ズーム
フォーカス信号、616…カット検出器、617…ズー
ムコントロール信号、618…操作信号、619…カメ
ラ方向変位信号、620…眼球運動信号、624…検出
器位置信号、701,801…距離画像入力手段、70
2,802…変化量検出手段、703,803…動き物
体検出手段、804…動き物体追跡手段、807…動き
コマンド判定部、901…入力インタフェース、902
…情報ファアル・リンク記録装置、903…表示装置、
904…組み合わせ最適化手段、905…制御装置。
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram illustrating a configuration of an image recording apparatus according to an embodiment of the present invention. FIG. 2 is a block diagram illustrating a configuration of an index creation device according to an embodiment of the present invention. FIG. 3 is a block diagram showing a configuration of an image reproduction / search apparatus according to an embodiment of the present invention. FIG. 4 is a block diagram showing a configuration of an image recording apparatus and an index apparatus according to the embodiment of the present invention. FIG. 5 is a conceptual diagram showing a configuration of another image recording apparatus according to the embodiment of the present invention. FIG. 6 is a block diagram illustrating a configuration of the image recording apparatus of FIG. 5; FIG. 7 is a functional block diagram of the remote control device according to the embodiment of the present invention. FIG. 8 is a functional block diagram of another remote control device according to the embodiment of the present invention. FIG. 9 is a flowchart showing processing of the apparatus. FIG. 10 is a functional block diagram of the information reproducing apparatus according to the embodiment of the present invention. FIG. 11 is a diagram showing a map before optimization in the same device. FIG. 12 is a diagram showing a map after optimization in the same device. [Description of Signs] 101: video signal, 104: recording signal generator, 105
... storage medium, 106 ... eye movement signal, 108 ... eye position detector, 110 ... operation signal, 202 ... storage signal reading device, 206 ... edge recognition device, 207 ... image partial extractor, 208 ... duplication checker, 209 ... Image selector, 219
... Type judging device, 220 ... Point of interest determining device, 303 ... Video signal, 305 ... Screen creator, 307 ... Monitor output terminal,
308 ... related frame information, 317 ... list creation device,
Reference numeral 401: video signal, 412: operation signal, 415: eye movement signal, 501: image recording apparatus main body, 502: gaze detector, 504: photographer, 505: subject, 508: index image, 601: user image signal, 606 … Index image signal,
608: Digital zoom, 614: User image zoom focus signal, 616: Cut detector, 617: Zoom control signal, 618: Operation signal, 619: Camera direction displacement signal, 620: Eye movement signal, 624: Detector position signal, 701, 801... Distance image input means, 70
2, 802: change amount detecting means, 703, 803: moving object detecting means, 804: moving object tracking means, 807: motion command determining section, 901: input interface, 902
... information faal link recording device, 903 ... display device,
904: combination optimization means; 905: control device.
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平5−282380(JP,A) 特開 平5−233726(JP,A) 特開 平3−292571(JP,A) 特開 平1−224875(JP,A) 特開 昭61−21523(JP,A) 特開 平5−108795(JP,A) 特開 平1−289388(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06F 17/30 G06F 3/00 G06F 12/00 G06T 7/20 JICSTファイル(JOIS)────────────────────────────────────────────────── ─── Continuation of the front page (56) References JP-A-5-282380 (JP, A) JP-A-5-233726 (JP, A) JP-A-3-292571 (JP, A) 224875 (JP, A) JP-A-61-21523 (JP, A) JP-A-5-108795 (JP, A) JP-A-1-289388 (JP, A) (58) Fields investigated (Int. Cl. 7, DB name) G06F 17/30 G06F 3/00 G06F 12/00 G06T 7/20 JICST file (JOIS)

Claims (1)

  1. (57)【特許請求の範囲】 【請求項1】画像情報を記録する画像情報記録手段と、前記 画像情報記録手段に対する前記画像情報の記録又は
    再生の際に使用者の画像情報に対する視線の位置を検
    出する視線検出手段と、前記 視線検出手段で検出された視線の位置を前記画像情
    報と関連付けて記憶する視線位置情報記憶手段と、前記 視線情報記憶手段に記憶された視線の位置に基づい
    て前記画像情報記録手段に記録された画像情報中の部分
    画像を抽出する抽出手段と、 前記抽出手段により抽出された部分画像により表され、
    同一のカット単位内において重複して出現する物体が、
    同一の物体であることを検査する検査手段と、 前記検査
    手段による検査結果に応じて 前記画像情報の検索のため
    の索引情報を生成する索引情報生成手段とを備えたこと
    を特徴とする画像情報アクセス装置。
    (57) and the image information recording means for recording the Patent Claims: 1. A picture information, recording of the image information for the image information recording means or
    A visual axis detecting means for detecting the position of the line of sight with respect to the image information of the user during playback, the line-of-sight position information storage means for storing the detected position of the line of sight in the sight line detecting means in association with said image information, said A part in the image information recorded in the image information recording unit based on the position of the line of sight stored in the line of sight information storage unit
    Extraction means for extracting an image is represented by the partial image extracted by said extraction means,
    Objects that appear repeatedly in the same cut unit,
    Inspection means for inspecting the same object, said inspection
    Image information access apparatus characterized by comprising a index information generating means for generating index information for retrieval of the image information based on the detection result by the means.
JP35105593A 1993-12-28 1993-12-28 Image information access device Expired - Fee Related JP3372096B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35105593A JP3372096B2 (en) 1993-12-28 1993-12-28 Image information access device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35105593A JP3372096B2 (en) 1993-12-28 1993-12-28 Image information access device

Publications (2)

Publication Number Publication Date
JPH07200632A JPH07200632A (en) 1995-08-04
JP3372096B2 true JP3372096B2 (en) 2003-01-27

Family

ID=18414740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35105593A Expired - Fee Related JP3372096B2 (en) 1993-12-28 1993-12-28 Image information access device

Country Status (1)

Country Link
JP (1) JP3372096B2 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3456806B2 (en) * 1995-09-12 2003-10-14 株式会社東芝 Information processing device
JP2002513487A (en) * 1997-05-05 2002-05-08 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク Algorithms and systems for video search based on object-oriented content
JP3705117B2 (en) * 2000-11-17 2005-10-12 カシオ計算機株式会社 Digital camera, recording medium, and image data management method
JP3732757B2 (en) * 2001-06-08 2006-01-11 株式会社東芝 Image recognition method and image recognition apparatus
JP4046957B2 (en) 2001-07-05 2008-02-13 キヤノン株式会社 Imaging apparatus and control method thereof, information processing apparatus and method, and storage medium
JP2005109757A (en) * 2003-09-29 2005-04-21 Fuji Photo Film Co Ltd Picture imaging apparatus, picture processing apparatus, picture imaging method, and program
JP5044237B2 (en) 2006-03-27 2012-10-10 富士フイルム株式会社 Image recording apparatus, image recording method, and image recording program
JP5317415B2 (en) * 2006-03-27 2013-10-16 富士フイルム株式会社 Image output apparatus, image output method, and image output program
JP4869978B2 (en) * 2006-03-28 2012-02-08 富士フイルム株式会社 Image recording apparatus, image recording method, and image recording program
JP4962949B2 (en) * 2006-12-12 2012-06-27 ヤフー株式会社 Information providing apparatus, information providing method, and computer program
JP5928024B2 (en) * 2012-03-14 2016-06-01 カシオ計算機株式会社 Image processing apparatus, image processing method, and program
US10359841B2 (en) 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device
JP6646361B2 (en) 2015-04-27 2020-02-14 ソニーセミコンダクタソリューションズ株式会社 Image processing apparatus, imaging apparatus, image processing method, and program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6121523A (en) * 1984-07-09 1986-01-30 Nec Corp Data retrieval system by automatic input
JPH01224875A (en) * 1988-03-04 1989-09-07 Nippon Telegr & Teleph Corp <Ntt> Moving picture information retrieving system
JP2733953B2 (en) * 1988-05-16 1998-03-30 日本電気株式会社 Coding and decoding of video signals
JPH03292571A (en) * 1990-04-11 1991-12-24 Matsushita Electric Ind Co Ltd Setting system for image operation information
JPH05108795A (en) * 1991-10-21 1993-04-30 Fujitsu Ltd Picture processor
JPH05233726A (en) * 1992-02-25 1993-09-10 N T T Data Tsushin Kk Data base retrieving system
JPH05282380A (en) * 1992-03-31 1993-10-29 Nippon Telegr & Teleph Corp <Ntt> Animation image retrieving method

Also Published As

Publication number Publication date
JPH07200632A (en) 1995-08-04

Similar Documents

Publication Publication Date Title
Tonomura et al. Structured video computing
Lee et al. Portable meeting recorder
JP4760892B2 (en) Display control apparatus, display control method, and program
US7110592B2 (en) Image recording apparatus, image reproducing apparatus and methods therefor
US7598975B2 (en) Automatic face extraction for use in recorded meetings timelines
KR0184245B1 (en) Electronic camera and image reproducing device therefor
KR20150056381A (en) Appratus and method for processing image
CN105872452B (en) System and method for browsing abstract images
JP3372096B2 (en) Image information access device
KR20100043138A (en) Image processing device, dynamic image reproduction device, and processing method and program in them
KR101484844B1 (en) Apparatus and method for privacy masking tool that provides real-time video
JP3312105B2 (en) Moving image index generation method and generation device
KR20090093904A (en) Apparatus and method for scene variation robust multimedia image analysis, and system for multimedia editing based on objects
US20040001154A1 (en) System and method of manual indexing of image data
JP6203188B2 (en) Similar image search device
JP2004062883A (en) Information processor
JP5826513B2 (en) Similar image search system
CN110502117A (en) Screenshot method and electric terminal in electric terminal
WO1999005865A1 (en) Content-based video access
JP5554214B2 (en) Minutes system and program
Babaguchi et al. A System for Visualization and Summarization of Omnidirectional Surveillance Video.
JP5612457B2 (en) Moving image display device, moving image object search system, moving image display method and program
Kanade Immersion into visual media: new applications of image understanding
US20200374491A1 (en) Forensic video exploitation and analysis tools
JP2005341197A (en) Video reproducing apparatus, video reproducing method, and video reproducing program

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071122

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081122

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081122

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091122

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees