JP3307075B2

JP3307075B2 - 撮影装置

Info

Publication number: JP3307075B2
Application number: JP9305194A
Authority: JP
Inventors: 浩猿渡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-04-06
Filing date: 1994-04-06
Publication date: 2002-07-24
Anticipated expiration: 2017-07-24
Also published as: JPH07282192A; US5912705A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、撮影装置に関し、特に
撮影者の視線を検知する視線検知手段からの視線情報に
基づいて文字領域を設定し、撮像手段から得られた画像
信号のうちから該文字領域に相当する画像信号について
文字認識処理するようにした撮影装置に関するものであ
る。

【０００２】

【従来の技術】近年、印刷された文字をコンピュータ等
に直接、文字情報として入力する装置として光学式文字
認識装置（ＯＣＲ：Optical Character Recognition）
の開発が進められている。該ＯＣＲは印刷された原稿
（被写体）をイメージスキャナで読み取り（画像信号に
変換する）、該イメージスキャナで得られた画像信号か
ら文字を認識し文章として再構成可能な文字情報に変換
（以下単に、文字認識処理と称する）している。このよ
うな装置は、紙面上の文字等の２次元的な画像情報の処
理は可能であるが、奥行き方向を持つ被写体に関して
は、一旦カメラ等で撮影し平面的な画像情報に変換した
後、イメージスキャナで読み取り、文字認識処理を施さ
なければならないため、操作が煩雑である。

【０００３】一方、撮像素子の高精細化に伴い、ビデオ
カメラやスチルカメラ等の撮影装置は、風景や人物を被
写体とする記念撮影的な使用法に加えて、コンピュータ
等への情報入力手段として用いられるようになってきて
いる。情報入力手段としてビデオカメラやスチルカメラ
を用い、画像信号に直接文字認識処理を施すことによ
り、奥行き方向を持つ被写体の中から文字情報を抽出す
ることが容易になる。

【０００４】

【発明が解決しようとする課題】しかしながら、文字認
識動作を行う際、画面全体に対し文字認識処理を行う
と、文字部分の抽出等の前処理に非常に時間が掛ってし
まい、例えば電子カメラ等に応用した場合、撮影の即時
性を求める使用者の要求を満たすことが困難であるとい
う問題点があった。

【０００５】これを解決するには、文字認識処理を行う
演算ユニットの能力を向上させれば良いが、その結果シ
ステムの高価格化に結びついてしまう。

【０００６】また、風景等の自然画と、文字とが混在し
ているような被写体の場合や、大量の文字データから、
必要とする一部の文字のみを抽出したい場合等では、画
面全域で文字認識処理をする必要性はない。

【０００７】このような被写体に対し、一部の領域につ
いてのみ文字認識処理を行う場合、一旦撮影され、媒体
上に記録された画像信号を、ワークステーション等の情
報処理端末に再入力した上で、マウスやキーボードを用
いて領域を指定した後、文字認識処理を行うことにな
り、装置全体が大型化及び複雑化するという問題点があ
った。

【０００８】更に、撮像素子の画素数に対し、被写体の
情報量が圧倒的に多い場合は、画面の一部を拡大撮影し
てから文字認識をしない限り根本的な解決には成らず、
認識の精度を向上させることは難しいという問題点があ
った。

【０００９】本発明は、撮影者の視線情報に基づいて文
字領域を設定し、撮像手段で得た画像信号のうち該文字
領域に相当する画像信号について、文字認識処理を行う
ことにより、文字認識の高精度化及び高速化を図った撮
影装置の提供を目的としている。

【００１０】

【課題を解決するための手段】請求項１の発明の撮影装
置は、被写体からの光束を結像し、変倍を行う結像光学
系と、該結像光学系の光軸を移動する手段と、該結像光
学系を介し受光素子の受光面上に導光して被写体像を形
成し画像信号を得る撮像手段と、該画像信号を一時的に
格納するメモリと、該画像信号に基づく画像を表示する
表示手段と、該表示手段に表示した画像を観察する撮影
者の視線を検知して視線情報を得る視線検知手段と、該
視線検知手段の前記視線情報から前記画像において予め
設定された時間にわたって注視した注視点を検知し、該
画像における該注視点から該画像中の文字領域を指定す
る領域指定手段と、前記領域指定手段により指定された
前記文字領域に対応する前記画像の座標に基づいて該文
字領域を撮像領域の中央に拡大して位置するよう前記結
像光学系の変倍および光軸の移動を行わせ、この拡大さ
れた文字領域を前記撮像手段により再撮像させ、再撮像
した文字領域画像信号を前記メモリに格納させるよう制
御するシステム制御手段と、該システム制御手段の制御
により再撮像した前記文字領域画像信号を該メモリから
得て文字認識処理して文字情報を得る文字認識手段と、
を有していることを特徴としている。請求項２の発明の
撮影装置は、被写体からの光束を結像し、変倍を行う結
像光学系と、該結像光学系の光軸を移動する手段と、該
結像光学系を介し受光素子の受光面上に導光して被写体
像を形成し画像信号を得る撮像手段と、該画像信号を一
時的に格納するメモリと、該画像信号に基づく画像を表
示する表示手段と、該表示手段に表示した画像を観察す
る撮影者の視線を検知して視線情報を得る視線検知手段
と、該視線検知手段の前記視線情報から前記画像におい
て予め設定された時間にわたって注視した注視点を検知
し、該画像における該注視点から該画像中の文字領域を
指定する領域指定手段と、前記領域指定手段により指定
された前記文字領域に対応する前記画像の座標に基づい
て該文字領域を撮像領域の中央に拡大して位置するよう
前記結像光学系の変倍および光軸の移動を行わせ、この
拡大された文字領域を前記撮像手段により再撮像させ、
再撮像した文字領域画像信号を前記メモリに格納させる
よう制御するシステム制御手段と、該システム制御手段
の制御により再撮像した前記文字領域画像信号を該メモ
リから得て文字認識処理して文字情報を得る文字認識手
段と、該メモリに格納した画像信号と該文字認識手段で
得た文字情報に基づく画像信号とを合成し合成画像信号
を得る合成画像形成手段と、を有していることを特徴と
している。

【００１１】請求項３の発明は請求項２の発明におい
て、前記表示手段は前記合成画像信号を得て、前記文字
情報に基づく画像を所定領域に表示することを特徴とし
ている。

【００１２】

【実施例】図１は本発明の実施例１の要部ブロック図で
ある。図中、１１は撮像手段であり、被写体１からの光
束を結像手段２により撮像素子（受光素子）３の受光面
３ａ上に導光して、被写体像を形成し該撮像素子で該被
写体像を画像信号に変換している。

【００１３】１２は撮影スイッチであり、該撮像手段１
１に撮影開始を指示している。１３は測距手段であり、
被写体１との距離を測っている。１４は画像メモリであ
り、該撮像手段１１で得られた画像信号を、システム制
御手段１９を介して得て一時的に格納している。

【００１４】１５は認識プログラムや参照文字データを
有する文字認識手段であり、該撮像手段１１で撮影した
画像信号のうちの所定の画像信号をシステム制御手段１
９を介して得て、文字認識処理を行っている。１６は文
字認識スイッチであり、文字認識処理の開始を指示して
いる。１７は表示手段であり、該撮像手段１１で撮影し
た画像信号に基づく画像乃至は文字認識処理後の画像を
表示している。

【００１５】１８ａは視線検知手段であり、該表示手段
１７に表示される画像を観察する撮影者の眼球２０の回
転角を検出し、撮影者の視線情報を得ている。１８ｂは
領域指定手段であり、該視線検知手段１８ａからの視線
情報に基づいて画像中の文字領域を指定している。

【００１６】該表示手段１７及び、視線検知手段１８ａ
はファインダー系４の一要素を構成している。

【００１７】システム制御手段１９は撮像手段１１の駆
動や、文字情報及び画像信号の入出力、更に撮影領域全
体に基づく画像信号から、文字領域に基づく画像信号の
分離（以下単に領域分離と称する）等、処理の制御全般
を行う中央演算ユニットを有している。

【００１８】本実施例は自然画と文字とが混在している
被写体や、大量の文字を有する被写体等を撮影し、該撮
影した領域のうち、文字認識処理の対象とする文字を有
する領域（以下単に文字領域と称する）を指定し、該文
字領域に相当する画像信号についてのみ文字認識処理を
行うことにより文字認識の高速化及び高精度化を図って
いる。このとき、文字領域の指定は視線検知手段１８ａ
からの視線情報を用いて、撮影時に表示手段１７を見な
がら構図を決める段階で行っている。

【００１９】視線検知手段１８ａは例えば図２のように
構成されている。図２において、２１は撮影者の眼球２
０を照明する照明光源としての赤外ダイオード（ＩＲＥ
Ｄ）、２２は該眼球２０からの反射光をイメージセンサ
２３の受光面上に導光し、該眼球２０の反射像を形成す
る結像レンズである。

【００２０】該視線検出手段１８ａは表示手段１７に表
示される画像を観察する撮影者の眼球２０をＩＲＥＤ２
１によって発散照明し、該眼球２０からの反射光を、結
像レンズ２２によりイメージセンサ２３上に導光し眼球
２０の反射像を形成している。

【００２１】このとき眼球２０の光軸ＡＸＳの回転角θ
はイメージセンサ２３上に結像した眼球２０の反射像、
特に角膜及び虹彩からの反射光による像、の座標に基づ
いて、幾何学的な計算から決定することができ、撮影者
の視線や、視線の移動方向及び移動速度、瞬き等の視線
情報を得ている。

【００２２】本実施例において、表示手段１７及び視線
検知手段１８ａはファインダー系４の一要素を構成して
おり、観察者が所定の接眼部（例えばアイピース）から
表示手段１７上の画像を観察する構成としていることよ
り、画像と観察者の眼球２０との位置関係が決まり、視
線検知手段１８ａで撮影者の視線方向を検知することに
より画像上の注視点を求めている。

【００２３】そして、撮影者が表示手段１７上の画像を
観察しながら文字領域の指定を行うよう、視線の移動等
を行い、このときの視線情報を領域指定手段１８ｂに入
力している。これに基づいて領域指定手段１８ｂは文字
領域を指定している。尚、文字領域の指定に際し或る注
視点を特定したい場合には、所望の点を一定時間注視す
ることや、所望の点で瞬きすること等、所定の動作によ
り行っても良いし、音声の入力や入力スイッチからの入
力信号に応じて注視している点を特定するよう構成して
も良い。

【００２４】次に本実施例の動作について図３，図４を
用いて説明する。図３のフローチャートにおいてシステ
ムの電源スイッチが投入（Ｓ１）されると、撮像手段１
１や、画像メモリ１４等の初期化が行われた後、文字認
識スイッチ１６のモードが読み込まれる（Ｓ２）。該ス
テップＳ２において、文字認識スイッチ１６がｏｆｆの
場合、撮影のスタンバイ状態（Ｓ３）に入り、通常のビ
デオカメラ等と同様、撮影スイッチ１２をＯＮとしたと
き撮像手段１１の撮影を開始（Ｓ４）し、記録装置等の
他の装置（不図示）に画像信号を出力（Ｓ５）してい
る。

【００２５】このとき表示手段１７に出力される画像信
号と、システム制御手段１９を通して得られる画像信号
とはまったく同一である。

【００２６】一方、該ステップＳ２において文字認識ス
イッチ１６がＯＮの場合、撮影のスタンバイ状態（Ｓ
６）に入り、撮影スイッチ１２をＯＮとしたとき、撮像
手段１１の撮影を開始（Ｓ７）している。該撮像手段１
１からの画像信号は、一時的に画像メモリ１４内に書き
込んでいる（Ｓ８）。次に視線検知手段１８ａで撮影者
の視線情報を検出し、該視線情報に基き領域指定手段１
８ｂで文字領域を設定している。そしてシステム制御手
段１９により画像メモリ１４に記憶した画像信号のう
ち、文字領域に相当する一部の画像信号を分離（Ｓ９）
した後、文字認識手段１５に入力して文字認識処理を行
い（Ｓ１０）、文字情報を得て、システム制御手段１９
から、各信号（画像信号や文字情報）を出力している
（Ｓ１１）。次に文字領域の指定及び画像の処理につい
て図４を用いて詳述する。同図において、４１は撮影領
域全体の画像信号を表示手段１７に表示した場合の画像
（実線で囲んだ矩形内）、４２は該画像４１のうち文字
処理領域の対象とする文字領域（右上りの斜線部）、そ
して４３は該画像４１のうち文字処理領域の対象としな
い領域（左上りの斜線部、以下背景領域と称する）を示
している。

【００２７】本実施例の文字領域の指定は、先ず観察者
が処理の対象とする領域の一角Ａを注視し、ボタンスイ
ッチ等の注視点入力手段をＯＮして注視点Ａを特定して
いる。

【００２８】同様に、対象とする領域の点Ａと対角にあ
る点Ａ′を注視し、ボタンスイッチをＯＮして注視点
Ａ′を特定し、該注視点Ａ，Ａ′に係る視線情報を夫々
領域指定手段１８ｂに入力している。

【００２９】該領域指定手段１８ｂは該視線情報に基づ
き注視点Ａ，Ａ′を頂点とする矩形状の領域を文字領域
４２としている（ＳＳ１）。そしてシステム制御手段１
９により、指定した文字領域４２に相当する画像信号を
画像メモリ１４より読み出し、領域分離を行う（ＳＳ
２）。分離された文字領域４２の画像信号は、文字認識
手段１５に入力され、パターンマッチング等の文字認識
処理が行われ、文字情報が得られる。

【００３０】該文字情報はシステム制御手段１９に入力
され、記録装置（不図示）等の他の装置に出力されると
共に、システム制御手段１９中の合成画像形成手段で該
文字情報と背景領域の画像信号とを合成し、文字領域４
２の画像を該文字情報に基づく画像４２ａに置き換えて
表示手段１７に表示する（ＳＳ３）。本実施例では、撮
影者の視線情報を用いて、撮影時に文字領域を指定する
ことにより、文字認識処理の計算量の軽減、即ち画像取
り込み時間の短縮化が図れる上、背景を文字と誤認識す
ることもなくなる為、撮影者の望み通りの情報入力を可
能としている。

【００３１】また、本実施例では、対角の２点を指定す
ることにより、矩形状の文字領域を指定したが、文字領
域の指定はこれに限らず、視線情報を用いて対象とする
領域の隅Ａ′を入力することにより、撮影領域の中心
（撮像光学系の光軸に相当）を中心点Ａとし、隅Ａ′を
頂点する矩形状の領域を文字領域を指定すること、（図
８（ａ），（ｂ））撮影者の視線の移動を追跡し、該移
動軌跡（図中破線）により囲まれた領域８１（斜線部）
を文字領域に指定すること、（図８（ｃ），（ｄ），
（ｅ））撮影領域を複数に分割し、該分割した領域のう
ち、一つ又は複数を一定の時間以上、注視することによ
り、文字領域を指定する（指定しない場合は中央部を文
字領域とするものでも良い）こと、（図８（ｆ），
（ｇ），（ｈ））等でも良い。

【００３２】また、表示手段１７に表示する画像４１上
に、領域指定手段１８ｂによって指定された文字領域
を、反転表示等して表示することにより、該文字領域を
表示画像上で確認することが容易にでき、文字領域の指
定を正確に行えるようにしている。

【００３３】更に本実施例では画像合成後の出力信号を
記録媒体に入力する以外にも、再度表示手段に入力する
ことも可能であり、その結果、例えば人間の目では認識
できない不明瞭な文字等の実時間処理による可視化が可
能となり、視覚の補助にもなり得る。また、再度表示手
段に表示する際に、他の言語に翻訳して表示させても良
い。

【００３４】この他、認識した文字情報のうち不確定な
文字を反転文字等にて表示し、該不確定な文字を注視す
る等して、他候補を表示させることや、該不確定な文字
（誤って認識された文字も含めて）を撮影者の視線情報
を用いて指定して、更なる拡大再撮影を行うこと、文字
認識処理に文法情報を用いた際の、文節の区切り変更等
を視線情報を用いて指定すること、等の構成にしても良
く、これにより高精度に文字認識処理できるようにして
いる。

【００３５】次に図４（ｂ）及び図５，図６を用いて本
発明の実施例２について説明する。本実施例は図１の実
施例１と比べて、変倍機能を有する結像光学系を用い文
字領域に応じて変倍し再度撮影することにより、常に良
好なる文字認識が行えるよう構成した点が異なり、他の
構成は略同じである。

【００３６】本実施例においては指定した文字領域の全
画面（撮影領域）に占める比率に応じて、撮像手段にお
ける結像光学系の変倍を行い、撮像素子の受光面上に形
成する被写体像の結像倍率（撮影倍率）を変化させた
後、再撮影を行う。変倍撮影された文字領域に基づく画
像信号は、文字認識処理され文字情報として得られる。

【００３７】そして該文字情報を元の大きさとなるよう
処理して、他の装置に出力すると共に、背景の画像と合
成して表示手段に表示している。

【００３８】図５，図６は本実施例を表すフローチャー
トである。同図において図３の実施例１と同じステップ
には同符番を付して再度の説明を一部省略している。

【００３９】先ずシステムの電源スイッチが投入され、
各要素の初期化が行われた後、文字認識スイッチ１６が
ｏｆｆの場合、通常のビデオカメラ等と同様に撮影を行
っている（Ｓ１〜Ｓ５）。一方、該ステップＳ２におい
て文字認識スイッチ１６がＯＮの場合であって、変倍撮
影を行わない場合は図３と同様、撮像手段で撮影し文字
領域を指定した後、文字認識処理をして、システム制御
手段１９より各信号（文字情報や合成画像信号等）を出
力している（Ｓ６〜Ｓ１２）。ステップＳ１２において
変倍撮影を行うモードを選択した場合、ステップＳ１３
で視線検知手段１８ａ及び領域指定手段１８ｂを用いて
文字領域を設定し、システム制御手段１９により画像メ
モリ１４に記憶した画像信号を文字領域と背景領域とに
分離している。

【００４０】ステップＳ１４では文字領域と背景領域と
に係る画像信号を選別しており、背景領域に係る画像信
号をメモリ内に記録（Ｓ１５）し、また、文字領域に係
る画像信号を、撮影領域内における該文字領域の座標デ
ータと共に、後段の処理に供している。

【００４１】次いでステップＳ１６で文字領域と撮影領
域とを比較し、文字領域を撮影領域と同程度に変倍（拡
大）するよう撮影倍率を決定し、拡大撮影が可能である
か否かを判断して、拡大撮影が不可能であれば撮影者に
対して警告を行い、文字領域を再度指定するか否かの選
択（ステップＳ１７）を促す。

【００４２】ステップＳ１７で文字領域を再指定しない
場合は該文字領域に係る画像信号を前述と同様、文字認
識処理した後、出力している（Ｓ１０，Ｓ１１）。ま
た、再指定する場合はステップＳ１３へ戻る。

【００４３】一方、ステップＳ１６で拡大撮影が可能で
あった場合は、文字領域が撮影領域の略中央に位置する
よう結像光学系の光軸を移動し（Ｓ１８）、拡大して再
撮影している（Ｓ１９）。そして、再撮影で得られた画
像信号を文字認識処理して文字情報を求め（Ｓ２０）、
元の大きさ（ステップＳ７で撮影したものと同等の大き
さ）と成るよう処理した後（Ｓ２１）、前記座標データ
に基づきステップＳ１５でメモリ内に格納した背景領域
と合成して（Ｓ２３）、表示手段１７で表示すると共
に、各信号を他の装置に出力している（Ｓ２４）。ここ
で、変倍撮影を行う際の画像処理のプロセスについて説
明する。図４（ｂ）において文字領域４２の指定がなさ
れると、撮影倍率を決定すると共に領域分離を行い文字
領域４２以外の背景領域４３を再度メモリ内に記録して
いる（ＳＳ４）。一方、そのときの撮影倍率及び文字領
域４２の座標から、センタリングの為の演算が行われ、
文字領域４２が画面中央になるように撮影方向（結像光
学系の光軸の向き）を制御している（ＳＳ５）。次いで
先に求めた撮影倍率になるように結像光学系の変倍制御
を行った後、文字領域４２のみを拡大再撮影し、文字認
識処理を行っている（ＳＳ６）。そして該文字認識処理
で求めた文字情報を背景画像と合致するように縮小変倍
処理し、元の領域座標に戻して合成出力している（ＳＳ
７〜ＳＳ９）。この時、画像メモリ内に保持されている
背景領域と、再度撮影された文字領域とは撮影した光軸
の方向が異なるため、それを補正する画像処理の手法を
用いても良い。これにより、より自然な出力画像が得ら
れる。

【００４４】なお、撮影領域の周辺部を拡大して再撮影
する為の撮影方向の制御手段としては、先に求めた撮影
領域内における該画像信号の座標データに対応する手段
であれば、結像光学系を構成する光学素子のシフト・テ
ィルトや、撮像素子のシフト、また、雲台による自動制
御、或は撮影者の手動によるもの等、如何なる手段に依
るものでも良い。

【００４５】本実施例では、文字領域を指定し、必要に
応じて拡大して再度撮影することにより、常に高精細な
画像信号が得られる為、従来画像信号の精細度が不十分
であった時に、コンピュータ端末上で複雑な画像処理を
必要としていたのに対し、容易な構成で高精度の文字情
報が得られるようにしている。

【００４６】次に本発明の実施例３について説明する。
本実施例は、文字領域の画面内における位置再現性を必
要としない場合であり、文字認識処理を行った後に文字
情報に基づく画像を元の位置に合成することなく、表示
手段上の決められた位置に表示している。

【００４７】以下に本実施例を図４（Ｃ）を用いて説明
する。本実施例において、文字領域を指定し、拡大再撮
影の後、文字認識処理をする所までは、図４（ｂ）の実
施例２と略同一である。

【００４８】本実施例において、認識された文字情報は
予め決められた画面の一部に表示している。図４（ｃ）
では画面の下部に文字専用の表示領域を設けることによ
り、ちょうど映画の字幕のように必要とする文字が得ら
れる。

【００４９】本実施例では、文字認識処理後の画像を所
定位置（風景等の表示の妨げに成らない位置や、撮影領
域外等）に表示しているので、より自然な出力画像が得
られる上、文字の表示される領域が予め定められている
ので、文字の取得が容易となっている。

【００５０】また、画面内の位置情報（座標データ）に
関する演算を必要とせず、処理全体として高速化を図っ
ている。

【００５１】以上の実施例では、指定した文字領域７１
（図７中斜線部）を撮影領域に納まる程度に拡大して再
撮影したが（図７のパターンａ）、本発明はこれに限ら
ず複数回に分けて撮影するように拡大しても良い。（例
えば図７のパターンｂ）上記実施例では撮影者が表示手
段に表示した画像を見ながら文字領域を指定したが、本
発明はこれに限らず、撮影領域と撮影者の視野との位置
関係等より文字認識処理の対象とする画像信号を特定で
きれば、視線検出手段を有した光学式のファインダー等
を用いて文字領域を指定するよう構成しても良い。

【００５２】また、文字領域を指定した後の変倍撮影
は、拡大撮影に限らず、例えば一旦拡大して文字領域を
指定し、縮小側に変倍して再撮影を行っても良い。

【００５３】尚、文字領域の指定は、撮影方向を変えな
がら広い範囲に亘って指定するものでも良く、該広い範
囲に亘って指定した文字領域を複数回に分けて撮影、又
は該文字領域が撮影領域内に納まるように縮小側に変倍
して撮影することにより、緻密な文字領域の指定が容易
に行なえ、また処理全体の高速化を図っている。

【００５４】尚、本発明において文字認識処理の対象と
する文字は文字情報に変換できるものであれば、記号や
図形（所謂絵文字や外字、罫線）等でも良い。

【００５５】

【発明の効果】本発明によれば、視線検知手段の視線情
報から表示手段に表示した画像において予め設定された
時間にわたって注視した注視点を検知し、該画像におけ
る該注視点から該画像中の文字領域を設定し、撮像手段
で得た画像信号のうち該文字領域に相当する画像信号に
ついて、文字認識処理を行うことにより、文字認識の高
精度化及び高速化を図った撮影装置を達成することがで
きる。

【図面の簡単な説明】

【図１】本発明の実施例１の要部該略図

【図２】視線検知手段の要部該略図

【図３】本発明の実施例１のフローチャート

【図４】文字認識処理に係る画像処理の説明図

【図５】本発明の実施例２のフローチャート

【図６】本発明の実施例２のフローチャート

【図７】変倍際撮影時の説明図

【図８】文字領域の指定手法の説明図

【符号の説明】

１被写体４ファインダー系１１撮像手段１２撮影スイッチ１３測距手段１４画像メモリ１５文字認識手段１６文字認識スイッチ１７表示手段１８ａ視線検知手段１８ｂ領域指定１９システム制御手段２０眼球２１赤外ダイオード２２撮像レンズ２３イメージセンサＡＸＳ眼球の光軸 θ 眼球の光軸の回転角４１撮影領域４２文字認識領域４３背景領域

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G02B 7/11 G06F 3/023 G06F 3/033 G06K 9/20

Claims

(57)【特許請求の範囲】

【請求項１】被写体からの光束を結像し、変倍を行う
結像光学系と、該結像光学系の光軸を移動する手段と、該結像光学系を介し受光素子の受光面上に導光して被写
体像を形成し画像信号を得る撮像手段と、該画像信号を一時的に格納するメモリと、該画像信号に基づく画像を表示する表示手段と、該表示手段に表示した画像を観察する撮影者の視線を検
知して視線情報を得る視線検知手段と、該視線検知手段の前記視線情報から前記画像において予
め設定された時間にわたって注視した注視点を検知し、
該画像における該注視点から該画像中の文字領域を指定
する領域指定手段と、前記領域指定手段により指定された前記文字領域に対応
する前記画像の座標に基づいて該文字領域を撮像領域の
中央に拡大して位置するよう前記結像光学系の変倍およ
び光軸の移動を行わせ、この拡大された文字領域を前記
撮像手段により再撮像させ、再撮像した文字領域画像信
号を前記メモリに格納させるよう制御するシステム制御
手段と、該システム制御手段の制御により再撮像した前記文字領
域画像信号を該メモリから得て文字認識処理して文字情
報を得る文字認識手段と、を有していることを特徴とする撮影装置。
【請求項２】被写体からの光束を結像し、変倍を行う
結像光学系と、該結像光学系の光軸を移動する手段と、該結像光学系を介し受光素子の受光面上に導光して被写
体像を形成し画像信号を得る撮像手段と、該画像信号を一時的に格納するメモリと、該画像信号に基づく画像を表示する表示手段と、該表示手段に表示した画像を観察する撮影者の視線を検
知して視線情報を得る視線検知手段と、該視線検知手段の前記視線情報から前記画像において予
め設定された時間にわたって注視した注視点を検知し、
該画像における該注視点から該画像中の文字領域を指定
する領域指定手段と、前記領域指定手段により指定された前記文字領域に対応
する前記画像の座標に基づいて該文字領域を撮像領域の
中央に拡大して位置するよう前記結像光学系の変倍およ
び光軸の移動を行わせ、この拡大された文字領域を前記
撮像手段により再撮像させ、再撮像した文字領域画像信
号を前記メモリに格納させるよう制御するシステム制御
手段と、該システム制御手段の制御により再撮像した前記文字領
域画像信号を該メモリから得て文字認識処理して文字情
報を得る文字認識手段と、該メモリに格納した画像信号と該文字認識手段で得た文
字情報に基づく画像信号とを合成し合成画像信号を得る
合成画像形成手段と、を有していることを特徴とする撮影装置。
【請求項３】前記表示手段は前記合成画像信号を得
て、前記文字情報に基づく画像を所定領域に表示するこ
とを特徴とする請求項２の撮影装置。