JPH07319886A - 動画連動図面画像検索装置及び動画連動図面画像検索方法 - Google Patents

Abstract

(57)【要約】 【目的】 本発明の目的は、遠隔地であっても明瞭度の
高いポインタ指示付の図面原画像が得られる動画連動図
面画像検索装置及び動画連動図面画像検索方法を提供す
ることである。 【構成】 本発明は、図面原画像データファイル６と、
入力動画中に被写体として順次表示される図面画像の出
現及び更新に連動して図面原画像データファイル６を参
照して、図面像に対応する原画像データを検索する検索
手段100 と、原画像データより図面原画像を生成する図
面原画像生成手段200 と、図面原画像を入力動画に切り
換えるか、または、図面原画像と入力動画の両方を同一
フレーム上に合成して動画のビデオ信号として出力する
出力手段300 とを有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画連動図面画像検索
装置及び動画連動図面画像検索方法に係り、特に、ビデ
オカメラにより動画として撮影された図面の投影画像の
出現及び更新に連動して当該図面の原画像データを自動
検索する動画連動図面画像検索装置及び動画連動図面画
像検索方法に関する。

【０００２】

【従来の技術】従来より、講演会や会議での講演内容を
遠隔地から聴講可能にする第１の方法として、テレビ放
送システムやテレビ会議システムが用いられている。会
場に集合している複数の参加者を前にして講演が行われ
る場合、一般に講演者による情報の開示は、スライド投
影装置やオーバーヘッドプロジェクタ（ＯＨＰ装置）等
の画像投影装置を用いて図面をスクリーン上に投影して
視覚情報を提供しつつ、発話による説明文の音声情報を
提供する形で行われる。その際、遠隔地の参加者には、
音声情報については、マイクロフォンで収録された会場
の参加者に提供されるものと略同質の音声が通信路を介
して提供されるが、視覚情報はビデオカメラにより会場
の風景の一部として、または、ズームアップして動画と
して撮影された図面の投影画像が提供される。

【０００３】第２の方法として、ビデオカメラで撮影さ
れた動画の分解能ならびに画像品質を向上させる方法と
しては、高精細ビデオカメラで撮影した動画を同じく高
精細ディスプレイで表示する方法が既知である。

【０００４】第３の方法として、上記の第２の方法のよ
うに、図面の投影画像をビデオカメラで撮影する方法で
は、良好な明瞭度が得られない問題を直接解決する方法
として、投影用のフィルムあるいは、紙面に印刷された
図面原画像を、良好な環境条件で動画または、静止画と
して撮影して図面原画像データファイルとして保持して
おき、オペレータが会場で投影される図面の表示内容を
目視で識別しながら、これらの図面原画像データを手動
で検索し、同じく手動で画像合成装置を操作して会場風
景を撮影した動画と検索した図面原画像データから生成
した動画とを切り換えて伝送する方法が既知である。

【０００５】第４に、上記の第３の方法と同様な技術と
して、会場における図面の投影を液晶シャッタを用いた
電子式プロジェクタで行い、遠隔地へは、液晶シャッタ
を制御するための画像フィルムから生成したビデオ信号
を伝送する方法が既知である。この方法は、投影する図
面は、予め画像ファイルの形で用意され、投影に際して
は制御用の小型コンピュータに入力して管理される。図
面の更新は、講演者等の操作により画像ファイルを選択
することで行われる。このため、この方法では、会場で
投影する図面と遠隔地へ伝送する図面画像との対応が自
動的にとられる利点がある。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来の第１の方法による図面の投影画像は、投影用フィル
ムに印刷された図面の原画像パターンを単純な光学系に
よりスクリーン上に拡大投影したものである。このた
め、画像投影装置の光量不足やフォーカシング不良の場
合、あるいは、会場の照明が明るすぎるなどの環境条件
が悪い場合は、スクリーン上の図面の投影画像のコント
ラストやシャープネス等の明瞭度が低下して、参加者に
とって内容が識別しにくいものとなる。また、表示され
る図面の図柄や文字が細かい場合には、さらに識別しに
くいという問題がある。

【０００７】さらに、遠隔地の参加者がビデオディスプ
レイで見るビデオカメラで撮影された図面の投影画像で
は、会場の参加者には識別可能な品質の投影画像の場合
でも、さらに、ビデオカメラやビデオディスプレイの分
解能限界や、悪い撮影条件あるいは、撮影方法の稚拙さ
による分解能の低下に基づく画像品質の低下が加わるた
め、一層識別に困難をきたすという問題がある。

【０００８】また、上記従来の第２の方法は、図面の投
影に起因する被写体自体の明瞭度の低下には対処できな
いという問題がある。

【０００９】さらに、上記従来の第３の方法は、会議や
講演会の実施時間中常時熟練したオペレータを配備して
おく必要があり、運用コストが大きいため、大規模なテ
レビ放送施設等でしか利用できないという難点がある。
また、会場で投影される図形上に講演者によって表示さ
れる指や指示棒、レーザポインタ等が遠隔地の参加者に
提供される図面画像上には、表示されないという問題が
ある。

【００１０】さらに、上記従来の第４の方法は、投影す
る図面画像は、電子式プロジェクタの液晶シャッタの配
列に準拠した画素配列となるように専用の図面作成装置
を用いて作成する必要があり、任意に作成された図面を
イメージスキャナ等で入力した場合には、投影される図
面画像の品質が劣化するという問題がある。このため、
従来の第４の方法は、多数の講演者が順次講演を行う学
習講演会等の状況を遠隔地で伝送する場合に用いるには
問題がある。

【００１１】本発明は、上記の点に鑑みなされたもの
で、上記従来の問題点を解決し、遠隔地であっても明瞭
度の高いポインタ指示付の図面原画像が得られる動画連
動図面画像検索装置及び動画連動図面画像検索方法を提
供することを目的とする。

【００１２】また、本発明の目的は、講演会や会議の実
況中継に使用した場合、遠隔地で聴講する参加者に対し
ても会場の参加者と同様の視覚情報が提供できる動画連
動図面画像検索装置及び動画連動図面画像検索方法を提
供することである。

【００１３】さらに、本発明の目的は、ビデオカメラの
操作や画像の合成に熟練したオペレータの常時配置を行
う必要がない動画連動図面画像検索装置及び動画連動図
面画像検索方法を提供することである。

【００１４】さらに、本発明の目的は、講演会や会議の
状況を記録したビデオ録画に、その中に出現する図面画
像の原画像を組み込む編集処理を自動化する際にも使用
できる動画連動図面画像検索装置及び動画連動図面画像
検索方法を提供することである。

【００１５】さらに、本発明の目的は、扱う対象として
入力動画中に含まれる図面の投影画像とその原画像に限
らず、書籍中の図面あるいは、風景中の絵画、人体像、
物体像など、入力画像をキーとして原画像データファイ
ル検索できる対象に広く適用できる動画連動図面画像検
索装置及び動画連動図面画像検索方法を提供することで
ある。

【００１６】最後に、本発明の目的は、入力及び出力に
おいて、ビデオ信号のみならず、記号データ系列で与え
ることが可能な動画連動図面画像検索装置及び動画連動
図面画像検索方法を提供することである。

【００１７】

【課題を解決するための手段】図１は、本発明の原理構
成図である。

【００１８】本発明の動画連動図面画像検索装置は、ビ
デオカメラにより動画として撮影された図面の投影画像
の出現及び更新に連動して図面の原画像データを検索す
る装置において、予め図面原画像データが蓄積されてい
る図面原画像データファイル６と、ビデオ信号のフレー
ム系列で与えられる入力動画中に被写体として順次表示
される図面画像の出現及び更新に連動して図面原画像デ
ータファイル６を参照して、図面像に対応する原画像デ
ータを検索する検索手段１００と、検索手段１００によ
り検索された原画像データより図面原画像を生成する図
面原画像生成手段２００と、図面原画像生成手段２００
により生成された図面原画像を入力動画に切り換える
か、または、図面原画像と入力動画の両方を同一フレー
ム上に合成して動画のビデオ信号として出力する出力手
段３００とを有する。

【００１９】また、本発明の動画連動図面画像検索装置
は、入力ビデオ信号を画像処理が可能なディジタル信号
の入力動画のフレーム系列に変換する入力ビデオ信号Ａ
／Ｄ変換手段１と、入力動画のフレーム系列の１フレー
ム分の画像フレームデータを一時記憶しておく入力フレ
ームメモリ２と、図面原画像ファイル６から読み出され
る図面原画像データを一時記憶しておく、原画像フレー
ムメモリ８と、入力フレームメモリ２から読み出される
画像フレームデータから抽出される画像特徴に基づいて
図面画像の存在とそのフレーム内位置を検出して図面画
像存在信号と、図面画像位置情報とを出力する図面画像
存在検出手段３と、入力フレームメモリ２から読み出さ
れる画像フレームデータと入力動画のフレーム系列から
直接得られる画像フレームデータにおける図面画像位置
情報で定義される領域の画像データもしくは画像特徴の
差異に基づいて図面画像の静止を検出して画面画像静止
信号を出力する図面画像静止検出手段４と、入力フレー
ムメモリ２から読み出される画像フレームデータから図
面画像位置情報で定義される領域の画像データを切り出
して入力図面画像データとして出力する図面画像切り出
し手段５と、図面原画像データファイル６に予め定義し
てある図面の出現順序情報並びに入力図面画像データも
しくは、その画像特徴をキーとして図面原画像ファイル
６から対応する図面画像データを検索して出力する原画
像検索手段７と、原画像フレームメモリ８を参照して得
られる図面原画像と入力画像とを切り換えるかまたは、
図面画像と入力動画の双方を同一フレーム上に合成して
出力動画のビデオ信号を生成する出力ビデオ信号切り換
え合成手段９と、図面画像存在信号及び図面画像静止信
号に基づいて、入力動画像中に図面画像が存在しない
か、もしくは、静止していない場合には、入力フレーム
メモリに対して画像フレームデータの書込みを指示する
入力書換え信号、入力動画像中に図面画像が存在し、か
つ静止している場合には、原画像検索手段に対して原画
像データの検索を指示する検索制御信号と、出力ビデオ
信号切り換え合成手段に対して入力動画と図面原画像と
の切り換えを指示する出力切り換え信号とを出力するシ
ステム制御信号生成手段１０とを含む。

【００２０】また、上記の原画像検索手段７は、予め図
面原画像データ相互の画像特徴の差異に基づいて図面原
画像データの検索に用いる特徴要素あるいは、特徴抽出
を行う画像領域を定義する定義手段と、定義手段により
定義された内容に従って図面原画像データの各々に部分
特徴データを付与する特徴選択手段と、原画像ファイル
より入力図面画像データに対応する図面原画像データを
検索する場合に、特徴選択手段における定義内容に従っ
て入力図面画像データから抽出した部分特徴データと図
面原画像データの部分特徴とを照合する照合手段とを有
する。

【００２１】また、本発明の動画連動図面画像検索装置
は、入力動画の図面画像に第２の被写体として含まれる
ポインタ画像の存在とその位置とを画像特徴に基づいて
識別してポインタ存在信号と図面画像に対するポインタ
位置情報とを出力するポインタ検出生成手段１１を含
み、出力ビデオ信号切り換え合成手段９が、ポインタ存
在信号とポインタ位置情報に基づいて図面原画像上の対
応する位置にポインタ記号を連動して表示する。

【００２２】本発明の動画連動図面画像検索方法は、ビ
デオカメラにより動画として撮影された図面の投影画像
の出現及び更新に連動して図面の原画像データを検索す
る場合において、ビデオ信号のフレーム系列で与えられ
る入力動画中に被写体として順次表示される図面画像の
出現及び更新に連動して予め図面原画像データが蓄積さ
れている図面データファイルを参照して、図面像に対応
する原画像データを検索し、検索された原画像データよ
り図面原画像を生成し、生成された図面原画像を入力動
画に切り換えるか、または、図面原画像と入力動画の両
方を同一フレーム上に合成して動画のビデオ信号として
出力する。

【００２３】また、上記の本発明の動画連動図面画像検
索方法は、入力動画中の図面画像の任意の部分を指し示
すポインタ像の存在と位置を検出し、出力同の図面原画
像の対応する位置にポインタを表示する。

【００２４】また、上記の本発明の動画連動図面画像検
索方法は、原画像データを検索する場合に、予め図面原
像データ相互の画像特徴の差異に基づいて検索に用いる
特徴要素あるいは、特徴抽出を行う画像領域を選択的に
定義する。

【００２５】

【作用】本発明の動画連動図面画像検索装置は、会場の
風景をビデオカメラで撮影した入力動画中に図面画像が
存在しない場合は、入力動画がそのまま出力され、図面
画像が出現し、その表示内容が順次更新される場合は、
その出現と更新に連動して予め保持してある図面の原画
像データファイルから投影中の図面画像に対応する原画
像データを検索し、原画像データから生成した明瞭度の
高い図面原画像を、入力動画に切り換えるか、あるい
は、図面原画像と入力動画の双方を同一フレーム上に合
成して動画のビデオ信号として出力する処理が自動的に
実行される。

【００２６】また、本発明は、入力動画中の図面画像か
ら講演者によって表示される指や指揮棒の陰影、レーザ
ポインタ等のポインタ画像の存在と位置を検出し、出力
動画の図面原画像の対応する位置に矢印等のポインタ記
号を表示する処理が自動的に実行される。

【００２７】上記の原画像データの検索処理は、予め図
面原画像データ相互の画像特徴の差異に基づいて検索に
用いる特徴要素あるいは、特徴抽出を行う画像領域を選
択的でかつ自動的に定義して行われるため、図面画像の
出現ならびに更新から対応する図面原画像の出力までの
遅れ時間を小さくできると共に、図面画像の投影順序の
変更や省略にも対処できる。

【００２８】

【実施例】以下、図面と共に、本発明の実施例を詳細に
説明する。

【００２９】図２は、本発明の第１の実施例の動画像連
動図面画像検索装置の構成を示す。同図に示す動画像連
動図面画像検索装置は、入力ビデオ信号Ａ／Ｄ変換部
１、入力フレームメモリ２、図面画像存在検出部３、図
面画像静止検出部４、図面画像切り出し部５、原画像フ
ァイルメモリ６、原画像検索部７、原画像フレームメモ
リ８、出力ビデオ信号切り換え合成部９、及び制御信号
生成部１０より構成される。

【００３０】入力ビデオ信号Ａ／Ｄ変換部１は、入力ビ
デオ信号ａを画像処理が可能なディジタル信号の入力動
画のフレーム系列に変換する。

【００３１】入力フレームメモリ２は、入力ビデオ信号
Ａ／Ｄ変換部１で変換された入力動画のフレーム系列の
１フレーム分の画像フレームデータｂが入力され、一時
記憶する。

【００３２】画面画像存在検出部３は、入力フレームメ
モリ２から読み出される画像フレームデータｍから抽出
される画像特徴に基づいて図面画像の存在とそのフレー
ム内位置を検出して図面画像存在信号ｅと図面画像位置
情報ｄとを出力する。

【００３３】図面画像静止検出部４は、入力フレームメ
モリ２から読み出される画像フレームデータと入力動画
のフレーム系列から直接得られる画像フレームデータに
おける図面画像位置情報で定義される領域の画像データ
もしくは、画像特徴の差異に基づいて図面画像の静止を
検出して図面画像静止信号ｃを出力する。

【００３４】図面画像切り出し部５は、入力フレームメ
モリ２から読み出される画像フレームデータｍから図面
画像位置情報で定義される領域の画像データを切り出し
て入力図面画像データｈとして出力する。

【００３５】原画像ファイルメモリ６は、図面原画像デ
ータファイルを予め保持しておく。

【００３６】原画像検索部７は、図面原画像データファ
イルに予め定義してある図面の出現順序ならびに入力図
面画像データもしくは、その画像特徴をキーとして、原
画像ファイルメモリ６から対応する図面原画像データを
検索して出力する。

【００３７】原画像フレームメモリ８は、原画像ファイ
ルメモリ６から読み出される図面原像データを一時記憶
しておく。

【００３８】出力ビデオ信号切り換え合成部９は、原画
像フレームメモリ８を参照して得られる図面原画像と入
力動画とを切り換えるかあるいは、図面原画像と入力動
画の双方を同一フレーム上に合成して出力動画のビデオ
信号を生成する。

【００３９】システム制御信号生成部１０は、図面画像
存在信号ｅ及び図面画像静止信号ｄに基づいて、入力動
画像中に、図面画像が存在しないもしくは、静止してい
ない場合には、入力フレームメモリ２に対して画像フレ
ームデータの書込みを指示する入力書換え信号ｆ、入力
動画像中に図面画像が存在し、かつ静止している場合に
は、原画像検索部７に対して原画像データの検索を指示
する検索制御信号ｇと出力ビデオ信号切り換え合成部９
に対して入力動画と図面原画像との切り換えを指示する
出力切り換え信号ｉとを出力する。

【００４０】上記の構成において、本実施例では、入力
動画のビデオ信号は、動画像連動図面画像検索装置に直
結したビデオカメラで実時間で与えられ、また、本装置
から得られる出力動画のビデオ信号は、単数または、複
数のビデオディスプレイで表示される。また、原画像フ
ァイルメモリ６に予め用意しておく図面原画像データフ
ァイルは、本装置に接続されたイメージスキャナで投影
用ファィルあるは、紙面に印刷された図面原画像を読み
取ることで入力するものとする。

【００４１】図３は、本発明の第１の実施例の動画連動
図面画像検索装置で扱う動画のフレームの例を示す。同
図（ａ）は、入力画像フレームの例であり、同図（ｂ）
は、（ａ）に対応する出力画像フレームの例である。

【００４２】同図（ａ）に示す入力画像フレームでは、
スクリーン上に投影された図面画像、ＯＨＰ装置及び講
演者を含む演壇の風景が被写体として撮影されている。
また、同図（ｂ）に示す出力画像フレームでは、入力動
画中の図面画像から検索された図面原画画像が上記の入
力動画像上に重畳して表されている。ここで、入力動画
のカメラアングル及び撮影倍率は、一連の講演中は固定
されているものとする。

【００４３】以下に本実施例の動作を説明する。

【００４４】以下の動作において、入力ビデオ信号Ａ／
Ｄ変換部１で行う入力ビデオ信号からディジタル化した
入力動画のフレーム系列への変換処理は、変換済の情報
を扱うものとして、以下のフローチャートでは省略して
ある。

【００４５】なお、この入力ビデオ信号のＡ／Ｄ変換処
理は必ずしもビデオレートで入力動画のフレーム系列を
生成する必要はなく、本実施例では、０．２秒サイクル
で個々のフレームの画像データが出力されるものとす
る。

【００４６】本発明の動画連動図面画像検索装置の動作
モードは、 図面原画像をイメージスキャナから入力して原画像
ファイルメモリ６に格納すると共に、原画像検索部５原
画像データの検索を効率化するための特徴選択処理を行
う原画像データ格納モード； 図面画像存在検出部３に入力画像フレームに含まれ
るスクリーンの位置及び図面なし状態での明度に関する
情報を付与する初期化モード； 入力画像フレームから図面の存在と静止を検出して
原画像データを検索して出力ビデオ信号の切り換え合成
を行う通常モード； がある。

【００４７】初期化モードの実行に際しては、会場の照
明を講演時の状態とし、ＯＨＰ装置を図面なしの状態と
して投影光をスクリーンに投射して、スクリーンを含む
演壇風景をビデオカメラで撮影する。この状態では、ス
クリーンには明るい投影光が投射されており、スクリー
ン以外の背景はやや暗い会場照明となる。

【００４８】［図面画像存在処理・図面画像静止検出処
理ルーチン］以下に本発明の第２の実施例として図面画
像存在処理・図面画像静止検出処理ルーチンについて説
明する。図４は、本発明の一実施例の動作の概略を示す
フローチャートである。同図に示すフローチャートは、
ステップ１００の入力フレームメモリ書込み処理、ステ
ップ１１０の図面画像存在検出処理、ステップ１２０の
図面画像静止検出処理からなる。上記の初期化モードの
具体的な処理は、ステップ１１０の図面画像存在・静止
検出処理の開始から、図面画像存在検出処理に対応して
いる。

【００４９】図５は、本発明の第１の実施例の初期化モ
ード時の動作を示すフローチャートである。

【００５０】初期化モードにおいて、始めに、システム
制御部１０で入力書換え信号ｆを発生させ（ステップ２
０１）、入力フレームメモリ２に図３（ａ）の図面なし
の状態の入力画像フレームを取り込む（ステップ２０
２）。図面画像存在検出部３は、入力フレームメモリ２
が保持している画像フレームデータを読出して（ステッ
プ２０３）、明度別の画素数分布を求める（ステップ２
０４）。これにより、スクリーン領域が一般に明るい方
形をなすこと及び周囲の背景は、スクリーン領域より暗
いことを利用して、明度が高い領域で生じるピークをス
クリーン領域の画素によるものと判定して、スクリーン
領域の下限明度と背景の上限明度を求める（ステップ２
０５）。次いで、明度が下限明度以下に変化する画素位
置をフレーム上で追跡することにより、スクリーン領域
を識別し（ステップ２０６）、そのコーナーのフレーム
内座標を求める（ステップ２０７）。以上で得たスクリ
ーンの下限明度と背景の上限明度及びスクリーン領域の
コーナーのフレーム内座標を初期情報として、図面画像
存在検出部３に保持し、初期モードの処理を完了する
（ステップ２０８）。

【００５１】次に通常モードの処理について説明する。
講演開始に先駆けて、システム制御部１０が入力書換え
信号ｆを発生させ、図４に示すフローチャートのステッ
プ１１０の図面画像存在処理及びステップ１２０の図面
画像静止検出処理のルーチンを行う。

【００５２】図６は、本発明の第１の実施例の通常モー
ド時の動作を示すフローチャートである。

【００５３】入力フレームメモリ２は、入力書換え信号
ｆが付与されると、入力ビデオ信号Ａ／Ｄ変換部１から
与えられる入力動画のフレーム系列の１フレーム分の画
像フレームデータを取り込んで一時記憶する（ステップ
３０１）。

【００５４】図面画像存在検出部３は、入力フレームメ
モリ２から画像フレームデータｍを読出し、後述する方
法で、画像特徴を抽出して図面画像の存在とそのフレー
ム内位置を検出し、図面画像存在信号と図面画像位置情
報とを出力する（ステップ３０２）。

【００５５】具体的には図７に示すように、前述の初期
化モードで検出したスクリーン領域７０のやや内側に複
数（同図では６個）の小領域７１からなる存在検出領域
７２を設定する。次いで、各小領域７１において、小領
域のコーナーをＸ状に結ぶ線上の画素について初期化モ
ード時の下限明度と上限明度の範囲内で、一定以上の明
度の変化が有るかないかを調べ、変化が有る小領域で
は、図面画像が存在すると判定する。複数（例えば、３
個以上）の小領域で存在すると判定された場合は、最終
的にスクリーン上に図面画像が存在すると判定し、図面
画像存在信号を発生する。また、上記の存在検出領域７
２のコーナーの座標を図面画像の位置情報として出力す
る。システム制御部１０は、入力書換え信号ｆを付与し
た時から一定時間内（例えば、０．２秒）に図面画像存
在信号が出力されるか否かを監視しており、否の場合
は、入力フレームメモリ２に対して再度入力書換え信号
ｆを付与して、入力画像フレームｂの取り込みを指示す
る。

【００５６】図面画像静止検出部４は、図面画像存在検
出部３から図面画像位置情報が付与されると、入力フレ
ームメモリ２から読み出される画像フレームデータｂと
入力動画のフレーム系列から直接得られる画像フレーム
データとについて、図面画像位置情報で定義される領域
の画像データもしくは、画像特徴の差異を調べて図面画
像の静止を検出し、図面画像静止信号を出力する（ステ
ップ３０３）。

【００５７】具体的には、図７に示すように、存在検出
領域の７２の各小領域７１のコーナーをＸ状に結ぶ線上
の画素について、入力フレームメモリ２から読み出され
る画像フレームデータｍと入力動画のフレーム系列から
直接得られる画像フレームデータとを照合する。双方の
データが一致している小領域では、図面画像が静止して
いると判定する。複数（例えば、３個以上）の小領域で
静止していると判定された場合は、最終的にスクリーン
上で図面画像が静止してると判定し、図面画像静止信号
を発生する。

【００５８】これにより、図７に示すような移動しつつ
あるポインタ画像（指示棒の陰影７３）が存在検出領域
内にある場合でも静止していると判定できる。システム
制御部１０は、図面画像存在信号発生から一定時間内
（例えば、０．２秒）に図面画像静止信号が出力される
か否かを監視しており、否の場合は、入力フレームメモ
リ２に対して再度入力書換え信号を付与して入力画像フ
レームの取り込みを指示する。

【００５９】上記の図面画像存在処理、静止検出処理の
ルーチンは、講演終了後にシステム制御部１０を介して
システム停止信号が与えられるまで、図面像存在検出処
理あるいは、図面画像静止検出処理が０．２秒サイクル
で繰り返し実行される（ステップ３０４）。システム制
御部１０は、図面存在信号ｅと図面静止信号ｃを受け取
ると、検索制御信号ｇを発生し（ステップ３０５）、図
８に示す原画像検索・出力切り換え合成処理ルーチンに
移行する。

【００６０】［原画像検索・出力切り換え合成処理ルー
チン］次に、本発明の第２の実施例として原画像検索・
出力切り換え合成処理ルーチンについて説明する。図８
は、本発明の第２の実施例の原画像検索・出力切り換え
合成処理ルーチンを示す。

【００６１】まず、図面画像切り出し部５は、入力フレ
ームメモリ２から読み出される画像フレームデータから
図面画像位置情報で定義される領域の画像データを切り
出して入力図面画像データとして出力する（ステップ４
１０）。

【００６２】原画像検索部７は、原画像ファイルメモリ
６に格納してある図面画像データファイルに予め定義し
てある図面の出現順序情報ならびに図面画像切り出し部
５から与えられる入力図面像データまたは、その画像特
徴をキーとして、原画像ファイルメモリ６から対応する
図面画像データを検索して出力する（ステップ４２
０）。

【００６３】次に、原画像フレームメモリ８に原画像検
索部７で検索された原画像データファイルの内容を書き
込む（ステップ４３０）。次に出力ビデオ信号切り換え
合成部９は、原画像フレームメモリ８から入力された図
面原画像と入力動画とを切り換えるか、または、双方で
同一フレーム上に合成して出力動画連動図面画像検索装
置のビデオ信号を生成する（ステップ４４０）。この処
理を切り換え信号後縁が入力されるまで繰り返す。

【００６４】上記のステップ４２０において、図面の出
現順序情報をキーとする検索とは、図９に示す図番を用
いて原画像データファイルメモリ６内の原画像データフ
ァイルを検索するとであり、図番を提示予定順序に対応
させておくと共に、出現済の図番を原画像検索部７で管
理しておき、次に検索すべき原画像データを絞り込むた
めに用いる。また、入力図面画像データもしくは、その
画像特徴をキーとする検索とは、図番に基づいて検索さ
れた原画像データと入力図面画像とを照合して原画像デ
ータが入力図面画像に対応するか否かを検証するために
行う。この機能により、投影中の図面画像がスクリーン
上に不用意に移動した場合や、講演中に提示予定順序に
変更が生じた場合に対処できる。

【００６５】後者の入力図面画像データもしくは、その
画像特徴をキーとする検索は、基本的にはキーとなる入
力図面画像の歪み補正と大きさの正規化を行うことによ
り検索対象である原画像と画素レベルの照合を行うこと
で実施できる。しかし、この方法では、入力画像の歪み
が大きい場合には、歪み補正条件と正規化条件を逐次変
えつつ繰り返し照合を実施する必要があり、検索に要す
る時間が長くなるという問題がある。

【００６６】そこで、本実施例は、以下に示す特徴選択
処理を原画像格納モードで実行し、検索を効率化する方
法を用いる。

【００６７】本実施例は、図２に示す構成の原画像検索
部７において、予め図面原画画像データ統語の画像特徴
の差異に基づいて図面原画像データの検索に用いる特徴
要素或いは、特徴抽出を行う画像領域を定義し、かつ定
義内容に従って、図面原画像データの各々に部分特徴デ
ータを付与する特徴選択処理を行い、原画像ファイルメ
モリ６から入力図面画像データに対応する図面原画像デ
ータを検索する際に、特徴選択処理での定義内容に従っ
て、入力図面画像データから抽出した部分特徴データと
図面原画像データの部分特徴データとを照合する処理を
行うものである。

【００６８】今、入力図面画像データならびに、検索対
象の原画像データの図面は、図９に示す図番１から図番
３のような図柄であるとする。原画像検索部７は、原画
像データ格納モードを実行するにあたり、図１０に示す
ように、各図面が黒文字列、白抜き文字列、黒線画、白
抜き線画、写真のいずれの種別であるかを以下の方法で
識別しておく。

【００６９】図１１は、本発明の第２の実施例の原画像
検索部動作を示すフローチャートである。

【００７０】具体的には、存在検出領域の各小領域のコ
ーナーをＸ状に結ぶ線上の画素について白画素数と黒画
素数の比率、中間調画素の分布からまず、黒文字列また
は、黒線画、白抜き文字列または、白抜き線画、写真の
いずれかであるかを識別する（ステップ５００）。

【００７１】次に、文字列であるか線画であるかを図面
の縦方向あるいは、横方向に黒画素数または、白画素数
を累積する方法により、周辺分布を求めることで識別す
る。図９の例では、横方向に画素数を累積する。これに
より、文字列の場合は、行間の隙間によって図面の縦辺
の周辺分布に画素が累積されていない部分が規則的に出
現する。線画の場合は、図面の縦辺の周辺分布に画素が
累積されない部分が規則的に出現する。線画の場合は、
図面の縦辺の広い部分に画素が累積する。ここで、文字
列と線画が混在する図面は線画として、また文字列と写
真が混在した図面は、写真として扱われる（ステップ５
０１）。

【００７２】以上の方法で識別した図面種別は、図１０
の原画像検索用特徴ファイルに図番順に記述しておき、
入力図面画像データから図面原画像データを照合により
検索する際に１次特徴として用いる。

【００７３】次に、より詳細な照合を簡便に行うため
に、図面種別毎に、並びに図番毎に予め定めてある２次
特徴の抽出方法を選択し、各図面の原画像データについ
て特徴要素値を求める（ステップ５０２）。

【００７４】文字列の場合は、図９の図番１、及び図番
２に示すようにステップ５０１で行った画素周辺分布を
調べる方法と、図面を横方向あるいは、縦方向に走査し
て画素状況を調べる方法とを併用して各文字列領域を示
す外接矩形を求める（ステップ５０３）。

【００７５】次に、各外接矩形のコーナーをＸ状に結ぶ
線状の画素状況から交差回数（白画素と黒画素が変化す
る回数）を求める（ステップ５０４）。そして、検索対
象の全ての原画像データを通して個々の原画像を特定す
るのに最適な文字列を定義する（ステップ５０５）。図
９では、図番１の第１文字列は、図番２の第１文字列と
同一であるため、図１０に示すように図番１では、第１
文字列、図番２では、第２文字列が照合に用いる箇所と
して定義される。図番３のような線画の場合には、特徴
抽出方法として“＋正規化モーメント”を用いる。この
方法では、初めに画面画像を４分割する位置に水平垂直
方向の線を設定する。

【００７６】次に、上下左右の各線分について、画素値
（例えば、黒画素１、白画素０）掛ける交点から距離の
累積値で定義されるモーメトを求める。そして、上下及
び左右の線分の組のそれぞれについてモーメントがバラ
ンスするまで水平垂直線を移動させる操作を行う。そし
てバランスがとれた位置での各線分上の画素分布を特徴
要素として用いる。

【００７７】図面種別が写真の場合は、上記の線画の場
合で述べた水平垂直方向の線に沿って一定幅のストライ
プ領域を定義し、その領域について平均モーメントを求
める。特徴要素には、上下左右の４つのストライプ領域
の画素分布を用いる（ステップ５０６）。これは、写真
の場合は、線画より微細なモチーフが含まれ得るため、
線上の画素のみを調べる方法では、安定な特徴が得られ
にくいためである。

【００７８】以上の線画及び写真の場合においても、上
記のように図面画像前面についてモーメント及び特徴要
素を求めるのみならず、文字列の場合と同様に、図面画
像を複数領域に分割し、検索対象の全ての原画像データ
を通して、個々の原画像を識別するのに最適な領域を定
義するように構成できる。

【００７９】また、特徴抽出の方法もそれぞれの状況に
応じて単純化もしくは、詳細化するように構成できる。
こうした特徴抽出を行う領域及び方法は、図１０の原画
像検索用特徴テーブルに記述しておく（図１０において
は図示せず）。

【００８０】以上、説明した各図面種別の特徴抽出方法
は、画像の歪みや大きさの変化に対して安定な利点があ
る。また、照合する領域が局部的であるため、手や指示
棒の陰影が部分的に重畳している場合であってもその影
響を回避できる確率が高くなる。

【００８１】次に、図８の原画像検索・出力切り換え合
成処理ルーチンのステップ４２０の原画像検索処理につ
いて説明する。

【００８２】通常モードの原画像検索処理は、入力図面
画像が与えれると、まず、表示済図番の管理テーブルら
想定される図番から図１０の原画検索用特徴テーブルら
当該図番の図面種別を参照し、その種別毎に定義された
前記の方法で与えられた入力図面画像の種別を調べる。

【００８３】次に、種別が一致している場合は、原画像
検索用特徴テーブルに記述してある２次特徴テーブルに
記述してある２次特徴の抽出方法異及び領域情報に従っ
て、与えられた入力図面画像の特徴要素値をもとめ、そ
の特徴要素値と原画画像検索用特徴テーブルの要素値を
照合する。その結果、特徴要素値が一致している場合
は、原画像ファイルメモリ６から当該図番の原画像デー
タを読み出す。また、不一致の場合は、当該図番の前後
について、同様の照合処理を繰り返す。

【００８４】原画像フレームメモリ８は、上記の検索処
理で読み出された図面原画像データを一時記憶してお
く。

【００８５】出力ビデオ信号切り換え合成手段９は、シ
ステム制御信号生成部１０より上記の原画像検索処理及
び原画像フレームメモリ書込み処理が完了したことを示
す出力切り換え信号の前縁が付与されると、原画像フレ
ームメモリ８を参照して得られる図面原画像と入力動画
とを切り換えるか、あるいは、図３（ｂ）に示すよう
に、図面原画像と入力動画の双方を同一フレーム上に合
成して出力動画のビデオ信号を生成する。本実施例の出
力ビデオ信号切り換え合成処理（ステップ４４０）で
は、入力動画を出力する際には、入力ビデオ信号をその
まま利用し、図面原画像を出力するには、原画像フレー
ムメモリ８から読み出されるディジタル画像データをビ
デオフレームレートでＡ／Ｄ変換する。

【００８６】以上説明した原画像検索・出力合成処理ル
ーチンは、システム制御信号生成部１０より入力動画中
の図面画像が更新されたことを示す出力切り換え信号後
縁が与えられることにより終了する。

【００８７】なお、本実施例では、前記の原画像検索処
理において、入力図面画像の品質が極端に悪い等の原因
により図面原画像の検索を良好に実行できない場合に
は、入力動画がそのまま出力動画として出力される。

【００８８】次に、本発明の第３の実施例を説明する。

【００８９】［ポインタ検出生成処理ルーチン］図１２
は、本発明の第３の実施例の動画連動図面画像検索装置
の構成を示す。同図に示す動画連動図面画像検索装置
は、第１の実施例の図２に示す構成に、ポインタ検出生
成部１１を加えた構成である。

【００９０】ポインタ検出生成部１１は、入力動画の図
面画像に第２の被写体として含まれるポインタ画像の存
在とその位置とを画像特徴に基づいて識別してポインタ
存在信号と図面画像に対するポインタ位置情報とを出力
する。

【００９１】以下に、ポインタ検出生成処理ルーチンに
ついて説明する。

【００９２】図１３は、本発明の第３の実施例のポイン
タ検出生成処理ルーチンを示すフローチャートである。

【００９３】まず、ポインタ検出生成部１１は、図３
（ａ）に示すように、入力フレームの図面画像に第２の
被写体として含まれるポインタ画像の存在とその位置と
を後述する方法により識別し、ポインタ存在信号と図面
画像にポインタ存在信号と図面画像に対するポインタ位
置情報とを出力する。

【００９４】次に、出力ビデオ信号切り換え部９は、ポ
インタ存在信号とポインタ位置情報に基づいて、図３
（ｂ）に示すように、図面原画像上の対応する位置にポ
インタ記号を連動して表示する処理を行う。

【００９５】ポインタ画像の存在とその位置の識別は、
具体的には、ポインタ画像が図３（ａ）に示すような指
示棒または、講演者の指の陰影等の場合、これらの陰影
は、スクリーン領域周辺の背景部分がスクリーン領域に
食い込む状態で発生し、背景領域と同等の明度からなる
ことを利用して、スクリーン領域の輪郭を追跡すること
で行う。

【００９６】この処理は、表示中の図面が明るい場合に
は、良好に実施できる。図面が暗い場合は、指示棒等の
陰影自体が発生しないためポインタ画像なしと判定す
る。ポインタ画像がレーザポインタによるスポット画像
の場合は、その明度及び色相により識別を行う。

【００９７】以上のポインタ検出生成処理は、システム
制御部１０から与えられる出力切り換え信号の発生中、
即ち、出力フレームに検索された図面原画像が表示され
いてる期間継続される。その際、ポインタ画像の位置
は、逐次変動するため、識別から表示に至る処理は、高
速に繰り返される（例えば、０．２秒サイクル）。

【００９８】以上の処理により、本実施例の動画連動図
面画像検索装置は、入力動画中に含まれる図面画像の出
現と更新に同期して、出力動画に図面原画像を表示する
処理が自動的に実行される。

【００９９】また、入力動画中に現れる指や指示棒の陰
影、レーザポインタ等のポインタ画像の存在と位置を検
出し、出力動画の図面原画像の対応する位置に矢印等の
ポインタ記号を表示する処理が自動的に実行される。

【０１００】また、原画像データの検索処理は、予め図
面原画像データ相互の画像特徴の差異に基づいて、検索
に用いる特徴要素及び特徴抽出を行う画像領域を選択的
でかつ自動的に定義して行われるため、図面画像の出現
ならびに更新から対応する図面原画像の出力までの遅れ
時間を小さくできると共に、図面画像の投影順序の変動
や省略にも対処できる。

【０１０１】上記説明した本発明の動画連動図面画像検
索装置は、既存のハードウェアの組合せにより専用装置
として、あるいは、画像処理用ワークステーションをベ
ースとしたソフトウェアでも実現できる。

【０１０２】なお、以上の実施例では、図面画像のモノ
クロムの場合を説明したが、カラー図面を扱えるように
構成することは、既知の技術により可能である。

【０１０３】また、本実施例では、図面の投影画像を撮
影するビデオカメラのアングルや撮影倍率は固定する場
合で説明したが、これらを可変することは、上述の初期
化モードの動作を図面が更新されたと識別される際に随
時実施する等の方法により、可能である。

【０１０４】また、上記の実施例で述べた画像の特徴抽
出方法は、いずれも既知の方法の応用であり、上記実施
例の例に限定されることなく、種々他の方法を用いても
可能である。

【０１０５】なお、上記の実施例の図２、図１２及びフ
ローチャート等は、いずれもその一例であり、特許請求
の範囲内で種々変更が可能である。

【０１０６】

【発明の効果】上述のように、本発明の動画連動図面画
像検索装置によれば、特殊な図面画像投影装置やビデオ
カメラ等は必要とせず、単純に本発明の装置にビデオカ
メラを接続し、出力のビデオ信号を有線あるいは、無線
の通信路を介してビデオディスプレイ端末装置に伝送す
ることにより、遠隔地であっても明瞭度の高いポインタ
指示付の図面原画像を提供することができる。このた
め、本装置を講演会や会議の実況中継に使用した場合、
遠隔地で聴講する参加者に対しても会場の参加者と同等
の視覚情報の提供を可能にする効果が得られる。

【０１０７】さらに、本発明の動画連動図面画像検索装
置を用いることにより、ビデオカメラで撮影する入力動
画は図面画像が投影されるスクリーンを含めた会場風景
に視野を固定しておくことが可能となるため、ビデオカ
メラの操作や画像の合成に熟練したオペレータの常時配
備が不要となる。このため、従来技術のシステムで同様
のサービスを行う場合と比較して、システムの運用コス
トを削減できる。

【０１０８】また、本発明の動画連動図面画像検索装置
は、講演会や会議の状況を記録したビデオ録画に、その
中に出現する図面画像の原画像を組み込む編集処理を自
動化する際にも使用できる。

【０１０９】さらに、本発明の動画連動図面画像検索装
置は、扱う対象は、入力動画中に含まれる図面の投影画
像とその原画像に限らず、書籍中の図面、あるいは、風
景中の絵画、人体像、物体像など、入力画像をキーとし
て原画像データファイルの検索対象に広く適用できる。

【０１１０】また、入力及び出力は、ビデオ信号のみな
らず、記号データ系列で与えることも可能である。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】本発明の第１の実施例の動画連動図面画像検索
装置の構成図である。

【図３】本発明の第１の実施例の動画連動図面画像検索
装置で扱う動画フレームの例を示す図である。

【図４】本発明の第１の実施例の図面画像存在・静止検
出処理ルーチンのフローチャートである。

【図５】本発明の第１の実施例の初期化モード時の動作
を示すフローチャートである。

【図６】本発明の第１の実施例の通常モード時の動作を
示すフローチャートである。

【図７】本発明の第１の実施例の図面画像存在・静止処
理の方法を説明するための図である。

【図８】本発明の第２の実施例の原画像検索・出力切り
換え合成処理ルーチンのフローチャートである。

【図９】本発明の第２の実施例の図面原画像検索用特徴
抽出処理を説明するための図である。

【図１０】本発明の第２の実施例の原画像検索用特徴テ
ーブルを示す図である。

【図１１】本発明の第２の実施例の原画像検索部動作を
示すフローチャートである。

【図１２】本発明の第３の実施例の動画連動図面画像検
索装置の構成図である。

【図１３】本発明の第３の実施例のポインタ検出生成処
理ルーチンのフローチャートである。

【符号の説明】

１ 入力ビデオ信号Ａ／Ｄ変換部 ２ 入力フレームメモリ ３ 図面画像存在検出部 ４ 図面画像静止検出部 ５ 図面画像切り出し部 ６ 原画像ファイルメモリ ７ 原画像検索部 ８ 原画像フレームメモリ ９ 出力ビデオ信号切り換え合成部 １０ システム制御部 １１ ポインタ検出生成部 １００ 検索手段 ２００ 図面原画像生成手段 ３００ 出力手段

Claims (7)

【特許請求の範囲】
1. 【請求項１】 ビデオカメラにより動画として撮影され
   た図面の投影画像の出現及び更新に連動して該図面の原
   画像データを検索する装置において、 予め図面原画像データが蓄積されている図面原画像デー
   タファイルと、 ビデオ信号のフレーム系列で与えられる入力動画中に被
   写体として順次表示される図面画像の出現及び更新に連
   動して該図面データファイルを参照して、該図面像に対
   応する原画像データを検索する検索手段と、 該検索手段により検索された原画像データより図面原画
   像を生成する図面原画像生成手段と該図面原画像生成手
   段により生成された図面原画像を入力動画に切り換える
   か、または、該図面原画像と該入力動画の両方を同一フ
   レーム上に合成して動画のビデオ信号として出力する出
   力手段とを有することを特徴とする動画連動図面画像検
   索装置。
2. 【請求項２】 前記図面原画像データファイルに予め定
   義してある図面の出現順序情報並びに該入力図面画像デ
   ータもしくは、その画像特徴をキーとして前記原画像フ
   ァイルから対応する図面画像データを検索して出力する
   原画像検索手段と、 前記原画像ファイルから読み出される図面原画像データ
   を一時記憶しておく、原画像フレームメモリと、 入力ビデオ信号を画像処理が可能なディジタル信号の入
   力動画のフレーム系列に変換する入力ビデオ信号Ａ／Ｄ
   変換手段と、 該入力動画のフレーム系列の１フレーム分の画像フレー
   ムデータを一時記憶しておく入力フレームメモリと、 該入力フレームメモリから読み出される画像フレームデ
   ータから抽出される画像特徴に基づいて該図面画像の存
   在とそのフレーム内位置を検出して図面画像存在信号
   と、図面画像位置情報とを出力する図面画像存在検出手
   段と、 該入力フレームメモリから読み出される画像フレームデ
   ータと該入力動画のフレーム系列から直接得られる画像
   フレームデータにおける該図面画像位置情報で定義され
   る領域の画像データもしくは画像特徴の差異に基づいて
   該図面画像の静止を検出して画面画像静止信号を出力す
   る図面画像静止検出手段と、 該入力フレームメモリから読み出される画像フレームデ
   ータから該図面画像位置情報で定義される領域の画像デ
   ータを切り出して入力図面画像データとして出力する図
   面画像切り出し手段と、 該原画像フレームメモリを参照して得られる図面原画像
   と該入力画像とを切り換えるかまたは、該図面画像と該
   入力動画の双方を同一フレーム上に合成して出力動画の
   ビデオ信号を生成する出力ビデオ信号切り換え合成手段
   と、 該図面画像存在信号及び該図面画像静止信号に基づい
   て、該入力動画像中に図面画像が存在しないか、もしく
   は、静止していない場合には、該入力フレームメモリに
   対して画像フレームデータの書込みを指示する入力書換
   え信号、該入力動画像中に図面画像が存在し、かつ静止
   している場合には、該原画像検索手段に対して原画像デ
   ータの検索を指示する検索制御信号と、該出力ビデオ信
   号切り換え合成手段に対して該入力動画と該図面原画像
   との切り換えを指示する出力切り換え信号とを出力する
   システム制御信号生成手段とを含む請求項１記載の動画
   連動図面画像検索装置。
3. 【請求項３】 前記原画像検索手段は、 予め前記図面原画像データ相互の画像特徴の差異に基づ
   いて該図面原画像データの検索に用いる特徴要素あるい
   は、特徴抽出を行う画像領域を定義する定義手段と、 該定義手段により定義された内容に従って前記図面原画
   像データの各々に部分特徴データを付与する特徴選択手
   段と、 前記原画像ファイルより前記入力図面画像データに対応
   する前記図面原画像データを検索する場合に、該特徴選
   択手段における該定義内容に従って前記入力図面画像デ
   ータから抽出した部分特徴データと前記図面原画像デー
   タの部分特徴とを照合する照合手段とを有する請求項２
   記載の動画連動図面画像検索装置。
4. 【請求項４】 前記入力動画の図面画像に第２の被写体
   として含まれるポインタ画像の存在とその位置とを画像
   特徴に基づいて識別してポインタ存在信号と前記図面画
   像に対するポインタ位置情報とを出力するポインタ検出
   生成手段を含み、 前記出力ビデオ信号切り換え合成手段が、該ポインタ存
   在信号と該ポインタ位置情報に基づいて前記図面原画像
   上の対応する位置にポインタ記号を連動して表示する請
   求項２記載の動画連動図面画像検索装置。
5. 【請求項５】 ビデオカメラにより動画として撮影され
   た図面の投影画像の出現及び更新に連動して該図面の原
   画像データを検索する場合において、 ビデオ信号のフレーム系列で与えられる入力動画中に被
   写体として順次表示される図面画像の出現及び更新に連
   動して予め図面原画像データが蓄積されている図面デー
   タファイルを参照して、該図面像に対応する原画像デー
   タを検索し、 検索された該原画像データより図面原画像を生成し、 生成された該図面原画像を入力動画に切り換えるか、ま
   たは、該図面原画像と該入力動画の両方を同一フレーム
   上に合成して動画のビデオ信号として出力することを特
   徴とする動画連動図面画像検索方法。
6. 【請求項６】 前記入力動画中の図面画像の任意の部分
   を指し示すポインタ像の存在と位置を検出し、出力同の
   図面原画像の対応する位置にポインタを表示する請求項
   ５記載の動画連動図面画像検索方法。
7. 【請求項７】 前記原画像データを検索する場合に、 予め前記図面原像データ相互の画像特徴の差異に基づい
   て検索に用いる特徴要素あるいは、特徴抽出を行う画像
   領域を選択的に定義する請求項５記載の動画連動図面画
   像検索方法。