JP5077097B2

JP5077097B2 - 映像処理システム

Info

Publication number: JP5077097B2
Application number: JP2008167308A
Authority: JP
Inventors: 寛之福島
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2008-06-26
Filing date: 2008-06-26
Publication date: 2012-11-21
Anticipated expiration: 2028-06-26
Also published as: JP2010011017A

Description

本発明は、映像処理システムに関するものである。

従来、撮影対象物標識システムに関し、『携帯端末の撮影画像上に被写体に関連する情報を表示する際に、撮影画像上での被写体の位置を、短時間で容易にかつ正確に算出することができる撮影対象物標識システムを提供する。』ことを目的とした技術として、『画像入力手段１０２と、被写体指定手段１０３と、撮影画像上のマーカーの座標を計測するマーカー座標計測手段１０５と、被写体とマーカーの３次元座標を格納する標識情報格納手段１０４と、複数のマーカーの３次元座標および撮影画像上の座標を用いて３次元座標が撮影画像上に射影された座標を演算する座標変換式を求める座標変換パラメータ演算手段１０６と、撮影画像上の被写体の座標を演算する座標演算手段１０７と、被写体の位置を描画する画像出力手段１０８とを備える。』というものが提案されている（特許文献１）。

また、カメラ旋回システムに関し、『カメラ装置の撮像禁止箇所を設定出来ると共に旋回動作により、該当箇所に達した場合、撮像出力を回避処理出来る監視用カメラ旋回システムの提案』を目的とした技術として、『カメラ装置１と、モニタ４と、水平駆動部などの旋回駆動手段と撮像禁止位置を検出する禁止位置検出手段とを有する旋回装置２と、操作入力手段と旋回装置を遠隔制御する手段と映像信号をディジタル画像信号に変換する手段と撮像禁止区域データとして記憶する手段と旋回位置データと禁止区域データとを比較してカメラが撮像禁止区域を撮像しているかの比較判断手段とカメラ装置１が撮像禁止区域を撮像している場合出力画像信号に撮像禁止区域の画像が含まれないようにする画像切替重畳手段とを有する旋回制御装置３とで構成する。』というものが提案されている（特許文献２）。

特開２００７−１６４３８３号公報（要約）特開２０００−１５６８５５号公報（要約）

テレコミュニケーションの普及、カメラによる監視など、生活の中でカメラによって映像を撮られる機会が増えており、今後もそのような機会は増加すると考えられる。
このような状況の中、見せたくないものまでカメラに撮られてしまうといったプライバシーの侵害、あるいは機密事項の映像的な流出などの課題がある。

このような見られたくないものをカメラの撮影範囲から取り除くことは、対象が移動不可能なものであったり、移動コストが高かったり、対象の数が多かったりといった理由から、困難である場合がある。
カメラによる撮影を排除すれば、「見せたくないものを見せずに済む」が、これでは「見せたいものを見せる」ことができなくなってしまう。

上記特許文献１に記載の技術では、被写体の３次元位置データを得るために複数のマーカーを用いて計測を行うが、マーカー自体には意味のある情報は含まれておらず、被写体の位置計測のための計測点であるに過ぎない。

上記特許文献２に記載の技術では、撮像禁止位置を指定する情報があらかじめ提供されるわけではなく、カメラ装置１とは別に禁止位置検出手段を設けて撮像禁止位置を検出する必要がある。

即ち、上記特許文献１〜２に記載の技術では、撮像した映像のうち、他者に見せる部分と見せない部分を積極的に区別するための情報が提供されないため、映像を撮像するかしないかといった２者択一的な対応しか取ることができない。

そのため、映像を撮像した後に、他者に見せる部分と見せない部分を指定することのできる映像処理システムが望まれていた。

本発明に係る映像処理システムは、映像を撮像し、かつ撮像範囲を変更可能な撮像手段と、前記映像の所定領域を指定する情報を表す形態を有するマーカを当該映像の中から識別するマーカ識別部と、前記撮像手段により撮像された映像の中で前記マーカが識別されると、前記マーカの形態が表す情報に基づいて映像加工を行う映像処理部と、を備えるものであって、前記撮像手段の撮像可能範囲を表す範囲情報を保持する状態情報保持部を備え、前記状態情報保持部は、前記範囲情報と前記マーカの形態が表す情報に基づき、前記撮像手段が撮像可能な全ての撮像範囲について、当該映像の加工を行う領域とその加工方法を前記撮像範囲の座標平面と対応付ける映像マスクマップを作成し、前記マーカが指定する領域が、前記撮像手段が撮像している撮像範囲から外れている際は、前記映像処理部は、前記マーカの形態が表す情報が指定する領域、前記範囲情報が指定する領域の座標、および前記映像マスクマップに基づき、前記撮像範囲の外における前記マーカの位置を演算により求め、そのマーカ位置を基準として、前記撮像手段が撮像している撮像範囲の中で当該映像の加工を行うべき領域を求め、その領域について当該映像の加工を行うものである。

本発明に係る映像処理システムによれば、マーカの形態が表す情報が指定する領域のみを加工するので、撮像手段が撮像した映像のうち、見せたい部分のみを他者に見せることが可能となる。

実施の形態１．
図１は、本発明の実施の形態１に係る映像処理システムの構成図である。ここでは、ネットワークカメラを用いた２拠点間のテレコミュニケーションの場面を想定する。
この２拠点間は、カメラとディスプレイによって視覚的に、マイクとスピーカによって聴覚的に接続され、各拠点のユーザは視覚・聴覚情報を基にコミュニケーションを行っているものとする。

以下、本実施の形態１に係る映像処理システムが想定している環境と、その基本的な映像処理方法を説明し、その後に図１の構成の説明を行う。

テレコミュニケーションを行っている拠点の一方が自宅などである場合、プライベートな物が多数存在する場をカメラで撮られることには抵抗があり、自分および特定の物以外は見せたくない、見せる必要がない、といった要求がある。
そこで、カメラが撮像した映像全体にマスクをかけ、見せたい部分のみマスクを外した上で映像を相手側に提示する。

具体的には、見せる範囲の形状・広さといった情報を表す形態を有するマーカを見せたい物に取り付けておき、カメラが撮像した映像の中でそのマーカが識別されると、マーカの形態が表す情報に基づき映像加工を行い、「見せたいものだけを見せる」機能を実現する。

双方の拠点に設置されているカメラは、それぞれが相手の拠点のカメラを操作（視野、ズームの変更）することが可能であり、カメラの視野、即ち撮像範囲は一定ではない。
そのため、カメラの姿勢が変更されて撮像範囲が変わると、マーカがカメラの撮像範囲外に出てしまっているにも関わらず、見せたい物（またはその一部）は未だカメラの撮像範囲内に留まっている、という状況が起こり得る。
このとき、マーカがカメラの撮像範囲外に出てしまっているため、そのマーカにより映像加工を指示することができず、見せたい物を見せることができなくなってしまう。

このような状況下でも見せたい物だけを見せることができるように、カメラの撮像範囲と、識別したマーカとの位置関係をあらかじめ記憶しておき、マーカがカメラの撮像範囲外に出てしまっても、記憶しておいたマーカ位置に基づき映像加工を行う。これについては、後述の図４で補足説明する。

以上、本実施の形態１に係る映像処理システムが想定している環境と、その基本的な映像処理方法を説明した。次に、図１の各構成について説明する。始めに拠点１の各構成部について、次に拠点２の各構成部について説明する。

図１において、拠点１にはコンピュータ等で構成された映像端末１００が設置されている。映像端末１００は、データベース１１０、マーカ識別部１２０、状態情報保持部１３０、操作部１４０、映像処理部１５０、映像出力部１６０を備える。

データベース１１０は、以下の（データ１）〜（データ２）で説明するようなデータを保持する機能部である。データベース１１０は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）等の記憶装置にデータファイル等を格納して構成することができる。

（データ１）：マーカの特徴データ
カメラ部２２０が撮像した映像内に存在するマーカをマーカ識別部１２０が識別するために必要なデータである。例えば、マーカの形状、模様、サイズ、波形、点滅パターン、周期などの、マーカの形態的特徴を表すデータが挙げられる。マーカについては後に改めて説明する。

（データ２）：映像加工処理内容の定義データ
カメラ部２２０が撮像した映像を映像処理部１５０が加工する際の加工処理の内容を定義するデータである。例えば、以下のようなものが挙げられる。
・加工処理を施す範囲
・加工する形状
・マーカ座標と加工処理を施す範囲との位置関係
・加工手法（マスク解除、マスク処理、ぼかし、モザイクなど）
・加工を行うための素材データ（テクスチャ、動画像など）

マーカ識別部１２０は、カメラ部２２０が撮像した映像を走査し、その映像内にデータベース１１０内の（データ１）で定義されているマーカが存在しているか否かを判断して識別する機能部である。マーカの識別方法は、例えば以下の（識別方法１）〜（識別方法２）のようなものが挙げられる。

（識別方法１）：模様パターンを用いたマーカの識別
マーカ識別部１２０は、カメラ部２２０が撮像した映像から、データベース１１０内の（データ１）で定義されている模様パターンに合致する輪郭部分を抽出し、パターンマッチングを行うことでマーカを識別する。
映像加工を行う際の基準となる基準座標は、認識された模様パターンの領域の重心などにするとよい。

（識別方法２）：発光マーカの識別
マーカ識別部１２０は、カメラ部２２０が撮像した映像から、データベース１１０内の（データ１）で定義されている所定周期の発光パターンに合致する部分を検知し、マッチングを行う。
この発光マーカを２個以上１組で使用し、映像加工を行う際の基準となる基準座標は、識別された複数マーカの重心座標にするとよい。

状態情報保持部１３０は、以下の（データ３）〜（データ４）で説明するようなデータを保持する機能部である。状態情報保持部１３０は、この（データ３）〜（データ４）を用いて、カメラ部２２０の全視野範囲（撮像可能な全範囲）のマスクマッピングデータを作成し、保持する。マスクマッピングデータについては下記に述べる。

（データ３）：カメラ部２２０が撮像している範囲を示すデータ
状態情報保持部１３０は、カメラ部２２０より、カメラ部２２０の姿勢（パン・チルト角）、ズーム倍率などの、カメラ部２２０がその時点で撮像している範囲を示すデータを受信して保持する。
また、操作部１４０よりカメラ部２２０の姿勢等の変更指示入力があった場合は、その内容をカメラ部２２０に送信するとともに、保持する。カメラ部２２０は、その指示を受信して撮像範囲を変更する。

（データ４）：マーカ識別部１２０の識別結果データ
状態情報保持部１３０は、カメラ部２２０が撮像した映像からマーカ識別部１２０がマーカを識別した結果を保持する。具体的には、以下のようなものが挙げられる。
・マーカの固有ＩＤ（マーカは個別化できるため、固有ＩＤを用いて管理可能）
・認識したマーカの画面上の座標
・マーカが持つ情報とデータベース１１０内の（データ２）を照らし合わせた結果

（マスクマッピングデータ）
カメラ部２２０の全視野範囲の中のどの部分にどのような加工処理を施すかを画面座標上にマッピングしたデータである。
状態情報保持部１３０は、上述の（データ３）と（データ４）を照合することで、カメラ部２２０の全視野範囲の中のどの部分にマーカが存在しているかを特定する。
次に、状態情報保持部１３０は、マーカが持つ情報とデータベース１１０内の（データ２）を用いて、マーカを起点とした範囲にどのような加工処理を施すかを決定する。
カメラ部２２０の姿勢変更などによってマーカ識別部１２０が新たなマーカを識別すると、状態情報保持部１３０はマスクマッピングデータを更新する。

操作部１４０は、例えばキーボード、マウス、ＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）などの操作入力手段で構成され、ユーザの指示入力を映像端末１００に伝える機能部である。
ユーザは、操作部１４０より、カメラ部２２０の姿勢変更などの指示入力を行い、カメラ部２２０の撮影可能範囲を変更する。指示入力の内容は、状態情報保持部１３０を介してカメラ部２２０に出力される。カメラ部２２０は、その指示を受信して撮像範囲を変更する。
また、ユーザは操作部１４０より、データベース１１０が保持する上述の（データ１）〜（データ２）の内容を入力し、データベース１１０が保持する各データを更新または新規登録することができる。

映像処理部１５０は、状態情報保持部１３０が作成した上述のマスクマッピングデータを用いて、カメラ部２２０が撮像した映像を加工処理する。
マスクマッピングデータは、カメラ部２２０の全視野範囲について、どの部分にどのような加工処理を施すかを画面座標上にマッピングしたデータなので、映像処理部１５０は、マスクマッピングデータと（データ３）を組み合わせ、カメラ部２２０の全視野範囲の中の任意の領域を加工することができる。
即ち、マスクマッピングデータは、どの部分にマーカ領域が存在するかの座標情報を保持しているので、マーカがカメラ部２２０の視野範囲外に出てしまっても、カメラ部２２０の全視野範囲（撮像可能な全範囲）について、マークが視野範囲内に存在しているか否かを問わず、映像加工処理を施すべき領域を判断することができるのである。これについては、後述の図４で補足説明する。

映像出力部１６０は、映像処理部１５０が加工処理した後の映像を出力する。具体的には、映像端末１００が備えるディスプレイデバイスで画面表示等をするとよい。

以上、拠点１の各構成部について説明した。
次に、拠点２の各構成部について説明する。

拠点２には、マーカ２１０とカメラ部２２０が設置されている。

マーカ２１０は、拠点２のユーザが拠点１のユーザに見せたい物に取り付けてその物を他の物と区別するための識別物である。マーカ２１０の具体例としては、例えば以下の（マーカ例１）〜（マーカ例２）のようなものが挙げられる。

（マーカ例１）：模様パターンを用いたマーカ
マーカ２１０の物理的な形状や模様パターンをデータベース１１０の（データ１）としてあらかじめ登録しておく。
状態情報保持部１３０は、（データ１）が規定する形状や模様パターンを用いて、カメラ部２２０が撮像した映像中に存在するマーカ２１０を識別する。また、（データ２）が規定する形状を用いて、映像加工を行う範囲を識別する。
映像加工を行う範囲は、カメラ部２２０が撮像した映像中のマーカ２１０の範囲に依拠するので、マーカ２１０のサイズに応じて映像加工範囲を可変することもできる。例えば、カメラ部２２０のズームに応じて映像加工範囲も変化する。

（マーカ例２）：発光マーカ
マーカ２１０を、一定周期で特定パターンの発光を行う物で構成する。例えばＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）を用いて構成することができる。発光の周期とパターンは、データベース１１０の（データ１）としてあらかじめ登録しておく。
２個以上の発光マーカを１組で使用し、マーカ同士の位置関係をあらかじめデータベース１１０に登録しておく。
映像加工を行う範囲は、カメラ部２２０が撮像した映像中の発光マーカの組が存在する範囲に依拠するので、発光マーカの位置関係に応じて映像加工範囲を可変することもできる。例えば、カメラ部２２０のズームに応じて映像加工範囲も変化する。

カメラ部２２０は、例えばネットワークカメラで構成され、カメラ部２２０が存在する周囲の空間の映像を撮像してマーカ識別部１２０に送信する。
カメラ部２２０は、姿勢変更機能やズーム機能といった、視野範囲を変更する機能を備える。カメラ部２２０の姿勢（パン・チルト角）やズーム倍率などの情報は、カメラ部２２０より状態情報保持部１３０に送信される。
また、カメラ部２２０は、操作部１４０に入力され、状態情報保持部１３０より送信された視野範囲変更指示を受信し、その指示に基づき姿勢やズーム倍率を変更する。初期化処理時やキャリブレーション時などは、操作部１４０から指示があるか否かに関わらず、状態情報保持部１３０に姿勢やズーム倍率の情報を送信する。

以上、拠点２の各構成部について説明した。
次に、マーカ２１０に基づき「見せたい物だけを見せる」具体例について説明する。

図２は、マーカ２１０を取り付けて見せたい物だけを見せる例を示す図である。ここでは、黒板で算数の問題の解き方を説明している場面を例にとる。講師は、答えを見せたい問題のみマーカ２１０を取り付け、見せたくない問題にはマーカ２１０を取り付けない。
図２（ａ）は図１の拠点２に存在する講師側の実際の環境を示す図であり、映像処理部１５０が映像加工処理を行う前の撮像映像に相当する。
図２（ｂ）は図１の拠点１に存在する生徒側で表示される映像を示す図であり、映像処理部１５０が映像加工処理を行った後の映像に相当する。

拠点２の講師は、黒板に記載した問題のうち、拠点１の生徒に答えを見せたい問題の上方に、円形で網目模様のマーカ２１０を取り付ける。
なお、データベース１１０には、（データ１）および（データ２）として以下のような情報をあらかじめ格納しておく。

（データ１）：マーカの特徴データ
マーカ２１０は、円形で網目模様である。
（データ２）：映像加工処理の定義データ
マーカ２１０の中心を円の頂部として、マーカ２１０の直径の１０倍の直径を有する円形領域のマスクを解除する。その他の領域はマスクをかけて映像を非表示にする。なお、図２（ｂ）ではマーカ２１０を表示したままにしているが、マーカ２１０の形態はあらかじめ判明しているため、マーカ２１０を画面から消去するよう加工することもできる。

状態情報保持部１３０は、データベース１１０に格納されている上記（データ１）、（データ２）、およびマスクマッピングデータに基づき、図２（ｂ）に相当するマスクマッピングデータを作成する。映像処理部１５０は、このマスクマッピングデータに基づき、図２（ａ）のような映像を図２（ｂ）のように加工処理する。
拠点１の生徒は、拠点２の講師がマーカ２１０を置いた問題の答えのみを見ることができる。

なお、マーカ２１０は、他のマーカと区別するため、マーカ２１０自身が何らかの情報を表現していることが好ましい。
即ち、マーカ２１０が備える特性として好ましいのは、形状、模様、点滅パターンなどのように、マーカ２１０の形態的特徴を用いてマーカ２１０固有の情報を表現することができるものである。
マーカ２１０固有の情報を表現することができるものであれば、その他の特性を用いてマーカ２１０を構成してもよい。

以上、マーカ２１０に基づき「見せたい物だけを見せる」具体例について説明した。
次に、本実施の形態１に係る映像処理システムの動作フローを説明する。

図３は、本実施の形態１に係る映像処理システムの動作フローである。以下、図３の各ステップについて説明する。

（Ｓ３０１）
本実施の形態１に係る映像処理システムの初期化処理が実行される。具体的には、以下のような処理が行われる。
（ａ）カメラ部２２０は、カメラ姿勢のキャリブレーションを行う。
（ｂ）カメラ部２２０は、撮像可能な範囲を走査する。
（ｃ）マーカ識別部１２０は、マーカ２１０を識別する。
（ｄ）状態情報保持部１３０は、初期マスクマップデータを作成する。
（ｅ）状態情報保持部１３０は、初期化処理で取得した各データを更新する。
（ｆ）映像処理部１５０は、初期マスクマップデータおよび初期のカメラ部２２０の姿勢データから、初期映像の加工処理を行う。

（Ｓ３０２）
拠点１と拠点２の間でテレコミュニケーションが開始される。
（Ｓ３０３）
テレコミュニケーションが継続される間は、以下のステップが繰り返される。

（Ｓ３０４）
映像出力部１６０は、映像処理部１５０が加工処理した映像で、出力映像を表示する。
（Ｓ３０５）
カメラ部２２０は、周辺の映像を撮像し、マーカ識別部１２０に送信する。
また、カメラ部２２０は、このときのカメラ姿勢やズーム倍率等を、状態情報保持部１３０に送信する。

（Ｓ３０６）
マーカ識別部１２０は、カメラ部２２０が撮像した映像の中に、データベース１１０内の（データ１）で定義されているマーカが存在しているか否か、走査を行う。
（Ｓ３０７）
マーカ識別部１２０は、ステップＳ３０６でマーカを識別したか否かを判定する。識別した場合はステップＳ３０８へ進み、識別しなかった場合はステップＳ３１０へ進む。

（Ｓ３０８）
状態情報保持部１３０は、ステップＳ３０５、Ｓ３０７、Ｓ３１１の結果に基づき、先に説明した（データ３）〜（データ４）、マスクマッピングデータを更新する。
（Ｓ３０９）
状態情報保持部１３０は、ステップＳ３１１で（データ３）に相当する内容の指示入力が行われ、ステップＳ３０８で（データ３）の内容が更新された場合には、カメラ部２２０にその指示内容を送信する。
カメラ部２２０は、その指示に基づきカメラ姿勢やズーム倍率等を変更する。

（Ｓ３１０）
映像処理部１５０は、ステップＳ３０８で更新されたマスクマッピングデータを用いてステップＳ３０５でカメラ部２２０が送信した映像を加工処理する。
（Ｓ３１１）
操作部１４０より、（データ３）に相当する内容の指示入力が行われた場合は、割込み処理が発生する。状態情報保持部１３０は、その指示入力に基づき、（データ３）の内容を更新する。

以上、本実施の形態１に係る映像処理システムの動作フローを説明した。
以上の説明では、マーカ２１０が指定する領域以外はマスクをかけるものとしたが、マーカ２１０の数が多い場合は、処理の便宜上、マーカ２１０が指定する領域はマスクをかけ、それ以外の領域は通常表示するように、処理内容を変更してもよい。

図４は、マーカ２１０がカメラ部２２０の視野範囲外に出ている例を示す図である。ここでは、図２と同様に黒板で問題を説明する例を用いた。

図４（ａ）は、マーカ２１０がカメラ部２２０の視野範囲内にある場合の例である。この場合は、状態情報保持部１３０は、カメラ部２２０が撮像した映像内に存在するマーカ２１０を認識してマスクマッピングデータを作成すればよい。

図４（ｂ）は、図４（ａ）の状態の後、カメラ部２２０が姿勢を変更する等により、マーカ２１０がカメラ部２２０の視野範囲内に存在しなくなった場合の例である。
同図の状態では、映像加工範囲を求める基準となるマーカ２１０が視野範囲外に出ているにも関わらず、加工処理を施すべき範囲の一部が視野範囲内に残っている。
この場合、状態情報保持部１３０は、カメラ部２２０が撮像した映像内にマーカ２１０を識別することができないので、映像処理を施すべき領域がいずれであるのか、そのままでは分からない。

そこで、状態情報保持部１３０は、図４（ａ）の時点でマーカ２１０の位置座標とカメラ部２２０の姿勢等のデータを保持しておき、カメラ部２２０の姿勢が変更されて映像外に出てしまった際は、マーカ２１０の位置座標を演算により求める。
このような処理は、マスクマッピングデータをカメラ部２２０の全視野範囲（撮像可能な全範囲）について作成していることにより、可能となる。
上記処理により、状態情報保持部１３０は、マーカ２１０が視野範囲内に存在しなくなってしまった後でも、映像加工を施すべき領域を判断することができる。

以上のように、本実施の形態１によれば、マーカ２１０が指定する領域に映像加工処理を施すことにより、カメラ部２２０が撮像した映像のうち、ユーザが見せたい物のみを見せることができる。

また、本実施の形態１では、状態情報保持部１３０は、カメラ部２２０の全視野範囲（姿勢やズーム倍率を変更して撮像可能な全範囲）についてマスクマッピングデータをあらかじめ作成しておき、映像処理部１５０はこれを使用して映像加工を行う。
これにより、状態情報保持部１３０は、図４（ｂ）で説明したようにマーカ２１０がカメラ部２２０の視野範囲外に出てしまっても、マーカ２１０が存在している位置座標を演算により求め、その位置を起点として映像加工範囲を求めることができる。

実施の形態２．
実施の形態１では、カメラ部２２０の全視野範囲にマスクをかけ、マーカ２１０を取り付けた部分のマスクを解除することで、ユーザが見せたい物のみを見せることを実現する構成と動作例を説明した。
この動作手順によれば、マーカ２１０周辺の、データベース１１０内（データ２）で定義される領域は、マスクが解除されて実映像が表示される。
しかし、ユーザがマーカ２１０を取り付けて見せたい物の背後に見せたくない物が存在している場合、その物が表示されてしまう。

そこで、本発明の実施の形態２では、見せたい物のみでなく見せたくない物にもマーカ２１０を取り付け、下記（式１）に示す「見せたい領域Ａ」と「見せたくない領域Ｂ」の部分集合演算を行って、その領域のマスクを解除する。

図５は、本実施の形態２に係る映像処理システムの構成図である。
本実施の形態２に係る映像処理システムは、実施の形態１の図１で説明した構成に加え、マーカ識別部１２０と状態情報保持部１３０の間に新たに領域演算部１７０を備える。その他の構成は図１と概ね同様であるため、以下では相違点を中心に説明する。

データベース１１０は、実施の形態１で説明した（データ２）の内容として、新たに加工処理の優先度に関する情報を保持する。例えば優先度を５段階の数値で表現し、（高５−＞１低）といったように表す。
また、１つのマーカに対して複数の加工処理範囲、および加工処理範囲毎の優先度を保持するようにしてもよい。
優先度に関する情報の具体例として、例えば以下のようなものが挙げられる。

（優先度の例１）
マーカ２１０の中心位置を中心とする半径Ａの真円領域は、優先度５でマスク解除。
（優先度の例２）
マーカ２１０の中心位置を中心とする半径Ｂ（Ｂ＞Ａ）の真円領域は、優先度２でマスク解除。

領域演算部１７０は、マーカ識別部１２０の識別結果、およびデータベース１１０内の（データ２）に基づく映像加工範囲が重複した場合、上述の優先度を加味して映像加工範囲の部分集合演算を行う。具体的な演算例は、次の図６で説明する。

図６は、領域演算部１７０が行う部分集合演算例を説明する図である。ここでは、マーカａ、ｂ、ｃの３つのマーカが存在し、それぞれ以下のようにデータベース１１０内（データ１）で定義されているものとする。

（マーカａ）：座標αを中心とした半径Ａの真円領域を優先度５でマスク解除
（マーカｂ）：座標αを中心とした半径Ｂ（Ｂ＞Ａ）の真円領域を優先度１でマスク解除
（マーカｃ）：座標βを中心とした半径Ｃ（Ｃ＞（Ｂ−Ａ））の真円領域を優先度３でマスク設定

上記定義によれば、マーカｃによるマスク設定はマーカｂによるマスク解除を上書きするが、さらにそのマスク設定をマーカａによるマスク解除が上書きすることになる。
したがって、領域演算部１７０の部分集合演算は、下記（式２）で示すようになる。

以上、本実施の形態２に係る映像処理システムの構成について説明した。
次に、本実施の形態２に係る映像処理システムの動作フローを説明する。

図７は、本実施の形態２に係る映像処理システムの動作フローである。以下、図７の各ステップについて説明する。

（Ｓ７０１）〜（Ｓ７０６）
図３のステップＳ３０１〜Ｓ３０６と同様であるため、説明を省略する。
（Ｓ７０７）
マーカ識別部１２０は、ステップＳ７０６でマーカを識別したか否かを判定する。識別した場合はステップＳ７０８へ進み、識別しなかった場合はステップＳ７１１へ進む。
（Ｓ７０８）
領域演算部１７０は、マーカ識別部１２０の処理結果、およびデータベース１１０内の（データ２）に基づき、映像加工領域に重複が発生するか否かを判断する。重複が発生する場合は、図６で例示したような部分集合演算を行い、その結果を状態保持部１３０に出力する。

（Ｓ７０９）
状態保持部１３０は、ステップＳ７０５、Ｓ７０７、Ｓ７０８、Ｓ７１２の結果、およびデータベース１１０が保持しているデータに基づき、先に説明した（データ３）〜（データ４）、映像加工領域、マスクマッピングデータを更新する。
（Ｓ７１０）〜（Ｓ７１２）
図３のステップＳ３０９〜Ｓ３１１と同様であるため、説明を省略する。

以上、本実施の形態２に係る映像処理システムの動作フローを説明した。

以上のように、本実施の形態２では、ユーザは見せたい物には見せることを許可する旨の情報を表すマーカを取り付け、見せたくない物には見せることを拒否する旨の情報を表すマーカを取り付ける。
また、領域演算部１７０は、各マーカに対応する映像加工領域の優先度を考慮した部分集合演算を行い、状態情報保持部１３０はその結果に基づきマスクマッピングデータを作成する。
これにより、ユーザが見せたい物の背後等に見せたくない物が存在している場合でも、見せる物と見せない物を区別して相手方に映像提示することができる。

実施の形態３．
実施の形態２において、ユーザが見せたくない物には、見せることを拒否する旨の情報を表すマーカを取り付けることを説明した。
一方、「見せるか見せないか」という二者択一的な処理の中間的な処理として、「映像は見せたくないがその場所に存在している旨のみを見せたい」という消極的な表示を行いたい場合がある。
この場合は、その中間表示を行いたい物に、以下の（ａ）〜（ｃ）のいずれかで規定されるような情報を表すマーカを取り付けるとともに、データベース１１０内の（データ１）〜（データ２）にそのマーカの内容を定義しておく。
映像処理部１５０は、このマーカが規定する加工内容にしたがって映像加工を行う。

（ａ）映像加工の内容は、完全非表示ではなく、ぼかし表示とする。
（ｂ）該当物は非表示にするが、その物を示唆する情報として、代わりにその物の名称を表示する文字列を表示する。
（ｃ）上記（ａ）（ｂ）を組み合わせる。即ち、該当物をぼかし表示にするとともに、その物の名称を表す文字列を表示する。

以上のように、本実施の形態３によれば、「見せるか見せないか」という二者択一的な処理の中間的な処理として、消極的な映像表示を行うことができる。

実施の形態４．
本発明の実施の形態４では、実施の形態１〜３で説明した構成と動作の変形例について説明する。ここでは、カメラ部２２０を介したプレゼンテーション、あるいは予備校のサテライト授業のような場面を想定する。
なお、本実施の形態４に係る映像処理システムの構成は、実施の形態１〜３で説明したものと概ね同様であるため、以下では相違点を中心に説明する。

実施の形態１〜３では、マーカ２１０は見せたい物や見せたくない物に取り付けることを説明したが、映像加工を行うためには、マーカ２１０が指定する領域が区別できれば足りるので、必ずしもマーカ２１０を固定的に設置する必要はない。
そこで、本実施の形態４では、カメラ部２２０を用いて説明等を行っている説明者が、マーカ２１０に相当する指し棒のような指示手段を用いて、見せたい領域の周辺を物理的に指し示すものとする。

図８は、本実施の形態４において、拠点２側の説明者が、マーカ２１０を備えた指し棒を用いて説明を行っている様子を示す図である。ここでは、図２と同様に黒板で問題を説明する例を用いた。

図８（ａ）は、拠点２側で実際に説明を行っている様子を示す図である。説明者は、先端にマーカ２１０が取り付けられている指し棒を、拠点１側の生徒に見せたい問題の上方に当てている。
これにより、実質的にマーカ２１０を該当する問題の上方に取り付けているのと同様の状態となり、図２と同様の処理効果を発揮することができる。

図８（ｂ）は、拠点１側で生徒が視聴する映像を示す図である。指し棒が映像に写り込んでいる点を除き、図２（ｂ）と同様の映像加工効果を発揮できていることが分かる。
指し棒が写りこむのが邪魔であれば、映像加工範囲の定義を変更すればよい。

以上のように、本実施の形態４によれば、実施の形態１〜３と同様の構成の下、マーカ２１０に相当する指示手段を用いて映像加工を行う領域を物理的に指し示すことにより、見ている映像に付加情報を重畳する映像加工を施し、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：拡張現実感）効果を実現することができる。

また、本実施の形態４において、マーカ２１０のマスクの種類やマーカ２１０の組み合わせによって、様々なＡＲ効果を作り出すことができる。

実施の形態５．
図９は、実施の形態４と同様の構成において、見せたい領域、ぼかす領域、見せたくない領域が混在している例を示す図である。
図９において、星型のマーカと三日月型のマーカは、完全に見せることを指示するためのマーカである。新月型のマーカは、完全に隠すことを指示するためのマーカである。
三日月型と新月型のマーカは黒板に取り付けるタイプ、星型のマーカは指し棒で指し示すタイプのマーカである。
また、マーカで指示していない領域は、薄くぼかしをかけることとする。

三日月形と新月型のマーカが指定する領域は、マーカ中心から向かって右側の楕円領域である。星型のマーカが指定する領域は、図８のマーカ２１０と同様である。

図９（ｂ）の状態では、三日月形と星型のマーカが指定する領域は、マスクが完全に解除され、周辺の映像を見ることができる。新月型のマーカが指定する領域は、全く見ることができない。
また、新月型マーカと星型マーカが重複している領域（最左の問題の回答部分）では、新月型マーカの優先順位が星型マーカよりも高いため、モザイクがかけられ、やはり全く見ることができない。
その他の部分は、うっすらとぼかし処理がかかっており、わずかに見ることができる。

このように、複数のマーカ種類を組み合わせ、かつ各マーカに優先順位を付けておくことにより、様々な情報表現が可能となる。

実施の形態６．
以上の実施の形態１〜５では、拠点１側にデータベース１１０等の映像加工を行うための機能部が存在することを説明したが、これらの機能部を全て拠点１側に設けておき、拠点１では操作部１４０と映像出力部１６０のみ備えるように構成してもよい。
この構成は、加工処理済の映像を拠点２より送信したい場合に有効である。

実施の形態７．
以上の実施の形態１〜６では、拠点２から拠点１へ宛てて映像を送信する例を説明したが、テレコミュニケーションのように双方向の通信を行う状況下では、拠点１と拠点２の双方に同等の構成を備えておき、双方の拠点が同等の映像加工処理を行うことができるように構成してもよい。

実施の形態１に係る映像処理システムの構成図である。マーカ２１０を取り付けて見せたい物だけを見せる例を示す図である。実施の形態１に係る映像処理システムの動作フローである。マーカ２１０がカメラ部２２０の視野範囲外に出ている例を示す図である。実施の形態２に係る映像処理システムの構成図である。領域演算部１７０が行う部分集合演算例を説明する図である。実施の形態２に係る映像処理システムの動作フローである。実施の形態４において、拠点２側の説明者が、マーカ２１０を備えた指し棒を用いて説明を行っている様子を示す図である。実施の形態４と同様の構成において、見せたい領域、ぼかす領域、見せたくない領域が混在している例を示す図である。

符号の説明

１００映像端末、１１０データベース、１２０マーカ識別部、１３０状態情報保持部、１４０操作部、１５０映像処理部、１６０映像出力部、１７０領域演算部、２１０マーカ、２２０カメラ部。

Claims

映像を撮像し、かつ撮像範囲を変更可能な撮像手段と、
前記映像の所定領域を指定する情報を表す形態を有するマーカを当該映像の中から識別するマーカ識別部と、
前記撮像手段により撮像された映像の中で前記マーカが識別されると、前記マーカの形態が表す情報に基づいて映像加工を行う映像処理部と、を備える映像処理システムであって、
前記撮像手段の撮像可能範囲を表す範囲情報を保持する状態情報保持部を備え、
前記状態情報保持部は、
前記範囲情報と前記マーカの形態が表す情報に基づき、
前記撮像手段が撮像可能な全ての撮像範囲について、
当該映像の加工を行う領域とその加工方法を前記撮像範囲の座標平面と対応付ける映像マスクマップを作成し、
前記マーカが指定する領域が、
前記撮像手段が撮像している撮像範囲から外れている際は、
前記映像処理部は、
前記マーカの形態が表す情報が指定する領域、前記範囲情報が指定する領域の座標、および前記映像マスクマップに基づき、
前記撮像範囲の外における前記マーカの位置を演算により求め、
そのマーカ位置を基準として、
前記撮像手段が撮像している撮像範囲の中で当該映像の加工を行うべき領域を求め、
その領域について当該映像の加工を行う
ことを特徴とする映像処理システム。
映像を撮像し、かつ撮像範囲を変更可能な撮像手段と、
前記映像の所定領域を指定する情報を表す形態を有するマーカを当該映像の中から識別するマーカ識別部と、
前記撮像手段により撮像された映像の中で前記マーカが識別されると、前記マーカの形態が表す情報に基づいて映像加工を行う映像処理部と、を備える映像処理システムであって、
複数の前記マークが指定する領域が重なった際に重なった領域の部分集合演算を実行して映像加工を行うべき領域を求める領域演算部を備え、
前記映像処理部は、その結果に基づき前記映像の加工を行う
ことを特徴とする映像処理システム。
前記マーカは、
前記映像処理部が前記映像の加工を行う範囲とその加工内容を指定する情報を表す形態を有する
ことを特徴とする請求項１または請求項２記載の映像処理システム。
前記マーカの形態を表す情報と、
前記映像処理部が前記マーカを用いて前記映像の加工を行う方法を定義した情報と、
を格納したデータベースを備え、
前記マーカ識別部は、
前記データベースが格納している前記マーカの形態を表す情報と、
前記撮像手段が撮像した映像と、
を比較することにより、
前記マーカを当該映像の中から識別する
ことを特徴とする請求項１ないし請求項３のいずれかに記載の映像処理システム。
前記撮像手段の撮像可能範囲を表す範囲情報を保持する状態情報保持部を備えた
ことを特徴とする請求項２又は請求項２に従属する請求項３または請求項４記載の映像処理システム。
前記状態情報保持部は、
前記範囲情報と前記マーカの形態が表す情報に基づき、
前記撮像手段が撮像可能な全ての撮像範囲について、
当該映像の加工を行う領域とその加工方法を前記撮像範囲の座標平面と対応付ける映像マスクマップを作成する
ことを特徴とする請求項５記載の映像処理システム。
前記映像処理部は、
前記映像マスクマップを前記映像に適用して当該映像の加工を行う
ことを特徴とする請求項６記載の映像処理システム。
前記マーカは、
前記映像の加工を行う際の優先度を指定する情報を表す形態を有し、
前記領域演算部は、
複数の前記マークが指定する領域が重なった際には、
前記優先度が高い前記マーカに対応する領域の映像加工処理が優先的に行われるように前記部分集合演算を実行し、
前記映像処理部は、その結果に基づき前記映像の加工を行う
ことを特徴とする請求項２又は請求項２に従属する請求項３ないし請求項７記載の映像処理システム。
前記マーカは、
前記映像を表示すべき領域を指定する情報を表す形態を有し、
前記映像処理部は、
前記映像を非表示加工する一方で、
前記マーカの形態が表す情報が指定する領域の非表示を解除する
ことを特徴とする請求項１ないし請求項８のいずれかに記載の映像処理システム。
前記マーカは、
前記映像を非表示にすべき領域を指定する情報を表す形態を有し、
前記映像処理部は、
前記映像のうち前記マーカの形態が表す情報が指定する領域を非表示加工する
ことを特徴とする請求項１ないし請求項８のいずれかに記載の映像処理システム。
前記マーカは、
前記映像を非表示にすべき領域を指定する情報と、
その領域内の映像内容を示唆する示唆情報と、
を表す形態を有し、
前記映像処理部は、
前記映像のうち前記マーカの形態が表す情報が指定する領域を非表示加工するとともに、
その領域周辺に前記示唆情報の内容を表示するよう前記映像を加工する
ことを特徴とする請求項１ないし請求項８のいずれかに記載の映像処理システム。