JP4509155B2

JP4509155B2 - 撮影画像処理システムおよび撮影画像処理プログラム

Info

Publication number: JP4509155B2
Application number: JP2007234186A
Authority: JP
Inventors: 克佳小松
Original assignee: Ｓｋｙ株式会社
Priority date: 2007-09-10
Filing date: 2007-09-10
Publication date: 2010-07-21
Anticipated expiration: 2027-09-10
Also published as: JP2009071348A

Description

本発明は、被写体を撮影し画像処理する撮影画像処理システムに関し、特に被写体の表示形態を任意に制御する撮影画像処理技術に関する。

従来より、被写体を撮影し表示する装置において、ユーザが何らかの指示を行うことにより被写体の撮影条件や表示条件等を制御する技術の検討が行われてきている。例えば、書画等を被写体とし、被写体上の２点を指示ペンにより指定することで、指定された２点を対角線とする矩形領域を注目領域として決定し、注目領域を所定サイズに拡大表示するためにカメラのパン、チルト、ズーム等を制御する装置が知られている（特許文献１）。また、被写体の撮影時に、被写体が有しているリモコンの発光部を被写体と共に撮影し、撮影画面において発光部が所定位置となるようにカメラのズーミングを制御する装置が知られている（特許文献２）。この装置によれば、被写体となる人は被撮影時に手にしているリモコンを上下左右に移動させることでカメラのズーミングを変更することができる。さらに、原稿のマーカ指定された領域のみを拡大／縮小して複写することのできるデジタル複写機（特許文献３）や、プロジェクタによる投影像の上にレーザポインタにより所定の形状を照射し、カメラによりその形状を認識し、プロジェクタの投影像を制御する装置（特許文献４）などが知られている。

特開平０８−１２５９２１（段落番号００１０−００１１、図１）特開２００３−２８９４６４（要約、図３）特開２００４−２２１８９８（段落番号０００６）特開２００４−０７８６８２（要約、図１）

しかしながら、特許文献１の技術は、撮影位置を変更するには再度２点を指定する必要があり、表示領域を頻繁に変更する場合には操作が煩雑になる。特許文献２の技術は、被写体となる被撮影者は、撮影画面における自身が所持しているリモコンの発光部と所定位置の関係を直接把握する術がなく、ズーミングが変更された後の画像から間接的にそれらの関係が把握できるだけであるため、正確なズーミング操作が困難である。特許文献３の技術は、原稿に直接マーカにより指示を行うため、直感的な操作を行うことができる。しかし、原稿に直接書き込んでいるために、容易に指示領域を変更することができず、操作性に問題がある。また、特許文献４の技術は、プロジェクタの投影像上のレーザポインタによる照射図形を認識する必要があり、認識精度が環境の影響を受けやすい等の問題がある。本発明の課題は、被写体を撮影し表示する際に、簡易な操作で被写体の表示領域および表示倍率等の表示形態を制御することができる撮影画像処理システムおよび撮影画像処理プログラムを提供することである。

本発明の撮影画像処理システムは、被写体を撮影するカメラと、前記カメラによって撮影された撮影画像を処理して生成された表示画像を転送する画像処理装置とからなる撮影画像処理システムにおいて、前記被写体と前記カメラの間の任意の位置に配置される枠体を備え、前記枠体は、当該枠体の姿勢方向を示す指標を備え、前記画像処理装置に、前記カメラによって撮影された撮影画像から前記枠体を検出する枠体検出部、前記検出された枠体の内側に位置する部分被写体画像を抽出する部分被写体画像抽出部、前記枠体の所定の基準姿勢方向と前記検出された枠体の前記指標が示す前記姿勢方向とに基づき、前記部分被写体画像の回転角を算出する画像回転角算出部、
前記算出された回転角に基づいて前記部分被写体画像を回転させることにより表示画像に変換する表示画像生成部、及び前記表示画像を転送する表示画像転送部を備えている。この撮影画像処理システムでは、枠体を被写体とカメラの間の任意の位置に配置し、撮影された画像から枠体の内側に位置する領域を抽出しているため、枠体の位置および大きさに基づくクリッピングを行うことが可能となっている。更に、表示画面生成部においてクリッピングされた画像のサイズを所定の画像サイズに変更することにより、枠体の大きさに基づき表示する画像のサイズを変更することが可能となっている。つまり、ユーザは枠体で表示領域を指定することにより、枠体内に実際に表示される状態を視認し、直接把握できるため、表示領域および表示倍率を簡単かつ直感的に設定・変更することが可能となっている。また、枠体には枠体の姿勢方向を示す指標が備えられているため、枠体および指標の位置情報から被写体を正規の姿勢に補正するために回転させる角度を算出することができ、算出された回転角に基づき表示画像を回転させることにより、被写体がカメラの光軸周りに回転している場合にも、回転を補正することが可能となっている。

本発明の撮影画像処理システムは、前記枠体検出部は更に枠体の種別を識別し、前記表示画像転送部は前記識別された枠体の種別に応じて転送先を決定し、当該決定された転送先に前記表示画像を転送するという特徴を備えている。これにより、複数の転送先が設定されている場合に、枠体の種類と転送先を関連付けておき、使用する枠体を変更するだけで表示画像の転送先を切り替えることが可能となっている。

本発明の撮影画像処理プログラムは、コンピュータを、カメラによって被写体を撮影した撮影画像から前記被写体と前記カメラの間の任意の位置に配置される枠体であって、当該枠体の姿勢方向を示す指標を備えた枠体を検出する枠体検出手段、前記検出された枠体の内側に位置する部分被写体画像を抽出する部分被写体画像抽出手段、前記枠体の所定の基準姿勢方向と前記検出された枠体の前記指標が示す前記姿勢方向とに基づき、前記部分被写体画像の回転角を算出する画像回転角算出手段、前記算出された回転角に基づいて前記部分被写体画像を回転させることにより表示画像に変換する表示画像生成手段、及び前記表示画像を転送する表示画像転送手段として機能させるものである。当然ながら、このような撮影画像処理プログラムは、上述した撮影画像処理システムで述べた全ての作用効果を得ることができる。

〔第１の実施形態〕
以下、本発明の実施形態を図面に基づいて説明する。図１に示すように、本発明における撮影画像処理システムは、画像処理装置Ａ、被写体Ｔを撮影するカメラＢおよび被写体ＴとカメラＢの間の任意の位置に配置される枠体Ｒから構成されている。本実施形態においては、枠体Ｒは図４に示す形状を有し、単色で光の反射が少ない材質で作成されていることが望ましく、さらに、複数色の枠体Ｒを備えておき、被写体の色の補色に近い色の枠体Ｒを用いることが望ましい。このような枠体Ｒを用いることにより、照明の反射や被写体の色による枠体Ｒの検出精度の低下を防止することができる。なお、枠体Ｒの形状は、図４に示すような矩形に限定されるものではなく、内縁および外縁ともに他の形状を用いても構わない。

本実施形態においては、本発明における画像処理システムで処理された画像を表示するための表示装置Ｄをさらに接続している。表示装置Ｄとしては、画像処理装置Ａに接続されたディスプレイ２やプロジェクタＰを用いることができる。また、画像処理装置Ａと通信ネットワーク（以下、ネットワークと略称する）Ｎで接続され、表示機器を備えるクライアント端末（以下、クライアントと称する）Ｃを表示装置Ｄとして用いることもできる。前記ネットワークＮは、企業や学校等の限られた施設内において情報を物理的に送るケーブルと、ＬＡＮスイッチやハブ等でなる中継機器を備えたＣＳＭＡ／ＣＤ（Carrier Sense Multiple Access with Collision Detection）方式のイーサネット（Ethernet）（商標）型のＬＡＮとして構成されたものであるが、このネットワークＮとしてイーサネット型のＬＡＮ以外に、インターネットの技術を用いたイントラネットで構築されたものや、ＷＡＮ（Wide Area Network）の技術によって構築されるものでも良い。

前記画像処理装置Ａは、汎用コンピュータ１で構成されており、必要に応じてディスプレイ２、入力機器３（キーボード３ａ、マウス３ｂ）を備えた構成とすることができる。前述のように、ディスプレイ２や、画像処理装置Ａに接続されたプロジェクタＰを、表示装置Ｄとして機能させることもできる。カメラＢは、画像処理装置Ａに接続される汎用のカメラであり、望ましくは動画カメラである。本実施形態ではカメラＢは画像処理装置Ａに直接接続されているが、ネットワークＮを介して接続する等他の構成としても構わない。クライアントＣは、少なくともコンピュータ本体４およびディスプレイ５から構成されており、必要に応じて入力機器６（キーボード６ａ、マウス６ｂ）を備えた構成とすることもできる。また、クライアントＣにディスプレイ２の代わりにプロジェクタＱを接続した構成としても構わない。なお、本実施形態においては、表示装置Ｄとして、ディスプレイ２、プロジェクタＰおよびクライアントＣを用いているが、これに限定されるものではなく、他の表示装置を用いても構わない。同様に、クライアントＣに接続される表示機器もディスプレイ５、プロジェクタＱに限定されるわけではなく、他の表示機器を用いることができる。

次に、本発明に係る撮影画像処理システムの第１の実施形態を図２の機能ブロック図に基づき説明する。画像処理装置Ａは、カメラＢから被写体Ｔおよび枠体Ｒを撮影した撮影画像（以下、被写体画像と称する）を取得する画像取得部１１、前記被写体画像および各種処理結果を保持するメモリ１２、前記被写体画像から枠体Ｒを検出する枠体検出部１３、枠体検出部１３により枠体Ｒが検出された場合に、前記メモリ１２に保持された前記被写体画像から枠体Ｒの内側に位置する部分画像（以下、部分被写体画像と称する）を抽出する部分被写体画像抽出部１４、前記検出された枠体Ｒの情報に基づき、前記被写体部分画像から表示装置Ｄで表示する表示画像を生成する表示画像生成部１５、前記表示画像を各表示装置Ｄに転送する表示画像転送部１６を備えている。通常、画像取得部１１、枠体検出部１３、部分被写体画像抽出部１４、表示画像生成部１５、表示画像転送部１６はソフトウェアで構成されるが、これらをソフトウェアおよびハードウェアとの組み合わせにより構成しても良いし、ロジック等を組み合わせたハードウェアのみで構成しても構わない。

次に、図３のフローチャートに基づき画像処理装置Ａの動作を説明する。ユーザは、被写体ＴとカメラＢの間の任意の位置に枠体Ｒを配置し、カメラＢにより被写体Ｔと共に枠体Ｒが撮影される。このときの配置の例を図５に示す。カメラＢの光軸方向をｚ、カメラＢの撮像面をｘｙ平面とすると、図５は、被写体Ｔ等をｙ軸に沿った方向に観察した図である。このように、ユーザは、枠体Ｒをｘｙｚ空間の任意の位置に配置することができ、図６（ａ）に示すような被写体画像が得られる。

図６（ａ）のような被写体画像がカメラＢにより撮影され、画像取得部１１により取得された後、メモリ１２に保持される（＃１１）。次に、枠体検出部１３で、公知の画像認識手法により、メモリ１２に保持されている被写体画像から枠体Ｒの検出が行われ、検出結果が部分被写体画像抽出部１４に渡される（＃１２）。このとき、枠体検出部１３は、枠体Ｒが検出できた場合には、同時に枠体Ｒの特徴情報抽出を行い、抽出された特徴情報は部分被写体画像抽出部１４に渡される。本実施形態では、特徴情報として少なくとも後述する枠体内縁点の抽出が行われる。なお、特徴情報抽出は、これに限定されるものではなく、以下の処理に必要な特徴情報を適宜選択可能であり、例えば枠体Ｒの外縁形状、色等を用いることができる。枠体内縁点とは、図６（ａ）に示すように、被写体画像における枠体Ｒの内縁矩形の４頂点ｐ₁、ｐ₂、ｐ₃、ｐ₄をいう。なお、本実施形態では、枠体Ｒの内縁形状を規定するために４点の枠体内縁点を用いているが、これに限定されるものではなく、枠体Ｒの内縁形状等に応じて、適宜変更可能である。被写体画像中から枠体Ｒが検出された場合（＃１３のYes分岐）には、部分被写体画像抽出部１４により、メモリ１２に保持されている被写体画像から、枠体Ｒの特徴情報に基づき、検出された枠体Ｒの内側に位置する部分画像が抽出され、メモリ１２に保持される（＃１４）。本実施形態では、前述したように枠体Ｒの内側の形状は枠体内縁点により規定されており、部分被写体画像抽出部１４は、４線分ｐ₁ｐ₂、ｐ₂ｐ₄、ｐ₄ｐ₃、ｐ₃ｐ₁に囲まれた領域を部分被写体画像として抽出する。なお、図６（ａ）では理解のために枠体内縁点を白丸で表現している。このようにして図６（ａ）に示す被写体画像から図７（ａ）に示す部分被写体画像が抽出される。

表示画像生成部１５は、メモリ１２に保持されている部分被写体画像から、表示装置に表示する表示画像を生成し（＃１５）、表示画像転送部１６に渡す。表示画像生成部１５により表示装置Ｄの解像度に合わせた変換がなされる場合には、例えば図７（ａ）の部分被写体画像から図８（ａ）の表示画像が生成される。

表示画像生成部１５により生成され表示画像転送部１６に渡された表示画像は、表示画像転送部１６により各表示装置Ｄに転送され（＃１６）、表示装置Ｄにより表示される。表示装置ＤがクライアントＣの場合には、転送された表示画像が表示画像取得部２１により取得され、画像表示部２２により、自身に接続されているディスプレイ５、プロジェクタＱ等の表示機器に表示を行う。このとき、取得した表示画像のサイズと表示させる表示機器の解像度が異なっている場合に、画像表示部２２により表示画像を接続されている表示機器に適した画像サイズや画質に変換する等、取得した表示画像を自身に接続されている表示機器に適した表示形態に変換する構成とすることもできる。

〔表示画像生成〕
本実施形態における表示画像生成部１５の主な機能は画像サイズの変換である。ただし、被写体ＴとカメラＢが正対していない場合には、カメラＢは回転運動（パン、チルト）が含まれるため、被写体画像は、図６（ｂ）に示すように歪んでいる。そのため、見やすい表示画像を生成するためには矩形歪補正を行った後に表示装置に適した画像サイズに変換することが望ましい。そのため、表示画像生成部１５では、矩形歪補正および画像サイズの変換処理を行う。

このように、本実施形態における撮影画像処理システムでは、被写体ＴとカメラＢの間の任意の位置に枠体Ｒを配置するという簡易な操作により、表示すべき領域のクリッピング、矩形歪補正および拡大等が制御でき、表示に適した画像を生成することができる。

〔第２の実施形態〕
次に、図２の機能ブロック図および図１０のフローチャートを用いて本発明における撮影画像処理システムの第２の実施形態を説明する。本実施形態では、図９に示すような回転位置を指定する指標Ｉが設けられた枠体Ｒが使用される。本実施形態においては、指標Ｉが設けられていない枠辺の中点から、指標Ｉの頂点のうち枠体Ｒに接していない頂点へのベクトル方向を枠体Ｒの姿勢方向と規定する。さらに、カメラ座標系の上方向を枠体Ｒの基準姿勢方向と規定している。すなわち、図９のように枠体Ｒが配置されている場合には、枠体Ｒの姿勢方向は図面上方向であり、このときの枠体Ｒは基準姿勢方向を向いている。本実施形態の撮影画像処理システムにおける画像処理装置は、第１の実施形態における画像処理装置に加えて、枠体検出部１３により検出された枠体Ｒから指標Ｉを検出する指標検出部１７、枠体検出１３により検出された枠体Ｒおよび指標検出部１７により検出された指標Ｉの位置情報から被写体画像の回転角を算出する画像回転角算出部１８を備えており、表示画像生成部１５は第１の実施形態の機能に加え、さらに算出された回転角に基づき部分被写体画像を回転させる機能を有する。

本実施形態で用いる被写体画像は、簡単のために被写体Ｔおよび枠体ＲとカメラＢは正対しており、カメラ運動はカメラＢの光軸周りの回転のみであるとする。例えば、図１１に示す被写体画像である。画像取得（＃３１）から部分被写体画像検出（＃３３）は、第１の実施形態の＃１１から＃１３と同様なので説明は省略する。ここまでの処理により、枠体Ｒが存在する場合には、図１１の被写体画像から図１２に示す部分被写体画像が抽出される。枠体Ｒが検出された場合には（＃３２のYes分岐）、枠体検出部１３により検出された枠体Ｒの位置情報に基づき、指標検出部１７により指標検出が行われ、指標Ｉの頂点座標が得られる（＃３４）。指標検出部１７により指標Ｉが検出されると（＃３５のYes分岐）、画像回転各算出部１８により、枠体内縁点と前記指標Ｉの頂点座標の位置関係から、公知の方法を用いて部分被写体画像の回転角θが算出される（＃３６）。指標Ｉの検出は、枠体Ｒと指標Ｉの位置関係が既知であれば、検出された枠体Ｒの位置情報に基づき、所定の領域を探索することで実現することができる。ここで、部分被写体画像の回転角θとは、枠体Ｒの基準姿勢方向と検出された枠体Ｒの姿勢方向（以下、検出姿勢方向と称する）との角度差である。すなわち、基準姿勢に対するカメラＢの光軸周りの回転角度である。例えば、図１１の例では、基準姿勢方向が上方向であり、同図に示す被写体画像および検出姿勢方向が得られたとすると、基準姿勢方向と検出姿勢方向の差が回転角θとして算出される。

次に、表示画像生成部１５により、表示画像が生成される（＃３７）。ここでは、例えば部分被写体画像に対して回転補正および画像サイズの変更が施される。図１２の部分被写体画像に対し回転補正を施す概念を示したのが図１３である。同図では、わかり易くするために、回転補正前後の部分被写体画像を点線で囲っている。このように生成された表示画像は、表示画像転送部１６により各表示装置Ｄに転送される（＃３８）。

本実施形態では、前述のようにカメラＢの光軸周りの回転のみを扱っているので、画像座標系のみで回転補正を行うことができる。回転補正前の座標値をｘ、ｘを−θ回転させる行列をＲとすると、回転補正後の座標Ｒｘの画素値を回転補正前の座標値ｘの画素値とすることで回転補正を実現することができる。ただし、回転の前後で画素が１対１で対応するとは限らないため、回転補正後の画像では画素値が不定になる画素が存在する場合がある。このような場合には、補間等により画素値を決定する。このようにして作成された回転補正された部分被写体画像に対し、第１の実施形態と同様の画像サイズ変更が施され、例えば図１４に示す表示画像が生成される。なお、本実施形態においては、表示画像生成部１５は回転補正および画像サイズの変更を行っているが、回転補正のみを行う構成としても構わない。

このように、本実施形態においては、指標Ｉを有した枠体Ｒを用いることにより、簡易な方法によりカメラＢの光軸周りの回転角を指定することができ、さらには当該回転角に基づく回転補正を行うことが可能となっている。

〔第３の実施形態〕
次に、図２の機能ブロック図を用いて本発明における撮影画像処理システムの第３の実施形態を説明する。本実施形態では、撮影画像処理システムに転送先である表示装置Ｄが複数接続されており、各表示装置Ｄにはグループを示す識別情報（以下、グループ識別情報と称する）が付与されている。グループ識別情報は、表示装置Ｄが設置されている教室やクラス単位に設定することができるが、これに限定されるものではなく、他の様々な設定方法を用いても構わない。本実施形態における表示装置Ｄは、ネットワークＮにより接続されたクライアントＣをも使用する。この場合、各クライアントＣは、表示機器としてディスプレイ５やプロジェクタＱ等を備えると共に、表示画像転送部１６により転送された表示画像を取得する表示画像取得部２１および表示画像取得部２１により取得された表示画像を前記表示機器に表示する画像表示部２２を備えている。また、画像処理装置Ａは、第１の実施形態の機能要素に加え、枠体Ｒの特徴情報に基づき、検出された枠体Ｒの種別を識別する枠体識別部１９備えている。本実施形態において枠体Ｒは、異なる色を持つ複数の枠体Ｒを使用し、その色の違いにより枠体Ｒの種別を規定している。種別を規定するのは色に限定されるものではなく、形状等により規定しても構わない。なお、枠体Ｒの種別を規定する情報は、枠体検出部１３において、枠体Ｒの検出と同時に特徴情報として抽出される。通常、枠体識別部１９、表示画像取得部２１および画像表示部２２はソフトウェアで構成されるが、これらをソフトウェアおよびハードウェアとの組み合わせにより構成しても良いし、ロジック等を組み合わせたハードウェアのみで構成しても構わない。

本実施形態の動作を図１５のフローチャートを用いて説明する。なお、本実施例では図１６に示すように枠体Ｒの種別情報と前述したグループ識別情報とを１対１に対応させているが、これに限定されるものではなく、１対複数もしくは複数対１に対応付けても構わない。図１６の例では、赤の色を有する枠体Ｒは枠体種別情報１を持ち、グループ識別情報１と対応付けられている。さらに、グループ識別情報１には転送先として表示装置１から表示装置ｍが対応付けられている。本実施形態においては、このような対応付けを行っているが、これに限定されるものではなく、グループ識別情報を介さずに、枠体識別情報と転送先を対応付ける等、本発明の目的を達せられるものであれば、他の対応付けを行っても構わない。

先ず、前述の実施形態で説明した処理により被写体Ｔおよび枠体Ｒを撮影した画像が取得され（＃４１）、枠体Ｒが検出される（＃４２）。このとき、同時に枠体Ｒの色が特徴情報として抽出される。次に、枠体識別部１９により、検出された枠体Ｒの色に基づき、検出された枠体Ｒの種別を識別し、枠体種別情報として表示画像転送部１６に渡す。（＃４３）。例えば、枠体Ｒの色が赤と抽出された場合には、枠体種別情報として１が表示画像転送部に渡される。続いて、前述した実施形態の処理により部分被写体画像が抽出され、表示画像に変換される（＃４４）。本実施形態では、転送する表示装置Ｄは複数存在し、個々の表示機器の表示解像度が不明もしくは単一でないことが考えられる。そのため、本実施形態では、表示画像生成部１５は画像サイズの変換を行わずに表示画像転送部１６に渡す。表示画像と枠体Ｒの枠体種別情報を取得した表示画像転送部１６は、枠体Ｒの種別に基づき予め設定されている転送先を決定し（＃４５）、当該転送先に表示画像を転送する（＃４６）。枠体種別情報として１が得られている場合には、対応するグループ識別情報として１が得られ、さらに転送先として表示装置１から表示装置ｍが得られ、これらの表示装置に対し表示画像が転送される。クライアントＣの表示画像取得部２１は、転送された表示画像を取得し（＃４７）、画像表示部２２により個々の表示機器（ディスプレイ５、プロジェクタＰ等）に応じた画像サイズに変更され（＃４８）、表示機器に表示が行われる（＃４９）。

このように、本実施形態においては、枠体Ｒの色に基づき表示画像を転送すべきクライアントが設定されており、ユーザは使用する枠体Ｒを変えるだけで転送先を切り替えることが可能となっている。本実施形態における撮影画像処理システムを、１箇所の講義を多数の教室などに配信する遠隔講義等に用いると、講師は枠体Ｒを変更するだけで、個々の教室に適した画像を提示することができ、好適である。さらに、本実施形態における撮影画像処理システムで、複数の枠体Ｒを同時に使用可能に構成することも可能である。この場合、枠体Ｒの検出、識別が複数回繰り返され、それに伴い表示画像転送も繰り返されることとなる。このように構成すると、複数の教室に対し同時に異なる内容を転送することができ、さらに好適である。なお、複数の枠体Ｒを同時に使用する場合には、枠数の枠体Ｒにより同一領域を指定できるように、枠体Ｒの大きさを異ならせておくことが望ましい。

〔第４の実施形態〕
次に、図２の機能ブロック図を用いて本発明における撮影画像処理システムの第４の実施形態を説明する。本実施形態における撮影画像処理装置Ａは、第１の実施形態の機能構成および関連情報データベースＤＢを備えている。ただし、本実施形態においては、枠体Ｒは異なる形状を有しており、形状により枠体Ｒの種別が規定されている。このとき、枠体検出部１３は、枠体Ｒの検出と同時に枠体Ｒの形状が特徴情報として抽出され、その特徴情報に基づき枠体識別１９により枠体が識別される。枠体Ｒは、例えば魚の形状をしたプレートの内部に矩形の穴を設けたものを使用することができるが、これに限定されるものではなく、第３の実施形態のように異なる色の枠体Ｒを用いる等他の特徴情報により枠体Ｒの種別を規定することもできる。また、関連情報データベースＤＢには、枠体Ｒの種別に関連した情報（テキスト、画像等の情報であり、以下、関連情報と称する）が蓄積されている。関連情報データベースＤＢは、画像処理装置Ａの一部として構成しても構わないし、ネットワークＮ上に配置する等、他の構成としても構わない。

以下に、図１７のフローチャートに基づき、処理の流れを説明する。前述した方法と同様の方法により、画像の取得（＃５１）および枠体Ｒの検出および枠体Ｒの種別の識別（＃５２）が行われ、枠体Ｒの識別結果は、メモリ１２を介して表示画像生成部１５に渡される。本実施形態では、形状が異なる枠体Ｒを使用しているため、公知のテンプレートマッチング等により枠体Ｒの検出および枠体Ｒの識別が行われる。続いて、部分被写体画像抽出部１４により部分被写体画像が抽出され、メモリ１２を介して表示画像生成部１５に渡される。表示画像１５は、枠体Ｒの識別結果を基に関連情報データベースＤＢから関連情報を取得する（＃５３）と共に、部分被写体画像と取得した関連情報を合成し、表示画像を生成する（＃５４）。生成された表示画像は、表示画像転送部１６により表示装置Ｄに転送される。

本実施形態においては、部分被写体画像と関連情報を合成して表示画像として転送したが、これに限定されるものではなく、部分被写体画像のみから表示画像を生成し、表示画像と関連情報を個別に表示装置ＤであるクライアントＣに転送し、クライアントが備える画像表示部２２により合成し、表示する構成とするなど、他の構成としても構わない。

このように、本実施形態の撮影画像処理システムでは、異なる形状を有する枠体Ｒを用いて、枠体Ｒの種別を識別することにより、枠体Ｒの種別に関連付けられた関連情報を取得し、表示画像の一部として構成させることが可能となっている。このような構成とすることにより、例えば補助資料を関連情報データベースＤＢに蓄積しておき、必要な時にのみ枠体Ｒを使用すれば、効率的に資料提示を行うことができ、遠隔講義等に好適である。

上記全ての実施形態では、表示画像生成部１５の機能は画像サイズの変換、矩形歪補正および回転補正としたが、これに限定されるものではなく、色補正、シャープネス等の画質補正等を機能として備える構成としても構わない。

本発明による撮影画像処理システムのシステム構成図本発明による撮影画像処理システムの機能要素を示す機能ブロック図本発明による撮影画像処理システムの第１の実施形態のフローチャート本発明による撮影画像処理システムの第２の実施形態における枠体の例本発明による撮影画像処理システムにおける被写体と枠体の位置関係を表す図本発明による撮影画像処理システムにおける撮影画像の例本発明による撮影画像処理システムにおける被写体部分画像の例本発明による撮影画像処理システムにおける表示画像の例本発明による撮影画像処理システムの第２の実施形態における枠体の例本発明による撮影画像処理システムの第２の実施形態のフローチャート本発明による撮影画像処理システムにおける撮影画像の例本発明による撮影画像処理システムにおける被写体部分画像の例本発明による撮影画像処理システムにおける被写体部分画像の回転補正の例本発明による撮影画像処理システムにおける表示画像の例本発明による撮影画像処理システムの第３の実施形態のフローチャート本発明による撮影画像システムの第３の実施形態における枠体の種別と転送先の関係を表す表の例本発明による撮影画像処理システムの第４の実施形態のフローチャート

符号の説明

Ａ：画像処理装置
Ｂ：カメラ
Ｃ：クライアント
Ｄ：表示装置
Ｐ：プロジェクタ
Ｑ：プロジェクタ
Ｒ：枠体
Ｔ：被写体
２：ディスプレイ
５：ディスプレイ
１１：画像取得部
１２：メモリ
１３：枠体検出部
１４：部分被写体画像抽出部
１５：表示画像生成部
１６：表示画像転送部
１７：指標検出部
１８：画像回転各算出部
１９：枠体検出部
２１：表示画像取得部
２２：画像表示部

Claims

被写体を撮影するカメラと、
前記カメラによって撮影された撮影画像を処理して生成された表示画像を転送する画像処理装置とからなる撮影画像処理システムにおいて、
前記被写体と前記カメラの間の任意の位置に配置される枠体を備え、
前記枠体は、当該枠体の姿勢方向を示す指標を備え、
前記画像処理装置に、
前記カメラによって撮影された撮影画像から前記枠体を検出する枠体検出部、
前記検出された枠体の内側に位置する部分被写体画像を抽出する部分被写体画像抽出部、
前記枠体の所定の基準姿勢方向と前記検出された枠体の前記指標が示す前記姿勢方向とに基づき、前記部分被写体画像の回転角を算出する画像回転角算出部、
前記算出された回転角に基づいて前記部分被写体画像を回転させることにより表示画像に変換する表示画像生成部、
及び前記表示画像を転送する表示画像転送部を備える撮影画像処理システム。
前記枠体検出部は更に枠体の種別を識別し、
前記表示画像転送部は前記識別された枠体の種別に応じて転送先を決定し、当該決定された転送先に前記表示画像を転送することを特徴とする請求項１記載の撮影画像処理システム。
コンピュータを、
カメラによって被写体を撮影した撮影画像から前記被写体と前記カメラの間の任意の位置に配置される枠体であって、当該枠体の姿勢方向を示す指標を備えた枠体を検出する枠体検出手段、
前記検出された枠体の内側に位置する部分被写体画像を抽出する部分被写体画像抽出手段、
前記枠体の所定の基準姿勢方向と前記検出された枠体の前記指標が示す前記姿勢方向とに基づき、前記部分被写体画像の回転角を算出する画像回転角算出手段、
前記算出された回転角に基づいて前記部分被写体画像を回転させることにより表示画像に変換する表示画像生成手段、
及び前記表示画像を転送する表示画像転送手段として機能させる撮影画像処理プログラム。