JP4258706B2 - マルチスペクトル映像編集装置及びマルチスペクトル映像表示装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の異なる撮影装置により撮影した、マルチスペクトル映像のデータを、編集し、表示装置に対して正確に色再現して表示するマルチスペクトル映像編集装置及びマルチスペクトル映像表示装置に関する。
【０００２】
【従来の技術】
近年、ネットワーク技術の急速な普及により、商品や美術品の鑑賞、または医療分野において遠隔診断を行うことが、ネットワークを介して行われるようになっている。
そして、上述した場合における画像の色再現において、画像の色情報（明度，色相，彩度）を忠実に再現する手段として、従来のＲＧＢ３バンド以上のバンド数で撮影された画像、すなわちマルチスペクトル画像が利用されている。
【０００３】
このマルチスペクトル画像からは、原理的に従来のＲＧＢ３バンドを超える精度で、色の基本情報となる分光反射率やスペクトルを推定することが可能である（非特許文献１参照）。
これにより、マルチスペクトル画像は、例えば、上述したような絵画の鑑賞及び遠隔診断のように、忠実な色再現が必要な分野に有効に用いることができる。
ただし、忠実な色再現を行うためには、上述したように、対象となる被写体を多バンド撮影することはもちろんのこと、多原色表示技術を用い、撮影に用いたカメラや多原色表示を行う表示装置の特性と、撮影時及び表示時の照明情報とを厳密に管理することが必要となる。
【０００４】
【非特許文献１】
大澤健郎，他４名、「スペクトル情報に基づいた色再現システム」、カラーフォーラムＪＡＰＡＮ２００２論文集、pp.６３−６６、２００２年１１月
【０００５】
【発明が解決しようとする課題】
マルチバンド撮影した複数のマルチスペクトル映像を編集する場合、撮影に用いたバンド数や入力特性の異なる画像を、ブレンディングや合成することが必要となる。
また、編集された映像の出力についても、表示装置の原色数や出力特性、さらに、表示環境（周囲の照明）の違いを考慮する必要がある。
しかしながら、従来の映像編集技術では、入力する素材映像、出力する編集済映像のいずれもが３バンド、３原色、及び同特性を想定しており、マルチバンド撮影した映像に適切に対応させて、編集処理を行うことができない。
【０００６】
そこで、マルチバンド撮影した複数のマルチスペクトル映像に対して編集処理を行う場合、図５に示すようなシステムが考えられる。図５に示すシステムでは、以下の処理が必要となる。
まず、編集手順作成用映像作成部１０３は、撮影装置１００（例えば、３バンド），１０１（例えば６バンド），１０２（例えば１６バンド）により多バンド撮影された各マルチスペクトル映像を、ある特性の３バンドの映像に変換する。
３バンドに変換する理由は、３バンドの映像を扱える編集、及び表示装置が最も広く利用されており、また、バンド数が少ないことでデータ量が小さくなるからである。例えば、６バンド映像を編集できる環境があれば６バンドでもよい。
そして、編集手順作成部１０４は、上述した多バンドから３バンドに変換された複数の映像を用いて編集処理（フェードイン、フェードアウト，合成，部分抽出，ブレンドなど）を行い、その編集手順をデータとして出力する。
【０００７】
次に、表示映像作成部１０５は、入力された元のマルチスペクトル映像をそれぞれ、対象となる表示装置の表示特性、及び観察照明に対応したディスプレイ信号値に変換する（例えば、ある特性の６原色ディスプレイの色信号値へ変換する）。
そして、編集手順実行部２０２は、上記ディスプレイ信号値を、編集手順のデータに基づいて編集して、表示装置へ出力する。
【０００８】
しかしながら、上述した編集処理の方法は、一つの表示装置のディスプレイ特性、及び観察照明に対してのみに対応する表示映像を作成することしかできず、異なる特性の複数の観察環境に対して、コンテンツをマルチキャスト配信することができない。
もしくは、上述した編集処理方法で、複数のユーザからの配信要求に応えることは可能であるが、これらのユーザに対応して異なる複数の特性の観察環境に対応させる必要があり、その全てのユーザの観察環境に対応する表示映像をそれぞれ作成し、保存する必要があるが、多くのユーザ毎に対応する観察環境に対して、そのユーザ全てに対応した表示映像を記憶させることは、記憶させる表示映像のデータ量が膨大となるため、ユーザ毎に表示映像を作成して記憶しておくことは現実的に困難である。
加えて、上記複数のユーザ毎に、対応する表示映像を配信することは、ネットワークの負荷が重くなり、伝送効率を低下させることとなる。
【０００９】
また、マルチキャストを可能とするため、図６に示すように、撮影装置１００，１０１，１０２により撮影したマルチスペクトル映像を編集せずに、編集手順作成部１０４で作成した編集手順のデータを、映像データ出力部１０６が編集スクリプトとして映像に添付して、各表示装置へ伝送することが考えられる。
この場合の編集処理は、マルチスペクトル映像が伝送された各表示装置において、表示映像作成部２０１が、ディスプレイの表示特性、及び観察照明に対応したディスプレイ信号値に変換する（例えば、ある特性の６原色ディスプレイの色信号値へ変換する）。
そして、編集手順実行部２０２は、上記ディスプレイ信号値を、編集手順のデータ（編集スクリプト）に基づいて編集して、表示部２０３において表示する。
【００１０】
このため、この編集処理の方法においては、表示する表示装置毎に、ディスプレイ特性、及び観察照明に対応した色変換の演算を行う必要があるが、それぞれの表示環境ごとに正確な色再現を行うことができる。しかし、色変換の演算の後に編集処理のための演算を行うため、映像データの入力から、映像の表示までに時間がかかり、リアルタイムの動画の再生に対応できない欠点がある。
また、この編集処理の方法においては、マルチスペクトル映像を複数種類のバンド数で伝送するため、送受信側で異なるバンド数の映像を処理する毎にそれに対応する必要があり、データの伝送速度に関係なく、伝送効率が低下してしまう問題がある。また、その処理装置も複雑なものとなる。
【００１１】
本発明は、上記の問題を解決するためになされたもので、マルチバンド撮影した複数のマルチスペクトル映像を編集した結果を、複数の各表示装置のディスプレイ特性に依存しない編集済みの一つの映像として伝送することにより、伝送効率を向上させ、かつ表示装置における映像の再現を高速に行い、リアルタイムの画像表示を可能とするマルチスペクトル映像編集装置及びマルチスペクトル映像表示装置を提供するものである。
【００１２】
【課題を解決するための手段】
本発明のマルチスペクトル映像編集装置は、複数の撮影装置から入力される、複数の異なったバンド数の映像の編集を行う装置であり、前記複数の映像各々を、所定のバンド数の映像に変換する映像変換部と、前記統一されたバンド数の映像空間で、前記複数の映像の編集を行い、編集済映像を生成する編集手順実行部とを有することを特徴とする。
【００１３】
本発明のマルチスペクトル映像編集装置は、前記編集手順実行部が作成した前記編集済映像を分光反射率へ変換するための情報（分光反射率への変換行列）が付随したマルチスペクトル映像として出力することを特徴とする。
本発明のマルチスペクトル映像編集装置は、前記映像変換部が前記複数の映像を分光反射率を介して、所定のバンド数の映像に変換することを特徴とする。
本発明のマルチスペクトル映像編集装置においては、前記映像変換部が前記複数の映像を、分光反射率を介して、仮想的な撮影装置の出力として、所定のバンド数の映像に変換することを特徴とする。
【００１４】
本発明のマルチスペクトル映像編集プログラムは、複数の撮影装置から入力される、複数の異なったバンド数の映像の編集を行う、コンピュータによって実行可能なプログラムであり、前記複数の映像各々を、映像変換部により所定の演算を行い、所定のバンド数の映像に変換する映像変換処理と、前記統一されたバンド数の映像空間で、前記複数の映像の編集を行い、編集済映像を生成する編集手順実行処理とを有することを特徴とする。
【００１５】
本発明のマルチスペクトル映像表示装置は、分光反射率へ変換するための情報が付随した所定のバンド数の映像と、固有のディスプレイ特性及び周辺の照明データとに基づき、撮影装置により撮影された複数の映像を編集した結果の再生を行い、この再生された映像を表示画面に表示することを特徴とする。
【００１６】
本発明は、マルチバンド撮影したマルチスペクトル映像の編集に用いられ、複数の異なるバンド数の映像を、一旦、所定のバンド数の映像（例えば１０バンド映像）に変換し、この変換して映像空間が統一された後のマルチスペクトル映像（所定のバンド数に変換された複数の異なる映像）を編集し、各表示装置に伝送することで、異なるバンド数の映像に対応する出力処理を無くし、ネットワークを介した送受信の処理効率を向上させることで、マルチスペクトル映像の伝送効率を向上させ、かつ、各表示装置においては、編集済みのマルチスペクトル映像に対して、ディスプレイ特性及び照明（表示環境）に対応させる色変換のみを行わせるようにしたものであり、この結果、表示環境に非依存のデータとして複数の異なる表示装置にマルチキャストの伝送ができ、かつ各表示装置において、異なるバンド数の映像に対応する入力処理を無くし、ネットワークを介した送受信の処理効率を向上させることで、高速に忠実な色を再生して、マルチスペクトル映像の表示を可能とするものである。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明によるマルチスペクトル映像の編集及び表示装置の実施形態を示す概念図である。
この図において、マルチスペクトル映像編集装置Ｈは、映像変換部１，仮想システム行列記憶部２，編集手順実行部３，編集済映像出力部４，編集手順作成用映像作成部１０３，及び編集手順作成部１０４を有している。
撮影装置１００は、３バンドのマルチスペクトル映像の撮影を行い、所定の量を蓄積した後、この蓄積されたマルチスペクトル映像を出力する。
同様に、撮影装置１０１は６バンドのマルチスペクトル映像の撮影を行い、撮影装置１０２は１６バンドのマルチスペクトル映像の撮影を行い、おのおの撮影したマルチスペクトル映像を出力する。
【００１８】
このとき、撮影装置１００，１０１，１０２は、おのおの出力するマルチスペクトル映像に、各マルチスペクトル映像のバンド数、撮影装置の分光感度、及び撮影照明の分光放射輝度等に対応した分光反射率推定行列［Ｇ］を添付して出力する。
映像変換部１は、分光反射率推定行列［Ｇ］と、仮想システム行列［Ｆ］とにより、入力される複数の異なるバンド数のマルチスペクトル映像、すなわち、３バンド，６バンドの１６バンドのマルチスペクトル映像を、所定のバンド数のマルチスペクトル映像に、例えば１０バンドのマルチスペクトル映像に変換して、バンド数を統一したマルチスペクトル映像とする。
【００１９】
すなわち、映像変換部１は、入力される映像信号を表すベクトル[ｖ]（各マルチスペクトル映像における時刻及び画素毎にバンド数次元のデータを要素とするベクトル）に対して、同じく入力される分光反射率推定行列[Ｇ］を乗算して、[Ｇ][ｖ]の分光反射率を求める。
ここで、分光反射率[Ｇ][ｖ]は、以下の説明において、例えば３８０ｎｍから７７９ｎｍまで１ｎｍおきに４００次元（４００バンドに対応）で表現する値とする。
【００２０】
また、映像変換部１は、分光反射率[Ｇ][ｖ]に対して、仮想システム行列記憶部２から仮想システム行列[Ｆ]を読み出し、仮想システム行列[Ｆ]を乗算して、この分光反射率[Ｇ][ｖ]を、所定のバンド数のマルチスペクトル映像[Ｆ][Ｇ][ｖ]に変換する。
このとき、あらかじめ[Ｆ][Ｇ]を計算しておいてから[Ｆ][Ｇ][ｖ]を計算するようにしても良い。
ここで、分光反射率推定行列［Ｇ]は、各マルチスペクトル映像毎に用意され（各マルチスペクトル映像のバンド数、撮影装置の分光感度、及び撮影照明の分光放射輝度等により各々異なる）、各バンド数のマルチスペクトル映像を所定の次元数、例えば４００次元の分光反射率に変換するためのものである。
また、仮想システム行列[Ｆ]は４００次元を所定の次元数へ、すなわち４００次元の分光反射率を、所定のバンド数のマルチスペクトル映像、例えば１０バンドのマルチスペクトル映像に変換するものであり、編集毎に一つ用意されている。複数の編集において、同一の仮想システム行列[Ｆ]を用いてもよい。より具体的には、仮想システム行列[Ｆ]は、仮想的な撮影装置の分光感度、及び撮影照明の分光放射輝度を設定し、この仮想撮影装置の出力として、４００次元の分光反射率を、例えば１０バンドのマルチスペクトル映像に変換するものである。
【００２１】
編集手順実行部３は、３バンド，６バンド及び１６バンドのマルチスペクトル映像から生成された１０バンドの３つのマルチスペクトル映像に対して、編集手順のデータに基づいて、所定の編集（この例では、３つの１０バンドのマルチスペクトル映像を組み合わせての編集処理）を行う。
【００２２】
ここで用いられる編集手順のデータは、従来例と同様に、編集手順作成部１０４により、あらかじめ作成される。
これにより、編集手順実行部３は、表示装置及び観察照明に独立したデータとしての、編集が施された１０バンドのマルチスペクトル映像を作成する。
【００２３】
編集済映像出力部４は、編集されて生成された編集済映像（ここでは１０バンドのマルチスペクトル映像を蓄積し、必要に応じて（例えば、映像データがアクセスされた場合など）、所定の転送データ形式により情報通信網Ｉを介して、蓄積されている編集済映像（ここでは１０バンドのマルチスペクトル映像）と対応する分光反射率への変換行列とを、複数の異なる型式の表示装置３０１，３０２，３０３，…に伝送する。
情報通信網Ｉは、公衆通信回線，専用通信回線，インターネット及びＬＡＮ（ローカルエリアネットワーク）等の組み合わせにより構成されたネットワークである。また、映像を配信する専用信号線である映像信号線も、上記情報通信網Ｉに含まれる。
分光反射率への変換行列は、仮想システム行列［Ｆ］に対応して、あらかじめ仮想システム行列記憶部２に記憶されており、編集手順実行部３で作成された１０バンドのマルチスペクトル映像を４００次元の分光反射率へと変換するものである。
すなわち、表示装置（例えば、表示装置３０１）側において、表示部１２の特性及び表示装置の周囲の照明環境などに対応して、マルチスペクトル映像を正しく色再現して表示することを可能とするため、表示環境によらない、基準となる分光反射率を計算する行列である。
【００２４】
マルチスペクトル映像表示装置３０１，３０２，３０３は、表示環境、すなわちディスプレイ特性及び周辺の照明状態が異なるのみで、同様な構成をしている。
マルチスペクトル映像表示装置３０１は、上記表示装置の代表として内部構成を示しており、映像入力部１０，表示映像作成部１１，表示部１２の機能構成を有している。
映像入力部１０は、情報通信網Ｉを介して、マルチスペクトル映像編集装置Ｈから、編集された１０バンドのマルチスペクトル映像のデータと、この１０バンドのマルチスペクトル映像を４００次元の分光反射率へ変換する変換行列を入力する。
【００２５】
表示映像作成部１１は、上記マルチスペクトル映像のデータと分光反射率への変換行列及び、観察照明の分光放射輝度から、その観察照明に対応したスペクトル映像を生成する。
すなわち、表示映像作成部１１は、入力されたマルチスペクトル映像のデータと分光反射率への変換行列とから演算された分光反射率に対して、照明の分光放射輝度を乗算し、スペクトル映像を生成する。ここで言うスペクトル映像とは、反射光の分光分布を表す、４００次元の映像のことである。
【００２６】
また、表示映像作成部１１は、このスペクトル映像に対して、ディスプレイの表示可能なバンド数に変換するとともに、ディスプレイ特性（ガンマ特性，色彩特性など）に対応させるため、ディスプレイ信号変換行列の乗算とガンマテーブル変換とを行い、ディスプレイ信号を生成する。
表示部１２は、上述した処理により得られたディスプレイ信号を、ディスプレイに表示する。
【００２７】
次に、マルチスペクトル映像編集装置において用いられる分光反射率推定行列について説明する。
この分光反射率推定行列は、すでに映像変換部１において説明したように、各撮影装置から出力される、マルチスペクトル映像から、被写体の分光反射率を演算するものであり、以下のように求められる。
【００２８】
ここで、各バンドにおける撮影装置から入力される画素値、例えば、第ｐバンドにおける画素値をｖ（ｐ）とする。ｖ（ｐ）は、以下の（１）式によりモデル化される。
ｖ（ｐ）＝∫S_ｐ(λ)L(λ)ｒ(λ)ｄλ ……（１）
（１）式において、S_ｐ(λ)は第ｐバンドにおける撮影装置の分光感度であり、L(λ)は照明の分光放射輝度であり、ｒ(λ)は被写体の分光反射率であり、λは波長を表す。
【００２９】
ここで、ｖ及びｒをベクトル表記すると、（１）式は（２）式のように表せる。
［ｖ］＝［Ｆ］［ｒ］ ……（２）
この（２）式において、［Ｆ］（＝［Ｓ］［Ｌ］）はシステム行列である。
【００３０】
Wiener推定を用いると、分光反射率［ｒ］の推定値［ｒ'］は、
[ｒ'］＝［Ｇ］［ｖ］,［Ｇ］＝［Ｒ^ｒ］［Ｆ]^ｔ(［Ｆ］［Ｒ^ｒ］［Ｆ]^ｔ)^−１……（３）
として求められる。このときの［Ｇ］が求める分光反射率推定行列であり、［Ｒ^ｒ］は分光反射率［ｒ］の自己相関行列である。
また、［Ｒ^ｒ］は、適当なサンプルの分光反射率［ｒ］の実測値から計算しても良いし、あるいは分光反射率［ｒ］における相関性の仮定から適当な行列を与えても良い。
照明の分光放射輝度Ｌ（λ）、及び分光反射率の自己相関行列［Ｒ^ｒ］を求めるための分光反射率［ｒ］のサンプルは、分光放射計などを用いて測定する。
【００３１】
次に、図１，図２を参照して、本発明の一実施形態によるマルチスペクトル映像編集装置Ｈ及びマルチスペクトル映像表示装置（３０１，３０２，３０３）の動作例を説明する。図２は、上記マルチスペクトル映像編集装置及びマルチスペクトル映像表示装置の動作例を説明するフローチャートである。
ここで、ステップＳ１〜Ｓ６まではマルチスペクトル映像編集装置Ｈにおいて行われ、ステップＳ８，９，１０に関してはマルチスペクトル映像表示装置において行われる。
撮影装置１００，１０１，１０２は、各々３バンド，６バンド，１６バンドのマルチバンド撮影を行い、それぞれ撮影したマルチスペクトル映像と、対応する分光反射率推定行列とを、マルチスペクトル映像編集装置Ｈへ出力する。
【００３２】
ステップＳ１において、映像変換部１は、撮影装置１００，１０１，１０２から出力されるマルチスペクトル映像を入力する。
次に、ステップＳ２において、編集手順作成用映像作成部１０３は、例えば、編集用映像空間として、ある特性の３バンド映像の空間を用いる場合、入力された３バンド，６バンド及び１６バンドのマルチスペクトル映像を、各々その特性の３バンド映像に変換する。同じバンド数の３バンドの映像であっても、映像の特性の違いを考慮する場合は変換が必要である。また、この時、編集手順作成用映像は入力された映像から画像サイズを縮小するなどしてもよい。
そして、ステップＳ３において、編集手順作成部１０４は、ユーザーに対して編集手順作成用映像を表示しながら、ユーザーからの入力を受け取り、入力されたマルチスペクトル映像を、各表示装置（３０１，３０２，３０３）に伝送するコンテンツとして編集する手順を示すデータとして出力する。
【００３３】
次に、ステップＳ４おいて、映像変換部１は、入力されたマルチスペクトル映像を所定のマルチスペクトル映像空間に統一するために用いる仮想システム行列[Ｆ]を仮想システム行列記憶部２から読み出す。
そして、映像変換部１は、図３に示すように（６バンド映像［ｖ_６］については省略されている）、各撮影装置から入力された３バンド，６バンド，１６バンドのマルチスペクトル映像の映像信号を表すベクトルに対して、分光反射率推定行列[Ｇ]を各々乗算することにより、３バンド（［ｖ_３］），６バンド（［ｖ_６］），１６バンド（［ｖ_１６］）の各マルチスペクトル映像から、対応する分光反射率を計算する。
【００３４】
次に、映像変換部１は、３バンド，６バンド，１６バンドの各マルチスペクトル映像に対応する分光反射率に、仮想システム行列[Ｆ]を乗算することにより、３バンド，６バンド，１６バンドのマルチスペクトル映像各々に対応する分光反射率を１０バンド映像（［j_３］，［j_６］，［j_１６］）に変換し、マルチスペクトル映像を、編集可能な状態に統一する。
図３におけるjn(x,y,p,t)は、各映像を示し、添え字ｎは元の映像を識別する記号（図３の例では元の映像のバンド数に一致させている）を示し、「ｘ」及び「ｙ」は映像における画素の位置を示し、「ｐ」は各バンド（周波数帯域）を識別するバンド番号を示し、「ｔ」はサンプリングされた時刻を示している。また、詳細な説明においては、jn(x,y,p,t)における()内の変数の記載を省略している。
【００３５】
そして、ステップＳ５において、編集手順実行部３は、編集手順作成部１０４の作成した編集手順に基づいて、図４に示すようにブレンディングなどの編集処理を行う。
図４において、編集手順実行部３は、１０バンド映像［j_３］，［j_１６］の各々に対して、マスク映像［ａ_３］及び［ａ_１６］を用いて、図中の式に基づき、１０バンド映像［j_３］，［j_１６］の合成を行っている。
次に、ステップＳ６において、編集済映像出力部４は、編集手順実行部３の作成した、１０バンド映像と、この映像に対応する分光反射率への変換行列とを、所定の転送データ形式により、情報通信網Ｉを介して、各表示装置（３０１，３０２，３０３）へ伝送する（ステップＳ７の動作も含む）。
【００３６】
（以下、表示装置３０１の構成を用いて、マルチスペクトル映像の表示処理について説明する。）
そして、ステップＳ８において、映像入力部１０は、情報通信網Ｉを介して、編集された１０バンド映像と、この１０バンド映像を４００次元の分光反射率へ変換する変換行列を入力する。
次に、ステップＳ９において、表示映像作成部１１は、上記分光反射率へ変換する変換行列により１０バンド映像のデータから４００次元の分光反射率を演算し、この分光反射率のデータから、表示装置毎に設定されているディスプレイ特性と、表示される周辺の照明の分光放射輝度の情報とに基づき、表示装置の表示可能なバンド数で、かつ、その表示環境に対応して正しく色再現されたマルチスペクトル映像を生成する。
そして、ステップＳ１０において、表示部１２は、上述した処理により得られたディスプレイ信号を、表示装置３０１のディスプレイに表示する。
上述の説明においては、編集、蓄積、及び伝送に用いる基準のバンド数を１０バンドとしたが、任意のバンド数を使用することができる。
【００３７】
上述してきたように、本発明のマルチスペクトル映像編集装置は、入力されるマルチスペクトル映像に、各々対応する分光反射率推定行列を乗算して、バンド数の異なる複数の映像、例えば３バンド映像，６バンド映像及び１６バンド映像に対して、それぞれ対応する分光反射率を求め、この分光反射率に仮想システム行列［Ｆ］を乗ずることにより、一旦、バンド数の異なる３バンド映像，６バンド映像及び１６バンド映像を、所定のバンド数の映像（例えば１０バンド映像）に変換し、統一したマルチスペクトル映像空間において編集処理を行い、編集済映像を作成することにより、複数の映像を編集した結果を、表示装置の周辺光及びディスプレイ特性に依存せずに正しく色再現することが可能な、分光反射率へ変換するための情報が付随した一つの特性の（すなわち、バンド数が統一された）マルチスペクトル映像として出力する。
【００３８】
これにより、本発明のマルチスペクトル映像編集装置は、一旦、バンド数の異なる複数の映像を１０バンド映像に変換して編集を行う。
このとき、本発明のマルチスペクトル映像編集装置は、上記１０バンド映像に対して、この１０バンド映像を分光反射率のデータへ変換するための情報を付随させて出力することにより、コンテンツ供給先の表示装置に、マルチスペクトル映像を表示環境（表示装置のディスプレイ特性及び周辺光等）に対して非依存の形式で伝送することができる。
このため、本発明のマルチスペクトル映像編集装置は、複数の表示装置に対して、正しく色再現することが可能なマルチスペクトル映像を、表示装置へ配信することが可能となる。
【００３９】
また、本発明のマルチスペクトル映像編集装置は、編集手順実行部３が作成した１０バンド映像として表示装置にマルチスペクトル映像を伝送するため、複数の異なるバンド数の映像によりマルチスペクトル映像を伝送する、図６に示す従来の場合に比較して、統一した規格により伝送することが可能となるため、バンド数の異なる映像ごとに処理方法を変更して伝送、表示する必要が無くなり、映像データの伝送、表示処理効率を向上させ、また、伝送、表示装置の実現を容易にすることが可能である。
【００４０】
かつ、本発明のマルチスペクトル映像編集装置は、映像変換部１がマルチスペクトル映像を分光反射率データに変換した後、所定のバンド数の映像に変換するため、複数の撮影装置（１００，１０１，１０２）により撮影した各マルチスペクトル映像を、撮影環境（撮影装置特性及び撮影した周辺の照明）の影響を受けずに編集することが可能なため、複数のバンド数の映像を同時に扱って編集し、また、その色再現の精度を向上させることが可能となる。
【００４１】
さらに、本発明のマルチスペクトル映像編集装置は、編集手順実行部３が作成した、編集された編集済映像でマルチスペクトル映像を伝送するため、表示装置側において編集処理を行う必要が無くなるため、高速な映像の再生が可能となる。
【００４２】
加えて、本発明のマルチスペクトル映像表示装置は、表示環境に非依存の分光反射率に変換可能なデータとして、複数のマルチスペクトル映像が編集された１０バンド映像としてマルチスペクトル映像が映像入力部１０に供給され、表示映像作成部１１がこのマルチスペクトル映像を、ディスプレイ特性及び周辺の照明環境に対応させて再生するため、編集処理を行う必要が無く、高速にかつ忠実に色再現を行うことが可能となる。
以上のことより、本発明のマルチスペクトル映像編集装置、およびマルチスペクトル映像表示装置は、特に、複雑に編集されたマルチスペクトル映像を不特定多数の表示環境に同時に配信し、正しく色再現して遅延なく表示するマルチキャスト配信に有効である。
【００４３】
次に、本発明の実施の形態によるコンピュータが実行するためのプログラムについて説明する。
図１におけるマルチスペクトル映像編集装置及びマルチスペクトル映像表示装置におけるコンピュータシステムのＣＰＵが実行するためのプログラムは、本発明によるプログラムを構成する。
このプログラムを格納するための記録媒体としては、光磁気ディスク、光ディスク、半導体メモリ、磁気記録媒体等を用いることができ、これらをＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、フレキシブルディスク、メモリカード等に構成して用いてよい。
【００４４】
また上記記録媒体は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部のＲＡＭ等の揮発性メモリのように、一定時間プログラムを保持するものも含まれる。
【００４５】
また上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータシステムに伝送されるものであってもよい。上記伝送媒体とは、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体をいうものとする。
【００４６】
また、上記プログラムは、前述した機能の一部を実現するためであってもよい。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００４７】
従って、このプログラムを図１のシステム又は装置とは異なるシステム又は装置において用い、そのシステム又は装置のコンピュータがこのプログラムを実行することによっても、上記実施の形態で説明した機能及び効果と同等の機能及び効果を得ることができ、本発明の目的を達成することができる。
【００４８】
【発明の効果】
本発明のマルチスペクトル映像編集装置は、複数の撮影装置から入力される、複数の異なったバンド数の映像の編集を行う装置であり、複数の映像各々を、所定のバンド数の映像に変換する映像変換部と、統一されたバンド数の映像空間で、複数の映像の編集を行い、編集済映像を生成する編集手順実行部とを有するため、複数の映像を編集した結果を、所定のバンド数により編集された後のマルチスペクトル映像として表示装置に伝送するため、複数の異なるバンド数の映像を伝送する、図６に示す従来の場合に比較して、統一した規格により伝送することが可能となるため、バンド数の異なる映像ごとに処理方法を変更して伝送、表示する必要が無くなり、映像データの伝送、表示処理効率を向上させ、また、伝送、表示装置の構成を従来の場合に比較して簡易化することができ、各装置の実現を容易にすることが可能である。
【００４９】
また、本発明のマルチスペクトル映像編集装置によれば、前記編集手順実行部が作成した前記編集済み映像を分光反射率へ変換するための情報が付随したマルチスペクトル映像として出力するため、コンテンツ供給先の表示装置に、マルチスペクトル映像を、この表示装置の設置されている表示環境に対し、非依存の形式で伝送することができるため、複数の表示装置に対して、表示装置毎に送信するスペクトル映像を調整することがないため、複数の異なった表示装置において、正しく色再現することが可能なマルチスペクトル映像を配信することが可能となる。
【００５０】
また、本発明のマルチスペクトル映像編集装置によれば、前記映像変換部が前記マルチスペクトル映像を分光反射率を介して、所定のバンド数のバンド映像に変換するため、複数の撮影装置により撮影した各マルチスペクトル映像を、撮影環境（撮影装置特性及び撮影した周辺の照明）の影響を受けずに編集することが可能であり、複数のバンド数の映像を同時に扱って編集することができ、編集作業の効率を向上させ、色再現の精度を向上させることが可能となる。
【００５１】
かつ、本発明のマルチスペクトル映像編集装置によれば、編集された編集済映像を伝送するため、表示装置側において編集処理を行う必要が無くなるため、高速な映像の再生が可能となる。
加えて、本発明のマルチスペクトル映像表示装置は、分光反射率へ変換するための情報が付随した所定のバンド数のマルチスペクトル映像と、固有のディスプレイ特性及び周辺の照明データとに基づき、撮影装置により撮影された映像を編集した結果の再生を行い、この再生された映像を表示画面に表示するため、編集処理を行う必要が無く、高速にかつ忠実に色再現を行うことができる。
【図面の簡単な説明】
【図１】 本発明の一実施形態であるマルチスペクトル映像編集装置及びマルチスペクトル映像表示装置の構成例を示すブロック図である。
【図２】 図１におけるマルチスペクトル映像編集装置及びマルチスペクトル映像表示装置の動作例を示すフローチャートである。
【図３】 複数のマルチスペクトル映像を変換して特性を統一する処理を説明する概念図である。
【図４】 図１における編集手順実行部の各映像の編集処理を説明する概念図である。
【図５】 従来のマルチスペクトル映像編集装置の構成を示すブロック図である。
【図６】 従来の他のマルチスペクトル映像編集装置の構成を示すブロック図である。
【符号の説明】
１ 映像変換部
２ 仮想システム行列記憶部
３ 編集手順実行部
４ 編集済映像出力部
１０ 映像入力部
１１ 表示映像作成部
１２ 表示部
１０３ 編集手順作成用映像作成部
１０４ 編集手順作成部
１００，１０１，１０２ 撮影装置
３０１，３０２，３０３ 表示装置（マルチスペクトル映像表示装置）
Ｈ マルチスペクトル映像編集装置

Claims (5)

1. 複数の撮影装置から入力される、バンド数が異なる複数の映像の編集を行う装置であり、
   前記複数の映像各々を、統一された所定のバンド数の映像に変換する映像変換部と、
   前記所定のバンド数の映像空間において、前記映像変換部により生成された所定のバンド数の映像の編集を行い、編集済映像を生成する編集手順実行部と
   を有し、
   前記編集手順実行部が作成した所定のバンド数の前記編集済映像に、当該編集済映像から表示環境によらない基準となる分光反射率を計算する変換行列を付随させて出力することを特徴とするマルチスペクトル映像編集装置。
2. 前記映像変換部が前記複数の映像を分光反射率を介して、所定のバンド数の映像に変換することを特徴とする請求項１に記載のマルチスペクトル映像編集装置。
3. 前記映像変換部が前記複数の映像を分光反射率を介し、仮想的な撮影装置の出力として、所定のバンド数の映像に変換することを特徴とする請求項１または請求項２に記載のマルチスペクトル映像編集装置。
4. 複数の撮影装置から入力される、バンド数が異なる複数の映像の編集を行う、コンピュータによって実行可能なマルチスペクトル映像編集プログラムであり、
   映像変換部が、前記複数の映像各々を、統一された所定のバンド数の映像に変換する映像変換処理と、
   編集手順実行部が、前記所定のバンド数の映像空間において、前記映像変換部により生成された所定のバンド数の映像の編集を行い、編集済映像を生成する編集手順実行処理と
   を有し、
   前記編集手順実行部が作成した所定のバンド数の前記編集済映像に、当該編集済映像から表示環境によらない基準となる分光反射率を計算する変換行列を付随させて出力する処理を有することを特徴とするコンピュータにより実行可能なマルチスペクトル映像編集プログラム。
5. 所定のバンド数のマルチスペクトル映像と、このマルチスペクトル映像から表示環境によらない基準となる分光反射率を計算する変換行列からなる映像を入力する映像入力部と、
   前記所定のバンド数のマルチスペクトル映像と、前記変換行列から基準となる分光反射率を算出し、固有のディスプレイ特性及び周辺の照明データとに基づき再生映像を生成する再生映像作成部と、
   前記作成された再生映像を表示する表示部と
   を有することを特徴とするマルチスペクトル映像表示装置。

Images