JP6032919B2 - 画像処理装置 - Google Patents

Description

本発明は画像処理装置に関し、特に、画像データの伝送データを生成する画像データ処理に関する。

従来、ベイヤー(Bayer)構造のカラーフィルタを備えた画素配列を有する撮像素子を用いた撮像装置が一般に知られている。このような撮像素子は、カラーフィルタを介して画素を構成する光電変換素子に被写体からの像光を取り込み、像光の強さに応じて画像信号を出力する。そして、後段の処理部が画像信号に所定の処理を施すことによって、ビューファインダや外部の表示装置に画像を表示している。撮像素子には、一般にＲ，Ｇ，Ｂ信号をそれぞれ出力可能なＲ，Ｇ，Ｂ画素が所定のパターンで配置されている。

また、ベイヤー構造の撮像素子により得られた動画データを輝度信号と色差信号に変換し、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）に提案されているＨＤ−ＳＤＩ規格（ＳＭＰＴＥ ２７４Ｍ）に従って伝送する装置も提案されている（例えば、特許文献１参照）。

特開２００２−１９９４１４号公報

特許文献１では、動画データを輝度と色差のデータに変換して送信しており、ベイヤー構造の動画データを送信することができなかった。

本発明は、上記の問題点を鑑みてなされたものである。特に、ベイヤー構造の撮像素子から出力された動画データを送信する際に、この動画データを処理するために必要な情報を適宜送信することができる伝送データの生成を目的とする。

本発明の一観点によれば、ベイヤー配列のカラーフィルタを有する撮像素子から出力された、ベイヤー配列の第１の動画データを取得する取得手段と、前記第１の動画データとは異なる形式の、前記第１の動画データよりも少ない数の色信号を含む第２の動画データと、補助データとを複数のチャンネルを用いて送信するための送信方式に従い、動画データを送信する送信手段と、前記取得手段により取得された第１の動画データから、前記第２の動画データを生成する生成手段と、前記第１の動画データを送信するための第１のモードと、前記第２の動画データを送信するための第２のモードとを含む複数のモードの一つを設定する設定手段と、前記設定手段により設定されたモードに応じて前記送信手段を制御する制御手段とを備え、前記制御手段は、前記第１のモードにおいて、前記第１の動画データにおける所定の色の画像データを、前記補助データを送信するために使用されるチャンネルを用いて送信し、前記所定の色以外の色の画像データを、前記補助データを送信するために使用されるチャンネル以外のチャンネルを用いて送信するように、前記送信手段を制御し、前記第２のモードにおいて、前記生成手段により生成された前記第２の動画データを、前記補助データを送信するために使用されるチャンネル以外のチャンネルを用いて送信するように前記送信手段を制御することを特徴とする画像処理装置が提供される。

本発明によれば、ＨＤ−ＳＩＤ規格に従ったベイヤー構造の動画データを送信できる伝送データを生成する画像処理装置を提供が可能となる。

本発明の実施形態に係わる撮像装置のブロック構成を示す図 ベイヤー構造の撮像素子の画素配列を模式的に示す図 図１の撮像装置の信号処理部の構成を示すブロック図 撮像素子の画素領域における画素配置の構成を模式的に示す図 ベイヤー構造の撮像素子の有効画素領域から出力された画像信号をＲＡＭに記憶したときのデータ配列構成を概念的に示す図 本発明の実施形態に係わる周辺画素データの情報を示すデータテーブルの構成を示す図 図３の信号処理部に含まれる多重部の構成を示すブロック図 信号処理部で生成される各データストリームに配分される画素データを示す図 図５の記憶データにおける１ラインの画素データを、１ライン分に相当する４本のデータストリームに多重したときのデータ構造を示す図 一つのＲＡＷフレームに対して生成されるデータストリームのデータ構成を示す図 データテーブルの情報を格納するＡＮＣパケットの構成を示す図 データテーブルの情報を格納したＡＮＣパケットを多重したデータストリームのデータ構成を示す図 図５の画素データをディベイヤー(DeBayer)処理した画像データとその透明度の情報を示す図

以下、添付図面を参照して本発明の実施形態を詳細に説明する。

図１は、本実施例に係わる撮像装置の構成例を示すブロック図である。本実施形態の撮像装置は、撮像部で得られたベイヤー構造の動画データを送信する第１のモードと、ディベイヤー処理したＲＧＢ形式の動画データを送信する第２のモードを持つ。各モードは、撮影待機状態において、ユーザが操作部１１５を操作することにより選択的に設定することができる（モード設定手段）。また、本実施例の撮像装置は、ベイヤー構造の動画データをＳＤＩ規格に従って送信する際に、有効領域の周辺の画素（以下、周辺画素と呼ぶ）を多重し、その画素のフレーム内における位置と信号の多重位置を特定できる情報を合わせて伝送する構成を備える。従って、本装置は撮像装置であるとともに、画像データの送信装置（データ送信装置）でもある。

図１において、撮像部１０１は、撮像レンズ１０２、シャッター１０３、撮像素子１０４、前置処理回路１０５、Ａ／Ｄ変換器１０６、ＲＯＭ１０７から構成される。撮像レンズ１０２は、ズームレンズおよびフォーカスレンズを含む。シャッター１０３は絞り機能を兼用している。

撮像素子１０４はＣＣＤセンサやＣＭＯＳセンサなどによって図２に示すようなベイヤー構造のカラーフィルタを備えた画素配列を有し、光学像を電気信号に変換する。撮像素子１０４は、後述する制御部１１２から供給されるクロックのタイミング（本実施例では、１／３０秒）で、画素に蓄積された電荷量を示す電気信号をプログレッシブで前置処理回路１０５に供給する。前置処理回路１０５は、撮像素子１０４の出力ノイズ除去のためのＣＤＳ（相関２重サンプリング）回路やＡＧＣ（自動利得制御）回路を含む。前置処理回路１０５は撮像素子からの電気信号を入力し、Ａ／Ｄ変換器１０６は前置処理回路１０５から出力されるアナログ信号をデジタル信号に変換する。

後置処理回路１０７は、第１のモードにおいて、Ａ／Ｄ変換器１０６から供給された画像データをＲ、Ｇｒ、Ｇｂ、Ｂ（赤、緑、緑、青）の４つの画素プレーンに分離する。そして、それぞれの成分に色再現のリニアマトリックス処理を適用した後、各色１０ビットの画素データを信号処理部１０９に供給する。なお、後述の第２のモードにおいては、後処理回路１０７は供給された画像データをＲＧＢの画素プレーンに分離して出力する。

ＲＯＭ１０８には、撮像素子１０４に関する情報として、総画素数、縦横のサイズ、有効ピクセルの位置などを記録している。

信号処理部１０９は、供給されたＲ、Ｇｒ、Ｇｂ、Ｂの画素データに対して後述の処理を施し、送信するのに適した形式のデータを生成してメモリ１１４に記憶する。マルチプレクサ１１０は、メモリ１１４より送信するデータを読み出して多重し、外部インターフェース１１１に送る。外部ＩＦ１１１は、ＳＤＩ規格に従って動画データを外部に送信する。

制御部１１２はＣＰＵを備え、フラッシュメモリ１１３に記憶された制御用のソフトウェアに従って撮像装置１００の各部を制御する。制御部１１２は、操作部１１５からの入力を検出し、撮像部１０１、信号処理部１０９、マルチプレクサ１１０を、タイミングの同期をとりながら制御する。制御部１１２は各種処理で作成したデータを一時的にメモリ１１４に記録し、必要に応じてそれらを読み出す。フラッシュメモリ１１３は電気的に消去・記録可能であり、制御部１１２を動作させるために必要なプログラムや撮像装置１００固有の調整データ等があらかじめ書きこまれている。表示制御部１１７は、撮像部１０１より得られたベイヤー構造の動画データにディベイヤー処理等の所定の処理を施して表示用の動画データを生成し、表示部１１８に送る。表示部１１８は撮影された動画データを表示する。以上で説明した各構成は、各要素間の制御信号やデータ信号のための伝送路である内部バス１１６と接続されている。

このような撮像装置１００において、操作部１１５より電源が投入されると、制御部１１２は各部を制御し、撮像部１０１より撮影された画像データを表示部１１８に表示して撮影待機状態とする。撮影待機状態において、操作部１１５より撮影開始の指示があると、制御部１１２は以下の様に各部を制御し、撮影された画像データを外部ＩＦ１１１より出力する。そして、撮影停止の指示があると、制御部１１２は、外部ＩＦ１１１からの画像データの出力を停止する。

まず、第１のモードの処理について説明する。撮影待機状態において、ユーザは操作部１１５を操作することにより第１のモードを設定することができる。

図３は、信号処理部１０９の構成を示している。メモリ３０３は、撮像部１０１の後置処理回路１０７から受け取った各色の画素のデータを一時的に記憶する（画像データ取得手段）。クロック供給部３０２は、後置処理回路１０７に対して画素のデータの読み出しクロックを供給する。後置処理回路１０７からメモリ３０３に供給される画素データは、制御部１１２により、有効画素のデータと、周辺画素のデータとを分けてメモリ３０３に記憶される。読出し部３０１は、メモリ３０３から画素のデータを読み出し、信号多重部３０４にそれを供給する。なお、メモリ３０３として、メモリ１１４の記憶領域の一部を利用することも可能である。

信号多重部３０４は、供給された画素データを伝送に適した順に並び替え、タイミング基準信号ＳＡＶ(Start of Active Video)／ＥＡＶ(End of Active Video)を多重し、さらに各種アンシラリー(ancillary)データを多重したデータストリームを生成する。

次に、制御部１１２が後置処理回路１０７から供給された画素データをメモリ３０３に記録するときの動作について説明する。

例えば、撮像素子１０４上の画素領域が図４の配置で構成されている場合について説明する。図４に示すように、撮像素子１０４は、有効画素領域と周辺画素領域から構成される。この画素配列の全体エリアから１回に取得可能な画素データ群をＲＡＷフレームと定義する。ＲＡＷフレームの水平方向（横方向）の画素数が４１１２画素（４０９６＋８＋８）、垂直方向（縦方向）の画素数は２１７６画素（２１６０＋８＋８）であり、ベイヤー構造で画素が配列される。

制御部１１２は、ＲＯＭ１０８から前記のような画素配列の縦横幅や各エリアの位置の情報、そしてベイヤー構造の各画素の配列方法に関する情報などを読み込む。制御部１１２は、撮像素子１０４に関する情報により記録のタイミングの制御を行い、後置処理回路１０７から供給される信号から、有効画素のデータと周辺画素のデータのそれぞれを異なる領域に分けてメモリ３０３に記録する。

図５は、制御部１１２がメモリ３０３に記録する、ＲＡＷフレームを構成する有効画素領域の各色（Ｒ、Ｇｒ、Ｇｂ、Ｂ）の画素データである。各色の画素群は、水平方向が２０４８画素、垂直方向が１０８０画素である。また、制御部１１２は、図４で示した８つのエリア（上方、下方、左側（Ｌ１、Ｌ２、Ｌ３）、右側（Ｒ１、Ｒ２、Ｒ３））に位置している周辺画素のデータを、有効画素領域の画素データとは識別可能な状態でメモリ３０３に記憶する。

このとき制御部１１２は、図６で示すデータテーブルを作成し、周辺画素のデータに関連づけてメモリ１１４に記憶する。このデータテーブルは、ＲＡＷフレームにおける各周辺画素のデータの位置と、周辺画素のデータを伝送するときの伝送信号への多重位置の設定値とを示す。制御部１１２は、ＲＡＷフレームの構成に関する情報から、各周辺画素データの位置と範囲を算出する。また、制御部１１２は、ＲＡＷフレームの情報と、伝送方式の両方の組み合わせに応じて、伝送信号に対してあらかじめ設定されている多重位置を選択する(多重位置設定手段)。

図６に示した信号への多重位置の設定値は一例である。伝送方式により、デジタルアクティブラインやブランキング領域のライン数、サンプル数が異なるため、ＲＡＷフレームのフォーマットに応じて、周辺画素データの多重位置を設定する。ブランキング領域のうち、他信号が多重されない位置であれば、所定の多重位置を指定できる。以上が、制御部１１２が後置処理回路１０７から供給された画素データをメモリ３０３に記録するときの動作の説明である。

次に、多重部３０５から３０８の動作について説明する。図７は、多重部３０５から３０８に共通する構成例を示す。

ＦＩＦＯ７０１は、制御部１１２から供給される書き込みクロックに同期して、入力された画素データを記憶する。このとき制御部１１２は、伝送される画素データの多重化構造に応じて、各色の画素データを多重部３０５から３０８にそれぞれ配分する。

本実施例では、動画データをＳＤＩ規格に従って送信する。詳しくは、ＳＭＰＴＥ ＳＴ ４２５（３Ｇ−ＳＤＩ）のレベルＢに準拠し、ＳＭＰＴＥ ＳＴ ３７２（Ｄｕａｌ Ｌｉｎｋ）のＲ’Ｇ’Ｂ’＋Ａの１０ビットの多重化構造を適用して各画素データを配分する。また、画素のサンプルフォーマットは、ＳＭＰＴＥ ＳＴ ２０４８−２で規定された、２０４８×１０８０／３０Ｐに準拠する。

図８は、この規格に従って、有効映像期間（デジタルアクティブライン）に多重される画素データの複数チャンネル（４チャンネル）への配分構成を示している。この配分構成に従って制御部１１２は、データストリームを生成する各多重部に画素データを順番に供給する。例えば、多重部３０５は、画素データをＧｂ（１）、Ｇｂ（２）・・Ｇｂ（２０４８）をこの順番で受け取り、Ｌｉｎｋ Ａのデータストリーム１を生成していく。なお、Ｌｉｎｋ Ｂのデータストリーム１は、ＳＤＩで規定されたＡ（アルファー）チャンネルとして割り当てる。一般的に、Ａチャンネルは、各ピクセルに対して色表現のデータとは別の補助データを送信するために利用される。しかし本実施例の第１のモードでは、ベイヤー構造の画像データを伝送するため、画素数が他の色に比べて相対的に多い色の画素データ（Ｇ画素）をアルファチャンネルに対応するデータストリームに多重する。この色以外の色の画像データは、他のチャンネルのデータストリームに配分して多重する。

制御部１１２は、同様の配分方法で、メモリ３０３に記録された八つのエリアの周辺画素データをＦＩＦＯ７０１に供給する。供給するタイミングは、図６で設定した多重位置（サンプル位置）に従い算出される。

ライン計算部７０２は、撮像装置１００から出力された動画データを受信する受信装置に対して、映像信号の区切り位置を認識するための識別子ＳＡＶ／ＥＡＶを生成する。また、ライン番号の管理用データＬＮ（Line Number）および伝送エラーチェック用のデータＣＲＣＣ（Cyclic Redundancy Check Code） を生成する。タイミング制御部７０３は、制御部１１２から画素データを読み出すタイミングを制御する読出しクロックと、有効映像期間（デジタルアクティブライン）や垂直／水平のブランキング期間のタイミング情報を受信する。有効映像期間のタイミング情報は、データストリームの信号に有効画素のデータを多重させる期間である。また、ブランキング期間のタイミング情報は、周辺画素領域のデータを多重させる期間である。各エリアの周辺画素データを多重するタイミング情報は、制御部１１２により図６のデータテーブルの情報から算出される。そして、タイミング制御部７０３は、画素データを多重するタイミングパルスを発生する。

切り替え制御部７０４は、切り替え部７０６を制御して、ＦＩＦＯ７０１及びライン計算部７０２からの出力の一方を選択してＲＡＭ７０５に出力する。切り替え制御７０４は、供給されたタイミングパルスに基づいて、ＦＩＦＯ７０１から画素データを読み出すタイミングを切り替える。そして、読出しタイミングを切り替えながら、生成中のデータストリームに画素データを多重したり、ＳＡＶ／ＥＡＶ，ＬＮ，ＣＲＣＣを多重したりする。

以上の動作により、多重部３０５から３０８は、それぞれのＲＡＭ７０５に、データストリームを記憶する(第一のデータ多重手段)。図９は、図５で示した各画素プレーンにおける１ラインの画素データを、この１ライン分に相当する４本（４チャンネル）のデータストリームに多重した結果を示す（多重した周辺画素データは省略する）。例えば、Ｇｂ３の“３”の番号は、Ｇｂの画素プレーンの左端の画素データからの順番に対応する。

ここでは、ＲＡＷフレームを構成する２ラインに配置されたＲ、Ｇｒ、Ｇｂ、Ｂの画素データが、それぞれ１ライン分のデータストリームに多重されることを示している。

図１０は、各多重部が生成する１枚のＲＡＷフレームに対応するデータストリームのデータ構成を示す。周辺画素データは、図６のデータテーブルの多重位置の情報に従ってサンプル位置（同図中のサンプル番号）が特定され、ブランキング領域に多重される。

図３において、アンシラリー多重部３０９は、多重部３０５から３０８により供給されたデータストリームにタイムコード、ペイロードＩＤ、そして図６のデータテーブルの情報などを多重する。多重方法は、ＳＭＰＴＥ２９１に準拠する。

アンシラリー多重部３０９は、メモリ１１４より読み出したデータテーブルの情報を、図１１で示すＴｙｐｅ２のアンシラリーパケット（ＡＮＣパケット）の各１０ビットで構成されるユーザーデータワード（Ｕｓｅｒ Ｄａｔａ Ｗｏｒｄｓ）領域に格納する。格納するデータの形式は、それぞれの情報が値として取得できるものであれば、どのような形式であってもよい。また、ＡＮＣパケットの種類は、するためのヘッダ領域であるＤＩＤ(Data Identifier)とＳＤＩＤ(Secondary Data Identifier)で識別される。これらには、本実施例で定義するデータテーブルに関する情報（メタ情報）であることを示す所定の値を設定する。

アンシラリー多重部３０９は、一例として、Ｌｉｎｋ Ａのデータストリーム１のライン番号６で指定される水平ブランキング領域にＡＮＣパケットを多重する（第二のデータ多重手段）。図１２は、ＡＮＣパケットを多重したデータストリームのデータ構成である。

マルチプレクサ１１０は、アンシラリー多重部３０９により各種ＡＮＣパケットが多重された４本のデータストリームをＳＭＰＴＥ ＳＴ ４２５に準拠してワード単位で交互に多重化して単一のデータストリームとし、３Ｇ−ＳＤＩの信号として外部に送信する。

上述した３Ｇ−ＳＤＩの信号を受け取った外部の受信装置は、周辺画素データに関する情報が格納されたＡＮＣパケットをヘッダ情報から検出することができる。これにより受信装置は、受信したユーザーデータワードの情報を取り出し、上方、下方、Ｌ１〜Ｌ３、Ｒ１〜Ｒ３の各周辺画素データが多重されているデータストリームのライン番号、サンプル番号の範囲を特定できる。例えば、Ｌ１の周辺画素データの場合、図６に示した通り、伝送開始ライン番号が３８、ライン数が４、伝送開始サンプル番号が２１９２、サンプル数が４である。受信装置は、多重位置の情報を取得できれば、受信した３Ｇ−ＳＤＩの信号のうち、該当する範囲のサンプルデータをＬ１の周辺画素データとして取得できる。

また、受信装置は、このように取得した上方、下方、Ｌ１〜Ｌ３、Ｒ１〜Ｒ３の８つの周辺画素データを用いて、元のＲＡＷフレームを再構成する処理を行うことが可能となる。そのために、受信装置は、ユーザーデータワードから取り出したＲＡＷフレームでの範囲（図６参照）の情報を利用する。具体的には、ＲＡＷフレーム内の各周辺画素データが配置されていた領域の開始座標と終了座標の値が取得できるので、これらに基づきＲＡＷフレームの８つの周辺画素データをメモリ上に再現する。そして、受信した３Ｇ−ＳＤＩ信号から有効素画データを取り出し、周辺画素データの領域で囲まれた領域に有効画素データを転送する。このようにして、ＲＡＷフレームを再構成できる。

なお、本実施例では、周辺画素データを多重した位置を特定する情報として、ＳＤＩの信号に多重するライン番号、サンプル番号、ライン数、サンプル数の情報を設定した。しかし、この多重位置を特定する情報として、例えば、カメラの型番と動作モードの組み合わせなどにより一意的に多重位置が特定できる、ＩＤの情報を利用する方法もある。

ＳＤＩの信号では、有効画素以外の情報を多重する場合、その情報をＡＮＣパケットに格納してブランキング領域に重畳する。本実施例のように有効画素の上方と下方に位置する周辺画素のデータは、数ライン分の多重領域を要する。この周辺画素データは、仮にＡＮＣパケットのユーザーデータワード（２５５ワード）に格納する方法である場合、２５５ワードの制限があることから、複数パケットに分割して信号に多重することになる。この際、ＡＮＣパケットはヘッダの箇所が冗長となり、多重領域をより多く消費してしまう。このような問題を解消するために、周辺画素のデータをＳＤＩのデータストリームのブランキング領域に多重するとき、デジタルアクティブラインへの画素データの多重方法と同一の方法を適用した。これは、ＳＤＩの信号上の領域に、周辺画素データを効率的に多重する方法である。

また、上記のように、多重した周辺画素データであっても、それを多重した位置に関する情報と元のＲＡＷフレームにおけるその周辺画素データの位置情報とをＡＮＣパケットに格納して送信している。これにより、受信側はそのパケットを、ＳＭＰＴＥ ２９１に準拠した標準の方法に従うことで、正確に受信することが可能になる。
受信装置は、ＡＮＣパケットを解析すれば、有効画素の周辺画素データが伝送信号上で多重されている位置を特定して取り出すことができる。

本実施例では、ベイヤー構造で構成された４０９６×２０４８の有効画素のデータと、周辺画素のデータを伝送した。この画素データは、後工程のワークフローにおいて、ベイヤー構造のＲＡＷフレームの配列に再構成された後、ディベイヤー処理が施されることによって、ＲＧＢの信号から構成される画像データに変換することができる。

そして、このディベイヤー処理を行うとき、４０９６×２０４８の有効画素の左右上下に位置する端領域を正しく現像するために、本実施例で伝送した周辺画素データを利用することができる。

このように、本発明によれば、ベイヤー構造の画素配列で得られた動画フレームデータをＲ’Ｇ’Ｂ’＋Ａの１０ビットの多重化構造のデータストリームで送信することが可能となる。また、その際、フレーム端の領域の補間処理で不足する画素の情報をデータストリームの所定の位置に多重しているので、受信したベイヤー構造の画像データの変換処理を正確に行うことが可能となる。

なお、本発明の画像処理構成は、上述した撮像装置だけでなく、ＰＣ等のデータ処理機能と伝送機能を有する装置にも適用することが可能である。また、本発明のデータ処理のみを他の装置で行い、処理したデータをＰＣ等の通信機能を有する装置に供給して送信する場合の他の装置にも適用できるのは言うまでもない。

次に、第２のモードについて説明する。第１のモードでは、３Ｇ−ＳＤＩの信号のＡチャンネルにＧｒの画素データを多重して送信している。これは、ベイヤー構造で構成する４０９６×２０４８の画素データを３Ｇ−ＳＤＩのデジタルアクティブラインに多重するための方法である。

上述したように、一般的に、Ａチャンネルは、各ピクセルに対して色表現のデータとは別の補助データを送信するために利用される。例えば、プリンターやディスプレイなどの表示装置はＲＧＢ、ＣＭＹＫ（Ｃｙａｎ、Ｍｅｇｅｎｔａ、Ｙｅｌｌｏｗ、Ｂｌａｃｋ）など、単色の組み合わせによって色を表現する。この各単色の明るさ、あるいは濃度を調整することによって人間が知覚する多くの色を表現できる。また、画像処理のソフトウェアでは、これらの表示される単色の他に、もうひとつ直接表示されない色のデータを追加できる。これらは、画像のマスク、複数画像の合成などに使われる。

本実施例の第２のモードは、Ｒ、Ｇ、Ｂの動画信号と共に色の透明度の情報をＡチャンネルに多重して伝送するモードである。ここでは、水平方向が２０４８画素、垂直方向が１０８０画素のＲＧＢで構成される動画データを伝送する例を示す。

前述の様に、第２のモードが設定された撮影待機状態において送信開始の指示があると、制御部１１２は各部を制御して、送信のための画像処理を開始する。

撮像部１０１から出力されたベイヤー構造の画像データは後処理回路１０７に供給される。後置処理回路１０７は、供給された画像データに対してディベイヤー処理を施し、更に、画素数を削減して、Ｒ、Ｇ、Ｂ（赤、緑、青）で構成される水平２０４８画素×垂直１０８０画素の画像データを生成する。さらに、後置処理回路１０７は、各画素に対応する色の透明度を、操作部１１５の入力に応じて最大８ビットの値（０から２５５）で設定する。例えば、完全に透明にする場合は透明度を０として設定し、不透明にする場合は透明度を２５５として設定する。本実施例の第２のモードでは、この補助データを、Ａチャンネルを用いて送信する。

図１３は、上述のように後置処理回路１０７により生成された１フレームの動画データおよび透明度を示す。図１３に示す１フレーム分に相当する画素のデータ（Ａチャンネルを含む）は、後置処理回路１０７から信号処理部１０９に供給される。信号処理部１０９は、供給された画素データを３Ｇ−ＳＤＩの信号で規定されるデータストリーム対応した形式に多重して出力する。ここでは、信号処理部１０９は、ＳＭＰＴＥ ＳＴ ３７２（Ｄｕａｌ Ｌｉｎｋ）のＲ’Ｇ’Ｂ’＋Ａの１０ビットの多重化構造を適用して各画素データを多重する。Ｌｉｎｋ Ｂのデータストリーム１に、Ａチャンネルの情報となる各画素の色の透明度の情報を多重する。

このように、本実施例の第２のモードによれば、ベイヤー構造の画像データのディベイヤー処理で得られたＲ、Ｇ、Ｂ信号、その補助情報と供に３Ｇ−ＳＤＩ規格で送信するための伝送データを提供することが可能となる。

また、上述した実施形態において、図３、６〜９、及び１１に示す画像データの伝送データの生成構成は、当該構成に含まれる各機能を実現する為のプログラムをメモリ１１３から読み出し、制御部１１２のＣＰＵがそれを実行することでも実現できる。

その場合、図３、６〜９、及び１１が示す構成に係わる各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、上述したメモリは、フラッシュメモリ等の不揮発性のメモリに限らず、光磁気ディスク装置、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリとすることが可能である。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記録媒体により構成してもよい。

また、本発明の伝送データの生成処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行させることにより各処理を実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）等を含む。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

Claims (7)

1. ベイヤー配列のカラーフィルタを有する撮像素子から出力された、ベイヤー配列の第１の動画データを取得する取得手段と、
   前記第１の動画データとは異なる形式の、前記第１の動画データよりも少ない数の色信号を含む第２の動画データと、補助データとを複数のチャンネルを用いて送信するための送信方式に従い、動画データを送信する送信手段と、
   前記取得手段により取得された第１の動画データから、前記第２の動画データを生成する生成手段と、
   前記第１の動画データを送信するための第１のモードと、前記第２の動画データを送信するための第２のモードとを含む複数のモードの一つを設定する設定手段と、
   前記設定手段により設定されたモードに応じて前記送信手段を制御する制御手段とを備え、
   前記制御手段は、前記第１のモードにおいて、前記第１の動画データにおける所定の色の画像データを、前記補助データを送信するために使用されるチャンネルを用いて送信し、前記所定の色以外の色の画像データを、前記補助データを送信するために使用されるチャンネル以外のチャンネルを用いて送信するように、前記送信手段を制御し、前記第２のモードにおいて、前記生成手段により生成された前記第２の動画データを、前記補助データを送信するために使用されるチャンネル以外のチャンネルを用いて送信するように前記送信手段を制御することを特徴とする画像処理装置。
2. 前記所定の色の画像データは、ベイヤー配列のカラーフィルタにおけるＧ画素に対応するデータであることを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記取得手段により取得された前記第１の動画データに対してディベイヤー処理を施すことにより、前記第２の動画データを生成することを特徴とする請求項１に記載の画像処理装置。
4. 前記送信手段は、前記第１のモードにおいて、４チャンネルを用いて前記取得手段により取得された前記第１の動画データを送信し、前記第２のモードにおいて、前記４チャンネルのうち前記補助データを送信するために使用されるチャンネルを用いて前記補助データを送信し、残りの３チャンネルを用いて前記第２の動画データを送信することを特徴とする請求項１に記載の画像処理装置。
5. 前記送信手段は３Ｇ−ＳＤＩ方式に従って動画データを送信することを特徴とする請求項１に記載の画像処理装置。
6. 前記取得手段は、ベイヤー配列のカラーフィルタを有する前記撮像素子と、前記撮像素子からの出力信号をデジタル信号に変換するＡＤ変換手段とを含むことを特徴とする請求項１に記載の画像処理装置。
7. ベイヤー配列のカラーフィルタを有する撮像素子から出力された、ベイヤー配列の第１の動画データを取得するステップと、
   前記第１の動画データから、前記第１の動画データとは異なる形式の、前記第１の動画データよりも少ない数の色信号を含む第２の動画データを生成するステップと、前記第１の動画データを送信するための第１のモードと、前記第２の動画データを送信するための第２のモードとを含む複数のモードの一つを設定するステップと、
   前記第２の動画データと補助データとを複数のチャンネルを用いて送信するための送信方式に従い、前記複数のモードのうちから設定された前記一つのモードに応じて動画データを送信するステップであって、前記第１のモードにおいて、前記第１の動画データにおける所定の色の画像データを、前記補助データを送信するために使用されるチャンネルを用いて送信し、前記所定の色以外の色の画像データを、前記補助データを送信するために使用されるチャンネル以外のチャンネルを用いて送信し、前記第２のモードにおいて、前記第２の動画データを、前記補助データを送信するために使用されるチャンネル以外のチャンネルを用いて送信するステップとを備えることを特徴とする画像処理方法。

Images