JP4239465B2 - 画像信号伝送装置および方法、並びに画像信号受信装置および方法 - Google Patents
画像信号伝送装置および方法、並びに画像信号受信装置および方法 Download PDFInfo
- Publication number
- JP4239465B2 JP4239465B2 JP2002108853A JP2002108853A JP4239465B2 JP 4239465 B2 JP4239465 B2 JP 4239465B2 JP 2002108853 A JP2002108853 A JP 2002108853A JP 2002108853 A JP2002108853 A JP 2002108853A JP 4239465 B2 JP4239465 B2 JP 4239465B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pixels
- transmitted
- transmission
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、例えばディジタルテレビジョン、ディジタルビデオ記録再生装置等において使用される画像データの伝送に係る伝送装置および方法、並びに受信装置および方法に関する。
【０００２】
【従来の技術】
ディジタル化されたテレビジョン放送用等の画像データを伝送する際に、伝送画像を暗号化して、著作権の保護を図ることが種々提案されている。また、伝送する画像情報の伝送順序は、テレビジョン画像の場合では、電子ビームのラスタースキャンの順とされているのが普通である。
【０００３】
【発明が解決しようとする課題】
暗号化の技術と伝送画像の伝送する順序とは、従来では、別の技術として考えられており、両者を組み合わせることはなかった。
【０００４】
したがって、この発明の目的は、伝送画像を暗号化することと、伝送画像の各画素を伝送する順序とを組み合わせることによって、暗号化を簡単に行うことが可能な画像信号伝送装置および方法、並びに画像信号受信装置および方法を提供することにある。
【０００５】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、伝送画像を伝送する画像信号伝送装置において、
注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、
スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、
暗号鍵情報を変換することによって、スキャン信号を生成するスキャン情報生成手段と、
伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素をスキャン信号にしたがって決定する伝送画素決定手段と、
決定された伝送画素の画素情報を伝送する伝送手段と、
暗号鍵情報を画素情報とは無関係に伝送する伝送手段とを有する画像信号伝送装置である。
請求項７の発明は、伝送画像を伝送する画像信号伝送方法において、
注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、
スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、
暗号鍵情報を変換することによって、スキャン信号を生成するスキャン情報生成ステップと、
伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素をスキャン信号にしたがって決定する伝送画素決定ステップと、
決定された伝送画素の画素情報を伝送する伝送ステップと、
暗号鍵情報を画素情報とは無関係に伝送する伝送ステップとを有する画像信号伝送方法である。
【０００６】
請求項２の発明は、伝送画像を伝送する画像信号伝送装置において、
注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、
スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、
暗号鍵情報を変換することによって、スキャン信号を生成するスキャン情報生成手段と、
伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素をスキャン信号にしたがって決定する伝送画素決定手段と、
決定された伝送画素の画素情報を伝送する伝送手段と、
暗号鍵情報をエンコーダおよびデコーダが共有するための手段とを有する画像信号伝送装置である。
請求項８の発明は、伝送画像を伝送する画像信号伝送方法において、
注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、
スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、
暗号鍵情報を変換することによって、スキャン信号を生成するスキャン情報生成ステップと、
伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素をスキャン信号にしたがって決定する伝送画素決定ステップと、
決定された伝送画素の画素情報を伝送する伝送ステップと、
暗号鍵情報をエンコーダおよびデコーダが共有するためのステップとを有する画像信号伝送方法である。
【０００７】
請求項１３の発明は、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、暗号鍵情報を変換することによって、スキャン信号が生成され、伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素をスキャン信号にしたがって決定し、決定された伝送画素の画素情報を送信し、暗号鍵情報を画素情報とは無関係に送信する画像信号伝送装置に対する画像信号受信装置において、
受信された画素情報から画素値を復号する画素値復号手段と、
受信された暗号鍵情報をスキャン信号に変換し、復号した画素値の出力位置をスキャン信号にしたがって決定する出力位置決定手段とを有する画像信号受信装置である。
請求項１５の発明は、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、暗号鍵情報を変換することによって、スキャン信号が生成され、伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素をスキャン信号にしたがって決定し、決定された伝送画素の画素情報を送信し、暗号鍵情報を画素情報とは無関係に送信する画像信号伝送方法に対する画像信号受信方法において、
受信された画素情報から画素値を復号する画素値復号ステップと、
受信された暗号鍵情報をスキャン情報に変換し、復号した画素値の出力位置をスキャン情報にしたがって決定する出力位置決定ステップとを有する画像信号受信方法である。
【０００８】
請求項１４の発明は、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、暗号鍵情報を変換することによって、スキャン信号が生成され、伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素をスキャン信号にしたがって決定し、決定された伝送画素の画素情報を送信し、暗号鍵情報をエンコーダおよびデコーダが共有する画像信号伝送装置に対する画像信号受信装置において、
受信された画素情報から画素値を復号する画素値復号手段と、
受信された暗号鍵情報をスキャン信号に変換し、復号した画素値の出力位置をスキャン信号にしたがって決定する出力位置決定手段とを有する画像信号受信装置である。
請求項１６の発明は、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、暗号鍵情報を変換することによって、スキャン信号が生成され、伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素をスキャン信号にしたがって決定し、決定された伝送画素の画素情報を送信し、暗号鍵情報をエンコーダおよびデコーダが共有する画像信号伝送方法に対する画像信号受信方法において、
受信された画素情報から画素値を復号する画素値復号ステップと、
受信された暗号鍵情報をスキャン信号に変換し、復号した画素値の出力位置をスキャン信号にしたがって決定する出力位置決定ステップとを有する画像信号受信方法である。
【０００９】
この発明では、暗号鍵情報をスキャン情報に変換する。スキャン情報にしたがって決定された伝送画素の情報を伝送する。暗号鍵情報は、画素情報とは別個に、またはエンコーダおよびデコーダが暗号鍵を共有するようになされる。受信側では、暗号鍵情報をスキャン情報に変換する。受信した画素情報をスキャン情報にしたがって出力することによって伝送画像を復元できる。暗号鍵情報を知らない限り、伝送画像を復号できないので、伝送画像の秘匿することができる。
【００１０】
【発明の実施の形態】
一般的には、ディジタル画像信号をなるべく効率良く伝送するためには、画像の画素近傍相関性を利用するのが良い。似通った画素同士ならば、差分情報を送ることによって随分と効率化できる。ＮＴＳＣ方式ではラスタースキャンを用いているため、スキャンの方法は、固定である。それに対して、以前に提案したスキャンでは、画像近傍相関性を積極的に利用するためにスキャンに自由度を持たせている。自由にスキャンするためには、画像内の画素の位置を示すアドレス情報を画素情報と共に伝送する必要がある。アドレス情報を加えても、画素近傍相関性を利用するので、総合的には、効率が良くなるのである。そうといっても、アドレスをそのまま伝送したのでは、アドレスの情報量が多すぎる。そこで、先に提案した伝送方法では、注目画素からの相対位置を伝送することで、この問題を解決している。
【００１１】
この発明の理解の容易のために、以下、先に提案されている画像信号伝送装置について図面を参照して説明する。図１は、エンコーダ側のブロック図を示し、図２は、エンコード処理のフローチャートを示す。図３は、デコーダ側のブロック図を示し、図４は、デコード処理のフローチャートを示す。
【００１２】
図１において、参照符号１ａ、１ｂ、１ｃは、例えば（４：４：４）のカラーコンポーネント信号（ＹＵＶ）が入力される入力端子である。入力コンポーネント信号がベクトル化部２に供給される。ベクトル化部２において、入力コンポーネント信号がＹＵＶ空間内の一点としてベクトル化される。ベクトル化部２の出力が１画面分の大きさのフレームメモリ３に書き込まれる（このメモリ３をベクトルメモリと呼ぶ）。
【００１３】
参照符号９で示す候補探索部からの候補探索の結果のスキャン信号（伝送した注目画素から見て次の伝送画素の方向を示すもので、以下、スキャン方向、スキャン順データとも適宜称する。）ｓに基づいてベクトルメモリ３から注目画素とそれぞれの候補の方向ｓとベクトルｖがベクトル変換部４に送られる。ベクトル変換部４において、注目画素からそれぞれの候補ベクトルへの差分ベクトルが計算され、差分ベクトルが候補評価部５に送られる。
【００１４】
ローカルデコーダ６では、差分ベクトルテーブル７を参照しながらローカルデコードを行い、デコード値を候補評価部５に供給し、候補評価部５が候補の中から伝送画素を決定する。多重化部１０では、伝送画素の注目画素から見たスキャン信号ｓと代表ベクトルのインデックスｉが多重化され、出力端子１１に伝送データが取り出される。また、候補評価部５からスキャン信号ｓがスキャンメモリ８に供給される。スキャンメモリ８の出力が候補探索部９に供給され、候補探索部９の出力がベクトルメモリ３に与えられる。
【００１５】
図２に示したフローチャートを参照して、エンコード処理の流れを説明する。ステップＳ１において、最初に伝送する画素を決定する。例えば画像の真ん中の画素を選ぶ。但し、最初に伝送する画素は、どの位置でも良い。ステップＳ２では、その画素を量子化して伝送する。伝送した画素を注目画素とする（ステップＳ３）。
【００１６】
ステップＳ４において、スキャンメモリ８から得られる候補の位置から候補を取得する。ステップＳ５において、候補数が規定数に達するかどうか判定する。スキャン方法がジグザクであれば、４個の候補数が規定数である。若し、ステップＳ５において、候補数が規定数に達しないと判定される場合には、規定数に達するまでラスタースキャン順に候補を取得する（ステップＳ６）。
【００１７】
候補数が規定数に達したならば、ステップＳ７において、選択したテーブルによってローカルデコードして伝送画素を決定する。そして、ステップＳ８において、スキャン信号と差分ベクトルのインデックスを伝送する。ステップＳ４、Ｓ６およびＳ７は、メモリに対するアクセスが必要な処理である。ステップＳ９では、伝送した画素に注目する。そして、ステップＳ１０において、全ての画素を伝送したかどうかが決定される。全ての画素を伝送していればエンコード処理が終了する。全ての画素を伝送していなければ、処理がステップＳ４に戻り、次の画素を伝送する
【００１８】
図３を参照してデコーダについて説明する。参照符号２１は、入力端子である。入力データが分割化部２２に供給され、入力データがスキャン信号ｓとインデックス情報ｉに分割される。出力位置決定部２３は、スキャン信号ｓを受けて、スキャンメモリ２４を参照しながら出力位置を決定し、出力位置データａを出力する。ベクトル再構成部２５は、インデックス情報ｉからベクトルを再構成し、ベクトルｖを出力する。
【００１９】
ベクトルｖがコンポーネント化部２７に供給され、ベクトルｖをコンポーネント信号ＹＵＶへ変換する。コンポーネント信号がフレームメモリ２８に供給される。フレームメモリ２８には、出力位置データａも供給されている。そして、フレームメモリ２８から出力端子２９に対して出力位置ａの位置の画素値が出力される。
【００２０】
図４に示したフローチャートを参照して、デコード処理の流れを説明する。ステップＳ２１において、エンコーダからの信号を最初の画素の信号として受信する。ステップＳ２２では、受信した画素データを再構成する。ステップＳ２３では、再構成した画素データを規定の位置に出力する。ステップＳ２２およびＳ２３は、メモリに対するアクセスを必要とする処理である。
【００２１】
ステップＳ２４において、エンコーダからの信号を受信する。ステップＳ２５において、スキャンメモリ上において全ての方向で出力する位置を探索する。出力位置が決まらない方向はラスタースキャン順に出力位置を探索する（ステップＳ２６）。ステップＳ２７では、出力位置を決定する。ステップＳ２８では、インデックス情報から画素データを再構成する。ステップＳ２９において、再構成した画素データをフレームメモリに出力する。ステップＳ３０では、全ての画素を出力したかどうかが決定される。全ての画素を出力していればデコード処理が終了する。そうでなければ、ステップＳ２４に戻り、次の画素を受信する。
【００２２】
従来のラスタースキャンでは、スキャンを固定することによってアドレス情報を送らずに、画素情報のみを送っている。一方、上述した提案した伝送方法では、注目画素からの相対位置をスキャン信号として伝送するのであるが、この時、既伝送画素をどうやって飛び越えるかが問題となる。
【００２３】
図５を参照して既伝送画素の飛び越えについて説明する。図５においては、注目画素を２重丸で示し、探索において伝送画素の候補とされる画素を薄い影を付して示す。また、白丸は未伝送の画素を示し、黒丸は既伝送の画素を示す。伝送すべき画素を探索する探索方法として、２重丸で示す注目画素に対して上下左右の４方向に位置する画素が探索の対象とされる。
【００２４】
図５Ａにおいては、注目画素以外の画素が全て未伝送の画素なので、図５Ｂに示すように、注目画素に対して４方向で隣接する４個の画素が伝送画素の候補とされる。しかしながら、図５Ｃに示すように、注目画素が既伝送画素に囲まれている場合、上下左右という相対関係だけでは、既伝送画素が存在する位置を指定してしまうことになる。このような場合には、既伝送の画素を飛び越して、未伝送の画素が伝送画素の候補とされる。すなわち、図５Ｄに示すように、注目画素の右方向に位置する２画素が既伝送の画素なので、その２画素を飛び越えて注目画素から右方向に３番目の画素が伝送画素の候補とされる。また、注目画素の下方向の１画素が既伝送の画素なので、その１画素を飛び越えて注目画素から下方向に２番目の画素が伝送画素の候補とされる。
【００２５】
この処理のため、エンコーダとデコーダに１フレーム分のメモリ（スキャンメモリ８および２４）をそれぞれ持ち、伝送された画素にフラグを立てることで、既伝送画素と未伝送画素を区別している。なお、画素を送ったか（送られたか）送っていないか（送られていないか）の情報は、エンコーダとデコーダで共有でき、この情報を送信する必要はない。
【００２６】
次に、スキャンパターンについて説明する。従来のラスタースキャンでは、画面左上から一列ずつ順に送るというスキャンのルールが決まっている。よってスキャンに関する情報をまったく伝送する必要がない。全てのビットを画素データとして送ることができる。しかし反面、どのような画においても同じようにスキャンするため、画像が持つ近傍相関性を活かしてはいない。
【００２７】
一方、全くランダムにスキャンしようとする場合は、アドレス情報を送らなければならない。しかしアドレス情報だけで１画素につき、標準的解像度の画像の場合では、ｘ方向、ｙ方向共に１０ビットのデータ量が必要である。アドレス情報は、正確に送らなければならない情報であるので、量子化等によってデータ量を削減することはできない。その結果、近傍相関性を利用して効率化するとはいえ、アドレス情報のデータ量は、かなり重い。
【００２８】
そこで、提案伝送方式では、スキャンに自由度を持たせることによって伝送を効率化している。“自由度を持たせる”とは、完全に固定とせず、一方、全く自由にもしないことを意味する。予め決めてあるスキャンパターンに基づいて、注目画素との相対位置を伝送するようになされる。
【００２９】
スキャンパターンには、種々のものがありうる。図６は、幾つかのスキャンパターンの例を示す。図６Ａは、参考として示す従来のラスタースキャンを示す。ラスタースキャンの場合では、スキャンの方向が固定であるので、アドレス情報を伝送する必要がない。図６Ｂは、注目画素に対して上下左右の４方向に位置する画素の何れかが伝送される。この場合には、１画素について２ビットのアドレス情報が必要である。左上にある破線は、候補を一つも取得することができなかったときは、ラスタースキャンに切り替わることを示す。
【００３０】
図６Ｃに示すスキャンパターン（ジグザグ）は、伝送画素を中心に分割した４領域に対してジグザグスキャンで候補を探索するものである。そのためスキャンが行き詰まることなく、最後まで画素を伝送することができる。１画素について２ビットのアドレス情報が必要である。図６Ｄは、注目画素に対して上下左右および斜めの計８方向に位置する画素の何れかが伝送される。この場合には、１画素について３ビットのアドレス情報が必要である。図６Ｄのスキャンパターンは、多くの候補の中から伝送画素を選択するので、近傍相関性をより活かすことができるが、アドレス情報が他のスキャン方法に比して１ビット増え、その分画素に割り当てることができるデータが１ビット減少する問題がある。
【００３１】
上述の伝送方式では、ある一つのスキャンパターンに基づいて候補を選択し、その候補に差分ベクトルテーブル中の差分ベクトルを当てはめ、最も誤差の少ない差分ベクトルのインデックスを伝送するようになされる。１画素ごとに割り当てられるビット数が決まっている場合、一度に取得できる候補の数と、差分ベクトルテーブルの差分ベクトルの数は反比例する。以下に１画素に８ビットが割り当てられている場合の例を示す。
【００３２】
上述した図６Ｄに示すスキャンパターンのように、８個の候補を一度に取得する場合には、候補の特定のために３ビットが必要であるので、差分ベクトルに対しては５ビットを使用でき、差分ベクトルの数が３２となる。図６Ｂまたは図６Ｃに示すスキャンパターンのように、４個の候補を一度に取得する場合には、候補の特定のために２ビットが必要であるので、差分ベクトルに対しては６ビットを使用でき、差分ベクトルの数が６４となる。さらに、水平方向のみに、２個の候補を一度に取得する場合には、候補の特定のために１ビットが必要であるので、差分ベクトルに対しては７ビットを使用でき、差分ベクトルの数が１２８となる。さらに、従来のラスタースキャンのように、スキャンパターンが固定である場合には、８ビット全てを差分ベクトルに割り当てることができるので、差分ベクトル数が２５６となる。
【００３３】
このように候補取得数を増やせば差分ベクトル数が減り、差分ベクトル数を増やせば候補取得数が減る関係がある。一般的には、多くの候補を取得できるときは選択肢が多いので、差分ベクトル数が少なくても良いし、その逆も成り立つ。候補取得数と差分ベクトル数の関係として、バランスが良いものは、その時々の画像の伝送状況や画像そのものの傾向によって変化すると考えられる。
【００３４】
上述した伝送方法における色空間差分ベクトル符号化について説明する。図７に示すように、コンポーネント信号である注目画素データおよび伝送画素データをそれぞれ色空間におけるベクトルとして扱い、その差分ベクトルを伝送している。この方法は、コンポーネント信号の各コンポーネントを別々に差分を生成するのと比較して、かなり効率化することができる。図８Ａおよび図８Ｂに示すように、ＹＵＶコンポーネントの色空間ベクトルの集合の方がＲＧＢコンポーネントの色空間ベクトルに比して相関が強いので、集合が小さくまとまる。さらに、色空間差分ベクトルを形成することによって（０，０）近傍に色空間差分ベクトルがまとまる。
【００３５】
図９に示すように、色空間差分ベクトルの集合を代表するベクトルを予め求め、差分ベクトルのテーブルを作成する。テーブルにおいて、各差分ベクトルは、インデックスによって区別される。差分ベクトルテーブルは、エンコーダ側とデコーダ側で共有され、インデックスが伝送される。１画素に対して８ビットの枠で、スキャン方法としてジグザクを用いているのであれば、アドレス以外の６ビット（６４個）の代表ベクトルを持つことができる。ベクトル化部２は、コンポーネント信号を色空間におけるベクトルｖに変換するものである。
【００３６】
さらに、上述した伝送方法における候補選択方法とローカルデコードに関する処理について、図１０を参照して説明する。この処理は、図１におけるベクトル変換部４、ローカルデコーダ６および候補評価部５によってなされる。また、図２では、ステップＳ７においてなされる。図１０において、二重丸の画素が注目画素であり、丸が候補画素であり、丸内の数字は、候補画素に付された通し番号である。各候補画素は、必ずしも注目画素に隣接せず、スキャンパターンにおける、ある方向から取得されたものである。図１０Ａに示すように、一つの注目画素に対して例えば４個の候補画素が存在するものとしている。
【００３７】
先ず、注目画素をローカルデコードした値に対してエンコード側とデコード側で共通に持っている差分ベクトルテーブルに適用する。一例として、６ビットで６４（２6）個の差分ベクトルがあるとすると、図１０Ｂに示すように、注目画素のローカルデコード値に対して差分ベクトルをそれぞれ加算すれば、６４個の色ベクトルが作成される。これらが現在作り得る伝送画素値である。
【００３８】
次に、図１０Ｃに示すように、各候補と注目画素から作り出せる伝送可能な画素値を比較し、比較の結果に基づいて各候補毎に最も相関の強い伝送可能な画素値を決定する。最も相関の強い伝送可能な画素値は、各候補の最適な近似値である。ローカルデコーダ６には、注目画素のベクトルが供給され、ローカルデコーダ６は、注目画素のローカルデコードと図１０Ｂに示す作り得る伝送画素値を生成する処理と生成した６４個の伝送画素値と各候補画素値との差分を演算する処理と各候補の最適な近似値を生成する処理とを行う。
【００３９】
最後に、図１０Ｄに示すように、各候補と最適伝送可能画素との差分値をそれぞれ求める。求められた差分値の最も小なる候補を、４個の候補の中で最も伝送時の誤差が小さくなる候補と判断し、伝送画素を決定する。決定された伝送画素の注目画素から見た方向と差分ベクトルのインデックスとが多重化されて伝送される。候補評価部５は、図１０Ｄに示すように、各候補画素の伝送後の誤差を求め、伝送画素を決定する処理を行う。
【００４０】
次にこの発明について説明する。上述した伝送方法では、伝送する画素と次に伝送する画素の差が最も小さくなるように、最適なスキャン順を求め、スキャン信号と画素情報（インデックス）とを一緒に伝送するものである。この発明は、伝送画像の秘匿性を高めるために、スキャン順データを画素情報と一緒に伝送しないものである。例えばそれによって伝送画像の著作権保護をなしうる。若し、スキャン順データを伝送しないと、伝送画像を復元することができない。ユーザは、暗号鍵または暗号鍵の一部としてのスキャン情報を知らないと、伝送画像を復元することができない。以下では、暗号鍵または暗号鍵の一部を暗号鍵情報または暗号コードと適宜称する。上述した先に提案された伝送方法に対してもこの発明を適用することが可能である。すなわち、暗号鍵情報に基づいてスキャン信号を生成し、暗号鍵情報を画素情報と別個に伝送するか、またはエンコーダおよびデコーダ側で暗号鍵を共有するようにすればよい。
【００４１】
図１１は、暗号鍵情報（暗号コード）をスキャン信号に変換する方法を示すものである。図１１Ａに示すように、上下左右のスキャン方向が可能な場合に、（上方向：（００）、左方向：（０１）、右方向：（１０）、下方向：（１１））と規定する。例えば８ビットの暗号鍵情報の値が「１５１」で、２進数では、（１００１０１１１）である場合、図１１Ｂに示すように、この暗号鍵情報が２ビット毎に区切られ、スキャン信号へ変換される。この例では、スキャン順が（右→左→左→下）とされる。図１１Ｂの方法では、スキャン信号が全て暗号鍵情報と対応している。
【００４２】
先に提案されている伝送方法では、画像固有の特徴に適応したスキャンを実現することで伝送効率を向上させている。スキャン情報を暗号鍵に使用することによって、伝送効率を向上するといった特徴を犠牲にする。したがって、伝送画像の復号画像の画質が劣化してしまう。しかしながら、一実施形態のように、色空間差分ベクトルを用いることによって、差分が大きくなるような画素の伝送に関しても柔軟に対応することが可能であり、伝送画像の画質劣化が大きくなることは防止できる。
【００４３】
図１１Ｃに示す他の例は、８ビットに区切ったスキャン信号の上位の２ビットのみを暗号鍵情報とし、残りの下位側の６ビットをフリーとしたものである。すなわち、４回に１回だけは、暗号鍵情報によってスキャン順を決定し、後の３回は、上述した先に提案されている伝送方法を適用して決定された、最も効率の良いスキャン順に対応したものとされる。したがって、図１１Ｂに示す方法と比較して、伝送画像の画質を良くすることができる。なお、下位側の４ビットまたは２ビットをフリーとするようにしても良い。
【００４４】
図１２は、暗号鍵情報の３個の例を示している。暗号鍵情報の第１の例は、伝送データ（伝送画像）Ｉの縮小画像Ｂ１である。縮小画像は、例えば伝送画像をサブサンプリングすることで生成できる。例えば水平方向および垂直方向でそれぞれ１／２の間引きを行えば、１／４の縮小画像が形成できる。この縮小画像の各画素の８ビットのコードを２ビット毎に区切り、各２ビットによってスキャン方向が規定される。縮小画像を暗号鍵情報とする場合では、縮小画像の画素値として全体の１／４の真値が分かるので、真値を使用して画質を向上させることが可能となる。縮小画像そのものが暗号鍵情報であることを知らなければ、縮小画像を見ることができても、伝送画像を復号できない。但し、縮小画像の場合では、機密保持の程度が低くなる。
【００４５】
暗号鍵情報の第２の例は、伝送データＩと無関係の画像Ｂ２である。無関係の画像の場合では、機密保持度を高くすることができる。また、伝送画像の系列に混ぜることも可能である。なお、暗号鍵情報は、画像情報に限らず、オーディオ情報であっても良い。
【００４６】
暗号鍵情報の第３の例は、ディジタルデータＢ３である。ディジタルデータＢ３としては、どのようなデータであっても良く、例えば生年月日等の数字列、名前等の文字列等のテキストデータであっても良い。但し、数字、文字等に対応するコードを規定しておく必要がある。さらに、数字等とスキャン方向との対応付けをテーブル化しておいても良い。一般的に暗号鍵情報は、それ自体意味がないものが多いが、この発明では、画像、音声、テキスト等の意味を持つ情報を暗号鍵情報として使用することができる。
【００４７】
図１３は、この発明の一実施形態におけるシステム構成を概略的に示す。参照符号１０１で示すエンコーダでは、暗号コード（暗号鍵情報）１０２のデータがスキャン順を示すスキャン信号１０３へ変換される。バッファメモリに蓄積されている伝送画像１０４の画素データ１０５がスキャン信号１０３で示される順序で出力される。この場合、スキャンの効率化のために、画素データ自体ではなく、画素値の差分等を伝送しても良く、先に提案されている伝送方法のような差分ベクトルのインデックスを伝送しても良い。これらを総称して画素データまたは画素情報と称する。画素データが伝送データ１０６とされ、伝送または記録媒体に記録される。
【００４８】
暗号コード１０２は、参照符号２０１で示すデコーダに対して伝送画像の画素情報とは別個に伝送される。但し、暗号コードであることが簡単に判別できないように伝送画像のデータ中に混ぜるようにしても良い。伝送方法としては、手渡し、郵送、電子メール等のどのような方法であっても使用できる。また、エンコーダ側とデコーダ側で複数の暗号鍵情報例えば複数の画像を有しており、その中の特定の画像を指定することによって、実質的に暗号コードを伝送することもできる。例えば複数の画像を番号付けしておき、第何番目の画像かを教えることによって、暗号コードを実質的に伝送できる。さらに、特定のＷｅｂサイトにアクセスすることを取り決めておき、そこで複数の画像、テキスト等を表示し、その中の所定のものをダウンロードしてくることによって暗号コードを得ることができる。若し、アクセスするサイト自身が秘密にされていたり、一般的には、どの画像またはテキストを使用するかを指示していることが分からなければ、サイト上で暗号コードに対応する画像またはテキストを指示することが可能である。但し、図１１Ｃに示したような暗号コードが伝送画像に依存する場合には、暗号コード自体を何らかの方法でデコーダ側へ伝送する必要がある。
【００４９】
デコーダ２０１では、受信された暗号コード２０６をスキャン順を示すスキャン信号２０４に変換する。受信された伝送データ２０２から画素データ２０３が取り出され、画素データ２０３は、バッファメモリに対してスキャン信号２０４で示される画素位置に格納される。それによって、伝送画像２０５が復元される。デコーダ２０１では、暗号コードを知らないがぎり、伝送画像を復号することができない。それによって、伝送画像を秘匿することができる。
【００５０】
図１４に示したフローチャートを参照して、エンコード処理の流れを説明する。ステップＳ４１において、伝送画像が入力され、ステップＳ４２において、暗号コードが入力される。ステップＳ４３において、暗号コードがスキャン順のデータへ変換される。ステップＳ４４において、最初に伝送する画素を決定する。例えば画像の真ん中の画素を選ぶ。但し、最初に伝送する画素は、どの位置でも良い。ステップＳ４５では、その最初の画素を伝送データ例えばインデックスに変換する。今、変換した画素に注目する（ステップＳ４６）。
【００５１】
ステップＳ４７において、ステップＳ４３において変換しているスキャン順の通りに候補から次に伝送する画素を決定する。ステップＳ４８において、決定した伝送画素を伝送データへ変換する。ステップＳ４９では、今、伝送した画素に注目する。ステップＳ５０では、全ての画素を伝送したかどうかが決定される。全ての画素を伝送していればエンコード処理が終了する。全ての画素を伝送していなければ、処理がステップＳ４７に戻り、処理を続ける。ステップＳ５１において、伝送データに変換された伝送画像データを伝送する。ステップＳ５２において、暗号コードを伝送する。上述したように、暗号コードの伝送方法としては、種々の方法が可能である。
【００５２】
図１５に示したフローチャートを参照して、デコード処理の流れを説明する。ステップＳ６１において、伝送画像データを受信する。フレームの最初に送られてくる画素データを受信する。ステップＳ６２において、暗号コードを受信する。暗号コードの取得方法としては、前述したように種々のものがありうる。ステップＳ６３では、取得した暗号コードをスキャン順へ変換する。ステップＳ６４では、受信した最初の画素データを再構成する。例えばインデックスを画素値へ変換する。ステップＳ６５では、再構成した画素データを規定の位置例えば画像の中央位置に出力する。
【００５３】
ステップＳ６６において、受信したデータ中の次の画素データ（２番目の画素以降）に注目する。ステップＳ６７において、画素データを再構成する。上から探索して空いている画素を出力位置として当てはめる。ステップＳ６８では、ステップＳ６３において得られているスキャン順にしたがって出力位置（アドレス）を決める。ステップＳ６９において、その出力位置に画素値を出力する。ステップＳ７０では、全ての画素を出力したか否かが調べられる。出力していれば、処理が終了する。そうでなければ、ステップＳ６６に戻り、次の画素を受信する。
【００５４】
図１６は、この発明が適用されたエンコーダの一例の構成を示すものである。図１６において、参照符号３１ａ、３１ｂ、３１ｃは、例えば（４：４：４）のカラーコンポーネント信号（ＹＵＶ）が入力される入力端子である。入力コンポーネント信号がベクトル化部３２に供給される。ベクトル化部３２において、入力コンポーネント信号がＹＵＶ空間内の一点としてベクトル化される。ベクトル化部３２の出力が１画面分の大きさの伝送画像メモリ（フレームメモリ）３３に書き込まれる。
【００５５】
入力端子３４には、暗号コードｃが供給され、暗号コーｃドが変換部３６に供給され、暗号コードが２ビット毎に区切られて各２ビットのスキャン信号ｓが生成される。スキャン信号ｓが伝送画素決定部３７に供給される。
【００５６】
伝送画素決定部３７は、スキャンメモリ４１の内容を参照して伝送画素を決定し、決定した伝送画素のベクトルｖを伝送画像メモリ３３から読み出して出力する。また、スキャン信号ｓも伝送されるために、出力される。スキャンメモリ４１は、伝送画像メモリ３３に格納されている各画素が既伝送か、未伝送かを示すフラグを格納するものである。
【００５７】
伝送画素のベクトルｖとスキャン信号ｓとがベクトル変換部３８に送られる。ベクトル変換部３８において、前回の伝送画素のローカルデコード値と今回の伝送画素のローカルデコード値との差分ベクトルが計算され、差分ベクトルがインデックス決定部３９に送られる。インデックス決定部３９では、差分ベクトルテーブル４０を参照しながら差分ベクトルに最も近いインデックスｉを決定する。インデックス決定部３９からのインデックスｉがメモリ４２に記憶される。メモリ４２から出力端子４３に伝送データ（インデックスｉ）が取り出される。また、インデックス決定部３９からスキャン信号ｓがスキャンメモリ４１に供給され、スキャンメモリ４１が更新される。暗号コードは、画素情報としてのインデックスｉと一緒に伝送されず、出力端子３５に取り出され、上述したような種々の方法で伝送される。
【００５８】
図１７は、この発明が適用されたデコーダの一例の構成を示すものである。図１７を参照してデコーダについて説明する。参照符号５１ａは、伝送画像データの画素情報としてのインデックスｉが入力される入力端子を示す。参照符号５１ｂは、画素情報と別の経路で受け取った暗号コードｃの入力端子を示す。暗号コードｃが変換部５７に供給され、暗号コードｃがスキャン順データへ変換される。スキャン順データがスキャン順メモリ５８に格納される。
【００５９】
メモリ５８からのスキャン信号ｓが出力位置決定部６０に供給される。出力位置決定部６０は、スキャン信号ｓを受けて、スキャンメモリ５９を参照しながら出力位置を決定し、出力位置データａを出力する。ベクトル再構成部５２は、インデックス情報ｉから差分ベクトルテーブル５３を参照してベクトルを再構成し、ベクトルｖを出力する。ベクトルｖがコンポーネント化部５４に供給され、ベクトルｖがコンポーネント信号ＹＵＶへ変換される。コンポーネント信号が伝送画像メモリ（フレームメモリ）５５に書き込まれる。伝送画像メモリ５５には、出力位置データａも供給され、出力位置データａで示される位置の画素値が伝送画像メモリ５５から出力端子５６に対して出力される。
【００６０】
この発明は、上述したこの発明の一実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばアドレス情報を伝送するランダムスキャンであれば、図６Ｂに示すスキャン方法に限らず、図６Ｃ、図６Ｄ等のスキャン方法を使用しても良い。
【００６１】
【発明の効果】
この発明では、暗号鍵情報に基づいてスキャン方向あるいはスキャン順序を示すスキャン情報を生成し、暗号鍵情報を画素情報と別個に伝送するか、またはエンコーダおよびデコーダ側で共有するようになされる。したがって、受信側では、暗号鍵情報が分からないと、伝送画像を復号できず、伝送画像の秘匿性を高くすることができる。
【図面の簡単な説明】
【図１】本願出願人が先に提案した伝送方式におけるエンコーダの構成を示すブロック図である。
【図２】本願出願人が先に提案した伝送方式におけるエンコード処理の流れを示すフローチャートである。
【図３】本願出願人が先に提案した伝送方式におけるデコーダの構成を示すブロック図である。
【図４】本願出願人が先に提案した伝送方式におけるデコード処理の流れを示すフローチャートである。
【図５】本願出願人が先に提案した伝送方式における既伝送画素の飛び越え方法について説明するための略線図である。
【図６】本願出願人が先に提案した伝送方式における伝送すべき画素の探索方法について説明するための略線図である。
【図７】本願出願人が先に提案した伝送方式における色空間差分ベクトルについて説明するための略線図である。
【図８】本願出願人が先に提案した伝送方式における色空間差分ベクトルについて説明するための略線図である。
【図９】本願出願人が先に提案した伝送方式における色空間差分ベクトルについて説明するための略線図である。
【図１０】本願出願人が先に提案した伝送方式における候補選択方法とローカルデコードの説明に用いる略線図である。
【図１１】この発明における伝送画像以外の情報をスキャン情報に埋め込む方法を説明するための略線図である。
【図１２】この発明における暗号鍵情報の例を説明するための略線図である。
【図１３】画像情報を埋め込むこの発明の一実施形態のシステムを概略的に説明するためのブロック図である。
【図１４】この発明の一実施形態のエンコード処理の流れを示すフローチャートである。
【図１５】この発明の一実施形態におけるデコード処理の流れを示すフローチャートである。
【図１６】この発明の一実施形態におけるエンコーダの構成を示すブロック図である。
【図１７】この発明の一実施形態におけるデコーダの構成を示すブロック図である。
【符号の説明】
３３・・・伝送画像メモリ、３４・・・暗号コード入力端子、３６・・・暗号コードをスキャン順に変換する変換部、３７・・・伝送画素決定部１０１・・・エンコーダ、２０１・・・デコーダ
【発明の属する技術分野】
この発明は、例えばディジタルテレビジョン、ディジタルビデオ記録再生装置等において使用される画像データの伝送に係る伝送装置および方法、並びに受信装置および方法に関する。
【０００２】
【従来の技術】
ディジタル化されたテレビジョン放送用等の画像データを伝送する際に、伝送画像を暗号化して、著作権の保護を図ることが種々提案されている。また、伝送する画像情報の伝送順序は、テレビジョン画像の場合では、電子ビームのラスタースキャンの順とされているのが普通である。
【０００３】
【発明が解決しようとする課題】
暗号化の技術と伝送画像の伝送する順序とは、従来では、別の技術として考えられており、両者を組み合わせることはなかった。
【０００４】
したがって、この発明の目的は、伝送画像を暗号化することと、伝送画像の各画素を伝送する順序とを組み合わせることによって、暗号化を簡単に行うことが可能な画像信号伝送装置および方法、並びに画像信号受信装置および方法を提供することにある。
【０００５】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、伝送画像を伝送する画像信号伝送装置において、
注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、
スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、
暗号鍵情報を変換することによって、スキャン信号を生成するスキャン情報生成手段と、
伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素をスキャン信号にしたがって決定する伝送画素決定手段と、
決定された伝送画素の画素情報を伝送する伝送手段と、
暗号鍵情報を画素情報とは無関係に伝送する伝送手段とを有する画像信号伝送装置である。
請求項７の発明は、伝送画像を伝送する画像信号伝送方法において、
注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、
スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、
暗号鍵情報を変換することによって、スキャン信号を生成するスキャン情報生成ステップと、
伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素をスキャン信号にしたがって決定する伝送画素決定ステップと、
決定された伝送画素の画素情報を伝送する伝送ステップと、
暗号鍵情報を画素情報とは無関係に伝送する伝送ステップとを有する画像信号伝送方法である。
【０００６】
請求項２の発明は、伝送画像を伝送する画像信号伝送装置において、
注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、
スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、
暗号鍵情報を変換することによって、スキャン信号を生成するスキャン情報生成手段と、
伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素をスキャン信号にしたがって決定する伝送画素決定手段と、
決定された伝送画素の画素情報を伝送する伝送手段と、
暗号鍵情報をエンコーダおよびデコーダが共有するための手段とを有する画像信号伝送装置である。
請求項８の発明は、伝送画像を伝送する画像信号伝送方法において、
注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、
スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、
暗号鍵情報を変換することによって、スキャン信号を生成するスキャン情報生成ステップと、
伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素をスキャン信号にしたがって決定する伝送画素決定ステップと、
決定された伝送画素の画素情報を伝送する伝送ステップと、
暗号鍵情報をエンコーダおよびデコーダが共有するためのステップとを有する画像信号伝送方法である。
【０００７】
請求項１３の発明は、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、暗号鍵情報を変換することによって、スキャン信号が生成され、伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素をスキャン信号にしたがって決定し、決定された伝送画素の画素情報を送信し、暗号鍵情報を画素情報とは無関係に送信する画像信号伝送装置に対する画像信号受信装置において、
受信された画素情報から画素値を復号する画素値復号手段と、
受信された暗号鍵情報をスキャン信号に変換し、復号した画素値の出力位置をスキャン信号にしたがって決定する出力位置決定手段とを有する画像信号受信装置である。
請求項１５の発明は、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、暗号鍵情報を変換することによって、スキャン信号が生成され、伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素をスキャン信号にしたがって決定し、決定された伝送画素の画素情報を送信し、暗号鍵情報を画素情報とは無関係に送信する画像信号伝送方法に対する画像信号受信方法において、
受信された画素情報から画素値を復号する画素値復号ステップと、
受信された暗号鍵情報をスキャン情報に変換し、復号した画素値の出力位置をスキャン情報にしたがって決定する出力位置決定ステップとを有する画像信号受信方法である。
【０００８】
請求項１４の発明は、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、暗号鍵情報を変換することによって、スキャン信号が生成され、伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素をスキャン信号にしたがって決定し、決定された伝送画素の画素情報を送信し、暗号鍵情報をエンコーダおよびデコーダが共有する画像信号伝送装置に対する画像信号受信装置において、
受信された画素情報から画素値を復号する画素値復号手段と、
受信された暗号鍵情報をスキャン信号に変換し、復号した画素値の出力位置をスキャン信号にしたがって決定する出力位置決定手段とを有する画像信号受信装置である。
請求項１６の発明は、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、暗号鍵情報を変換することによって、スキャン信号が生成され、伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素をスキャン信号にしたがって決定し、決定された伝送画素の画素情報を送信し、暗号鍵情報をエンコーダおよびデコーダが共有する画像信号伝送方法に対する画像信号受信方法において、
受信された画素情報から画素値を復号する画素値復号ステップと、
受信された暗号鍵情報をスキャン信号に変換し、復号した画素値の出力位置をスキャン信号にしたがって決定する出力位置決定ステップとを有する画像信号受信方法である。
【０００９】
この発明では、暗号鍵情報をスキャン情報に変換する。スキャン情報にしたがって決定された伝送画素の情報を伝送する。暗号鍵情報は、画素情報とは別個に、またはエンコーダおよびデコーダが暗号鍵を共有するようになされる。受信側では、暗号鍵情報をスキャン情報に変換する。受信した画素情報をスキャン情報にしたがって出力することによって伝送画像を復元できる。暗号鍵情報を知らない限り、伝送画像を復号できないので、伝送画像の秘匿することができる。
【００１０】
【発明の実施の形態】
一般的には、ディジタル画像信号をなるべく効率良く伝送するためには、画像の画素近傍相関性を利用するのが良い。似通った画素同士ならば、差分情報を送ることによって随分と効率化できる。ＮＴＳＣ方式ではラスタースキャンを用いているため、スキャンの方法は、固定である。それに対して、以前に提案したスキャンでは、画像近傍相関性を積極的に利用するためにスキャンに自由度を持たせている。自由にスキャンするためには、画像内の画素の位置を示すアドレス情報を画素情報と共に伝送する必要がある。アドレス情報を加えても、画素近傍相関性を利用するので、総合的には、効率が良くなるのである。そうといっても、アドレスをそのまま伝送したのでは、アドレスの情報量が多すぎる。そこで、先に提案した伝送方法では、注目画素からの相対位置を伝送することで、この問題を解決している。
【００１１】
この発明の理解の容易のために、以下、先に提案されている画像信号伝送装置について図面を参照して説明する。図１は、エンコーダ側のブロック図を示し、図２は、エンコード処理のフローチャートを示す。図３は、デコーダ側のブロック図を示し、図４は、デコード処理のフローチャートを示す。
【００１２】
図１において、参照符号１ａ、１ｂ、１ｃは、例えば（４：４：４）のカラーコンポーネント信号（ＹＵＶ）が入力される入力端子である。入力コンポーネント信号がベクトル化部２に供給される。ベクトル化部２において、入力コンポーネント信号がＹＵＶ空間内の一点としてベクトル化される。ベクトル化部２の出力が１画面分の大きさのフレームメモリ３に書き込まれる（このメモリ３をベクトルメモリと呼ぶ）。
【００１３】
参照符号９で示す候補探索部からの候補探索の結果のスキャン信号（伝送した注目画素から見て次の伝送画素の方向を示すもので、以下、スキャン方向、スキャン順データとも適宜称する。）ｓに基づいてベクトルメモリ３から注目画素とそれぞれの候補の方向ｓとベクトルｖがベクトル変換部４に送られる。ベクトル変換部４において、注目画素からそれぞれの候補ベクトルへの差分ベクトルが計算され、差分ベクトルが候補評価部５に送られる。
【００１４】
ローカルデコーダ６では、差分ベクトルテーブル７を参照しながらローカルデコードを行い、デコード値を候補評価部５に供給し、候補評価部５が候補の中から伝送画素を決定する。多重化部１０では、伝送画素の注目画素から見たスキャン信号ｓと代表ベクトルのインデックスｉが多重化され、出力端子１１に伝送データが取り出される。また、候補評価部５からスキャン信号ｓがスキャンメモリ８に供給される。スキャンメモリ８の出力が候補探索部９に供給され、候補探索部９の出力がベクトルメモリ３に与えられる。
【００１５】
図２に示したフローチャートを参照して、エンコード処理の流れを説明する。ステップＳ１において、最初に伝送する画素を決定する。例えば画像の真ん中の画素を選ぶ。但し、最初に伝送する画素は、どの位置でも良い。ステップＳ２では、その画素を量子化して伝送する。伝送した画素を注目画素とする（ステップＳ３）。
【００１６】
ステップＳ４において、スキャンメモリ８から得られる候補の位置から候補を取得する。ステップＳ５において、候補数が規定数に達するかどうか判定する。スキャン方法がジグザクであれば、４個の候補数が規定数である。若し、ステップＳ５において、候補数が規定数に達しないと判定される場合には、規定数に達するまでラスタースキャン順に候補を取得する（ステップＳ６）。
【００１７】
候補数が規定数に達したならば、ステップＳ７において、選択したテーブルによってローカルデコードして伝送画素を決定する。そして、ステップＳ８において、スキャン信号と差分ベクトルのインデックスを伝送する。ステップＳ４、Ｓ６およびＳ７は、メモリに対するアクセスが必要な処理である。ステップＳ９では、伝送した画素に注目する。そして、ステップＳ１０において、全ての画素を伝送したかどうかが決定される。全ての画素を伝送していればエンコード処理が終了する。全ての画素を伝送していなければ、処理がステップＳ４に戻り、次の画素を伝送する
【００１８】
図３を参照してデコーダについて説明する。参照符号２１は、入力端子である。入力データが分割化部２２に供給され、入力データがスキャン信号ｓとインデックス情報ｉに分割される。出力位置決定部２３は、スキャン信号ｓを受けて、スキャンメモリ２４を参照しながら出力位置を決定し、出力位置データａを出力する。ベクトル再構成部２５は、インデックス情報ｉからベクトルを再構成し、ベクトルｖを出力する。
【００１９】
ベクトルｖがコンポーネント化部２７に供給され、ベクトルｖをコンポーネント信号ＹＵＶへ変換する。コンポーネント信号がフレームメモリ２８に供給される。フレームメモリ２８には、出力位置データａも供給されている。そして、フレームメモリ２８から出力端子２９に対して出力位置ａの位置の画素値が出力される。
【００２０】
図４に示したフローチャートを参照して、デコード処理の流れを説明する。ステップＳ２１において、エンコーダからの信号を最初の画素の信号として受信する。ステップＳ２２では、受信した画素データを再構成する。ステップＳ２３では、再構成した画素データを規定の位置に出力する。ステップＳ２２およびＳ２３は、メモリに対するアクセスを必要とする処理である。
【００２１】
ステップＳ２４において、エンコーダからの信号を受信する。ステップＳ２５において、スキャンメモリ上において全ての方向で出力する位置を探索する。出力位置が決まらない方向はラスタースキャン順に出力位置を探索する（ステップＳ２６）。ステップＳ２７では、出力位置を決定する。ステップＳ２８では、インデックス情報から画素データを再構成する。ステップＳ２９において、再構成した画素データをフレームメモリに出力する。ステップＳ３０では、全ての画素を出力したかどうかが決定される。全ての画素を出力していればデコード処理が終了する。そうでなければ、ステップＳ２４に戻り、次の画素を受信する。
【００２２】
従来のラスタースキャンでは、スキャンを固定することによってアドレス情報を送らずに、画素情報のみを送っている。一方、上述した提案した伝送方法では、注目画素からの相対位置をスキャン信号として伝送するのであるが、この時、既伝送画素をどうやって飛び越えるかが問題となる。
【００２３】
図５を参照して既伝送画素の飛び越えについて説明する。図５においては、注目画素を２重丸で示し、探索において伝送画素の候補とされる画素を薄い影を付して示す。また、白丸は未伝送の画素を示し、黒丸は既伝送の画素を示す。伝送すべき画素を探索する探索方法として、２重丸で示す注目画素に対して上下左右の４方向に位置する画素が探索の対象とされる。
【００２４】
図５Ａにおいては、注目画素以外の画素が全て未伝送の画素なので、図５Ｂに示すように、注目画素に対して４方向で隣接する４個の画素が伝送画素の候補とされる。しかしながら、図５Ｃに示すように、注目画素が既伝送画素に囲まれている場合、上下左右という相対関係だけでは、既伝送画素が存在する位置を指定してしまうことになる。このような場合には、既伝送の画素を飛び越して、未伝送の画素が伝送画素の候補とされる。すなわち、図５Ｄに示すように、注目画素の右方向に位置する２画素が既伝送の画素なので、その２画素を飛び越えて注目画素から右方向に３番目の画素が伝送画素の候補とされる。また、注目画素の下方向の１画素が既伝送の画素なので、その１画素を飛び越えて注目画素から下方向に２番目の画素が伝送画素の候補とされる。
【００２５】
この処理のため、エンコーダとデコーダに１フレーム分のメモリ（スキャンメモリ８および２４）をそれぞれ持ち、伝送された画素にフラグを立てることで、既伝送画素と未伝送画素を区別している。なお、画素を送ったか（送られたか）送っていないか（送られていないか）の情報は、エンコーダとデコーダで共有でき、この情報を送信する必要はない。
【００２６】
次に、スキャンパターンについて説明する。従来のラスタースキャンでは、画面左上から一列ずつ順に送るというスキャンのルールが決まっている。よってスキャンに関する情報をまったく伝送する必要がない。全てのビットを画素データとして送ることができる。しかし反面、どのような画においても同じようにスキャンするため、画像が持つ近傍相関性を活かしてはいない。
【００２７】
一方、全くランダムにスキャンしようとする場合は、アドレス情報を送らなければならない。しかしアドレス情報だけで１画素につき、標準的解像度の画像の場合では、ｘ方向、ｙ方向共に１０ビットのデータ量が必要である。アドレス情報は、正確に送らなければならない情報であるので、量子化等によってデータ量を削減することはできない。その結果、近傍相関性を利用して効率化するとはいえ、アドレス情報のデータ量は、かなり重い。
【００２８】
そこで、提案伝送方式では、スキャンに自由度を持たせることによって伝送を効率化している。“自由度を持たせる”とは、完全に固定とせず、一方、全く自由にもしないことを意味する。予め決めてあるスキャンパターンに基づいて、注目画素との相対位置を伝送するようになされる。
【００２９】
スキャンパターンには、種々のものがありうる。図６は、幾つかのスキャンパターンの例を示す。図６Ａは、参考として示す従来のラスタースキャンを示す。ラスタースキャンの場合では、スキャンの方向が固定であるので、アドレス情報を伝送する必要がない。図６Ｂは、注目画素に対して上下左右の４方向に位置する画素の何れかが伝送される。この場合には、１画素について２ビットのアドレス情報が必要である。左上にある破線は、候補を一つも取得することができなかったときは、ラスタースキャンに切り替わることを示す。
【００３０】
図６Ｃに示すスキャンパターン（ジグザグ）は、伝送画素を中心に分割した４領域に対してジグザグスキャンで候補を探索するものである。そのためスキャンが行き詰まることなく、最後まで画素を伝送することができる。１画素について２ビットのアドレス情報が必要である。図６Ｄは、注目画素に対して上下左右および斜めの計８方向に位置する画素の何れかが伝送される。この場合には、１画素について３ビットのアドレス情報が必要である。図６Ｄのスキャンパターンは、多くの候補の中から伝送画素を選択するので、近傍相関性をより活かすことができるが、アドレス情報が他のスキャン方法に比して１ビット増え、その分画素に割り当てることができるデータが１ビット減少する問題がある。
【００３１】
上述の伝送方式では、ある一つのスキャンパターンに基づいて候補を選択し、その候補に差分ベクトルテーブル中の差分ベクトルを当てはめ、最も誤差の少ない差分ベクトルのインデックスを伝送するようになされる。１画素ごとに割り当てられるビット数が決まっている場合、一度に取得できる候補の数と、差分ベクトルテーブルの差分ベクトルの数は反比例する。以下に１画素に８ビットが割り当てられている場合の例を示す。
【００３２】
上述した図６Ｄに示すスキャンパターンのように、８個の候補を一度に取得する場合には、候補の特定のために３ビットが必要であるので、差分ベクトルに対しては５ビットを使用でき、差分ベクトルの数が３２となる。図６Ｂまたは図６Ｃに示すスキャンパターンのように、４個の候補を一度に取得する場合には、候補の特定のために２ビットが必要であるので、差分ベクトルに対しては６ビットを使用でき、差分ベクトルの数が６４となる。さらに、水平方向のみに、２個の候補を一度に取得する場合には、候補の特定のために１ビットが必要であるので、差分ベクトルに対しては７ビットを使用でき、差分ベクトルの数が１２８となる。さらに、従来のラスタースキャンのように、スキャンパターンが固定である場合には、８ビット全てを差分ベクトルに割り当てることができるので、差分ベクトル数が２５６となる。
【００３３】
このように候補取得数を増やせば差分ベクトル数が減り、差分ベクトル数を増やせば候補取得数が減る関係がある。一般的には、多くの候補を取得できるときは選択肢が多いので、差分ベクトル数が少なくても良いし、その逆も成り立つ。候補取得数と差分ベクトル数の関係として、バランスが良いものは、その時々の画像の伝送状況や画像そのものの傾向によって変化すると考えられる。
【００３４】
上述した伝送方法における色空間差分ベクトル符号化について説明する。図７に示すように、コンポーネント信号である注目画素データおよび伝送画素データをそれぞれ色空間におけるベクトルとして扱い、その差分ベクトルを伝送している。この方法は、コンポーネント信号の各コンポーネントを別々に差分を生成するのと比較して、かなり効率化することができる。図８Ａおよび図８Ｂに示すように、ＹＵＶコンポーネントの色空間ベクトルの集合の方がＲＧＢコンポーネントの色空間ベクトルに比して相関が強いので、集合が小さくまとまる。さらに、色空間差分ベクトルを形成することによって（０，０）近傍に色空間差分ベクトルがまとまる。
【００３５】
図９に示すように、色空間差分ベクトルの集合を代表するベクトルを予め求め、差分ベクトルのテーブルを作成する。テーブルにおいて、各差分ベクトルは、インデックスによって区別される。差分ベクトルテーブルは、エンコーダ側とデコーダ側で共有され、インデックスが伝送される。１画素に対して８ビットの枠で、スキャン方法としてジグザクを用いているのであれば、アドレス以外の６ビット（６４個）の代表ベクトルを持つことができる。ベクトル化部２は、コンポーネント信号を色空間におけるベクトルｖに変換するものである。
【００３６】
さらに、上述した伝送方法における候補選択方法とローカルデコードに関する処理について、図１０を参照して説明する。この処理は、図１におけるベクトル変換部４、ローカルデコーダ６および候補評価部５によってなされる。また、図２では、ステップＳ７においてなされる。図１０において、二重丸の画素が注目画素であり、丸が候補画素であり、丸内の数字は、候補画素に付された通し番号である。各候補画素は、必ずしも注目画素に隣接せず、スキャンパターンにおける、ある方向から取得されたものである。図１０Ａに示すように、一つの注目画素に対して例えば４個の候補画素が存在するものとしている。
【００３７】
先ず、注目画素をローカルデコードした値に対してエンコード側とデコード側で共通に持っている差分ベクトルテーブルに適用する。一例として、６ビットで６４（２6）個の差分ベクトルがあるとすると、図１０Ｂに示すように、注目画素のローカルデコード値に対して差分ベクトルをそれぞれ加算すれば、６４個の色ベクトルが作成される。これらが現在作り得る伝送画素値である。
【００３８】
次に、図１０Ｃに示すように、各候補と注目画素から作り出せる伝送可能な画素値を比較し、比較の結果に基づいて各候補毎に最も相関の強い伝送可能な画素値を決定する。最も相関の強い伝送可能な画素値は、各候補の最適な近似値である。ローカルデコーダ６には、注目画素のベクトルが供給され、ローカルデコーダ６は、注目画素のローカルデコードと図１０Ｂに示す作り得る伝送画素値を生成する処理と生成した６４個の伝送画素値と各候補画素値との差分を演算する処理と各候補の最適な近似値を生成する処理とを行う。
【００３９】
最後に、図１０Ｄに示すように、各候補と最適伝送可能画素との差分値をそれぞれ求める。求められた差分値の最も小なる候補を、４個の候補の中で最も伝送時の誤差が小さくなる候補と判断し、伝送画素を決定する。決定された伝送画素の注目画素から見た方向と差分ベクトルのインデックスとが多重化されて伝送される。候補評価部５は、図１０Ｄに示すように、各候補画素の伝送後の誤差を求め、伝送画素を決定する処理を行う。
【００４０】
次にこの発明について説明する。上述した伝送方法では、伝送する画素と次に伝送する画素の差が最も小さくなるように、最適なスキャン順を求め、スキャン信号と画素情報（インデックス）とを一緒に伝送するものである。この発明は、伝送画像の秘匿性を高めるために、スキャン順データを画素情報と一緒に伝送しないものである。例えばそれによって伝送画像の著作権保護をなしうる。若し、スキャン順データを伝送しないと、伝送画像を復元することができない。ユーザは、暗号鍵または暗号鍵の一部としてのスキャン情報を知らないと、伝送画像を復元することができない。以下では、暗号鍵または暗号鍵の一部を暗号鍵情報または暗号コードと適宜称する。上述した先に提案された伝送方法に対してもこの発明を適用することが可能である。すなわち、暗号鍵情報に基づいてスキャン信号を生成し、暗号鍵情報を画素情報と別個に伝送するか、またはエンコーダおよびデコーダ側で暗号鍵を共有するようにすればよい。
【００４１】
図１１は、暗号鍵情報（暗号コード）をスキャン信号に変換する方法を示すものである。図１１Ａに示すように、上下左右のスキャン方向が可能な場合に、（上方向：（００）、左方向：（０１）、右方向：（１０）、下方向：（１１））と規定する。例えば８ビットの暗号鍵情報の値が「１５１」で、２進数では、（１００１０１１１）である場合、図１１Ｂに示すように、この暗号鍵情報が２ビット毎に区切られ、スキャン信号へ変換される。この例では、スキャン順が（右→左→左→下）とされる。図１１Ｂの方法では、スキャン信号が全て暗号鍵情報と対応している。
【００４２】
先に提案されている伝送方法では、画像固有の特徴に適応したスキャンを実現することで伝送効率を向上させている。スキャン情報を暗号鍵に使用することによって、伝送効率を向上するといった特徴を犠牲にする。したがって、伝送画像の復号画像の画質が劣化してしまう。しかしながら、一実施形態のように、色空間差分ベクトルを用いることによって、差分が大きくなるような画素の伝送に関しても柔軟に対応することが可能であり、伝送画像の画質劣化が大きくなることは防止できる。
【００４３】
図１１Ｃに示す他の例は、８ビットに区切ったスキャン信号の上位の２ビットのみを暗号鍵情報とし、残りの下位側の６ビットをフリーとしたものである。すなわち、４回に１回だけは、暗号鍵情報によってスキャン順を決定し、後の３回は、上述した先に提案されている伝送方法を適用して決定された、最も効率の良いスキャン順に対応したものとされる。したがって、図１１Ｂに示す方法と比較して、伝送画像の画質を良くすることができる。なお、下位側の４ビットまたは２ビットをフリーとするようにしても良い。
【００４４】
図１２は、暗号鍵情報の３個の例を示している。暗号鍵情報の第１の例は、伝送データ（伝送画像）Ｉの縮小画像Ｂ１である。縮小画像は、例えば伝送画像をサブサンプリングすることで生成できる。例えば水平方向および垂直方向でそれぞれ１／２の間引きを行えば、１／４の縮小画像が形成できる。この縮小画像の各画素の８ビットのコードを２ビット毎に区切り、各２ビットによってスキャン方向が規定される。縮小画像を暗号鍵情報とする場合では、縮小画像の画素値として全体の１／４の真値が分かるので、真値を使用して画質を向上させることが可能となる。縮小画像そのものが暗号鍵情報であることを知らなければ、縮小画像を見ることができても、伝送画像を復号できない。但し、縮小画像の場合では、機密保持の程度が低くなる。
【００４５】
暗号鍵情報の第２の例は、伝送データＩと無関係の画像Ｂ２である。無関係の画像の場合では、機密保持度を高くすることができる。また、伝送画像の系列に混ぜることも可能である。なお、暗号鍵情報は、画像情報に限らず、オーディオ情報であっても良い。
【００４６】
暗号鍵情報の第３の例は、ディジタルデータＢ３である。ディジタルデータＢ３としては、どのようなデータであっても良く、例えば生年月日等の数字列、名前等の文字列等のテキストデータであっても良い。但し、数字、文字等に対応するコードを規定しておく必要がある。さらに、数字等とスキャン方向との対応付けをテーブル化しておいても良い。一般的に暗号鍵情報は、それ自体意味がないものが多いが、この発明では、画像、音声、テキスト等の意味を持つ情報を暗号鍵情報として使用することができる。
【００４７】
図１３は、この発明の一実施形態におけるシステム構成を概略的に示す。参照符号１０１で示すエンコーダでは、暗号コード（暗号鍵情報）１０２のデータがスキャン順を示すスキャン信号１０３へ変換される。バッファメモリに蓄積されている伝送画像１０４の画素データ１０５がスキャン信号１０３で示される順序で出力される。この場合、スキャンの効率化のために、画素データ自体ではなく、画素値の差分等を伝送しても良く、先に提案されている伝送方法のような差分ベクトルのインデックスを伝送しても良い。これらを総称して画素データまたは画素情報と称する。画素データが伝送データ１０６とされ、伝送または記録媒体に記録される。
【００４８】
暗号コード１０２は、参照符号２０１で示すデコーダに対して伝送画像の画素情報とは別個に伝送される。但し、暗号コードであることが簡単に判別できないように伝送画像のデータ中に混ぜるようにしても良い。伝送方法としては、手渡し、郵送、電子メール等のどのような方法であっても使用できる。また、エンコーダ側とデコーダ側で複数の暗号鍵情報例えば複数の画像を有しており、その中の特定の画像を指定することによって、実質的に暗号コードを伝送することもできる。例えば複数の画像を番号付けしておき、第何番目の画像かを教えることによって、暗号コードを実質的に伝送できる。さらに、特定のＷｅｂサイトにアクセスすることを取り決めておき、そこで複数の画像、テキスト等を表示し、その中の所定のものをダウンロードしてくることによって暗号コードを得ることができる。若し、アクセスするサイト自身が秘密にされていたり、一般的には、どの画像またはテキストを使用するかを指示していることが分からなければ、サイト上で暗号コードに対応する画像またはテキストを指示することが可能である。但し、図１１Ｃに示したような暗号コードが伝送画像に依存する場合には、暗号コード自体を何らかの方法でデコーダ側へ伝送する必要がある。
【００４９】
デコーダ２０１では、受信された暗号コード２０６をスキャン順を示すスキャン信号２０４に変換する。受信された伝送データ２０２から画素データ２０３が取り出され、画素データ２０３は、バッファメモリに対してスキャン信号２０４で示される画素位置に格納される。それによって、伝送画像２０５が復元される。デコーダ２０１では、暗号コードを知らないがぎり、伝送画像を復号することができない。それによって、伝送画像を秘匿することができる。
【００５０】
図１４に示したフローチャートを参照して、エンコード処理の流れを説明する。ステップＳ４１において、伝送画像が入力され、ステップＳ４２において、暗号コードが入力される。ステップＳ４３において、暗号コードがスキャン順のデータへ変換される。ステップＳ４４において、最初に伝送する画素を決定する。例えば画像の真ん中の画素を選ぶ。但し、最初に伝送する画素は、どの位置でも良い。ステップＳ４５では、その最初の画素を伝送データ例えばインデックスに変換する。今、変換した画素に注目する（ステップＳ４６）。
【００５１】
ステップＳ４７において、ステップＳ４３において変換しているスキャン順の通りに候補から次に伝送する画素を決定する。ステップＳ４８において、決定した伝送画素を伝送データへ変換する。ステップＳ４９では、今、伝送した画素に注目する。ステップＳ５０では、全ての画素を伝送したかどうかが決定される。全ての画素を伝送していればエンコード処理が終了する。全ての画素を伝送していなければ、処理がステップＳ４７に戻り、処理を続ける。ステップＳ５１において、伝送データに変換された伝送画像データを伝送する。ステップＳ５２において、暗号コードを伝送する。上述したように、暗号コードの伝送方法としては、種々の方法が可能である。
【００５２】
図１５に示したフローチャートを参照して、デコード処理の流れを説明する。ステップＳ６１において、伝送画像データを受信する。フレームの最初に送られてくる画素データを受信する。ステップＳ６２において、暗号コードを受信する。暗号コードの取得方法としては、前述したように種々のものがありうる。ステップＳ６３では、取得した暗号コードをスキャン順へ変換する。ステップＳ６４では、受信した最初の画素データを再構成する。例えばインデックスを画素値へ変換する。ステップＳ６５では、再構成した画素データを規定の位置例えば画像の中央位置に出力する。
【００５３】
ステップＳ６６において、受信したデータ中の次の画素データ（２番目の画素以降）に注目する。ステップＳ６７において、画素データを再構成する。上から探索して空いている画素を出力位置として当てはめる。ステップＳ６８では、ステップＳ６３において得られているスキャン順にしたがって出力位置（アドレス）を決める。ステップＳ６９において、その出力位置に画素値を出力する。ステップＳ７０では、全ての画素を出力したか否かが調べられる。出力していれば、処理が終了する。そうでなければ、ステップＳ６６に戻り、次の画素を受信する。
【００５４】
図１６は、この発明が適用されたエンコーダの一例の構成を示すものである。図１６において、参照符号３１ａ、３１ｂ、３１ｃは、例えば（４：４：４）のカラーコンポーネント信号（ＹＵＶ）が入力される入力端子である。入力コンポーネント信号がベクトル化部３２に供給される。ベクトル化部３２において、入力コンポーネント信号がＹＵＶ空間内の一点としてベクトル化される。ベクトル化部３２の出力が１画面分の大きさの伝送画像メモリ（フレームメモリ）３３に書き込まれる。
【００５５】
入力端子３４には、暗号コードｃが供給され、暗号コーｃドが変換部３６に供給され、暗号コードが２ビット毎に区切られて各２ビットのスキャン信号ｓが生成される。スキャン信号ｓが伝送画素決定部３７に供給される。
【００５６】
伝送画素決定部３７は、スキャンメモリ４１の内容を参照して伝送画素を決定し、決定した伝送画素のベクトルｖを伝送画像メモリ３３から読み出して出力する。また、スキャン信号ｓも伝送されるために、出力される。スキャンメモリ４１は、伝送画像メモリ３３に格納されている各画素が既伝送か、未伝送かを示すフラグを格納するものである。
【００５７】
伝送画素のベクトルｖとスキャン信号ｓとがベクトル変換部３８に送られる。ベクトル変換部３８において、前回の伝送画素のローカルデコード値と今回の伝送画素のローカルデコード値との差分ベクトルが計算され、差分ベクトルがインデックス決定部３９に送られる。インデックス決定部３９では、差分ベクトルテーブル４０を参照しながら差分ベクトルに最も近いインデックスｉを決定する。インデックス決定部３９からのインデックスｉがメモリ４２に記憶される。メモリ４２から出力端子４３に伝送データ（インデックスｉ）が取り出される。また、インデックス決定部３９からスキャン信号ｓがスキャンメモリ４１に供給され、スキャンメモリ４１が更新される。暗号コードは、画素情報としてのインデックスｉと一緒に伝送されず、出力端子３５に取り出され、上述したような種々の方法で伝送される。
【００５８】
図１７は、この発明が適用されたデコーダの一例の構成を示すものである。図１７を参照してデコーダについて説明する。参照符号５１ａは、伝送画像データの画素情報としてのインデックスｉが入力される入力端子を示す。参照符号５１ｂは、画素情報と別の経路で受け取った暗号コードｃの入力端子を示す。暗号コードｃが変換部５７に供給され、暗号コードｃがスキャン順データへ変換される。スキャン順データがスキャン順メモリ５８に格納される。
【００５９】
メモリ５８からのスキャン信号ｓが出力位置決定部６０に供給される。出力位置決定部６０は、スキャン信号ｓを受けて、スキャンメモリ５９を参照しながら出力位置を決定し、出力位置データａを出力する。ベクトル再構成部５２は、インデックス情報ｉから差分ベクトルテーブル５３を参照してベクトルを再構成し、ベクトルｖを出力する。ベクトルｖがコンポーネント化部５４に供給され、ベクトルｖがコンポーネント信号ＹＵＶへ変換される。コンポーネント信号が伝送画像メモリ（フレームメモリ）５５に書き込まれる。伝送画像メモリ５５には、出力位置データａも供給され、出力位置データａで示される位置の画素値が伝送画像メモリ５５から出力端子５６に対して出力される。
【００６０】
この発明は、上述したこの発明の一実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばアドレス情報を伝送するランダムスキャンであれば、図６Ｂに示すスキャン方法に限らず、図６Ｃ、図６Ｄ等のスキャン方法を使用しても良い。
【００６１】
【発明の効果】
この発明では、暗号鍵情報に基づいてスキャン方向あるいはスキャン順序を示すスキャン情報を生成し、暗号鍵情報を画素情報と別個に伝送するか、またはエンコーダおよびデコーダ側で共有するようになされる。したがって、受信側では、暗号鍵情報が分からないと、伝送画像を復号できず、伝送画像の秘匿性を高くすることができる。
【図面の簡単な説明】
【図１】本願出願人が先に提案した伝送方式におけるエンコーダの構成を示すブロック図である。
【図２】本願出願人が先に提案した伝送方式におけるエンコード処理の流れを示すフローチャートである。
【図３】本願出願人が先に提案した伝送方式におけるデコーダの構成を示すブロック図である。
【図４】本願出願人が先に提案した伝送方式におけるデコード処理の流れを示すフローチャートである。
【図５】本願出願人が先に提案した伝送方式における既伝送画素の飛び越え方法について説明するための略線図である。
【図６】本願出願人が先に提案した伝送方式における伝送すべき画素の探索方法について説明するための略線図である。
【図７】本願出願人が先に提案した伝送方式における色空間差分ベクトルについて説明するための略線図である。
【図８】本願出願人が先に提案した伝送方式における色空間差分ベクトルについて説明するための略線図である。
【図９】本願出願人が先に提案した伝送方式における色空間差分ベクトルについて説明するための略線図である。
【図１０】本願出願人が先に提案した伝送方式における候補選択方法とローカルデコードの説明に用いる略線図である。
【図１１】この発明における伝送画像以外の情報をスキャン情報に埋め込む方法を説明するための略線図である。
【図１２】この発明における暗号鍵情報の例を説明するための略線図である。
【図１３】画像情報を埋め込むこの発明の一実施形態のシステムを概略的に説明するためのブロック図である。
【図１４】この発明の一実施形態のエンコード処理の流れを示すフローチャートである。
【図１５】この発明の一実施形態におけるデコード処理の流れを示すフローチャートである。
【図１６】この発明の一実施形態におけるエンコーダの構成を示すブロック図である。
【図１７】この発明の一実施形態におけるデコーダの構成を示すブロック図である。
【符号の説明】
３３・・・伝送画像メモリ、３４・・・暗号コード入力端子、３６・・・暗号コードをスキャン順に変換する変換部、３７・・・伝送画素決定部１０１・・・エンコーダ、２０１・・・デコーダ
Claims (16)
- 伝送画像を伝送する画像信号伝送装置において、
注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、
上記スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、
暗号鍵情報を変換することによって、上記スキャン信号を生成するスキャン情報生成手段と、
上記伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、上記注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素を上記スキャン信号にしたがって決定する伝送画素決定手段と、
上記決定された伝送画素の画素情報を伝送する伝送手段と、
上記暗号鍵情報を上記画素情報とは無関係に伝送する伝送手段とを有する画像信号伝送装置。 - 伝送画像を伝送する画像信号伝送装置において、
注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、
上記スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、
暗号鍵情報を変換することによって、上記スキャン信号を生成するスキャン情報生成手段と、
上記伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、上記注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素を上記スキャン信号にしたがって決定する伝送画素決定手段と、
上記決定された伝送画素の画素情報を伝送する伝送手段と、
上記暗号鍵情報をエンコーダおよびデコーダが共有するための手段とを有する画像信号伝送装置。 - 請求項１または２において、
上記暗号鍵情報が伝送画像の縮小画像情報である画像信号伝送装置。 - 請求項１または２において、
上記暗号鍵情報が伝送画像と異なる画像情報である画像信号伝送装置。 - 請求項１または２において、
上記暗号鍵情報が数字、文字等のディジタルデータである画像信号伝送装置。 - 請求項１または２において、
各画素をコンポーネント信号の複数のコンポーネントによって規定されたベクトルに変換するベクトル変換手段を有し、
上記注目画素と上記次に送信する画素との差分値を上記ベクトル変換手段によってベクトルに変換する画像信号伝送装置。 - 伝送画像を伝送する画像信号伝送方法において、
注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、
上記スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、
暗号鍵情報を変換することによって、上記スキャン信号を生成するスキャン情報生成ステップと、
上記伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、上記注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素を上記スキャン信号にしたがって決定する伝送画素決定ステップと、
上記決定された伝送画素の画素情報を伝送する伝送ステップと、
上記暗号鍵情報を上記画素情報とは無関係に伝送する伝送ステップとを有する画像信号伝送方法。 - 伝送画像を伝送する画像信号伝送方法において、
注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを 次に伝送するかが少なくとも２ビットのスキャン信号によって示され、
上記スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、
暗号鍵情報を変換することによって、上記スキャン信号を生成するスキャン情報生成ステップと、
上記伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、上記注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素を上記スキャン信号にしたがって決定する伝送画素決定ステップと、
上記決定された伝送画素の画素情報を伝送する伝送ステップと、
上記暗号鍵情報をエンコーダおよびデコーダが共有するためのステップとを有する画像信号伝送方法。 - 請求項７または８において、
上記暗号鍵情報が伝送画像の縮小画像情報である画像信号伝送方法。 - 請求項７または８において、
上記暗号鍵情報が伝送画像と異なる画像情報である画像信号伝送方法。 - 請求項７または８において、
上記暗号鍵情報が数字、文字等のディジタルデータである画像信号伝送方法。 - 請求項７または８において、
各画素をコンポーネント信号の複数のコンポーネントによって規定されたベクトルに変換するベクトル変換ステップを有し、
上記注目画素と上記次に送信する画素との差分値を上記ベクトル変換ステップによってベクトルに変換する画像信号伝送方法。 - 注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、上記スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、暗号鍵情報を変換することによって、上記スキャン信号が生成され、上記伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、上記注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素を上記スキャン信号にしたがって決定し、上記決定された伝送画素の画素情報を送信し、上記暗号鍵情報を上記画素情報とは無関係に送信する画像信号伝送装置に対する画像信号受信装置において、
受信された上記画素情報から画素値を復号する画素値復号手段と、
受信された上記暗号鍵情報を上記スキャン信号に変換し、復号した画素値の出力位置を上記スキャン信号にしたがって決定する出力位置決定手段とを有する画像信号受信装置。 - 注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、上記スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、暗号鍵情報を変換することによって、上記スキャン信号が生成され、上記伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、上記注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素を上記スキャン信号にしたがって決定し、上記決定された伝送画素の画素情報を送信し、上記暗号鍵情報をエンコーダおよびデコーダが共有する画像信号伝送装置に対する画像信号受信装置において、
受信された上記画素情報から画素値を復号する画素値復号手段と、
受信された上記暗号鍵情報を上記スキャン信号に変換し、復号した画素値の出力位置を上記スキャン信号にしたがって決定する出力位置決定手段とを有する画像信号受信装置。 - 注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、上記スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、暗号鍵情報を変換することによって、上記スキャン信号が生成され、上記伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、上記注目画素の少なくと も上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素を上記スキャン信号にしたがって決定し、上記決定された伝送画素の画素情報を送信し、上記暗号鍵情報を上記画素情報とは無関係に送信する画像信号伝送方法に対する画像信号受信方法において、
受信された上記画素情報から画素値を復号する画素値復号ステップと、
受信された上記暗号鍵情報を上記スキャン情報に変換し、復号した画素値の出力位置を上記スキャン情報にしたがって決定する出力位置決定ステップとを有する画像信号受信方法。 - 注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の何れを次に伝送するかが少なくとも２ビットのスキャン信号によって示され、上記スキャン信号は、伝送画像中に存在する画素の数より１だけ少ないものであり、暗号鍵情報を変換することによって、上記スキャン信号が生成され、上記伝送画像内の複数の画素内で、予め設定された最初に伝送する注目画素を選出し、上記注目画素の少なくとも上下左右の方向に位置し、既伝送画素を除く直近の画素の中で次に伝送する画素を上記スキャン信号にしたがって決定し、上記決定された伝送画素の画素情報を送信し、上記暗号鍵情報をエンコーダおよびデコーダが共有する画像信号伝送方法に対する画像信号受信方法において、
受信された上記画素情報から画素値を復号する画素値復号ステップと、
受信された上記暗号鍵情報を上記スキャン信号に変換し、復号した画素値の出力位置を上記スキャン信号にしたがって決定する出力位置決定ステップとを有する画像信号受信方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002108853A JP4239465B2 (ja) | 2002-04-11 | 2002-04-11 | 画像信号伝送装置および方法、並びに画像信号受信装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002108853A JP4239465B2 (ja) | 2002-04-11 | 2002-04-11 | 画像信号伝送装置および方法、並びに画像信号受信装置および方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003304522A JP2003304522A (ja) | 2003-10-24 |
| JP2003304522A5 JP2003304522A5 (ja) | 2005-09-08 |
| JP4239465B2 true JP4239465B2 (ja) | 2009-03-18 |
Family
ID=29392480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002108853A Expired - Fee Related JP4239465B2 (ja) | 2002-04-11 | 2002-04-11 | 画像信号伝送装置および方法、並びに画像信号受信装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4239465B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100574524B1 (ko) * | 2004-01-20 | 2006-04-27 | 삼성전자주식회사 | 스캔데이터의 암호화 방법 및 복호화 방법 |
| CN115733933B (zh) * | 2022-11-29 | 2023-10-31 | 南京先维信息技术有限公司 | 基于人工智能的网络安全加密方法 |
-
2002
- 2002-04-11 JP JP2002108853A patent/JP4239465B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003304522A (ja) | 2003-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7961904B2 (en) | Apparatus for embedding and reproducing watermark into and from contents data | |
| US6519341B1 (en) | Method and apparatus for outputting a high definition image | |
| US6882755B2 (en) | Image transmission for low bandwidth with region of interest | |
| US5058158A (en) | Video scrambling apparatus and method based on space filling curves | |
| US6985630B2 (en) | Image processing apparatus and method, program and storage medium | |
| KR20000068542A (ko) | 비디오 엔코더, 비디오 디코더, 비디오 프로세서 및 그 방법 | |
| KR19990062908A (ko) | 픽셀내 컬러 성분들을 제거함에 의한 화상 부호화/복호화 | |
| JP4239465B2 (ja) | 画像信号伝送装置および方法、並びに画像信号受信装置および方法 | |
| US6940996B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP4254003B2 (ja) | 埋め込み装置および埋め込み方法、復号装置および復号方法、並びに記録媒体 | |
| JP4218117B2 (ja) | 伝送装置、伝送方法、受信装置および受信方法 | |
| JP4182676B2 (ja) | 画像信号伝送装置および方法、並びに画像信号受信装置および方法 | |
| JP4151134B2 (ja) | 伝送装置および方法、受信装置および方法、並びに記録媒体 | |
| JP4182674B2 (ja) | 画像信号伝送装置および方法、並びに画像信号受信装置および方法 | |
| JP4182675B2 (ja) | 画像信号伝送装置および方法 | |
| JPH06225274A (ja) | 画像符号化及び復号化装置 | |
| JP4218116B2 (ja) | 伝送装置、伝送方法、受信装置および受信方法 | |
| JP4736243B2 (ja) | 画像信号伝送装置および方法、並びに画像信号受信装置および方法 | |
| JP4736242B2 (ja) | 画像信号伝送装置および方法、並びに画像信号受信装置および方法 | |
| JP3856358B2 (ja) | 画像伝送方式 | |
| JP4069393B2 (ja) | 復号化装置および方法 | |
| KR100281258B1 (ko) | 화상 표시 데이타 압축 방법 및 장치 | |
| JP2966426B2 (ja) | カラー画像処理装置および方法 | |
| JP2777381B2 (ja) | データ伝送方法 | |
| JP2008160416A (ja) | データ処理装置、データ処理方法、データ処理プログラム並びに記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050314 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050314 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080804 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081202 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081215 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |