JP6679176B2 - 符号化通信装置、符号化通信方法及びプログラム - Google Patents

Description

本開示は、データを符号化して送信し、符号化されたデータを受信時に復号する符号化通信装置、符号化通信方法及びプログラムに関する。

通信系の性能向上のための手段のひとつが符号化である。符号化には大きく分けてデータ圧縮および誤り訂正の２種類がある。各符号化にはシャノン限界と呼ばれるパフォーマンスの理論限界が知られている。ＬＤＰＣ符号は誤り訂正符号において理論的にシャノン限界を達成する方式である。また、ｓｕｍ−ｐｒｏｄｕｃｔ復号法はＬＤＰＣ符号の代表的な実現方式である。しかしながらｓｕｍ−ｐｒｏｄｕｃｔ復号法はビット毎の最尤復号を近似したものであり、ビット誤り率（ＢＥＲ）に対して最適化されている。言い換えればビットの集まりであるブロック（フレーム）単位で符号化された符号語に対する復号誤り率（ＦＥＲ）に対しては最適化されていない。例えばソースコードのように１か所でも誤りがあれば致命的なデータの伝送には必ずしも適しているとは言い難い。このことから、数千ビットのブロック毎に符号化されたデータに対しＦＥＲの観点より最適化され、かつ実時間で実行可能な復号化方式はｓｕｍ−ｐｒｏｄｕｃｔ復号法と相補的な役割を担うものとして期待される。

ビット毎の最尤復号を実時間で近似的に実現する符号化アルゴリズムとしてｓｕｍ−ｐｒｏｄｕｃｔ復号法が知られている（例えば、非特許文献３を参照。）。ｓｕｍ−ｐｒｏｄｕｃｔ復号法はブロック長に比例する計算量で処理できるため効率のよい方式であり、パリティ検査行列のタナーグラフがループを有しない場合は厳密に最尤推定復号を実現することが知られている（例えば、非特許文献２を参照。）。

特開２０１５−２０６９４１号公報

Ｊ． Ｍｕｒａｍａｔｓｕ， "Ｖａｒｉａｂｌｅ−ｌｅｎｇｔｈ ｌｏｓｓｙ ｓｏｕｒｃｅ ｃｏｄｅ ｕｓｉｎｇ ａ ｃｏｎｓｔｒａｉｎｅｄ−ｒａｎｄｏｍ ｎｕｍｂｅｒ ｇｅｎｅｒａｔｉｏｎ"， ＩＥＥＥ Ｔｒａｎｓ． Ｉｎｆ． Ｔｈｅｏｒｙ， ｖｏｌ． ６１， ｎｏ． ６， ｐｐ． ３５７４−３５９２， Ｊｕｎ． ２０１５． 和田山 正，"低密度パリティ検査符号とその復号法"，トリケップス，２００２． 和田山 正，"ＬＤＰＣ符号の実践的な構成法（上）（中）（下）"，日経エレクトロニクス２００５年８．１５号，８．２９号，９．１２号，２００５． Ｓ． Ｍｉｙａｋｅ ａｎｄ Ｊ． Ｍｕｒａｍａｔｓｕ， "Ａ ｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｃｈａｎｎｅｌ ｃｏｄｅ， ｊｏｉｎｔ ｓｏｕｒｃｅ−ｃｈａｎｎｅｌ ｃｏｄｅ， ａｎｄ ｕｎｉｖｅｒｓａｌ ｃｏｄｅ ｆｏｒ ａｒｂｉｔｒａｒｙ ｓｔａｔｉｏｎａｒｙ ｍｅｍｏｒｙｌｅｓｓ ｃｈａｎｎｅｌｓ ｕｓｉｎｇ ｓｐａｒｓｅ ｍａｔｒｉｃｅｓ"， ＩＥＩＣＥ Ｔｒａｎｓ． Ｆｕｎｄａｍｅｎｔａｌｓ， ｖｏｌ． Ｅ９２−Ａ， ｎｏ． ９， ｐｐ． ２３３３−２３４４， Ｓｅｐｔ． ２００９．

しかし、一般にパリティ検査行列のタナーグラフはループを有するため、ｓｕｍ−ｐｒｏｄｕｃｔ復号法は最尤推定復号の近似と見なされる。この場合、その出力は必ずしもパリティ検査条件を満足しない。復号器の出力がパリティ検査条件を満足していなければ、復号化されたデータには必ず誤りビットが存在する。数ビット程度のエラーならば許容されるデータも存在するが、例えば送信したいメッセージをデータ圧縮したものに誤り訂正符号化を行った後に誤り訂正を復号化した場合、１ビットでも誤りがあれば元のメッセージが復元されないばかりか場合によっては大きく異なったメッセージに復元されてしまうことにもなりかねない。一方、データの処理にはコストがかかるのでビット当たりに伝送される情報内容の効率も高めなければならない。この効率の理論限界がシャノン限界である。従って、ブロック単位での正しい復号化を行い、実時間での処理が可能で、かつ伝送効率がシャノン限界に近づくことが可能な復号方式が望まれる。

一方、サンプリングを用いた符号化方式としては非特許文献１にて有歪み符号化における符号化器の例がある。この場合、符号化器は確率的符号化器の役割を果たしているのが特徴的である。従って、確定的な処理が必要な復号化器には確率的な動作のまま適用することはできない。

そこで、本発明は、上記課題を解決すべく、実時間で確定的な処理が可能な符号化ないし復号が可能である符号化通信装置、符号化通信方法及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る符号化通信装置は、サンプリングを用いた符号化方式において各サンプリング毎に最小の重みを計算する最適化処理をアルゴリズムに付加することとした。

具体的には、本発明に係る符号化通信装置は、
ｑ（ｑは任意の素数）値有限体Ｆ_ｑに属するｋビットの入力データｕ^ｋが入力される入力部と、
予め与えられたＦ_ｑ上の確率分布Ｐ_ＸおよびＦ_ｑ上のｎ×ｋ行列Ａを保持する共通データ部と、
前記入力部から取得した入力データｕ^ｋ、及び前記共通データ部から取得した行列Ａからｘ^ｎＡ＝ｕ^ｋに従ったｎビットのデータｘ^ｎのサンプル点を有限数であるＭ個発生させるサンプル点発生処理を行うギブスサンプリング部と、
前記ギブスサンプリング部から取得したＭ個のサンプル点および保持している最尤推定ｘ＾^ｎの内から、前記共通データ部が保持するＰ_Ｘ ⁿから計算される重みが最小となるものを選出する選出処理を行い、新たなｘ＾^ｎとして保持する最適化部と、
を備え、
前記ギブスサンプリング部と前記最適化部とが、前記サンプル点発生処理と前記選出処理とを複数回繰り返して実行した後、前記最適化部が保持しているｘ＾^ｎを出力することを特徴とする。

また、本発明に係る符号化通信方法は、
ｑ（ｑは任意の素数）値有限体Ｆ_ｑに属するｋビットの入力データｕ^ｋが入力される入力手順と、
前記入力手順で入力された入力データｕ^ｋ、及び予め与えられたＦ_ｑ上のｎ×ｋ行列Ａからｘ^ｎＡ＝ｕ^ｋに従ったｎビットのデータｘ^ｎのサンプル点を有限数であるＭ個発生させるサンプル点発生処理手順と、
前記サンプル点発生処理手順で発生させたＭ個のサンプル点および最適化部に保持された最尤推定ｘ＾^ｎの内から、予め与えられたＦ_ｑ ⁿ上の確率分布Ｐ_Ｘ ⁿから計算される重みが最小となるものを選出し、新たなｘ＾^ｎとして前記最適化部に保持する選出処理手順と、
を備え、
前記サンプル点発生処理手順と前記選出処理手順とを複数回繰り返して実行した後、前記最適化部が保持しているｘ＾^ｎを出力することを特徴とする。

サンプリングを実行するたびにサンプル点はランダムに得られる。本発明では、符号化出力もしくは復号出力を確定的にするため各サンプリング毎に最小の重みを計算する最適化処理をアルゴリズムに付加している。これによって非特許文献１では確率的な符号化にしか適用できなかったサンプリング符号化を、例えば復号化などのような確定的な符号化処理にも適用できるようになった。また、前記最適化処理はサンプリング毎に行われるので並列化も容易に実行可能であり、処理時間の大幅な削減も見込むことができる。このため、符号を表す行列に対応するタナーグラフがループを有する場合であっても、ビット毎の最尤復号を実時間で高精度に近似的することができる。

従って、本発明は、実時間で確定的な処理が可能な符号化ないし復号が可能である符号化通信装置及び符号化通信方法を提供することができる。

本発明に係る符号化通信方法はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。

本発明は、実時間で確定的な処理が可能な符号化ないし復号が可能である符号化通信装置、符号化通信方法及びプログラムを提供することができる。

本発明に係る符号化通信装置の構成を説明する図である。 本発明に係る符号化通信装置の動作を説明する図である。 本発明に係る符号化通信装置の効果を説明する図である。 本発明に係る符号化通信装置の効果を説明する図である。 本発明に係る符号化通信装置の効果を説明する図である。

添付の図面を参照して本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

ｓｕｍ−ｐｒｏｄｕｃｔ復号法はビット毎に最尤推定を行い、推定結果が与えられた拘束条件を満足するかどうか判断し、拘束条件が満足されていれば出力を行い、そうでなければ一定の処理を繰り返すというアルゴリズムである。一定回数処理を繰り返した後でも拘束条件が満足されない場合もあり、その場合は復号化されたデータの中には明らかにエラービットが含まれる。以下、与えられた通信系における誤り訂正問題に対する符号化レートを伝送レートと呼び、データ圧縮問題に対する符号化レートを圧縮レートと呼ぶこととすると、例えば伝送レートが低ければ拘束条件が多くなり、ｓｕｍ−ｐｒｏｄｕｃｔ復号法による処理結果が拘束条件を満足しない場合が多くなる傾向がある。圧縮レートに関してはこの逆になる。ｓｕｍ−ｐｒｏｄｕｃｔ復号法の近似精度をあげる方法については、より良いＬＤＰＣ行列を探索する方法などが現在までに数多く提案されている（例えば、非特許文献３を参照。）。

なお、取り扱うアルファベットがｑ＝２すなわち２値｛０、１｝の場合、伝送レートと圧縮レートには
（数１）
伝送レート ＋ 圧縮レート ＝ １ （１）
の関係がある。

以下ではデータ圧縮の枠組みにおける復号問題を考える。誤り訂正の場合への適用はほぼそのまま可能である（例えば、非特許文献４を参照。）。特に後述の［３］節にて最も基本的な２値対称通信路（ＢＳＣ）への適用例を示す。

［１］ 問題設定
q値有限体Ｆ_q＝｛０、１，．．，ｑ−１｝上の確率分布Ｐ_ＸおよびＦ_q上のｎ×ｋ行列Ａは既知とする。解くべき問題は、ｋ次元横ベクトルｕ^ｋ∈Ｆ_q ^ｋが与えられた時、一次方程式

を満足するｎ次元横ベクトルｘ^ｎ∈Ｆ_q ^ｎを求めることである。本実施形態に即して言えば確率分布Ｐ_Ｘに従って出現したｘ^ｎを（２）式の左辺によって符号化したものが（２）式の右辺ｕ^ｋで表される符号語として与えられた、ということになる。また、

を圧縮レートと呼ぶ。

一般に圧縮レートＲは０＜Ｒ＜１であるから（２）式は条件式の個数よりも変数の方が多いため解を確定することは不可能であるが、最尤推定

を用いることでＲ＞Ｈ（Ｐ_Ｘ）かつｎが十分大きいならば高い確率で正しい解

を得ることができることがわかっている。なお、ａｒｇ ｍａｘ_ｘｆ（ｘ）は、は関数ｆ（ｘ）を最大にするｘを与えるものである。またＨはエントロピー関数である。

しかしながら、厳密に（３）式の最適化を実行するためにはｎに関して指数オーダーの演算処理が必要となるため何らかの近似で代用しなければならない。本発明は解の候補を実行時間内において十分な数だけサンプリングすることで（３）式の近似を達成するものである。

［２］ 具体的な符号構成
図１は、本実施形態の符号器の構成を説明する図である。本符号器は、
ｑ（ｑは任意の素数）値有限体Ｆ_ｑに属するｋビットの入力データｕ^ｋが入力される入力部１１と、
予め与えられたＦ_ｑ上の確率分布Ｐ_ＸおよびＦ_ｑ上のｎ×ｋ行列Ａを保持する共通データ部１２と、
入力部１１から取得した入力データｕ^ｋ、及び共通データ部１２から取得した行列Ａからｘ^ｎＡ＝ｕ^ｋに従ったｎビットのデータｘ^ｎのサンプル点を有限数であるＭ個発生させるサンプル点発生処理を行うギブスサンプリング部１３と、
ギブスサンプリング部１３から取得したＭ個のサンプル点および保持している最尤推定ｘ＾^ｎの内から、共通データ部１２が保持するＰ_Ｘ ⁿから計算される重みが最小となるものを選出する選出処理を行い、新たなｘ＾^ｎとして保持する最適化部１４と、
を備え、
ギブスサンプリング部１３と最適化部１４とが、前記サンプル点発生処理と前記選出処理とを複数回繰り返して実行した後、最適化部１４が保持しているｘ＾^ｎを出力することを特徴とする。
なお、ｘ＾^ｎは、

と同じ意味である。

入力部１１は、符号器外部から得たｋビットのデータｕ^ｋ∈Ｆ_q ^ｋをギブスサンプリング部１３へ入力するためのものである。共通データ部１２は有限体Ｆ_q上の確率分布Ｐ_Ｘおよびｎ×ｋ行列Ａの情報を保持し、ギブスサンプリング部１３へ入力するためのものである。ギブスサンプリング部１３は確率分布に従ったサンプル点を予め決められた個数（Ｍとする）を最適化部１４へ出力するものである。

具体的なサンプリング方法は（特許文献１、非特許文献１）の通りである。最適化部１４は、入力されたＭ個のサンプル点（ｘ^ｎ（１）、ｘ^ｎ（２）、ｘ^ｎ（３）、・・・、ｘ^ｎ（Ｍ））および現在保持しているｘ＾^ｎから重みが最小のものを新たにｘ＾^ｎとして保持する。ここで長さｎのq値系列ｘ^ｎ＝ｘ_１、ｘ_２、・・・、ｘ_ｎの重みｗ（ｘ^ｎ）とは

によって定義される。従って，最適化部１４は重みが最小となったｘ＾^ｎである

を出力することとなる。

図２は、本符号化器の符号処理アルゴリズムを説明する図である。
［ステップ１］ 符号化器にサンプル点の数Ｍ及びサンプリングの繰り返し数Ｎを与える。カウンタ値tを０、ｘ＾^ｎの初期値を適当に与え（例えば、ｘ＾^ｎ＝１、１、・・・、１）、ｗ（ｘ^ｎ）の初期値を十分大きい値とする（例えば、ｎｌｏｇ（ｑ））。
［ステップ２］ ギブスサンプリング部１３にて入力部１１からの入力ｕ^ｋ、共通データ部１２からのＡに従ったサンプル点をＭ個発生させる。
［ステップ３］ 最適化部１４にてＭ個のサンプル点を用いて共通データ部１２からのＰ_Ｘに従って計算したｘ＾^ｎおよび現在保有するｘ＾^ｎの中から重みが最小のもの（ｗ（ｘ^ｎ（ｉ））を最小にするもの（数式４ａ））を選び出し新たにｘ＾^ｎとする。カウンタ値tがＮとなっていれば終了し、ｘ＾^ｎを出力する。そうでなければカウンタ値tに１を加算し、ステップ２に戻る。

［３］ ２値対称通信路（ＢＳＣ）における誤り訂正符号への適用例
本適用例ではｑ＝２とする。
ＢＳＣは１ビットｘ∈Ｆ_２が入力された際に出力ビットｙ∈Ｆ_２が
（数５）
ｙ＝ｘ＋ｚ （５）
（ただしｚ∈Ｆ_２は確率分布Ｐ_Ｚに従って値をとるものとする。また足し算はｍｏｄ ２でなされる。）で表される通信路である。復号器において、ｎ×ｋ疎行列Ａは予め与えられており、また通信路雑音の統計的性質Ｐ_Ｚは既知と仮定する。通信路からの出力をｙ^ｎ∈Ｆ_２ ^ｎとすると、
（数６）
ｙ^ｎ＝ｘ^ｎ＋ｚ^ｎ （６）
（ただしｍｏｄ ２の足し算はビット毎になされる）であるので最尤復号は

従って、復号の実現はデータ圧縮の場合と全く同じアルゴリズムを適用できることがわかる。

［４］ 確定的な符号化器への適用
非特許文献１ではサンプリングを用いることで有歪み情報源符号化器を構成した。この場合は最適化を行っていないので結果的に確率的な符号化器となっている。有歪み情報源符号化器も通信路符号化器も（３）式の形で表すことができるため（非特許文献１、４）、本発明のアルゴリズムを用いることで確定的な符号化器を実現できる。

図３は、ｑ＝２、Ｐ_Ｘ（Ｘ＝１）＝Ｐ_Ｘ（Ｘ＝０）＝０．５に対し有歪み情報源符号化器を本発明のアルゴリズムを適用することで実現したものである。縦軸は圧縮レートＲ（０≦Ｒ≦１）、横軸はオリジナルデータと符号化データ間の歪みＤ（０≦Ｄ≦０．５）を表す。ブロック長は１０００、黒点が本発明のアルゴリズムを適用した結果、実線がシャノン限界（圧縮レート・歪み曲線）、破線が無歪み符号から容易に実現できるパフォーマンスを示したものである。

［５］ 本発明のアルゴリズムによる効果
本発明のアルゴリズムを符号化器及び復号器に適用することで次のような効果を得られる。
［効果１］
符号を表す行列（例えば誤り訂正符号におけるパリティ検査行列）に対応するタナーグラフがループを有する／有しないに関わらず適用できる。近似精度はサンプル数（［２］節のアルゴリズムにおけるＭ）もしくはチェイン数（［２］節のアルゴリズムにおけるＮ）を増やすことで容易に向上できる。
［効果２］
各チェインにおいて同じ処理を行うため最大Ｎ個の並列化が可能である。
［効果３］
レートにおける有効性がｓｕｍ−ｐｒｏｄｕｃｔ復号法と相補的な関係となっているので（例えばデータ圧縮の問題では、低圧縮レートではｓｕｍ−ｐｒｏｄｕｃｔ復号法を用い、高圧縮レートでは本アルゴリズムを用いるなど）利用場面に適した使い方ができる。また、並列化による加速が容易な場合は本アルゴリズムのみで全レートをカバーできる。

図４は、本発明のアルゴリズムを適用した復号方式（ＳＡ）とｓｕｍ−ｐｒｏｄｕｃｔ復号法（ＳＰ）とをブロック長が１０００ビットのｑ＝２の場合の無歪みデータ圧縮に適用し、復号誤り率を比較したものである。横軸はＰ_Ｘ（Ｘ＝１）を表し、縦軸は復号誤り率を表す。圧縮レートが０．７と比較的高い場合は提案方式が優れており、圧縮レートが０．５の場合は両方式はほぼ同等、圧縮レートが０．３の場合はｓｕｍ−ｐｒｏｄｕｃｔ復号法が優れている。しかしながら、ＳＡはサンプリングの数を増やす（すなわち処理時間がより長くなることを許容する）ことで容易に復号誤りを小さくすることが可能である。

図５は、本発明のアルゴリズムを適用した復号方式（ＳＡ）とｓｕｍ−ｐｒｏｄｕｃｔ復号法（ＳＰ）とをｑ＝２の場合のＰ_Ｘ（Ｘ＝１）＝０．１５における無歪みデータ圧縮に適用した際のＦＥＲを示している。ｓｕｍ−ｐｒｏｄｕｃｔ復号法はＦＥＲは１．０となっている（ビットエラー率で評価を行っていないことに注意）。一方提案アルゴリズムはＬＤＰＣ行列に関しては最適化を行っていないが、サンプリング数を変動させている。図よりサンプリング数が多くなればより小さいＦＥＲを達成していることがわかる。太い横破線は復号性能の目安としてＬＤＰＣ行列の代わりに密行列を用いた際のＦＥＲの上限を計算によって求めたものである。

１１：入力部
１２：共通データ部
１３：ギブスサンプリング部
１４：最適化部

Claims (3)

1. ｑ（ｑは任意の素数）値有限体Ｆ_ｑに属するｋビットの入力データｕ^ｋが入力される入力部と、
   予め与えられたＦ_ｑ上の確率分布Ｐ_ＸおよびＦ_ｑ上のｎ×ｋ疎行列Ａを保持する共通データ部と、
   前記入力部から取得した入力データｕ^ｋ、及び前記共通データ部から取得した疎行列Ａからｘ^ｎＡ＝ｕ^ｋに従ったｎビットのデータｘ^ｎのサンプル点を有限数であるＭ個発生させるサンプル点発生処理を行うギブスサンプリング部と、
   前記ギブスサンプリング部から取得したＭ個のサンプル点および保持している最尤推定ｘ＾^ｎの内から、前記共通データ部が保持するＰ_Ｘ ⁿから計算される重みが最小となるものを選出する選出処理を行い、新たなｘ＾^ｎとして保持する最適化部と、
   を備え、
   前記ギブスサンプリング部と前記最適化部とが、前記サンプル点発生処理と前記選出処理とをＮ回（Ｎは２以上の整数）繰り返して実行した後、前記最適化部が保持しているｘ＾^ｎを出力することを特徴とする符号化通信装置。
2. ｑ（ｑは任意の素数）値有限体Ｆ_ｑに属するｋビットの入力データｕ^ｋが入力される入力手順と、
   前記入力手順で入力された入力データｕ^ｋ、及び予め与えられたＦ_ｑ上のｎ×ｋ疎行列Ａからｘ^ｎＡ＝ｕ^ｋに従ったｎビットのデータｘ^ｎのサンプル点を有限数であるＭ個発生させるサンプル点発生処理手順と、
   前記サンプル点発生処理手順で発生させたＭ個のサンプル点および最適化部に保持された最尤推定ｘ＾^ｎの内から、予め与えられたＦ_ｑ ⁿ上の確率分布Ｐ_Ｘ ⁿから計算される重みが最小となるものを選出し、新たなｘ＾^ｎとして前記最適化部に保持する選出処理手順と、
   を備え、
   前記サンプル点発生処理手順と前記選出処理手順とをＮ回（Ｎは２以上の整数）繰り返して実行した後、前記最適化部が保持しているｘ＾^ｎを出力することを特徴とする符号化通信方法。
3. 請求項２に記載の符号化通信方法をコンピュータに実行させるためのプログラム。

Images