JP6379036B2 - 送信装置、画像送信方法、および画像送受信方法 - Google Patents

送信装置、画像送信方法、および画像送受信方法 Download PDF

Info

Publication number
JP6379036B2
JP6379036B2 JP2014531647A JP2014531647A JP6379036B2 JP 6379036 B2 JP6379036 B2 JP 6379036B2 JP 2014531647 A JP2014531647 A JP 2014531647A JP 2014531647 A JP2014531647 A JP 2014531647A JP 6379036 B2 JP6379036 B2 JP 6379036B2
Authority
JP
Japan
Prior art keywords
image
unit
transmission
block
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014531647A
Other languages
English (en)
Other versions
JPWO2014030665A1 (ja
Inventor
近藤　哲二郎
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
I Cubed Research Center Inc
Original Assignee
I Cubed Research Center Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by I Cubed Research Center Inc filed Critical I Cubed Research Center Inc
Publication of JPWO2014030665A1 publication Critical patent/JPWO2014030665A1/ja
Application granted granted Critical
Publication of JP6379036B2 publication Critical patent/JP6379036B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Description

本発明は、画像を送受信する送受信システム等に関するものである。
従来、標準解像度のテレビジョン信号を高解像度のテレビジョン信号に変換するアップコンバージョンに適用可能な解像度補償可能な画像変換装置があった（例えば、特許文献１参照）。かかる画像変換装置は、テレビジョン受信装置で用いられていた。
また、いわゆるアップコンバージョンするテレビチューナがあった（例えば、特許文献２参照）。
また、アップコンバージョン方式の画像表示装置もあった（例えば、特許文献３参照）。
また、送信側で動画圧縮を行い、受信側でストリーミング再生を行う送受信システムがあった（例えば、特許文献４参照）。
さらに、各種の動画圧縮の符号化方法が提案されている（例えば、特許文献５参照）。なお、符号化方法の一例として、Ｈ．２６４が知られている。
特開平５−１６７９９２号公報（第１頁、第１図等） 特開２００３−１３４４１１号公報（第１頁、第１図等） 特開２００３−１７２９５９号公報（第１頁、第１図等） 特開２００７−１３５０５９号公報（第１頁、第１図等） 特開２００７−９６５４１号公報（第１頁、第１図等）
しかしながら、従来の送受信システムにおいては、伝送するデータ量を減らしつつ、高品質な画像を受信装置で出力できなかった。
つまり、例えば、Ｈ．２６４などの符号化方式を用いて、画像を伝送する場合、伝送するデータ量を減らすことができるが、高周波成分が除去されるため、時間的および空間的な画像の詳細部分が失われてしまい、受信装置において、きれいな画像を出力できなかった。
また、高品質な画像を受信装置で出力しようとした場合、伝送するデータ量が膨大になっていた。
本第一の発明の送信装置は、画像を送信する送信装置と、受信装置とを具備する送受信システムにおける送信装置であって、送信装置は、第一画像を受け付ける画像受付部と、第一画像を構成するブロックである第一画像ブロックと、第一画像ブロックに対応するブロックであり、第二画像を構成するブロックである第二画像ブロックとを対応付けた送信側対応情報を複数有する送信側対応表を格納している送信側対応表格納部と、画像受付部が受け付けた第一画像から１以上のブロックを取得し、１以上の各ブロックに対応する１以上の第二画像ブロックを送信側対応表格納部から取得し、１以上の第二画像ブロックから第二画像を構成する前処理部と、第二画像を送信する送信部とを具備し、受信装置は、第二画像を受信する受信部と、第二画像から第三画像を生成する生成部と、第三画像を出力する出力部とを具備する送受信システムにおける送信装置である。
かかる構成により、伝送するデータ量を減らし、かつ高品質な画像を受信機で出力できることができる。
また、本第二の発明の送信装置は、第一の発明に対して、送信装置は、第二画像を符号化し、符号化画像を取得する符号化部をさらに具備し、送信部は、符号化画像を送信し、受信部は、符号化画像を受信し、受信装置は、受信部が受信した符号化画像を復号化し、第二画像を取得する復号化部をさらに具備し、生成部は、復号化部が取得した第二画像から、第三画像を生成する送受信システムにおける送信装置である。
かかる構成により、伝送するデータ量を減らし、かつ高品質な画像を受信機で出力できることができる。
また、本第三の発明の送信装置は、第一または第二の発明に対して、生成部は、第二画像を構成するブロックである第二画像ブロックと、第二画像ブロックに対応するブロックである第三の解像度のブロックである第三画像ブロックとを対応付けた受信側対応情報を複数有する受信側対応表を格納している受信側対応表格納手段と、第二画像から１以上のブロックを取得し、１以上の第二画像ブロックを取得する受信側分割手段と、受信側分割手段が取得した１以上の各第二画像ブロックに対応する１以上の第三画像ブロックを、受信側対応表格納手段から取得する第三画像ブロック取得手段と、第三画像ブロック取得手段が取得した１以上の第三画像ブロックから第三画像を構成する第三画像構成手段とを具備する送信装置である。
かかる構成により、伝送するデータ量を減らし、かつ高品質な画像を受信機で出力できる。
また、本第四の発明の送信装置は、第一から第三のいずれかの発明に対して、前処理部は、画像受付部が受け付けた第一画像から１以上の特徴量を取得する特徴量取得手段を具備し、送信部は、１以上の特徴量と、第二画像または符号化画像とを送信し、受信部は、１以上の特徴量と、第二画像または符号化画像とを受信し、生成部は、１以上の特徴量を用いて、受信部が受信した第二画像または復号化部が取得した第二画像から、第三画像を生成する送信装置である。
かかる構成により、伝送するデータ量を減らし、かつより高品質な画像を受信機で出力できる。
また、本第五の発明の送信装置は、第四の発明に対して、１以上の特徴量のうちの一の特徴量は、符号化方式を識別する符号化方式識別子であり、受信側対応表格納手段は、符号化方式識別子ごとに、２以上の受信側対応表を有し、第三画像ブロック取得手段は、符号化方式識別子に対応する受信側対応表から、受信側分割手段が取得した１以上の各第二画像ブロックに対応する１以上の第三画像ブロックを取得する送信装置である。
かかる構成により、伝送するデータ量を減らし、かつ高品質な画像を受信機で出力できる。
また、本第六の発明の送信装置は、第四の発明に対して、特徴量取得手段は、過去の１以上のフィールドを構成する画像と現在の画像とから、時空間的なパラメータである１以上の予測係数を取得する送信装置である。
かかる構成により、伝送するデータ量を減らし、かつ高品質な画像を受信機で出力できる。
本発明による送受信システムによれば、伝送するデータ量を減らし、かつ高品質な画像を受信装置で出力できる。
実施の形態１における送受信システムのブロック図 同ブロック化を説明する図 同送信装置の動作について説明するフローチャート 同前処理の例の詳細について説明するフローチャート 同受信装置の動作について説明するフローチャート 同生成処理の動作について説明するフローチャート 同ビデオ信号の変換を説明する図 同第二画像ブロック取得手段の構造を示す図 同コンピュータシステムの概観図 同コンピュータシステムのブロック図
以下、送受信システム等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
（実施の形態１）
本実施の形態において、伝送するデータ量を減らし、かつ高画質の画像を出力できる送受信システム１について説明する。この送受信システム１は、画像を送信する送信装置１１と、受信装置１２とを具備する。
そして、送信装置１１において、符号化により失われる画像の情報を、受信装置１２で補うような前処理を行ってから、画像を符号化し、当該符号化した画像を伝送する。また、受信装置１２では、符号化した画像を受信し、復号化する。そして、受信装置１２は、復号化した画像に対して、さらに送信装置１１において行った前処理を補うような処理を行い、画像を出力する。
また、本実施の形態において、送信装置１１は、画像の１以上の特徴量を取得し、送信する。また、受信装置１２は、１以上の特徴量を受信し、当該特徴量を高解像度の画像の生成に利用する。
また、本実施の形態において、送信装置１１は、画像と音声データとを送信しても良いことは言うまでもない。さらに、受信装置１２は、画像と音声データとを受信しても良いことは言うまでもない。なお、本明細書において、画像は、通常、動画であるが、静止画でも良い。
また、本実施の形態において、符号化を行わず、前処理を行った画像そのものを伝送してもよい。その場合、受信装置１２においては復号化を行わずに受信した画像から出力画像を生成する。また、本実施の形態において、送信装置１１によって符号化された画像を伝送するのではなく、ハードディスク等の記録媒体に記録されている画像や、受信装置１２によって記録媒体に記録された画像を出力してもよい。
図１は、本実施の形態における送受信システム１のブロック図である。送信装置１１は、画像受付部１１１、送信側対応表格納部１１２、前処理部１１３、符号化部１１４、送信部１１５を備える。
前処理部１１３は、送信側分割手段１１３１、第二画像ブロック取得手段１１３２、第二画像構成手段１１３３、特徴量取得手段１１３４を備える。
受信装置１２は、受信部１２１、復号化部１２２、生成部１２３、出力部１２４を備える。
生成部１２３は、受信側対応表格納手段１２３１、受信側分割手段１２３２、第三画像ブロック取得手段１２３３、第三画像構成手段１２３４を備える。
送信装置１１を構成する画像受付部１１１は、第一画像を受け付ける。第一画像は、ノイズを有しても良い。また、第一画像は、第一の解像度の画像である。また、受け付けとは、カメラからの受信でも良いし、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体からの読み出しでも良い。第一画像の受け付け方法は問わない。
送信側対応表格納部１１２は、複数の送信側対応情報を有する送信側対応表を格納している。送信側対応情報とは、第一画像を構成するブロックである第一画像ブロックと、第二画像を構成するブロックである第二画像ブロックとを対応付けた情報である。また、送信側対応情報とは、第一画像を、より伝送に好適な第二画像に変換する情報である。ここで、第二画像は、例えば、第一画像からノイズを除去したものである。また、第二画像は、例えば、第一画像をサブサンプルして解像度を小さくしたものである。
また、ここでの第一画像ブロックは、第一画像を構成する画像データそのものではなく、第一画像を構成する画像データの特徴を示す１以上のパラメータであることは好適である。パラメータとは、例えば、第一画像ブロックの画素データの最大値（ＭＡＸ）、最小値（ＭＩＮ）、「ＭＡＸ−ＭＩＮ」で示されるダイナミックレンジ（ＤＲ）、ダイナミックレンジを２等分して、量子化し、最小値（ＭＩＮ）を減算することにより画素データを正規化し、その正規化したデータを量子化（再量子化）した情報などである。送信側対応情報は、第一画像ブロック（１以上のパラメータでも良い）と第二画像ブロックとを有しても良いし、第一画像ブロックの識別情報と第二画像ブロックの識別情報とを有しても良い。かかる場合、第一画像ブロックおよび第二画像ブロックは、送信装置１１に存在しても良いし、送信装置１１の外部に存在しても良い。第二画像は、第一画像に対して、例えば、ノイズを除去した第二の解像度の画像である。また、第二画像を出力した場合に、第一画像の出力とは、全く異なる画像でも良い。つまり、第一画像は、例えば、カメラで１以上の対象物を撮影した画像である。そして、第二画像は、例えば、視聴者が１以上の対象物を認識できない画像である。つまり、第二画像は、第一画像とは異なり、例えば、視聴できない（視聴に耐えない）画像でも良い。第二画像は、受信装置１２が後述する第三画像を生成できる画像であれば良い。なお、第二画像の解像度である第二の解像度は、第一画像の解像度である第一の解像度より高解像度であることが好適であるが、第一の解像度と同じ解像度でも良い。また、第二の解像度は、第一の解像度より低い解像度でも良い。また、上記のノイズの除去とは、一部のノイズの除去でも良いことは言うまでもない。また、第二画像は、例えば第一画像に対して情報量調整を行った画像である。情報量調整とは、例えば、サブサンプリング、量子化等である。
送信側対応表格納部１１２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。送信側対応表格納部１１２に送信側対応表が記憶される過程は問わない。例えば、記録媒体を介して送信側対応表が送信側対応表格納部１１２で記憶されるようになってもよく、通信回線等を介して送信された送信側対応表が送信側対応表格納部１１２で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された送信側対応表が送信側対応表格納部１１２で記憶されるようになってもよい。
前処理部１１３は、画像受付部１１１が受け付けた第一画像を２以上のブロックに分割し、２以上の各ブロックに対応する２以上の第二画像ブロックを取得し、２以上の第二画像ブロックから第二画像を構成する。
ただし、前処理部１１３は、画像受付部１１１が受け付けた第一画像を分割せずに、当該第一画像に対応する第二画像ブロック（このブロックは第二画像そのものである）を取得しても良い。つまり、前処理部１１３は、画像受付部１１１が受け付けた第一画像から１以上のブロックを取得し、当該１以上の各ブロックに対応する１以上の第二画像ブロックを前記送信側対応表格納部１１２から取得し、当該１以上の第二画像ブロックから第二画像を構成する。
前処理部１１３は、通常、ＭＰＵやメモリ等から実現され得る。前処理部１１３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
送信側分割手段１１３１は、画像受付部１１１が受け付けた第一画像から、１以上の第一画像ブロックを取得する。また、例えば、送信側分割手段１１３１は、画像受付部１１１が受け付けた第一画像を２以上のブロックに分割し、２以上の第一画像ブロックを取得することは好適である。送信側分割手段１１３１は、所定のサンプリング周波数でデジタル化された第一画像（ここでは、例えば、テレビジョン信号）を受け付け、テレビジョン信号の順序をブロックの順序に変換する。送信側分割手段１１３１は、例えば、２以上（例えば、ここでは「４」）の走査線変換回路により実現される。４つの各走査線変換回路には、それぞれ、現フィールドの画像、前フィールドの画像、前々フィールドの画像、前々々フィールドの画像、が供給される。そして、４つの各走査線変換回路の出力端子には、それぞれ、各フィールドのデータがブロックの順序で発生する。現フィールドの画像Ｆｋに関して、図２において付された番号の順序で１ブロックずつ画像が走査線変換回路の出力端子に出力される。前フィールドの画像Ｆｋ−１、前々フィールドの画像Ｆｋ−２、前々々フィールドの画像Ｆｋ−３に関しても、画像Ｆｋと同様に、図２において付された番号の順序で１ブロックずつ画像が各走査線変換回路の出力端子に出力される。１ブロック内でのデータの出力の順序は、テレビジョン走査と同様である。各走査線変換回路は、ブロック化のためのメモリを有する。１フィールドが（２１０ライン×６８４）画素の場合、全画素は１４３６４０画素となる。図２に示すように、１フィールドを４分割した場合は、１ブロックに含まれる画素数は（１０５×３４２＝３５９１０）画素となる。
第二画像ブロック取得手段１１３２は、送信側分割手段１１３１が取得した１以上の各第一画像ブロックに対応する１以上の第二画像ブロックを送信側対応表格納部１１２から取得する。第二画像ブロック取得手段１１３２は、例えば、１以上の各第一画像ブロックの１以上のパラメータを取得し、当該１以上のパラメータに対応する第二画像ブロックを送信側対応表格納部１１２から取得する。
第二画像構成手段１１３３は、第二画像ブロック取得手段１１３２が取得した１以上の第二画像ブロックから第二画像を構成する。なお、第二画像ブロック取得手段１１３２が一つの第二画像ブロックを取得した場合、第二画像構成手段１１３３は、その第二画像ブロック（第二画像）を取得するだけの処理を行う。
特徴量取得手段１１３４は、画像受付部１１１が受け付けた第一画像から１以上の特徴量を取得する。特徴量とは、例えば、符号化方式識別子（フォーマット識別子と言っても良い）、サンプリングのパターンを示すサンプリングパターン情報、予測係数などである。符号化方式識別子とは、例えば、符号化方式を示す「Ｈ．２６４」や「ＭＰＥＧ−４ ＡＶＣ」や「ＭＰＥＧ−２」などである。サンプリングパターン情報は、送信装置１１と受信装置１２が予め知っているサンプリングのパターンを識別する情報（例えば、「１」「２」など）である。サンプリングパターン情報により、空間的なサンプリングの方法や時間的なサンプリングの方法が決定される。
予測係数とは、過去の数フィールド（予め決められた数のフィールドで、例えば、３フィールド）の画素データから現在のフィールドの画素データを取得するための線形１次結合で規定される時空間な関係式を規定するパラメータである。なお、予測係数の取得方法は、例えば、「特開昭６２−１０２６８５」に記載されている。かかる場合、特徴量取得手段１１３４は、過去の１以上のフィールドを構成する画像と現在の画像とから、時空間的なパラメータである１以上の予測係数を取得する。
また、詳細には、「特開昭６２−１０２６８５」、「特許第３０７２３０６号」に記載されているように、例えば、特徴量取得手段１１３４は、過去の数フィールドの画素データであって、現在のフィールドを分割して得られるブロック内の画素データと対応するブロック内の画素データとから線形１次結合で規定される時空間な関係式を規定するパラメータを同定する。かかる場合、特徴量取得手段１１３４は、例えば、最小自乗法を用いる。特徴量取得手段１１３４は、例えば、ブロック毎に３５個のパラメータを取得する。特徴量取得手段１１３４は、まず、予測データを線形１次結合の式を用いて算出する。線形１次結合の式は、以下の数式１である。
Figure 0006379036
数式１を行列とベクトルによりまとめて表現すると、「i＝Ｉ・ｗ」となる。iは、（ｍ×ｎ）次のベクトル、Ｉは（ｍ×ｎ，３５）の行列、ｗは３５次のベクトルである。（ｍ×ｎ）は、１ブロック内の全ての画素または代表点を示す。
一方、現フィールドの画素または代表点のデータ（真値）を並べてなるベクトルjは、（ｍ×ｎ）次のベクトルであり、ｅを（ｍ×ｎ）次の予測誤差ベクトルとすると、「j＝i＋ｅ＝Ｉ・ｗ＋ｅ」となる。この式は、「ｅ＝ｊ−Ｉ・ｗ」となる。
この予測誤差ベクトルｅの自乗和を最小にするパラメータｗが求められる。上式は、下記のように変形される。但し、Ｔは転置行列を示す。
「ｅＴｅ＝（ｊ−Ｉ・ｗ）Ｔ（ｊ−Ｉ・ｗ）＝jＴj−jＴＩｗ―ｗＴＩＴj−ｗＴＩＴＩｗ」
上式で、ｅＴｅを最小にするパラメータｗは、以下の数式２を満足するものとなる。
Figure 0006379036
この数式２の導出は、例えば、文献「システム同定」（発行所：社団法人計測自動制御学会，発行日：昭和５６年２月１０日（初版））の第４章第４節第２項に記載されている。
このままでは、１ブロックの（ｍ×ｎ）個の画素の場合、（ｍ×ｎ，３５）という大きな行列を扱うこととなり、適切ではない。従って、上式を小さい次数の行列およびベクトルに直して処理する。つまり、（Ｐ＝ＩＴ・Ｉ）の（３５，３５）の行列と、（Ｑ＝ＩＴ・Ｊ）の３５次のベクトルとを用いる。Ｐ、およびＱについて、数式３に示す。
Figure 0006379036
特徴量取得手段１１３４は、過去の３フィールドの予測データから、このＰ、Ｑが算出される。そして、（Ｐ−１Ｑ）により、パラメータが計算される。
送信側分割手段１１３１、第二画像ブロック取得手段１１３２、第二画像構成手段１１３３、および特徴量取得手段１１３４は、通常、ＭＰＵやメモリ等から実現され得る。第二画像ブロック取得手段１１３２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
符号化部１１４は、第二画像を符号化し、符号化画像を取得する。符号化部１１４が行う符号化方式は問わない。符号化方式は、動画圧縮を高効率で行う方式であることが好適である。符号化方式は、例えば、Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣと言っても良い）などである。符号化方式は、ＭＰＥＧ−２でも良い。なお、上述したように、符号化部１１４は、存在しなくても良い。
符号化部１１４は、通常、ＭＰＵやメモリ等から実現され得る。符号化部１１４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
送信部１１５は、１以上の特徴量と符号化画像とを送信する。また、符号化部１１が存在しない場合、送信部１１５は、１以上の特徴量と第二画像を送信する。また、送信部１１５は、符号化画像のみ、または第二画像のみを送信しても良い。かかる場合、特徴量取得手段１１３４は不要である。また、送信部１１５は、情報を送信せずに、図示しない記録媒体に、蓄積しても良い。つまり、ここでの送信は、蓄積（記録媒体への書き込み）を含む概念である。
送信部１１５は、通常、無線または有線の通信手段で実現される。ただし、送信部１１５は、放送手段で実現されても良い。
受信装置１２を構成する受信部１２１は、符号化画像または第二画像を受信する。受信部１２１は、１以上の特徴量と符号化画像、または１以上の特徴量と第二画像を受信しても良い。受信部１２１は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。なお、受信部１２１は、記録媒体に蓄積されている画像を取得しても良い。
復号化部１２２は、受信部１２１が受信した符号化画像を復号化し、第二画像を取得する。復号化部１２２は、公知技術（例えば、Ｈ．２６４のデコーダ）により実現され得る。復号化部１２２は、通常、ＭＰＵやメモリ等から実現され得る。復号化部１２２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。なお、上述したように、復号化部１２２は、存在しなくても良い。
生成部１２３は、受信部１２１が受信した第二画像、または復号化部１２２が取得した第二画像から、第三画像を生成する。生成部１２３は、１以上の特徴量を用いて、復号化部１２２が取得した第二画像から、第二画像の解像度より高解像度の第三画像を生成することは好適である。
なお、生成部１２３は、第二画像から高品質な第三画像を生成すれば良い。なお、高品質な画像とは、上述した解像度（空間解像度）が高い画像でも良いし、時間解像度が高い（高フレームレート）画像でも良いし、階調が細かい（高階調）画像でも良い。また、高品質な画像とは、例えば、高ＳＮＲ（第一画像との差分が少ない）の画像、符号化による画像劣化破綻が少ない画像、高精細な画像、滑らかな画像、自然であり、違和感の少ない画像等でも良い。
生成部１２３は、通常、ＭＰＵやメモリ等から実現され得る。生成部１２３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
受信側対応表格納手段１２３１は、複数の受信側対応情報を有する受信側対応表を格納している。受信側対応情報とは、第二画像ブロックと第三画像ブロックとを対応付けた情報である。ここでの第二画像ブロックとは、第二画像ブロックそのものでなくても良く、第二画像ブロックの特徴を示す１以上のパラメータでも良い。受信側対応情報は、第二画像ブロックと第三画像ブロックとを有する情報でも良いし、第二画像ブロックの識別情報と第三画像ブロックの識別情報とを有する情報でも良い。かかる場合、第二画像ブロックと第三画像ブロックとは、受信装置１２が有しても良いし、受信装置１２の外部の装置が有しても良い。第三画像ブロックとは、第三画像を構成するブロックである。第三画像の解像度は、第一の解像度より高解像度であってもよい。
受信側対応表格納手段１２３１は、符号化方式識別子ごとに、２以上の受信側対応表を保持していることは好適である。
受信側対応表格納手段１２３１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。受信側対応表格納手段１２３１に受信側対応表が記憶される過程は問わない。例えば、記録媒体を介して受信側対応表が受信側対応表格納手段１２３１で記憶されるようになってもよく、通信回線等を介して送信された受信側対応表が受信側対応表格納手段１２３１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された受信側対応表が受信側対応表格納手段１２３１で記憶されるようになってもよい。
受信側分割手段１２３２は、第二画像から１以上の第二画像ブロックを取得する。受信側分割手段１２３２の処理と送信側分割手段１１３１の処理とは、処理対象の画像が異なるが、同じ処理でも良い。
受信側分割手段１２３２は、通常、ＭＰＵやメモリ等から実現され得る。受信側分割手段１２３２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
第三画像ブロック取得手段１２３３は、受信側分割手段１２３２が取得した１以上の各第二画像ブロックに対応する１以上の第三画像ブロックを、受信側対応表格納手段１２３１から取得する。また、第三画像ブロック取得手段１２３３は、符号化方式識別子に対応する受信側対応表から、受信側分割手段１２３２が取得した１以上の各第二画像ブロックに対応する１以上の第三画像ブロックを取得することは好適である。第三画像ブロック取得手段１２３３の処理と第二画像ブロック取得手段１１３２の処理とは、用いる対応表が異なるが、同様の処理でも良い。
第三画像ブロック取得手段１２３３は、通常、ＭＰＵやメモリ等から実現され得る。第三画像ブロック取得手段１２３３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
第三画像構成手段１２３４は、第三画像ブロック取得手段１２３３が取得した１以上の第三画像ブロックから第三画像を構成する。第三画像ブロック取得手段１２３３が取得した第三画像ブロックが一つである場合、第三画像構成手段１２３４は、第三画像ブロックを取得するだけの処理を行う。
第三画像構成手段１２３４は、通常、ＭＰＵやメモリ等から実現され得る。第三画像構成手段１２３４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
出力部１２４は、生成部１２３が取得した第三画像を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、外部の装置（表示装置）への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
出力部１２４は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。出力部１２４は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
次に、送受信システム１を構成する送信装置１１の動作について、図３のフローチャートを用いて説明する。
（ステップＳ３０１）画像受付部１１１は、画像を受け付けたか否かを判断する。なお、ここで受け付ける画像は、第一画像を構成する１フィールドの画像である。第一画像が動画である場合、順次、１フィールドの画像を受け付けることとなる。
（ステップＳ３０２）前処理部１１３は、ステップＳ３０１で受け付けた画像に対して、前処理を行う。前処理の例の詳細について、図４のフローチャートを用いて説明する。
（ステップＳ３０３）符号化部１１４は、ステップＳ３０２で前処理を行った結果の画像である第二画像に対して、符号化処理を行い、符号化画像を取得する。符号化処理は、例えば、Ｈ．２６４の符号化である。なお、ここでの処理は、１以上の特徴量の抽出処理は除いている。特徴量の抽出処理は、後述するステップＳ３０４で行う。
（ステップＳ３０４）前処理部１１３は、第一画像の特徴量を、１以上取得する。なお、第一画像の特徴量は、当該第一画像から作られる第二画像の特徴量でも良いし、当該第一画像から作られる符号化画像の特徴量でも良い。
（ステップＳ３０５）送信部１１５は、ステップＳ３０４で取得された１以上の特徴量と、ステップＳ３０３で取得された符号化画像とを送信する。なお、送信部１１５は、符号化画像のみを送信しても良い。かかる場合、ステップＳ３０４が不要である。
なお、図３のフローチャートにおいて、ステップＳ３０４の特徴量の取得処理は、ステップＳ３０３の符号化処理の前でも良い。
また、図３のフローチャートにおいて、特徴量の取得、送信は行わなくても良い。かかる場合、ステップＳ３０４の処理は不要である。
また、図３のフローチャートにおいて、符号化処理は行わなくても良い。かかる場合、ステップＳ３０３の処理は不要である。また、かかる場合、送信部１１５は、ステップＳ３０４で取得された１以上の特徴量と、第二画像とを送信する。
さらに、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、ステップＳ３０２の前処理の例の詳細について、図４のフローチャートを用いて説明する。
（ステップＳ４０１）送信側分割手段１１３１は、画像受付部１１１が受け付けた画像を２以上のブロックに分割し、２以上のブロック画像を得る。なお、送信側分割手段１１３１は、画像受付部１１１が受け付けた画像を、一つのブロック画像として、取得するだけでも良い。
（ステップＳ４０２）第二画像ブロック取得手段１１３２は、カウンタｉに１を代入する。
（ステップＳ４０３）第二画像ブロック取得手段１１３２は、ｉ番目のブロック画像が存在するか否かを判断する。ｉ番目のブロック画像が存在すればステップＳ４０４に行き、存在しなければ上位処理にリターンする。
（ステップＳ４０４）第二画像ブロック取得手段１１３２は、ｉ番目のブロック画像の１以上のパラメータを取得する。パラメータとは、ｉ番目のブロック画像の特徴を示す情報であり、例えば、画像ブロックの画素データの最大値（ＭＡＸ）、最小値（ＭＩＮ）、「ＭＡＸ−ＭＩＮ」で示されるダイナミックレンジ（ＤＲ）などである。
（ステップＳ４０５）第二画像ブロック取得手段１１３２は、ステップＳ４０４で取得した１以上のパラメータに対応する第二画像ブロックを、送信側対応表格納部１１２から取得する。
（ステップＳ４０６）第二画像ブロック取得手段１１３２は、カウンタｉを、１インクリメントする。ステップＳ４０３に戻る。
なお、図４のフローチャートにおいて、前処理は、ノイズの除去、およびダウンコンバージョンなどでも良い。
また、図４のフローチャートにおいて、前処理は、サブサンプリングなどの情報調整などでも良い。
次に、送受信システム１を構成する受信装置１２の動作について、図５のフローチャートを用いて説明する。
（ステップＳ５０１）受信部１２１は、符号化画像を受信したか否かを判断する。符号化画像を受信すればステップＳ５０２に行き、符号化画像を受信しなければステップＳ５０１に戻る。
（ステップＳ５０２）復号化部１２２は、ステップＳ５０１で受信された符号化画像を復号化し、第二画像を取得する。
（ステップＳ５０３）生成部１２３は、ステップＳ５０２で取得された第二画像から、第二画像の解像度より高解像度の第三画像を生成する。この生成処理の詳細について、図６のフローチャートを用いて説明する。
（ステップＳ５０４）出力部１２４は、ステップＳ５０３で生成された第三画像を出力する。ステップＳ５０１に戻る。
なお、図５のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
また、図５のフローチャートにおいて、受信部１２１は、第二画像を受信しても良い。かかる場合、ステップＳ５０２の処理は不要である。
さらに、図５のフローチャートのステップＳ５０３において、生成部１２３は、第二画像から、第二画像の解像度より高解像度の第三画像を生成した。しかし、生成部１２３は、第二画像に対して、解像度以外の観点で高品質な画像である第三画像を生成しても良い。解像度以外の観点とは、例えば、輝度等である。
次に、ステップＳ５０３の生成処理の詳細について、図６のフローチャートを用いて説明する。
（ステップＳ６０１）受信側分割手段１２３２は、第二画像を２以上のブロックに分割し、２以上の第二画像ブロックを取得する。なお、受信側分割手段１２３２は、第二画像を分割せずに、単に第二画像を取得するだけでも良い。
（ステップＳ６０２）第三画像ブロック取得手段１２３３は、カウンタｉに１を代入する。
（ステップＳ６０３）第三画像ブロック取得手段１２３３は、ｉ番目の第二ブロック画像が存在するか否かを判断する。ｉ番目の第二ブロック画像が存在すればステップＳ６０４に行き、存在しなければステップＳ６０７に行く。
（ステップＳ６０４）第三画像ブロック取得手段１２３３は、ｉ番目の第二ブロック画像の１以上のパラメータを取得する。パラメータとは、ｉ番目の第二ブロック画像の特徴を示す情報であり、例えば、画像ブロックの画素データの最大値（ＭＡＸ）、最小値（ＭＩＮ）、「ＭＡＸ−ＭＩＮ」で示されるダイナミックレンジ（ＤＲ）などである。
（ステップＳ６０５）第三画像ブロック取得手段１２３３は、受信部１２１が受信した１以上の特徴量のうちの１以上の特徴量（例えば、符号化方式識別子やサンプリングパターン情報など）に対応する一の受信側対応表を選択し、当該選択した一の受信側対応表を参照して、ステップＳ６０４で取得した１以上のパラメータ（第二画像ブロック）に対応する第三画像ブロックを、受信側対応表格納手段１２３１から取得する。
（ステップＳ６０６）第三画像ブロック取得手段１２３３は、カウンタｉを、１インクリメントする。ステップＳ６０３に戻る。
（ステップＳ６０７）第三画像構成手段１２３４は、第三画像ブロック取得手段１２３３が取得した１以上の第三画像ブロックから第三画像を構成する。上位処理にリターンする。
なお、図６のフローチャートにおける第三画像の生成処理は一例であり、他の方法でも良い。他の方法とは、例えば、特許文献３などに記載されている画像のアップコンバージョン方法である。
以下、本実施の形態における送信装置１１の第二画像構成手段１１３３が行う第二画像の生成処理の具体的な動作について説明する。ここで、画像受付部１１１は、第一の解像度の画像であるビデオ信号を受け付ける、とする。
まず、送信側分割手段１１３１は、ビデオ信号が通常のラスター走査の順序からブロックの順序に変換する。そして、送信側分割手段１１３１は、図７に示すように、（２×２×８ビット＝３２ビット）のブロック５ｓに変換されたビデオ信号が発生する。
そして、ここでは、第二画像ブロック取得手段１１３２は、例えば、図８に示す構造である、とする。
送信側分割手段１１３１の出力信号（ブロック５ｓ）がＡＤＲＣエンコーダ８１に供給される。ＡＤＲＣ（ダイナミックレンジに適応した符号化）は、ブロック内の複数画素が空間的な相関を有することを利用して、各画素のビット数を８ビットから例えば４ビットに圧縮するものである。
そして、ＡＤＲＣエンコーダ８１は、ブロックの画素データの最大値ＭＡＸ、その最小値ＭＩＮ、（ＭＡＸ−ＭＩＮ＝ＤＲ）で表されるダイナミックレンジＤＲを検出する回路と、ダイナミックレンジＤＲを２4 等分して、量子化ステップを発生する回路と、最小値ＭＩＮを減算することで、そのブロックの画素データを正規化する減算回路と、減算回路の出力を量子化ステップで割算する、すなわち、再量子化する量子化回路とを含む。ＡＤＲＣエンコーダ８１からは、ブロック毎のダイナミックレンジＤＲ、最小値ＭＩＮ、各画素と対応する４ビットのコード信号ＤＴとが出力される。
このＡＤＲＣエンコーダ８１の出力信号中のコード信号ＤＴ（１ブロックで１６ビット）がメモリ１１２（送信側対応表格納部１１２）にアドレスとして供給される。メモリ１１２には、第一画像と第二画像との間の符号化出力の相関に基づいたマッピング表が格納されている。このメモリ１１２は、例えば、不揮発性ＲＡＭで構成される。
メモリ３からは、図７に示すように、（４×４×４ビット）のブロック５ｈの符号化されたビデオ信号が読み出される。このブロック５ｈが１画面（１フィールドあるいは１フレーム）中で占める位置は、入力画像のブロック５ｓのそれと同一とされる。なお、例えば、第一画像のアスペクト比が（４：３）で、第二画像のアスペクト比が（１６：９）である場合、入力画像の、例えば左上コーナのブロック５ｓと対応する出力ブロック５ｈは、左上コーナより内側の上側の画像ブロックとして使用される。
ＡＤＲＣエンコーダ８１の符号化出力中のダイナミックレンジＤＲおよび最小値ＭＩＮが遅延回路８２に供給される。遅延回路８２の出力に現れるダイナミックレンジＤＲが割算回路８３に供給され、２4 ＝１６で除算される。従って、割算回路８３からは、そのブロックの量子化ステップが得られる。
メモリ１１２から読み出された出力画像信号のブロックのコード信号が乗算器８４に供給される。この乗算器８４には、量子化ステップが供給され、従って、乗算器８４からは、最小値除去後のデータが復元できる。この乗算器８４の出力信号が加算器８５に供給され、遅延回路８２からの最小値ＭＩＮが加算される。従って、加算器８５からは、第二画像のビデオ信号の（４×４×８ビット）の復元データが得られる。そして、この復元データが第二画像構成手段１１３３に出力される。
次に、第二画像構成手段１１３３は、ブロック毎の復元データ（第二画像ブロック）のデータ順を、ラスター走査の順に変換する。そして、第二画像構成手段１１３３は、第二画像を得る。
なお、送信装置１１が行う第一画像から第二画像の生成処理と、受信装置１２が行う第二画像から第三画像の生成処理とは、同様の処理でも良い。
以上、本実施の形態によれば、伝送するデータ量を減らし、かつ高解像度の画像を受信装置１２で出力できる。
なお、本実施の形態における送信装置１１、および受信装置１２の処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における送信装置１１を実現するソフトウェアは、例えば、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に第一画像を構成するブロックである第一画像ブロックと、当該第一画像ブロックに対応するブロックであり、第二画像を構成するブロックである第二画像ブロックとを対応付けた送信側対応情報を複数有する送信側対応表を格納しており、コンピュータを、第一画像を受け付ける画像受付部と、前記画像受付部が受け付けた第一画像から１以上のブロックを取得し、当該１以上の各ブロックに対応する１以上の第二画像ブロックを取得し、当該１以上の第二画像ブロックから第二画像を構成する前処理部と、前記第二画像を送信する送信部として機能させるためのプログラム、である。
また、本実施の形態における受信装置１２を実現するソフトウェアは、例えば、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、前記第二画像を受信する受信部と、前記第二画像から、第三画像を生成する生成部と、前記第三画像を出力する出力部として機能させるためのプログラム、である。
また、図９は、本明細書で述べたプログラムを実行して、上述した実施の形態の送信装置１１、または受信装置１２を実現し得るコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図９は、このコンピュータシステム３４０の概観図であり、図１０は、コンピュータシステム３４０のブロック図である。
図９において、コンピュータシステム３４０は、ＦＤドライブ、ＣＤ−ＲＯＭドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。
図１０において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＭＰＵ３４１３と、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３４１５とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
コンピュータシステム３４０に、上述した実施の形態の送信装置１１、または受信装置１２の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。
プログラムは、コンピュータ３４１に、上述した実施の形態の送受信システム等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかる送受信システムは、伝送するデータ量を減らし、かつ高品質な画像を受信装置で出力できる、という効果を有し、送受信システム等として有用である。
１ 送受信システム
１１ 送信装置
１２ 受信装置
１１３ 前処理部
１１４ 符号化部
１１５ 送信部
１２１ 受信部
１２２ 復号化部
１２３ 生成部
１２４ 出力部
１１３１ 送信側分割手段
１１３２ 第二画像ブロック取得手段
１１３３ 第二画像構成手段
１１３４ 特徴量取得手段
１２３１ 受信側対応表格納手段
１２３２ 受信側分割手段
１２３３ 第三画像ブロック取得手段
１２３４ 第三画像構成手段

Claims (5)

  1. 画像を送信する送信装置と、受信装置とを具備する送受信システムにおける送信装置であって、
    第一画像を受け付ける画像受付部と、
    第一画像を構成するブロックである第一画像ブロックと、当該第一画像ブロックに対応するブロックであり、第二画像を構成するブロックである第二画像ブロックとを対応付けた送信側対応情報を複数有する送信側対応表を格納している送信側対応表格納部と、
    前記画像受付部が受け付けた第一画像から１以上のブロックを取得し、当該１以上の各ブロックに対応する１以上の第二画像ブロックを前記送信側対応表格納部から取得し、当該１以上の第二画像ブロックから第二画像を構成する前処理部と、
    前記第二画像を送信する送信部とを具備し、
    前記第二画像は、
    前記第一画像に対して、空間的な低解像度化、時間的な低解像度化、または量子化の処理が行われた画像であり、前記第一画像より情報量が少ない、情報量調整が行われた画像であり、
    前記前処理部は、
    前記画像受付部が受け付けた第一画像から１以上の特徴量を取得する特徴量取得手段を具備し、
    前記送信部は、
    前記１以上の特徴量と、前記第二画像とを送信し、
    前記特徴量取得手段は、
    過去の１以上のフィールドを構成する画像と現在の画像とから、時空間的なパラメータである１以上の予測係数を取得する送信装置。
  2. 前記第二画像を符号化し、符号化画像を取得する符号化部をさらに具備し、
    前記送信部は、
    前記符号化画像を送信する請求項１記載の送信装置。
  3. 画像を送信する送信装置と、受信装置とを具備する送受信システムにおける送信装置であって、
    前記送信装置は、
    第一画像を受け付ける画像受付部と、
    第一画像を構成するブロックである第一画像ブロックと、当該第一画像ブロックに対応するブロックであり、第二画像を構成するブロックである第二画像ブロックとを対応付けた送信側対応情報を複数有する送信側対応表を格納している送信側対応表格納部と、
    前記画像受付部が受け付けた第一画像から１以上のブロックを取得し、当該１以上の各ブロックに対応する１以上の第二画像ブロックを前記送信側対応表格納部から取得し、当該１以上の第二画像ブロックから第二画像を構成する前処理部と、
    前記第二画像を送信する送信部とを具備し、
    前記受信装置は、
    前記第二画像を受信する受信部と、
    前記受信部が受信した第二画像から、当該第二画像より高品質な第三画像を生成する生成部と、
    前記第三画像を出力する出力部とを具備し、
    前記前処理部は、
    前記画像受付部が受け付けた第一画像から１以上の特徴量を取得する特徴量取得手段を具備し、
    前記送信部は、
    前記１以上の特徴量と、前記第二画像とを送信し、
    前記受信部は、
    前記１以上の特徴量と、前記第二画像とを受信し、
    前記生成部は、
    第二画像を構成するブロックである第二画像ブロックと、当該第二画像ブロックに対応するブロックである第三画像ブロックとを対応付けた受信側対応情報を複数有する受信側対応表を格納している受信側対応表格納手段と、
    前記第二画像を１以上のブロックに分割し、１以上の第二画像ブロックを取得する受信側分割手段と、
    前記受信側分割手段が取得した１以上の各第二画像ブロックに対応する１以上の第三画像ブロックを、前記受信側対応表格納手段から取得する第三画像ブロック取得手段と、
    前記第三画像ブロック取得手段が取得した１以上の第三画像ブロックから第三画像を構成する第三画像構成手段とを具備し、
    前記生成部は、
    前記１以上の特徴量を用いて、前記受信部が受信した第二画像から、第三画像を生成し、
    前記１以上の特徴量のうちの一の特徴量は、
    符号化方式を識別する符号化方式識別子であり、
    前記受信側対応表格納手段は、
    符号化方式識別子ごとに、２以上の受信側対応表を有し、
    前記第三画像ブロック取得手段は、
    前記符号化方式識別子に対応する受信側対応表から、前記受信側分割手段が取得した１以上の各第二画像ブロックに対応する１以上の第三画像ブロックを取得する送受信システムにおける送信装置。
  4. 記憶媒体に、第一画像を構成するブロックである第一画像ブロックと、当該第一画像ブロックに対応するブロックであり、第二画像を構成するブロックである第二画像ブロックとを対応付けた送信側対応情報を複数有する送信側対応表を格納している送信側対応表格納部、画像受付部、前処理部、および送信部を具備する送信装置と受信装置とを具備する送受信システムの送信装置における画像送信方法であって、
    前記画像受付部により、第一画像を受け付ける画像受付ステップと、
    前記前処理部により、前記画像受付ステップで受け付けられた第一画像から１以上のブロックを取得し、当該１以上の各ブロックに対応する１以上の第二画像ブロックを前記送信側対応表格納部から取得し、当該１以上の第二画像ブロックから第二画像を構成する前処理ステップと、
    前記送信部により、前記第二画像を送信する送信ステップとを具備し、
    前記第二画像は、
    前記第一画像に対して、空間的な低解像度化、時間的な低解像度化、または量子化の処理が行われた画像であり、前記第一画像より情報量が少ない、情報量調整が行われた画像であり、
    前記前処理ステップにおいて、
    前記画像受付ステップで受け付けられた第一画像から１以上の特徴量を取得する特徴量取得ステップを具備し、
    前記送信ステップにおいて、
    前記１以上の特徴量と、前記第二画像とを送信し、
    前記特徴量取得ステップにおいて、
    過去の１以上のフィールドを構成する画像と現在の画像とから、時空間的なパラメータである１以上の予測係数を取得する画像送信方法。
  5. 第一画像を構成するブロックである第一画像ブロックと、当該第一画像ブロックに対応するブロックであり、第二画像を構成するブロックである第二画像ブロックとを対応付けた送信側対応情報を複数有する送信側対応表を格納している送信側対応表格納部、画像受付部、前処理部、および送信部を具備する送信装置と、
    第二画像を構成するブロックである第二画像ブロックと、当該第二画像ブロックに対応するブロックである第三画像ブロックとを対応付けた受信側対応情報を複数有する受信側対応表を格納している受信側対応表格納手段、受信部、生成部、および出力部を具備する受信装置とにより実現される画像送受信方法であって、
    前記画像受付部により、第一画像を受け付ける画像受付ステップと、
    前記前処理部により、前記画像受付ステップで受け付けられた第一画像から１以上のブロックを取得し、当該１以上の各ブロックに対応する１以上の第二画像ブロックを前記送信側対応表格納部から取得し、当該１以上の第二画像ブロックから第二画像を構成する前処理ステップと、
    前記送信部により、前記第二画像を送信する送信ステップと、
    前記受信部により、前記第二画像を受信する受信ステップと、
    前記生成部により、前記受信ステップで受信された第二画像から、当該第二画像より高品質な第三画像を生成する生成ステップと、
    前記出力部により、前記第三画像を出力する出力ステップとを具備し、
    前記前処理ステップは、
    前記画像受付ステップで受け付けられた第一画像から１以上の特徴量を取得する特徴量取得ステップを具備し、
    前記送信ステップにおいて、
    前記１以上の特徴量と、前記第二画像とを送信し、
    前記受信ステップにおいて、
    前記１以上の特徴量と、前記第二画像とを受信し、
    前記生成ステップは、
    前記第二画像を１以上のブロックに分割し、１以上の第二画像ブロックを取得する受信側分割ステップと、
    前記受信側分割ステップで取得された１以上の各第二画像ブロックに対応する１以上の第三画像ブロックを、前記受信側対応表格納手段から取得する第三画像ブロック取得ステップと、
    前記第三画像ブロック取得ステップで取得された１以上の第三画像ブロックから第三画像を構成する第三画像構成ステップとを具備し、
    前記生成ステップは、
    前記１以上の特徴量を用いて、前記受信部が受信した第二画像から、第三画像を生成し、
    前記１以上の特徴量のうちの一の特徴量は、
    符号化方式を識別する符号化方式識別子であり、
    前記受信側対応表格納手段は、
    符号化方式識別子ごとに、２以上の受信側対応表を有し、
    前記第三画像ブロック取得ステップにおいて、
    前記符号化方式識別子に対応する受信側対応表から、前記受信側分割ステップで取得された１以上の各第二画像ブロックに対応する１以上の第三画像ブロックを取得する送受信システムにおける画像送受信方法。
JP2014531647A 2012-08-24 2013-08-21 送信装置、画像送信方法、および画像送受信方法 Active JP6379036B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012184921 2012-08-24
JP2012184921 2012-08-24
PCT/JP2013/072267 WO2014030665A1 (ja) 2012-08-24 2013-08-21 受信装置、送信装置および画像送信方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018100616A Division JP6653353B2 (ja) 2012-08-24 2018-05-25 送受信システム、送信装置、受信装置、および画像送信方法

Publications (2)

Publication Number Publication Date
JPWO2014030665A1 JPWO2014030665A1 (ja) 2016-07-28
JP6379036B2 true JP6379036B2 (ja) 2018-08-22

Family

ID=50149971

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014531647A Active JP6379036B2 (ja) 2012-08-24 2013-08-21 送信装置、画像送信方法、および画像送受信方法
JP2018100616A Active JP6653353B2 (ja) 2012-08-24 2018-05-25 送受信システム、送信装置、受信装置、および画像送信方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018100616A Active JP6653353B2 (ja) 2012-08-24 2018-05-25 送受信システム、送信装置、受信装置、および画像送信方法

Country Status (7)

Country Link
US (1) US10034004B2 (ja)
EP (1) EP2890127A4 (ja)
JP (2) JP6379036B2 (ja)
KR (1) KR102114509B1 (ja)
CN (1) CN104509117A (ja)
TW (1) TWI600327B (ja)
WO (1) WO2014030665A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016172394A1 (en) * 2015-04-21 2016-10-27 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
CN107846589B (zh) * 2016-09-19 2020-07-07 上海臻瞳电子科技有限公司 一种基于局部动态量化的图像压缩方法
CN108063951B (zh) * 2017-12-14 2021-07-13 Oppo广东移动通信有限公司 非标准分辨率数据的传输方法、装置及电子设备

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0746864B2 (ja) * 1984-08-22 1995-05-17 ソニー株式会社 高能率符号化装置
JPS6298991A (ja) * 1985-10-25 1987-05-08 Sony Corp テレビジヨン信号の高能率符号化装置
JPS62102685A (ja) * 1985-10-29 1987-05-13 Sony Corp 高能率符号化装置
JPH03158155A (ja) 1989-11-16 1991-07-08 Azu Internatl:Kk 豊胸器具
JP3278880B2 (ja) 1991-12-13 2002-04-30 ソニー株式会社 画像信号生成装置
JPH08336134A (ja) * 1995-04-06 1996-12-17 Sanyo Electric Co Ltd 動画像圧縮符号化方法、動画像圧縮符号化装置、動画像復号方法、動画像復号装置、及び、記録媒体
JP3072306B2 (ja) 1996-01-29 2000-07-31 ソニー株式会社 ディジタルビデオ信号変換装置及び変換方法
EP0823823A3 (en) * 1996-08-07 2001-02-14 Matsushita Electric Industrial Co., Ltd. Digital broadcasting system
JP2000040966A (ja) 1998-07-23 2000-02-08 Tadahiro Omi データ圧縮装置および方法、データ伸長装置および方法、データ圧縮伸長システム、記録媒体
GB0117591D0 (en) 2001-07-18 2001-09-12 Zarlink Semiconductor Ltd Television tuner
JPWO2003043306A1 (ja) * 2001-11-13 2005-03-10 セイコーエプソン株式会社 色変換プログラムを記録した媒体、色変換テーブルデータを記録した媒体、色変換装置、色変換方法、色変換プログラム、色変換テーブル、色変換テーブル作成プログラムを記録した媒体、補間演算プログラムを記録した媒体、色変換テーブル作成プログラム、補間演算プログラム、色変換テーブル作成装置、補間演算装置、色変換テーブル作成方法、補間演算方法、部分色変換テーブル、印刷装置および印刷方法
JP2003172959A (ja) 2001-12-04 2003-06-20 Sony Corp 画像表示方法及び画像表示装置
JP3762319B2 (ja) 2002-03-15 2006-04-05 キヤノン株式会社 画像処理方法、画像処理装置及び画像処理システム
WO2003103288A1 (en) 2002-05-29 2003-12-11 Diego Garrido Predictive interpolation of a video signal
US7899113B2 (en) * 2003-04-10 2011-03-01 Thomson Licensing Technique for simulating film grain on encoded video
US7627198B2 (en) * 2003-05-29 2009-12-01 Sony Corporation Information signal processing device and processing method, codebook generating device and generating method, and program for executing the methods
JP4093114B2 (ja) * 2003-05-29 2008-06-04 ソニー株式会社 情報信号の処理装置および処理方法、コードブックの生成装置および生成方法、並びに各方法を実行するためのプログラム
KR20060090986A (ko) * 2003-09-29 2006-08-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 3―ｄ 오버컴플릿 웨이블렛 비디오 코딩 프레임워크에 대해결합 시공간 예측을 이용하는 형태학적 유효 맵 코딩
JP2006079458A (ja) * 2004-09-10 2006-03-23 Fuji Photo Film Co Ltd 画像伝送システム、画像伝送方法、及び画像伝送プログラム
JP4410084B2 (ja) * 2004-11-04 2010-02-03 コニカミノルタビジネステクノロジーズ株式会社 モード情報変換装置及び画像形成装置並びに画像形成システム
JP2007096541A (ja) 2005-09-27 2007-04-12 Sanyo Electric Co Ltd 符号化方法
JP4807999B2 (ja) * 2005-09-16 2011-11-02 株式会社リコー 画像表示装置、画像表示方法、画像形成装置、画像形成方法、および、それらの方法をコンピュータに実行させるプログラム
JP4662148B2 (ja) 2005-11-11 2011-03-30 ソニー株式会社 送信装置、受信装置、送信方法、受信方法、送信プログラム、受信プログラム及び映像コンテンツのデータ構造
JP5188033B2 (ja) * 2006-04-24 2013-04-24 株式会社日立製作所 記録再生装置、送出装置及び伝送システム。
KR100813435B1 (ko) * 2006-10-18 2008-03-13 주식회사 휴맥스 비트스트림 인코딩/디코딩 방법 및 장치
JP2008312083A (ja) * 2007-06-18 2008-12-25 Sony Corp 符号化装置および方法、復号装置および方法、プログラム、並びに記録媒体
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
JP2010041654A (ja) * 2008-08-08 2010-02-18 Toshiba Corp 動画像符号化方法および装置
JP2010245796A (ja) * 2009-04-06 2010-10-28 Sony Corp 映像表示装置および方法、映像表示システム、並びにプログラム
WO2011027440A1 (ja) * 2009-09-02 2011-03-10 株式会社 東芝 画像圧縮装置及び画像伸張装置
KR101789845B1 (ko) * 2010-01-22 2017-11-20 톰슨 라이센싱 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치
JP5452337B2 (ja) * 2010-04-21 2014-03-26 日本放送協会 画像符号化装置及びプログラム
JP5419795B2 (ja) * 2010-04-30 2014-02-19 日本放送協会 画像符号化装置及びプログラム
MX2013002135A (es) * 2010-09-03 2013-04-03 Sony Corp Dispositivo de codificacion y metodo de codificacion, asi como dispositivo de decodificacion y metodo de decodificacion.
KR20120062551A (ko) * 2010-12-06 2012-06-14 한국전자통신연구원 디지털 비디오 송신 장치 및 방법, 디지털 비디오 수신 장치 및 방법, 디지털 비디오 송수신 시스템
US20120169924A1 (en) * 2011-01-05 2012-07-05 Mediatek Inc. Video processing apparatus capable of dynamically controlling processed picture quality based on runtime memory bandwidth utilization
US9350972B2 (en) * 2011-04-28 2016-05-24 Sony Corporation Encoding device and encoding method, and decoding device and decoding method

Also Published As

Publication number Publication date
EP2890127A1 (en) 2015-07-01
JP2018148578A (ja) 2018-09-20
EP2890127A4 (en) 2016-03-23
US10034004B2 (en) 2018-07-24
US20150245039A1 (en) 2015-08-27
KR102114509B1 (ko) 2020-05-22
WO2014030665A1 (ja) 2014-02-27
KR20150045951A (ko) 2015-04-29
JP6653353B2 (ja) 2020-02-26
TW201412131A (zh) 2014-03-16
JPWO2014030665A1 (ja) 2016-07-28
CN104509117A (zh) 2015-04-08
TWI600327B (zh) 2017-09-21

Similar Documents

Publication Publication Date Title
US11758139B2 (en) Image processing device and method
US10499057B2 (en) Image processing device and image processing method
EP2869558B1 (en) Image processing device and method
US9674547B2 (en) Method of stabilizing video, post-processing circuit and video decoder including the same
US20150139303A1 (en) Encoding device, encoding method, decoding device, and decoding method
KR102558495B1 (ko) Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
JP6653353B2 (ja) 送受信システム、送信装置、受信装置、および画像送信方法
US20150124863A1 (en) Chroma-based video converter
US20240048738A1 (en) Methods, apparatuses, computer programs and computer-readable media for processing configuration data
JP2015076861A (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
CN106028031B (zh) 视频编码装置和方法、视频解码装置和方法
US8086056B2 (en) Encoding device and method, decoding device and method, and program
CN115699775A (zh) 视频或图像编码系统中基于单色颜色格式的色度去块参数信息的图像编码方法
WO2014163903A1 (en) Integrated spatial downsampling of video data
US20070242751A1 (en) Moving picture decoding device and moving picture generating device
EP4156688A1 (en) Image coding method and device therefor
CN114982242A (zh) 发信号通知图片分割信息的方法和设备
JP2003332913A (ja) 信号処理システムおよび方法、信号処理装置および方法、記録媒体、並びにプログラム
US20160050441A1 (en) Video encoding apparatus, video decoding apparatus, video encoding method, video decoding method, and computer program
JP2008182349A (ja) 動画サムネイルデコーダ装置
JP2005117682A (ja) 係数生成装置および方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170421

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170501

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20170602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180730

R150 Certificate of patent or registration of utility model

Ref document number: 6379036

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250