JP5404339B2 - データストリームのエンコーディングにおける最適な電力使用 - Google Patents

データストリームのエンコーディングにおける最適な電力使用 Download PDF

Info

Publication number
JP5404339B2
JP5404339B2 JP2009265310A JP2009265310A JP5404339B2 JP 5404339 B2 JP5404339 B2 JP 5404339B2 JP 2009265310 A JP2009265310 A JP 2009265310A JP 2009265310 A JP2009265310 A JP 2009265310A JP 5404339 B2 JP5404339 B2 JP 5404339B2
Authority
JP
Japan
Prior art keywords
power
encoding technique
encoding
block
available
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009265310A
Other languages
English (en)
Other versions
JP2010124468A (ja
Inventor
ガーグ シャシャンク
ジャヤラム ポアー ヴィナヤク
デイ スーメンクマー
ジャタシャンカー パンディー マニシュ
マダディ レディー ハリクリシュナ
ナス パーヒー マニンドラ
Original Assignee
エヌヴィディア コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エヌヴィディア コーポレイション filed Critical エヌヴィディア コーポレイション
Publication of JP2010124468A publication Critical patent/JP2010124468A/ja
Application granted granted Critical
Publication of JP5404339B2 publication Critical patent/JP5404339B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127Prioritisation of hardware or computational resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

[002]本発明は、信号処理に係り、より特定すると、データストリームのエンコーディングにおける最適な電力使用に係る。
[004]エンコーディングとは、一般に、デジタル値のシーケンス(例えば、データストリームにおける)を1つのフォーマットから別のフォーマットへと変換することを言う。エンコーディングには、関連技術においてよく知られているように、圧縮、変換の適用等の如きタスクを行うことが必要とされることが多い。デコーディングとは、一般に、これもまた関連技術において良く知られているように、エンコードされたデータを処理して、できるだけ元に近い形のデータストリームへ戻すことを言う。
[005]一般的には、エンコーディングは、特定のエンコーディング技法を使用して行われ、その後、元のデータストリームを再生するため、対応するデコーディング技法が使用される。あるエンコーディング技法は、ある処理ロジック(ソースデータストリームのデジタル値のシーケンスに対する数学的オペレーションのある定められたセット)により定められる。
[006]異なる処理ロジックのため、異なるエンコーディング技法は、(例えば、圧縮の1つ以上のレベル、データ損失のレベル、精度のレベル等により測定されるような)潜在的に異なる品質を得るのに異なる処理リソースを必要とする。又、これらの処理リソースにより、必要とされる電力量が決定される。
[007]一般的には、データストリームをエンコードしている間に、電力が最適条件にて使用されるのが望ましい。
[008]以下に簡単に述べる添付図面を参照して、本発明の実施形態を以下に説明する。
本発明の幾つかの態様を実施することのできる典型的な装置の細部を例示するブロック図である。 本発明の一実施形態において電力が最適条件にて使用される仕方を例示するフローチャートである。 1つの実施形態におけるビデオエンコーダの細部を例示するブロック図である。 本発明の一実施形態におけるモーション推定の典型的な計算中の相対的ピクセル位置を例示するブロック図である。 本発明の一実施形態における使用可能な電力に従ったエンコーディング技法の動的選択を例示する状態図である。 本発明の一実施形態における異なる使用可能な電力量に対して使用される異なるエンコーディング技法を例示する表である。
[0015]図において、同様の参照番号は、一般的には、同一の、機能的に同様の、及び/又は、構成的に同様の要素を示している。ある要素が最初に現されている図は、対応する参照番号の最も左側の桁の数字により示されている。
1.概要
[0017]本発明の一態様により提供されるエンコーダは、対応する持続時間中に使用可能な電力量に従って異なるエンコーディング技法を使用する。このような異なるエンコーディング技法を使用することができるため、電力を最適条件にて使用することができる。
[0018]本発明の別の態様によれば、この最適化は、対応する持続時間において使用可能な電力量に従ってエンコーディング技法の間の動的切換えを行うことにより、更に高められる。
[0019]一実施形態では、各エンコーディング技法は、対応する精度レベルでモーションベクトルを推定し(それにより、対応するレベルの電力を消費し)、その精度レベルは、使用可能な電力割当量に対応するように選択される。希望の精度レベルでは必要とされない回路は、スイッチオフすることができる。
[0020]本発明の幾つかの態様について、以下に例示のための実施例に関して説明する。しかしながら、当業者には、本発明は、それら特定の細部のうちの1つ以上のものを伴わずとも実施することができるものであり、又、他の方法、構成部分、材料等を用いても実施することができるものであることは、認識されよう。他の例においては、良く知られた構成体、材料又は動作は、本発明の特徴を不明瞭なものとしてしまうことを避けるために、詳細には示していない。更に又、ここに説明する特徴/態様は、種々な組合せにおいて実施することができるものであるが、ここでは、簡潔なものとするため、それら組合せのうちの幾つかのみについて説明している。
2.典型的な装置
[0022]図1は、本発明の幾つかの態様を実施することのできる典型的な装置100の細部を例示するブロック図である。この装置は、携帯型ビデオカメラに対応しているのであるが、これら特徴は、他の装置においても実施することができるものであることは、本明細書の記載を読むことにより当業者には明らかとなろう。この装置は、ユーザアプリケーション110、ソフトウエアドライバ120、カメラ130、ビデオエンコーダ140、中央処理装置(CPU)150、メモリ160、外部インターフェース170、電力管理モジュール180及び電力供給源190を含むものとして示されている。
[0023]CPU150は、それらが別々のブロックで示されているが、ユーザアプリケーション110及びソフトウエアドライバ120を構成する種々なソフトウエア命令を実行する。一般に、CPU150は、対応するユーティリティを与えるため、メモリ160における命令を実行する。
[0024]外部インターフェース170は、入力構成部分(例えば、キーボード、ポインタデバイス、タッチスクリーン、ボタン、USB入力等)及び出力構成部分(例えば、ディスプレイ、スピーカ)の両者を含むことができ、これらのどれかを使用することにより、種々なユーザインターフェースが与えられる。受け取られた入力は、既知の仕方にてソフトウエアドライバ120を介してユーザアプリケーション110へと与えられる。同様に、ユーザアプリケーション110は、これまた既知の仕方にてソフトウエアドライバ120を介して外部インターフェース170へと(表示/可聴再生のための)出力データを与えることができる。
[0025]ユーザアプリケーション110の各々は、CPU150により実行されるとき、ユーティリティの対応するセット(例えば、映画の視聴、ビデオの取り込み、歌の再生等)を与える。以下に例示する実施例は、圧縮された形にてビデオ信号を取り込むことに関して説明されるが、本発明の特徴は、種々な他の応用例においても使用することができるものである。このようなビデオキャプチャは、外部インターフェース170を介してユーザが適当なセットの入力を与えることに応答して、開始される。
[0026]電力管理モジュール180は、電力供給源190から電力を受け取り、種々な構成部分(例えば、CPU150、メモリ160)の現在の電力必要条件を推定するように設計されている。電力管理モジュール180は、又、このシステムにおいて実行されている各ユーザアプリケーション110(例えば、エンコーディング、デコーディング、インターネットブラウジング)の電力必要条件を追跡することもできる。このような推定(又はその他のもの)に基づいて、電力管理モジュール180は、ビデオエンコーダ140のために使用可能な電力量を計算することができる。一般に、全ての構成部分により消費される電力の和は、電力供給源190により与えられる電力レベルより低くなければならない。このような全体的な必要条件に基づいて、エンコーダ140のために使用可能な電力が計算される。
[0027]ソフトウエアドライバ120は、これら構成部分130/140/150/160/170及び180の各々とインターフェースする対応するドライバを含むことができる。従って、ユーザがビデオキャプチャを要求するとき、対応するソフトウエアドライバが、パス123にてカメラ130へキャプチャ要求を送る。これに応答して、ソフトウエアドライバ120は、パス132にて取り込まれた画像/ピクチャーフレームのシーケンスを表すデータストリームを受け取る。このようなデータストリームは、エンコーディングのため、ビデオエンコーダ140へ送られる。エンコードされたデータが受け取られ、それから、更なる処理(例えば、2次記憶装置への記憶又は外部装置への送信)のため、CPU150へと送られる。
[0028]エンコーダ140は、ソフトウエアドライバ120から受け取られたデータをエンコードする。このようなエンコーディング中に、実施例に関して以下説明するように、電力は、最適条件にて使用される。
3.エンコーディング技法
[0030]図2は、本発明の1つの実施形態におけるエンコーディング技法を例示するフローチャートである。このフローチャートについて、単なる例示として、図1に関して以下説明する。しかしながら、これらの種々な特徴は、他の環境において実施することができ、又、他のタイプのデータ(例えば、オーディオ)に対しても実施することのできるものである。本明細書の記載を読むことにより当業者には明らかなように、本発明の幾つかの態様の範囲及び精神から逸脱することなく、異なる一連のステップを使用して、他の環境における代替的実施形態も実施することができるものである。このフローチャートは、ステップ201にて開始され、制御は、ステップ210へと続く。
[0031]ステップ210において、ソフトウエアドライバ120は、入力データストリーム及びエンコーディング動作のために使用可能な電力量を受け取る。その入力データストリームは、問題の情報を表すデジタル値のシーケンスを含む。図1の場合において、これらデジタル値は、カメラ130により取り込まれるフレームのシーケンスを表すことができる。この電力量は、任意の持続時間に対して(例えば、後で変えられない限りある1つの持続時間に対して)エンコーダ140の実施と調和したものであることができる。
[0032]ステップ220において、ソフトウエアドライバ120は、使用可能な電力量以下の電力量しか必要としない信号処理技法を選択する。例えば、使用可能な電力が低い場合(例えば、本時間インスタンスでの電力供給源190が、電力会社による外部電力供給源からのものではなく、電池に相当する場合)、より低い品質のエンコーディング技法(その必要とされるリソースがより少ない電力しか消費しないと仮定して)が選択される。
[0033]ステップ240において、ソフトウエアドライバ120は、その選択された信号処理技法を使用して、その入力データストリームをエンコードする。理解されるように、リソース必要条件は、その信号処理技法の実施(ハードウエア、ソフトウエア及びファームウエアの対応する組合せ)により決定される。従って、電力量を指示することにより、総計の使用可能な電力が最適条件にて使用される。このフローチャートは、ステップ299で終了する。
[0034]前述のフローチャートは、エンコーディング技法を単一インスタンスにて選択する場合について説明したのであるが、このような特徴を何回か繰り返すことができ、この方が特定の環境においては適していることは、理解されよう。更に、対応するエンコーディング技法を実施するため、種々な方法を使用することができる。このような特徴を例示する典型的な実施について以下説明する。
4.典型的な実施
[0036]図3は、本発明の一実施形態におけるエンコーダの部分の細部を例示するブロック図である。このブロック図では、ドライバ310、整数画素(Integer Pel)モーション推定ブロック(ME)320、半画素(Harf Pel)モーション推定ブロック330、1/4画素(Quarter Pel)モーション推定ブロック340及びロジックブロック380を含むものとして示されている。各ブロックについて、以下に更に詳細に説明する。
[0037]ドライバ310は、ソフトウエアドライバ120におけるドライバのうちの1つに対応することができ、又は、別の仕方として、ビデオエンコーダ140内にて実施することができる。一般に、ドライバ310は、使用可能な電力量を受け取り、希望のモーション推定ブロックのみをターンオン/オフする。更に、ドライバ310は、エンコーディング目的で動作可能な特定の推定ブロックと通信し、ロジックブロック380がその動作可能な(スイッチオフされていない)構成部分のみからの使用可能なデータに基づいて他のエンコーディング動作を行えるようにする。
[0038]ロジックブロック380は、ブロック320/330/340によって行われるモーション推定動作以外のエンコーディング動作(「他の動作」)の全てを表している。これら他の動作は、対応する環境において使用されている特定のエンコーディングアルゴリズム及び入力/出力フォーマットに依存している。ロジックブロック380は、ブロック320/330及び340のうちのどれがターンオン/オフされるかに従って使用可能となる異なる数のモーション推定(対応する精度で)でもって実施されるべきであることを理解されたい。ロジックブロック380の実施は、当業者には明らかであろう。
[0039]整数画素モーション推定ブロック(ME)320は、当業分野においてよく知られるように整数ピクセル値の精度に対して2つの連続する画像フレーム(又はそれらの部分)の間のモーションを推定する。例えば、整数画素モーション推定ブロック320は、そのシーケンスにおいて受け取られる第1の/前のフレームから1ピクセルの距離ずつ離れた位置に第2の/即時のフレームを置くことができ、その差を計算する。
[0040]図4における位置410Aから410Hは、典型的な相対的整数ピクセル位置を例示している。各位置(例えば、8つの位置)について計算された推定は、ロジックブロック380へ出力として与えられる。整数画素モーション推定ブロック(ME)320は、任意の既知の技法を使用して実施することができ、希望の速度でそのモーション推定を行うために、それに対応して、フレーム当たりX量の電力を消費する。
[0041]半画素モーション推定ブロック(ME)330は、半分ピクセルの距離の精度に対して2つの連続するフレームの間のモーションを推定する。例えば、半画素モーション推定ブロック(ME)330は、そのシーケンスにおいて受け取られる対応する第1のフレームから半分ピクセルの距離ずつ離れた位置に第2の画像フレームを置くことができる。
[0042]図4における位置420Aから420Hは、典型的な相対的半分ピクセル位置を例示している。各位置(例えば、8つの位置)について計算された推定は、パス142に出力として与えられる。半画素モーション推定ブロック(ME)330は、任意の既知の技法を使用して実施することができ、希望の速度でそのモーション推定を行うために、それに対応して、フレーム当たりY量の電力を消費する。
[0043]同様に、1/4画素モーション推定ブロック(ME)340は、四半分ピクセル値の精度に対して2つの連続する画像フレームの間のモーションを推定する。図4における位置430Aから430Hは、典型的な相対的四半分ピクセル位置を例示している。1/4画素モーション推定ブロック(ME)340は、任意の既知の技法を使用して実施することができ、希望の速度でそのモーション推定を行うために、それに対応して、フレーム当たりZ量の電力を消費する。
[0044]ドライバ310は、受け取られた電力割当量に基づいて、整数画素モーション推定ブロック(ME)320、半画素モーション推定ブロック(ME)330及び1/4画素モーション推定ブロック(ME)340の動作を制御する。その受け取られる電力割当量(使用可能な電力量)は、エンコーディング動作/モーション推定を行うのに使用可能な電力を指示することができる。ドライバは、又、整数画素モーション推定ブロック(ME)320、半画素モーション推定ブロック(ME)330及び1/4画素モーション推定ブロック(ME)340の電力必要条件の詳細を維持することもできる。
[0045]1つの実施形態では、ドライバ310は、例示のため、ロジックブロック380における計算を無視できるものと仮定して、エンコーディングのための使用可能な電力が(X+Y+Z:X=整数画素に対する電力、Y=半画素に対する電力及びZ=1/4画素に対する電力)以上であるときには、整数画素モーション推定ブロック320、半画素モーション推定ブロック320及び1/4画素モーション推定ブロック340をターンオンする(第1のエンコーディング技法の実施例)。従って、モーション推定は、より多くの数(この場合には、24)の相対的位置で行われる。従って、ロジックブロック380は、24の位置の各々についての推定値(2つの連続するフレームの間の一致の度合を表す)を受け取り、現在処理されている画像フレームを圧縮するために24の位置のうちの最も一致しているものを選択することができる。サブピクセルレベルでのより多くの位置をエンコーディングのために考慮しているので、このようにしてエンコードされるフレーム(デジタル値のシーケンス)は、高品質の(情報損失の少ない)エンコード信号を生成する。
[0046]別の仕方として、ドライバ310は、エンコーディングのために使用可能な電力が(X+Y)より大きく且つ(X+Y+Z)より小さいときには、整数画素モーション推定ブロック320及び半画素モーション推定ブロック330のみをターンオンすることができる。従って、モーション推定は、比較的により少ない数の(この場合には、16)相対的位置で行われる。従って、それらフレームをエンコードするため、それら16の位置のうちで最も近い一致を示すものが(ロジックブロック380により)選択され、中間品質のエンコード信号が与えられる。
[0047]同様に、ドライバ310は、使用可能な電力が(X+Y)より小さく且つXより大きいときには、整数画素モーション推定ブロック320のみをターンオンすることができる。従って、そのモーション推定は、8つの相対的位置で行われる。そして、それらフレームをエンコードするため、8つの位置のなかで最も近い一致を示すものが選択され、低品質のエンコード信号が与えられる。
[0048]更に別の実施形態では、ドライバ310は、使用可能な電力量がX、Y及びZである場合において、それぞれ整数画素モーション推定ブロック320、半画素モーション推定ブロック330及び1/4画素モーション推定ブロック340のうちの1つを選択することができる。
[0049]前述したことから、潜在的に、各連続する画像フレームをエンコードするのに、電力を最適条件にて使用することができることは理解されよう。電力消費は、一実施例について後述するように、動的に調整することができる。
5.エンコーディング技法の動的選択
[0051]図5は、本発明の1つの実施形態における使用可能な電力に基づく処理(エンコーディング/デコーディング)技法の動的選択を例示する状態図である。この状態図は、「電力割当量について電力管理モジュールに問い合わせる」状態510、高品質状態520、中間品質状態530、低品質状態540及び「低品質及びフレーム欠落」状態550の各状態を含むものとして示されている。各状態及び対応する移行について、以下により詳細に説明する。
[0052]「電力割当量について電力管理モジュールに問い合わせる」状態510は、エンコーダ300の初期状態を表している。この状態においては、ドライバ120/310は、データストリームをエンコードするために使用可能な電力について電力管理システム(PM)180に問い合わせる。ドライバ120/310は、使用可能な電力の値512、513及び514を受け取り、それぞれ、エンコーダの状態を、高品質状態520、中間品質状態530及び低品質状態540へと変更させる。このような変更のためには、対応するモーション推定ブロックをスイッチングオン/オフし且つそれらをロジックブロック380へと通信することが必要とされる。
[0053]高品質状態520、中間品質状態530及び低品質状態540の各々において、ビデオエンコーダ140は、それぞれ、高品質、中間品質及び低品質(低品質の場合にはより多くの情報損失)エンコード信号を生成するように動作する。例えば、図3の説明に関しては、電力512、513及び514は、それぞれ、値(X+Y+Z)、(X+Y)及びXを表す。
[0054]従って、高品質状態520は、整数画素モーション推定ブロック320、半画素モーション推定ブロック330及び1/4画素モーション推定ブロック340がターンオンされていることを表している。同様に、中間品質状態530及び低品質状態540は、それぞれ、整数画素モーション推定ブロック320及び半画素モーション推定ブロック540の両方がターンオンされているときの状態、及び整数画素モーション推定ブロック320のみがターンオンされているときの状態を表している。
[0055]「低品質及びフレーム欠落」状態550においては、ビデオエンコーダ140は、使用可能な電力量内でエンコーディングを行うため、フレームレートを希望の値より低いところまで減少させるようにフレームを欠落させるように動作する。フレーム欠落のため、エンコーディングチェーンに存在する各モジュールの電力使用は、各欠落フレームにつれて減少する。
[0056]しかしながら、フレームの欠落は、エンコーダ出力のビットレートを希望のビットレートから変化(減少)させてしまう結果となる。ビットレートのこのような減少は、当業分野においてよく知られているように、レート制御パラメータ(RC)を調整することにより補償することができる。例えば、フレーム当たりの平均バイト(一般的には、レート制御(RC)パラメータとして類別される)が、ビットレート/フレームレートによって与えられ、ビデオエンコーダ(実施例としてロジックブロック380)内にプログラムされる。
[0057]エンコーダは、ターゲットビットレートを維持するためフレームが欠落させられるときに、RCパラメータを調整することができる。更に又、フレームの欠落により、フレームをエンコードするためにより多くのビット割当量が与えられる。従って、1つの実施形態では、エンコードフレームの主観品質は、それ程には低下しない。又、エンコードシーケンスの品質は、I−スライス/フレームの挿入及び/又はより多くのイントラリフレッシュマクロブロックでもって増大させることができる。
[0058]更に又、ドライバ310/120は、正規間隔で電力割当て(使用可能)を受け取ることができる。一旦割り当てられた電力は、1つ以上のユーザアプリケーションの開始/終了のため、エンコーディング動作中に変化する。従って、ドライバは、使用可能な電力の減少(電力−)又は増大(電力+)に基づいて、エンコーダの状態を変化させることができる。移行532、543及び554は、(エンコーディングのための)使用可能な電力の増大(+)による移行を表し、移行523、534及び545は、使用可能な電力の減少(−)による移行を表している。従って、これらの移行は、使用可能な電力の対応する増大又は減少時に生ぜしめられる。
[0059]このような移行の選択は、当業者には明らかなように、その環境の特定の必要条件に基づいて決定することができる。例えば、ドライバ310は、もし、使用可能な電力がそのエンコーディング処理中に(X+Y+Z)より低いところまで減少した場合には、そのエンコーダ動作を高品質から中間品質へと切り換えることができる。
[0060]エンコーディング技法の電力の動的選択が前述に従って行われる仕方について、以下に説明するH.264エンコーダに関して説明する。
6.典型的なH.264エンコーダ
[0062]図6は、720p解像度(1280x720のサイズを有する画像)でのH.264エンコーダの場合のエンコーディング技法及び対応する電力必要条件の詳細のリストを例示する表である。縦列610は、エンコーディング技法を示しており、縦列620は、データのフレームをエンコードするのに必要とされるクロックサイクルの数を示しており、縦列630は、30fps(フレーム/秒)のスループットを達成するためのクロックサイクルの周波数を示しており、縦列640は、対応するエンコーディング技法を行うために30fpsの場合に必要とされる電力を示している。
[0063]この例示の実施例では、横行650は、低品質エンコーディング技法の詳細を示しており、横行660は、中間品質エンコーディング技法の詳細を示しており、横行670は、高品質エンコーディング技法の詳細を示している。これらの低品質、中間品質及び高品質エンコーディング技法は、H.264標準に従って実施される。332mWは、全ビデオエンコーディング処理により消費される一定電力(例えば、ビデオ信号をエンコードするためブロック140と関連して動作している間に全てのブロック130、150、160、170によって消費される電力)であり、一方、ビデオエンコーダ140は、各品質レベルで追加電力を消費するものであると、例示のため更に仮定している。
[0064]続いて、標準リチウムイオン4000mWh電池を有し、この装置(任意数のアプリケーションを実行する)のための希望の寿命が単一電池充電で少なくとも5時間であるような典型的な実施形態について説明する。従って、電力管理モジュール180は、任意の時間点で引き出される最大電力を800mW(4000mWh/5)に制限する。
[0065]もし、その装置が既に作動されており、720p解像度でビデオエンコーディングアプリケーションを開始する時に400mWを消費しているならば、ソフトウエアドライバ120は、(状態510に従って)電力管理(PM)モジュール180に問い合わせて400mWしか使用可能でないことを見出し(移行513の実施例)、従って、エンコーディングのための中間品質(状態530)をセットする。何故ならば、中間品質では、示されているように、必要とされるのは、399mWだけであるからである。
[0066]従って、前述したことから、使用可能な電力に対応するようにエンコーディング技法を選択することができ、従って、電力を最適条件にて使用することができることは、理解されよう。
[0067]更に又、モーション推定ブロック320/330/340のスイッチングオフ/オンを電力の最適化使用のための方法として説明してきたのであるが、当業者には明らかなように、本発明の幾つかの態様の範囲及び精神から逸脱せずに、電力消費を減少させるために他の技法(例えば、ソフトウエアにおいてのみ実施されるとしても、必要な計算量を減少させるような方法を使用して、回路の部分のみをディスエーブルする)をエンコーダに使用することもできる。
[0068]同様に、ビデオデータの処理に関して説明してきたのであるが、これらの特徴は、他のタイプの信号データ(例えば、オーディオ)を判断するのに使用することができることは、理解されよう。
7.むすび
[0070]本発明の種々な実施形態について前述してきたのであるが、これらは単なる例示に過ぎず、これに限定されるものではないことを理解されたい。従って、本発明の幅及び範囲は、前述の典型的な実施形態のいずれによっても限定されるべきものでなく、特許請求の範囲及びそれらの等効物によってのみ定められるべきものである。
[0071]更に、要約書の目的は、一般的には、特許庁及び公衆、特に、特許又は法律用語又は表現法に精通していない科学者、技術者及び実施者が本願の技術的開示の本質及び要旨を一見して素早く決定できるようにすることである。この要約書は、本発明の範囲に関していかようにも限定しようとしているものではない。
100・・・装置、110・・・ユーザアプリケーション、112・・・パス、120・・・ソフトウエアドライバ、123・・・パス、124・・・パス、128・・・パス、130・・・カメラ、132・・・パス、138・・・パス、140・・・ビデオエンコーダ、142・・・パス、148・・・パス、150・・・中央処理装置(CPU)、158・・・パス、160・・・メモリ、168・・・パス、170・・・外部インターフェース、178・・・パス、180・・・電力管理モジュール、190・・・電力供給源、300・・・エンコーダ、310・・・ドライバ、312・・・パス、313・・・パス、314・・・パス、320・・・整数画素モーション推定ブロック、330・・・半画素モーション推定ブロック、340・・・1/4画素モーション推定ブロック、380・・・ロジックブロック、410A〜410H・・・相対的整数ピクセル位置、420A〜420H・・・相対的半分ピクセル位置、430A〜430H・・・相対的四半分ピクセル位置、510・・・「電力割当量について電力管理モジュールに問い合わせる」状態、512・・・使用可能な電力、513・・・使用可能な電力、514・・・使用可能な電力、520・・・高品質状態、523・・・移行、530・・・中間品質状態、532・・・移行、534・・・移行、540・・・低品質状態、543・・・移行、545・・・移行、550・・・「低品質及びフレーム欠落」状態、554・・・移行、610・・・縦列(エンコーディング技法を示す)、620・・・縦列(データのフレームをエンコードするのに必要とされるクロックサイクルの数を示す)、630・・・縦列(30fps(フレーム/秒)のスループットを達成するためのクロックサイクルの周波数を示す)、640・・・縦列(対応するエンコーディング技法を行うために30fpsの場合に必要とされる電力を示す)、650・・・横列(低品質エンコーディング技法の詳細を示す)、660・・・横列(中間品質エンコーディング技法の詳細を示す)、670・・・横列(高品質エンコーディング技法の詳細を示す)

Claims (6)

  1. データストリームをエンコードするエンコーダと、
    使用可能な電力量を指示する電力管理モジュールと、
    を備え、
    前記エンコーダが、前記電力量があるしきい値より多い場合には、第1のエンコーディング技法を使用して前記データストリームをエンコードし、そうでない場合には、第2のエンコーディング技法を使用してエンコードするように設計されており、
    前記第2のエンコーディング技法が、前記使用可能な電力量内でエンコーディングを行うために前記データストリームの画像フレームを欠落させることを含み、前記画像フレームが欠落される場合に、前記第2のエンコーディング技法が、レート制御パラメータを制御することにより前記第1のエンコーディング技法に対応するターゲットビットレートを維持し、前記データストリームに複数のI−フレームを挿入し、
    前記電力管理モジュールが、対応する時間インスタンスでの使用可能な電力量のシーケンスを指示するように設計され、
    前記データストリームが、デジタル値のシーケンスを含み、
    前記エンコーダが、前記シーケンスの電力量の各々を受け取ることに応答して、前記第1のエンコーディング技法又は前記第2のエンコーディング技法を選択し、前記選択されたエンコーディング技法に従って、前記シーケンスのデジタル値の対応するサブセットをエンコードし、
    前記第1のエンコーディング技法が、同じ量のデジタル値をエンコードするのに、前記第2のエンコーディング技法より多くの電力を必要とするものであり、前記より多くの電力を必要とする第1のエンコーディング技法が、前記使用可能な電力量がより多いときに選択され、
    前記エンコーダが、前記第1のエンコーディング技法及び前記第2のエンコーディング技法をそれぞれ行う第1のブロック及び第2のブロックを備え、前記第1のブロックが、前記第2のエンコーディング技法が選択されるときに、スイッチオフされるように作動でき、前記第1のエンコーディング技法が選択されるときには、スイッチオンされるように作動できる、装置。
  2. 前記デジタル値のシーケンスが、画像フレームのシーケンスを表し、前記第1のブロックが、第1の解像度で連続する画像フレーム間のモーションを推定するように設計され、前記第2のブロックが、第2の解像度で連続する画像フレーム間のモーションを推定するように設計され、前記第1の解像度が、前記第2の解像度より高い、請求項1に記載の装置。
  3. 前記第1の解像度が、前記画像フレームのピクセルの断片に等しく、前記第2の解像度は、前記画像フレームの1つのピクセルに等しい、請求項2に記載の装置。
  4. 前記使用可能な電力量に対応する電力の指示を受け取り、前記第1のエンコーディング技法又は前記第2のエンコーディング技法を選択し、前記第1のブロック及び前記第2のブロックのうちの1つをスイッチオフするソフトウエアドライバを更に備える、請求項3に記載の装置。
  5. 中央処理装置(CPU)及びメモリを更に備え、
    前記電力管理モジュールが、電力供給源から受け取られる電力及び前記中央処理装置(CPU)及び前記メモリの電力必要条件に基づいて、前記使用可能な電力量を計算する、請求項4に記載の装置。
  6. 前記第2のエンコーディング技法が、更に、
    中間画像フレームを欠落させるステップと、
    望ましいビットレートで出力を与えるようにレート制御パラメータを調整するステップ
    を含む請求項4に記載の装置。
JP2009265310A 2008-11-24 2009-11-20 データストリームのエンコーディングにおける最適な電力使用 Active JP5404339B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/277,287 US8442111B2 (en) 2008-11-24 2008-11-24 Optimal power usage in encoding data streams
US12/277,287 2008-11-24

Publications (2)

Publication Number Publication Date
JP2010124468A JP2010124468A (ja) 2010-06-03
JP5404339B2 true JP5404339B2 (ja) 2014-01-29

Family

ID=42196234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009265310A Active JP5404339B2 (ja) 2008-11-24 2009-11-20 データストリームのエンコーディングにおける最適な電力使用

Country Status (7)

Country Link
US (1) US8442111B2 (ja)
JP (1) JP5404339B2 (ja)
KR (1) KR101097636B1 (ja)
CN (1) CN101742311A (ja)
DE (1) DE102009046945B9 (ja)
GB (1) GB2465486B (ja)
TW (1) TWI415472B (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112008001577T5 (de) * 2007-06-13 2010-04-29 EnterMo Ltd., Ballarat Intelligentes Gehäuse für Handheld-Computer
CN102547272B (zh) * 2010-12-30 2015-03-11 中国移动通信集团公司 一种解码方法、装置及终端
CN104219590A (zh) 2013-06-05 2014-12-17 华为终端有限公司 一种切换编码方式的方法、发送端和接收端
US9735778B1 (en) 2014-08-20 2017-08-15 Altera Corporation Method and apparatuses for optimizing power management on an integrated circuit device
US11054886B2 (en) 2017-04-01 2021-07-06 Intel Corporation Supporting multiple refresh rates in different regions of panel display
US10904535B2 (en) 2017-04-01 2021-01-26 Intel Corporation Video motion processing including static scene determination, occlusion detection, frame rate conversion, and adjusting compression ratio
US10506196B2 (en) 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
US10882453B2 (en) 2017-04-01 2021-01-05 Intel Corporation Usage of automotive virtual mirrors
US10506255B2 (en) 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
US10587800B2 (en) 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
US10453221B2 (en) 2017-04-10 2019-10-22 Intel Corporation Region based processing
US10574995B2 (en) 2017-04-10 2020-02-25 Intel Corporation Technology to accelerate scene change detection and achieve adaptive content display
US10638124B2 (en) 2017-04-10 2020-04-28 Intel Corporation Using dynamic vision sensors for motion detection in head mounted displays
US10402932B2 (en) 2017-04-17 2019-09-03 Intel Corporation Power-based and target-based graphics quality adjustment
US10547846B2 (en) 2017-04-17 2020-01-28 Intel Corporation Encoding 3D rendered images by tagging objects
US10456666B2 (en) 2017-04-17 2019-10-29 Intel Corporation Block based camera updates and asynchronous displays
US10623634B2 (en) 2017-04-17 2020-04-14 Intel Corporation Systems and methods for 360 video capture and display based on eye tracking including gaze based warnings and eye accommodation matching
US10726792B2 (en) 2017-04-17 2020-07-28 Intel Corporation Glare and occluded view compensation for automotive and other applications
US10979728B2 (en) 2017-04-24 2021-04-13 Intel Corporation Intelligent video frame grouping based on predicted performance
US10908679B2 (en) 2017-04-24 2021-02-02 Intel Corporation Viewing angles influenced by head and body movements
US10475148B2 (en) 2017-04-24 2019-11-12 Intel Corporation Fragmented graphic cores for deep learning using LED displays
US10939038B2 (en) 2017-04-24 2021-03-02 Intel Corporation Object pre-encoding for 360-degree view for optimal quality and latency
US10525341B2 (en) 2017-04-24 2020-01-07 Intel Corporation Mechanisms for reducing latency and ghosting displays
US10424082B2 (en) 2017-04-24 2019-09-24 Intel Corporation Mixed reality coding with overlays
US10643358B2 (en) 2017-04-24 2020-05-05 Intel Corporation HDR enhancement with temporal multiplex
US10158833B2 (en) 2017-04-24 2018-12-18 Intel Corporation High dynamic range imager enhancement technology
US10565964B2 (en) 2017-04-24 2020-02-18 Intel Corporation Display bandwidth reduction with multiple resolutions
DE112018005254T5 (de) * 2017-09-18 2020-06-18 Intel IP Corporation Vorrichtung, system und verfahren zur videocodierung

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10248063A (ja) * 1997-03-04 1998-09-14 Toshiba Corp 携帯型情報端末装置
JP3269031B2 (ja) * 1997-08-26 2002-03-25 松下電器産業株式会社 動きベクトル検出装置および動きベクトル検出方法、並びに画像符号化装置
US6028631A (en) * 1997-09-08 2000-02-22 Hitachi, Ltd. Portable terminal apparatus for multimedia communication
US6690835B1 (en) * 1998-03-03 2004-02-10 Interuniversitair Micro-Elektronica Centrum (Imec Vzw) System and method of encoding video frames
JP3928292B2 (ja) * 1999-03-01 2007-06-13 ソニー株式会社 電子機器
JP2001186469A (ja) * 1999-12-27 2001-07-06 Toshiba Corp 画像間欠記録装置及びその記録方法
KR100779498B1 (ko) * 2001-06-15 2007-11-27 엘지전자 주식회사 비디오 코덱의 메모리 액세스 장치 및 방법
JP2003199002A (ja) * 2001-12-27 2003-07-11 Sharp Corp 情報記録装置
JP2003208343A (ja) * 2002-01-10 2003-07-25 Ricoh Co Ltd ファイル作成・閲覧方法、ファイル作成方法、ファイル閲覧方法、ファイル構造及びプログラム
US7039246B2 (en) * 2002-05-03 2006-05-02 Qualcomm Incorporated Video encoding techniques
US7372999B2 (en) * 2002-09-09 2008-05-13 Ricoh Company, Ltd. Image coder and image decoder capable of power-saving control in image compression and decompression
KR20050098269A (ko) * 2003-01-29 2005-10-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 휴대 장치를 위한 비디오 코딩 방법
CN1774929A (zh) * 2003-04-15 2006-05-17 有限会社金泽大学Tlo 动态图像编码或解码处理系统以及动态图像编码或解码处理方法
US7953283B2 (en) * 2005-01-27 2011-05-31 Panasonic Corporation Portable terminal
US7852940B2 (en) * 2005-10-20 2010-12-14 Qualcomm Incorporated Scalable motion estimation for video encoding
KR101208517B1 (ko) * 2006-03-07 2012-12-05 엘지전자 주식회사 Ofdm 또는 ofdma 통신 시스템에서의 전력 경감방법 및 그 장치
US7925136B2 (en) * 2006-05-25 2011-04-12 Qualcomm Incorporated Method and apparatus for recording information in battery operated devices
KR100800748B1 (ko) * 2006-07-28 2008-02-01 삼성전자주식회사 블루투스를 이용한 동영상 스트림 전송 장치 및 방법
US9883202B2 (en) * 2006-10-06 2018-01-30 Nxp Usa, Inc. Scaling video processing complexity based on power savings factor
TWI339073B (en) * 2006-11-13 2011-03-11 Univ Nat Chiao Tung Video coding method using image data skipping
KR100800815B1 (ko) * 2006-11-21 2008-02-01 삼성전자주식회사 디지털 방송을 수신하는 이동 단말기 및 방법
JP4656529B2 (ja) * 2006-12-22 2011-03-23 日本ビクター株式会社 携帯型記録装置
US8511901B2 (en) * 2007-02-06 2013-08-20 Canon Kabushiki Kaisha Image recording apparatus and method
TW200840366A (en) * 2007-03-28 2008-10-01 Univ Nat Central Complexity control method of video encoder

Also Published As

Publication number Publication date
GB0920338D0 (en) 2010-01-06
CN101742311A (zh) 2010-06-16
US8442111B2 (en) 2013-05-14
KR101097636B1 (ko) 2011-12-22
KR20100058408A (ko) 2010-06-03
DE102009046945B9 (de) 2013-04-04
TWI415472B (zh) 2013-11-11
GB2465486B (en) 2011-07-06
JP2010124468A (ja) 2010-06-03
GB2465486A (en) 2010-05-26
DE102009046945A1 (de) 2010-08-19
DE102009046945B4 (de) 2012-12-13
US20100128777A1 (en) 2010-05-27
TW201028012A (en) 2010-07-16

Similar Documents

Publication Publication Date Title
JP5404339B2 (ja) データストリームのエンコーディングにおける最適な電力使用
JP5893002B2 (ja) ビデオ符号化におけるレート制御
US8897365B2 (en) Video rate control processor for a video encoding process
US6333948B1 (en) Video coding apparatus, video coding method and storage medium containing video coding program
JP6921873B2 (ja) ディスプレイストリーム圧縮のためのサブストリーム多重化
TWI743098B (zh) 用於在顯示串流壓縮中量化參數之適應性計算的裝置及方法
CN102783153B (zh) 信号处理装置以及动态图像拍摄装置
EP1768401A1 (en) Encoding or decoding device and recording/reproduction terminal
JP2011050117A (ja) トリックモードおよび速度移行
TWI721042B (zh) 用於在顯示器串流壓縮中固定點近似之系統及方法
US10708667B1 (en) Combining fragments with different encodings
KR20040065261A (ko) 미디어 시스템 상의 미디어 신호 처리
TW201739246A (zh) 用於顯示器串流壓縮之感知量化參數(qp)加權之裝置及方法
JP2018088652A (ja) 撮像装置、画像処理方法、及び、プログラム
US10129551B2 (en) Image processing apparatus, image processing method, and storage medium
JP2009010608A (ja) 符号化処理装置
WO2008079330A1 (en) Video compression with complexity throttling
US10135896B1 (en) Systems and methods providing metadata for media streaming
GB2479070A (en) Encoder of digital data stream determines encoding technique according to available power
CN116506617B (zh) 图像浅压缩码率控制方法及装置
CN114390322A (zh) 基于远程桌面协议的视频编码方法及其应用
GB2504070A (en) Selection of Encoding Mode According to Memory Capacity of the Encoding Device and a Network Constraint
JP5267397B2 (ja) データ処理装置、データ処理方法、およびデータ処理プログラム
KR20150006465A (ko) 비디오 스트림들의 비용-효율적이고 저-레이턴시 인코딩을 가능하게 하기 위한 메커니즘
CN115427971A (zh) 用于调整变化的资源限制的系统和方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120305

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131029

R150 Certificate of patent or registration of utility model

Ref document number: 5404339

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250