JP4086994B2 - Image data supply device and image compression device - Google Patents
Image data supply device and image compression device Download PDFInfo
- Publication number
- JP4086994B2 JP4086994B2 JP03057399A JP3057399A JP4086994B2 JP 4086994 B2 JP4086994 B2 JP 4086994B2 JP 03057399 A JP03057399 A JP 03057399A JP 3057399 A JP3057399 A JP 3057399A JP 4086994 B2 JP4086994 B2 JP 4086994B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- compression
- frame
- data
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Description
【０００１】
【発明の属する技術分野】
本発明は、例えばナビゲーション用の地図画像などを、伝送路を介して画像再生装置側へ供給する画像データ供給装置に関し、特に、リアルタイム通信を行う際の技術に関する。
【０００２】
【従来の技術】
従来、例えば自動車等に搭載されて、ＧＰＳ（Global Positioning System ）等により検出された現在位置周辺の地図を自動的に表示したり、設定した目的地までの経路をガイドするカーナビゲーションシステムが知られている。このようなナビゲーションシステムにおいては、ナビゲーション装置が例えばＣＤ−ＲＯＭやＤＶＤなどの地図データ記録媒体から読み出した地図を表示装置側へ送り、表示装置にてその送られた地図を表示するのであるが、マルチメディア化に伴って、複数の画像ソース（画像データ供給装置）をデジタル通信路を介して複数のディスプレイと接続し、リアルタイムで動画像通信を行って画像表示するシステムへの移行が考えられる。
【０００３】
このような状況の中、デジタル通信路を用いてナビゲーション用の画像（特に地図画像、以下「ナピ画像」と略記する。）の圧縮データを伝送した例は無く、仮に実現するとしても、テレビ画像などの自然画像を圧縮するための方式であるＭｏｔｉｏｎ−ＪＰＥＧ，ＭＰＥＧなどを用いることになると推定される。
【０００４】
【発明が解決しようとする課題】
しかしながら、このナビ画像などの、自然画とは異なる性質を持つ画像に対しても、自然画像に対する汎用の圧縮方式を用いた場合には、以下に示すような種々の問題が生じる。
【０００５】
（１）一般的なナビ画像の特徴としては、道路、川や建物などの線情報及び地名などを示す文宇情報が多く、ほとんど静止画像に近い画像であることが挙げられる。それにもかかわらず、自然画像を対象とする汎用的な圧縮方式（上述のＭＰＥＧなど）を採用すると、その方式中に用いられるＤＣＴ（離散コサイン変換）の特徴から、圧縮率を上げていった場合に輪郭などの高周波成分が削られて線及び文字が見づらくなってしまう。また、これらの圧縮方式では、ナビの動作状態（通常走行時、スクロール時）に合わせて圧縮率を調整することが難しく、最も視認性を要する通常走行時においてもスクロール時と同等の画像劣化が生じる。さらには、画像データ供給側における圧縮回路及び画像再生装置側における伸張回路の大規模化や高コスト化につながるという問題もある。
（２）また、汎用的な圧縮方式を用いてビットレートを一定に制御する場合には、通常、フレーム単位で圧縮を行うのであるが、圧縮率を試算する前処理とその結果を基に実際に圧縮・符号化を行う後処理の２つの処理が必要になる。従って、一般的には、定ビットレート制御を行うためには同じ画像データ（フレーム）を２回入力する必要があり、１フレームを圧縮するのに２倍の時間がかかり、１フレーム分の遅れが生じていた。そして、そのような前提においてリアルタイム性を維持するためには秒間のフレーム数を２分の１に間引く必要があるため、圧縮手段の前段には入力された原画像のフレームを一時的に蓄積しておくフレームバッファが必要になるなど、回路の大規模化や高コスト化につながっていた。
【０００６】
なお、例えば特開平７−６６７８９号公報には、予め圧縮率の異なる複数の画像データを蓄積手段に蓄えておき、必要に応じて圧縮データを使い分けることで通信帯域を確保しているが、この手法では、圧縮手段及び蓄積手段などの大幅なコストアップにつながってしまう。
【０００７】
（３）また、画像を圧縮する場合には、復元画像の画質及び通信帯域の制約から１フレーム当たりの圧縮目標値及び圧縮手法を決定している。一般的にナビ画像は、道路、川や建物などの線情報と文字情報から成る単純な画像が多いが、例えば、交差点をより現実に近い状態で示すために、写真表示などが使用されることも考えられる。しかし、時間的な相関関係は高いままである。このような特徴を持つナピ画像に対して、画像の絵柄（単純か複雑か）に応じて圧縮アルゴリズムが変わらない場合、複雑な画像を圧縮する際には１フレームに要する処理時間が多くかかりタイムオーバ一が発生する。その結果、画像データの伝送遅れが生じ、絵柄の複雑な画像が連続すると遅れ時間が積み重なり、リアルタイム性が損なわれていた。
【０００８】
このように、自然画とは異なる性質を持つ画像に対しても自然画像に対する汎用の圧縮方式を用いた場合には種々の問題が生じるため、本発明は、そのような問題を解決し、自然画像に対して少なくとも時間的相関が相対的に高い動画像を伝送路を介して画像再生装置側へ供給する場合に、適切なデータ供給を実現できるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
請求項１に記載の画像データ供給装置は、自然画像に対して空間的相関及び時間的相関が相対的に高い動画像を、伝送路を介して画像再生装置側へ供給することを前提とする。なお、この「自然画像に対して空間的相関及び時間的相関が相対的に高い動画像」としては、例えば請求項４に示すように、ナビゲーション装置などにおいて用いられる地図画像であることが考えられる。
【００１０】
そして、本画像データ供給装置は、画像再生装置において画像のスクロール再生をする場合には、フレーム間圧縮はせずにフレーム内圧縮を施した動画像を供給する。なお、画像のスクロール再生をする場合に行う「フレーム内圧縮」としては、例えば請求項２に示すように、フレームを構成する画素を間引きすることによって実現することが考えられる。この場合、請求項３に示すように、フレームを構成する垂直方向及び水平方向のライン単位の画素を、所定ラインおきに間引きすることが簡便に実現できて好ましい。例えば垂直方向及び水平方向の画像データをそれぞれ１ラインおきに間引きすれば、それだけで１フレーム当たりのデータ量が元の４分の１となる。
【００１１】
もちろん、画素の間引きによってフレーム内圧縮をする以外にも、フレーム内圧縮として汎用的な方法（ＤＣＴ、ランレングス、ハフマン符号化等）を用いても構わない。
一方、画像再生装置において前記画像のスクロール再生をしない場合には、フレーム内圧縮はせずに、供給するフレームを間引きし、その間引きによる空き時間を利用して、非圧縮のフレームを分割して供給する。例えば供給するフレームを４枚に１枚ずつ残し３枚を間引きすれば、全体として供給データ量を４分の１にできる。
【００１２】
このように、スクロール再生をしない場合には、画像劣化を防止する観点からフレーム内圧縮は行わない。その代わりに、供給するフレームを間引きし、その間引きによる空き時間を利用して、非圧縮のフレームを分割して供給するという一種のフレーム間圧縮を行っている。本画像データ供給装置が供給する動画像は、自然画像に対して時間的相関が相対的に高いものである。例えば上述したナビゲーション用に用いる地図画像を考えてみると、隣接するフレームはほとんど同一データであることが多い。したがって、間引きしても、人間の視覚特性（残像効果）のおかげで違和感が生じにくい。そのため、画像劣化を防止しながら伝送データ量を低減でき、結果として所定の通信帯域内での適切な伝送を実現できるのである。
【００１３】
一方、スクロール時にはフレーム間圧縮は行わないで本来のフレームレートを維持することにより、スムーズ感を確保している。そして、所定の通信帯域内での適切な伝送実現のための圧縮として、フレーム内圧縮を行う。上述したライン単位の画素の間引きなどを行うと多少の画像劣化は否めないが、本画像データ供給装置が供給する動画像は、自然画像に対して空間的相関が相対的に高いものである。また、スクロール再生しているため、人間の視覚特性（分解能）を鑑みれば違和感は少ない。
【００１４】
このように、本発明の画像データ供給装置によれば、スクロール再生の場合とそうでない場合とでは、再生画像の認識主体である利用者の視覚特性を考慮した場合の優先すべき点が異なることに着目し、スクロール再生時にはフレーム内圧縮、非スクロール再生時にはフレーム間圧縮によって伝送データ量を低減して、いずれの場合にも所定の通信帯域内での適切な伝送を実現している。これも、自然画像に対して空間的相関及び時間的相関が相対的に高い動画像を扱うことを前提としたためであり、上記着目点に基づく効果を発揮できるような動画像の種類を適切に認識したことにも本願発明のポイントがある。
【００１５】
また、請求項５に記載の画像データ供給装置は、自然画像に対して時間的相関が相対的に高い動画像の原画像をフレーム単位で入力して圧縮を施す圧縮手段を備え、その圧縮手段にて圧縮されたデータを、伝送路を介して所定のビットレートで画像再生装置側へ供給することを前提とする。なお、この「自然画像に対して時間的相関が相対的に高い動画像」としては、例えば請求項７に示すように、ナビゲーション装置などにおいて用いられる地図画像であることが考えられる。
【００１６】
ここで上述の圧縮手段は、入力される原画像のフレームの内、一定間隔のフレーム毎に圧縮率の試算を行い、その試算値に基づいて前記所定のビットレートにするための圧縮率となるように調整する。そして、試算のために用いたフレーム以降のフレームについては、調整された圧縮率にて圧縮を施して圧縮データとすると共に、試算のために用いたフレームについては圧縮は施さず、代わりに、直前のフレームについての圧縮データを援用することによって、所定のビットレートでの画像再生装置側への供給を実現する。
【００１７】
上述したように、従来は、定ビットレート制御を行うためには同じ画像データ（フレーム）を２回入力する必要があり、１フレームを圧縮するのに２倍の時間がかかり、１フレーム分の遅れが生じていた。そして、そのような前提においてリアルタイム性を維持するためには秒間のフレーム数を２分の１に間引く必要があるため、圧縮手段の前段には入力された原画像のフレームを一時的に蓄積しておくフレームバッファが必要になるなど、回路の大規模化や高コスト化につながっていた。
【００１８】
それに対して、本願発明の画像データ供給装置によれば、自然画像に比べて時間的（フレーム間）相関関係が高く、例えば静止画像に近いような画像を扱うことを前提とし、フレーム毎に圧縮率を計算するのではなく、ある一定間隔に圧縮率の試算を行い、その試算に用いたフレームは出力せず前フレームの圧縮データを出力するようにした。これにより、リアルタイム性を維持しながら、原画像のフレームを一時的に蓄積しておくフレームバッファは不要であり、回路の大規模化や高コスト化を防止できる。
【００１９】
なお、圧縮率の調整は種々の方法によって実現できるが、例えば請求項６に示すように、原画像がデジタル画像データであり、圧縮手段が、デジタル画像データに対して直交変換を施す直交変換手段と、その直交変換手段から出力される直交変換データを所定の量子化ステップ値で割って変換符号化データとして出力する量子化手段と、その量子化手段から出力された変換符号化データを可変長のコードに変換して出力する可変長符号化手段とを備える構成を前提とした場合においては、量子化手段における量子化ステップ値を調整して圧縮率の調整を行うことができる。
【００２０】
また、直交変換には、アダマール変換、フーリエ変換、ハール変換、ＫＬ変換など多くのものがあるが、動画圧縮の分野においては、直交変換のうちで最も効率のよいＫＬ変換に近い性能を持ち、しかもハード化しやすいＤＣＴ（離散コサイン変換）を用いることが一般的である。可変長符号化手段としては、変換符号化データをランレングス符号化によって圧縮し、さらに可変長コードに変換するものや、ハフマン符号化を用いたものなどが考えられる。
【００２１】
ところで、これまでは画像データ供給装置として実現した場合を説明したが、請求項８に示すように画像圧縮装置として単位で捉えることもできる。つまり、自然画像に対して時間的相関が相対的に高い動画像の原画像をフレーム単位で入力して圧縮を施す画像圧縮装置であり、その画像圧縮装置にて圧縮されたデータは、伝送路を介して所定のビットレートで画像再生装置側へ供給されることを前提とする。そして、入力される原画像のフレームの内、一定間隔のフレーム毎に圧縮率の試算を行い、その試算値に基づいて所定のビットレートにするための圧縮率となるように調整し、試算のために用いたフレーム以降のフレームについては、調整された圧縮率にて圧縮を施して圧縮データとすると共に、試算のために用いたフレームについては圧縮は施さず、代わりに、直前のフレームについての圧縮データを援用することを特徴とするものである。
【００２２】
この画像圧縮装置における作用・効果については上述した画像データ供給装置についての説明にて行っているので繰り返さない。
また、請求項９に記載の画像データ供給装置は、自然画像に対して時間的相関が相対的に高い動画像の原画像をフレーム単位で入力して一時的に蓄積しておく入力側フレームメモリと、入力側フレームメモリから取り出したフレーム単位の原画像に対して圧縮を施す圧縮手段と、圧縮手段にて圧縮されたデータをフレーム単位で入力して一時的に蓄積しておく出力側フレームメモリとを備え、出力側フレームメモリから取り出したフレーム単位の圧縮データを、伝送路を介して画像再生装置側へ供給することを前提とする。なお、この「自然画像に対して時間的相関が相対的に高い動画像」としては、例えば請求項１１に示すように、ナビゲーション装置などにおいて用いられる地図画像であることが考えられる。
【００２３】
そして、さらに、制御手段が次に示すフェールセーフ制御を実行する。すなわち、入力側フレームメモリから圧縮手段へのフレーム入力タイミングまでに圧縮手段での圧縮処理が終了しないタイムオーバー状態が発生した場合には、入力側フレームメモリからのフレーム入力を一時的に中止させると共に、圧縮手段から出力側フレームメモリへの圧縮データの出力が再開されるまで、出力側フレームメモリに蓄積された直前の圧縮データを取り出して画像再生装置側へ供給させるのである。
【００２４】
このフェールセーフ制御としては、例えば請求項１０に示すように、入力側フレームメモリからのフレーム入力を一時的に中止させたフレーム数分だけ、出力側フレームメモリに蓄積された直前の圧縮データを取り出して画像再生装置側へ供給させることが考えられる。
【００２５】
上述したように、従来の汎用的な圧縮方式を用いた場合、画像の絵柄（単純か複雑か）に応じては圧縮のアルゴリズムが変わらないため、複雑な画像を圧縮する場合には１フレームに要する処理時間が多くかかりタイムオーバ一が発生する。その結果、画像データの伝送遅れが生じ、絵柄の複雑な画像が連続すると遅れ時間が積み重なり、リアルタイム性が損なわれていた。
【００２６】
それに対して本発明の画像データ供給装置は、時間的（フレーム間）相関関係が高く、例えば静止画像に近いような画像を扱うことを前提としている。このような画像は、前後のフレームで画像がほとんど変わらないことに着目し、絵柄が複雑で圧縮処理に時間を要する場合には、一時的に画像入力を止め、その時間で圧縮処理を行い圧縮データを分割して出力する（フロー制御出力する）こととした。これにより、絵柄が複雑で圧縮処理に時間を要する場合にでも通信帯域を確保し、リアルタイムの動画像通信が可能になる。
【００２７】
なお、以上の説明において、自然画像に対して少なくとも時間的相関が相対的に高い動画像の具体例としてナビゲーション装置などで用いる地図画像を挙げているが、他の画像でも、同様の性質（つまり時間的相関が相対的に高い、あるいはさらに空間的相関も相対的に高いという性質）を持つ画像であれば、ナビ画像の場合と同様に採用できる。
【００２８】
【発明の実施の形態】
以下、本発明が適用された実施例について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施例に何ら限定されることなく、本発明の技術的範囲に属する限り、種々の形態を採り得ることは言うまでもない。
【００２９】
図１は以下に示す各実施例が適用される画像データ伝送システムの概略構成を示すブロック図である。本システムは、車両に搭載されることを前提として構成されており、図１に示すように、ナビゲーション用電子制御装置（以下「ナビＥＣＵ」と称す。）、ＣＣＤカメラ、ＴＶチューナをそれぞれソースコンテンツとし、圧縮手段及び通信手段を備える複数の画像データ供給装置１０，２０，３０と、通信手段、伸張手段及び画像表示手段をそれぞれ備える複数の画像再生装置５０，６０とが、多重通信可能な通信バス４０を介して接続されている。
【００３０】
ナビＥＣＵは、図示しない位置検出器、地図データ入力器などが接続され、これらからのデータを入力する。位置検出器は、いずれも周知のジャイロスコープ、距離センサ、及び衛星からの電波に基づいて車両の位置を検出するＧＰＳ（Global Positioning System ）のためのＧＰＳ受信機を有している。これらのセンサ等は各々が性質の異なる誤差を持っているため、複数のセンサにより、各々補間しながら使用するように構成されている。なお、精度によっては上述した内の一部で構成してもよく、更に、ステアリングの回転センサ、各転動輪の車輪センサ等を用いてもよい。地図データ入力器は、位置検出の精度向上のためのいわゆるマップマッチング用データ、地図データ及び目印データを含む各種データを入力するための装置である。媒体としては、そのデータ量からＣＤ−ＲＯＭやＤＶＤを用いるのが一般的である。
【００３１】
ＣＣＤカメラは、車両後方の監視用に設けてあり、車両後進時に後方の映像を取り込み、車室内の画像表示手段に映し出す。
ＴＶチューナは、図示しない受信アンテナを介してＴＶ放送を選択受信する。画像表示手段は、制御を司るディスプレイＥＣＵとＬＣＤモニタとを備えている。ＬＣＤモニタはカラー表示が可能であり、その画面には、ナビＥＣＵをソースコンテンツとする画像データ供給装置１０から供給された画像データによるナビ画面や、ＣＣＤカメラをソースコンテンツとする画像データ供給装置２０から供給された画像データによる撮像画面、あるいはＴＶチューナをソースコンテンツとする画像データ供給装置３０から供給された画像データによるＴＶ画面などを表示できる。この場合、これらインターネット画面、ナビ画面、ＴＶ画面などの複数の画像ソースからの画像データによる画面の内の、利用者が選択したいずれか１つの画面を切り替え表示することもできるし、複数画面を同時に表示（マルチウインドウ表示）することもできる。
【００３２】
なお、表示させる画面の選択は、例えばメニュー画面を表示させた状態で、その画面上の所望の入力項目を利用者がタッチすればタッチスイッチによってそれが検知され、ディスプレイＥＣＵにて所定の対応処理が実行される。また、図示しないリモコンを操作することによって選択できるように構成してもよい。ナビＥＣＵをソースコンテンツとする画像データ供給装置１０から供給されたナビゲーション用の画像（主に地図画像）については、利用者からのスクロール指示がなされるとスクロール再生がなされるようになっている。
【００３３】
以下、このようなシステムに用いられることを前提とした画像データ供給装置の実施例について説明する。なお、本発明の適用されるのは、このシステムではナビＥＣＵをソースコンテンツとする画像データ供給装置１０である。
［第１実施例］
ナビＥＣＵをソースコンテンツとする画像データ供給装置１０は、基本的には秒間６０フレームでナビ画像を画像再生装置５０，６０側へ供給する。このナビ画像は、主に地図画像であり、フレーム間（時間的）相関が高いため、隣接するフレームはほとんど同一データである。また、１秒間のデータ数はフレームサイズによっても異なるが、仮に画像再生装置５０，６０側の画像表示手段が６４０ドット×４８０ドットのＶＧＡモニタであり、ＲＧＢデータが各８ビットの出力であるとすると、４４２Ｍビット／秒にも及ぶ。この膨大なデー夕は最近のＩＥＥＥ１３９４（帯域が約２００Ｍビット／秒）などの高速通信バスを用いても帯域不足が生じ、何らかの圧縮処理が必要不可欠となる。
【００３４】
そこで、本第１実施例の場合の画像データ供給装置１０においては、以下に示すような圧縮処理を実行する。なお、ここでは、原画像データを４分の１に圧縮する場合を例にとって説明している。図２は本第１実施例の特徴を示す概念図であり、図４は制御概要を表したフローチャートである。
【００３５】
図２（ａ）は、通常走行時における画像データの処理方法を示している。ここでいう「通常走行時」においては、地図を表示したナビ画像は静止している状態が多い。つまり、車両の走行に応じて地図上の自車位置は移動して行くが、その移動は急激でないため、一定時間毎に地図をスクロールすれば足りる。したがって、その地図を見る人間にとっては静止状態のナビ画像を認識する機会が多いため、それに応じた圧縮を行う。
【００３６】
まず、人間の視覚特性（残像効果）を利用して、連続するフレームを３枚置きに間引き、秒間フレーム数を１５フレームにすることで全データ量を単純に４分の１に減らす。次に、間引いた３フレーム分の空き時間を利用して、６０分の４秒間で１フレーム分のデータを分割してそのまま無処理（フロー制御）で伝送する。これにより、平滑化された約１００Ｍビット／秒のデータ量に抑えることができ、画像再生装置５０，６０の伸張手段においては、非圧縮（可逆性）データであるため鮮明に原面像が復元できる。なお、フレームを間引く目安としては、間引いた後が１５フレーム／秒以上となる程度が、違和感の少ない範囲であると考える。
【００３７】
次に、図２（ｂ）にスクロール時における画像データの処理方法を示す。ここでいう「スクロール時」とは、利用者が地図を表示させたい場所を任意に移動させるために所定のスクロール操作を行った場合を指す。このスクロール速度としては約４００ドット／秒程度を想定している。もちろん、画像データ供給装置１０側の処理能力にも関係するが、一般的に、実際の車両が移動する速度よりははるかに速い。そのため、スクロール時は画像のスムーズ感を損なわないように本来のフレームレート（６０フレーム／秒）の画像伝送を行う。その上で、通信帯域を確保するために、人間の視覚特性（分解能）を利用し、水平方向のデータ及び垂直方向のデータをそれぞれ１ラインおきに間引く。
【００３８】
これによって１フレーム当たりのデータ量が４分の１になり、約１００Ｍビット／秒のデータ量に抑えることができる。但し、図２（ａ）の場合の通常走行時と比べると多少の画像劣化は否めないが、スクロール速度（約４００ドット／秒）を考慮すると可逆性は必要ない。つまり、人間の視覚による分解能では、この約４００ドット／秒のスクロール速度で画像を再生させた場合、画像自体の劣化を細部まで認識することはできないため、あまり気にならなくなるからである。
【００３９】
なお、ライン間引きの目安としては水平方向、垂直方向のデータ共に、２分の１までが違和感の少ない範囲と考える。また、ここではライン間引き処理以外にも汎用的な圧縮方法（ＤＣＴ、ランレングス、ハフマン符号化等）を用いても構わない。
【００４０】
この場合の圧縮処理について、図４のフローチャートを参照して説明する。
本処理が開始されると、まず各種初期設定をし（Ｓ１１０）、その後、スクロール信号がＯＮされたか否かを判断する（Ｓ１２０）。これは、上述したように例えば図示しないリモコンが利用者によって操作され、スクロール指示がなされたか否かで判断する。
【００４１】
そして、スクロール信号がＯＮであれば（Ｓ１２０：ＹＥＳ）、フレーム間圧縮はせずに、本来のフレームレート（６０フレーム／秒）で画像伝送を行う設定にし（Ｓ１３０）、その上で、上述した水平方向のデータ及び垂直方向のデータをそれぞれ１ラインおきに間引いたフレームデータを出力する「簡易圧縮出力処理」を行う。
【００４２】
一方、スクロール信号がＯＮでなければ（Ｓ１２０：ＮＯ）、連続するフレームを３枚置きに間引き、秒間フレーム数を１５フレームにするフレーム内圧縮を施す（Ｓ１４０）。そして、間引いた３フレーム分の空き時間を利用して、６０分の４秒間で１フレーム分のデータを分割してそのまま無処理（フロー制御）で出力する（Ｓ１６０）。
【００４３】
Ｓ１４０あるいはＳ１６０の処理後はＳ１７０へ移行して、画像データの供給自体が終了したか否か判断し、終了していなければ（Ｓ１７０：ＮＯ）、Ｓ１２０へ戻る。
このように、本第１実施例の画像データ供給装置１０によれば、画像再生装置５０，６０において画像のスクロール再生をする場合には（Ｓ１２０：ＹＥＳ）、フレーム間圧縮はせずに（Ｓ１３０）、フレーム内圧縮（Ｓ１４０）を施した動画像を供給する。これにより、スクロール時には本来のフレームレートを維持することでスムーズ感を確保できる。
【００４４】
一方、スクロール再生をしない場合には（Ｓ１２０：ＮＯ）、フレーム内圧縮はせずに、供給するフレームを間引きし（Ｓ１５０）、その間引きによる空き時間を利用して、非圧縮のフレームを分割して供給する（Ｓ１６０）。供給する対象であるナビ画像は自然画像に対して時間的相関が相対的に高く、間引きしても、人間の視覚特性（残像効果）のおかげで違和感が生じにくい。そのため、画像劣化を防止しながら伝送データ量を低減でき、結果として所定の通信帯域内での適切な伝送を実現できる。
【００４５】
このように、本発明の画像データ供給装置によれば、スクロール再生の場合とそうでない場合とでは、再生画像の認識主体である利用者の視覚特性を考慮した場合の優先すべき点が異なることに着目し、スクロール再生時にはフレーム内圧縮、非スクロール再生時にはフレーム間圧縮によって伝送データ量を低減して、いずれの場合にも元の４分の１のデータ量にて画像データの供給を行うことができる。
【００４６】
なお、比較のため、テレビなどの自然画像を圧縮するためのＭｏｔｌｏｎ−ＪＰＥＧ、ＭＰＥＧなど汎用的な圧縮方法を採用した場合について図３に示した。この場合、通常走行時及びスクロール時共に安定して４分の１の圧縮が可能にはなるが、伝送するデータが全て非可逆圧縮となるため、圧縮率を上げていくと輪郭などの高周波成分が削られ、通常走行時に文字や線が見づらくなる。これに対して本実施例の場合には、図２（ａ）に示すようにフレームデータ自体は非圧縮の状態で伝送されるため、画像劣化がなく、文字や線が見づらくなることも生じない。
【００４７】
［第２実施例］
ナビＥＣＵをソースコンテンツとする画像データ供給装置１０は、基本的には秒間６０フレームでナビ画像を画像再生装置５０，６０側へ供給する。画像を圧縮する場合には、復元画像の画質及び通信帯域の制約から１フレーム当たりの圧縮目標値及び圧縮手法を決定する。しかし、最近のナビ画像は、主に線と文字だけで構成される比較的単純な画像だけでなく、例えば交差点拡大図などにおいては、３次元立体表示且つバックカラーにグラデーションがつくなど一部複雑な画像がある。そのため、通信帯域を一定にするためには圧縮率を調整してビットレートを制御（ＢＲＣ）する必要がある。
【００４８】
そこで、本第２実施例の場合の画像データ供給装置１０においては、以下に示すような圧縮手段を備えることを特徴とする。
図５（ａ）は、本第２実施例の圧縮手段のシステムブロック図であり、圧縮符号化部１１と、圧縮強度調整・メモリコントロール部１２と、フレームメモリ１３とを備えている。
【００４９】
圧縮符号化部１１は、取り込んだ画像データ（デジタルＲＧＢデータ）を圧縮し、さらに符号化するものであり、ここではＤＣＴ（離散コサイン変換）とハフマン符号化を組み合わせた圧縮アルゴリズムを持つ汎用ＩＣを想定している。そして、圧縮強度を調整可能とされている。本実施例では、デジタル画像データに対してＤＣＴを施し、そのＤＣＴ後のデータを所定の量子化ステップ値で割って変換符号化データとし、その変換符号化データをハフマン符号化によって可変長コードに変換して出力する構成となっている。そのため、量子化ステップ値（Ｑ値）を調整することにより、圧縮率の調整、すなわち圧縮強度の調整を行うことができる。
【００５０】
なお、ＤＣＴの代わりに、アダマール変換、フーリエ変換、ハール変換、ＫＬ変換などの直交変換を採用しても良いが、ここでは、動画圧縮の分野においては、直交変換のうちで最も効率のよいＫＬ変換に近い性能を持ち、しかもハード化しやすいＤＣＴを用いることとした。
【００５１】
また、フレームメモリ１３は、圧縮符号化部１１からのデータ出力速度と通信手段へのデータ入力速度の差を吸収するためのバッファメモリであり、ＦＩＦ０（First In First Out）構造になっていて数フレーム分の容量がある。以下の説明では、圧縮データの書き込みと圧縮データの読み出し（伝送データの出力）の間には１フレーム分の遅れがあるものとする。
【００５２】
そして、圧縮強度調整・メモリコントロール部１２は、圧縮符号化部１１から得た圧縮試算値を基に圧縮強度を調整し、上述したビットレートの制御を行う。またフレームメモリ１３の入出力タイミングも制御する。
図５（ｂ）には、このような構成の本第２実施例の圧縮手段によって実行されるビットレート制御（ＢＲＣ）の概念を示した。
【００５３】
基本的にはナビＥＣＵからの画像データ（ＲＧＢ）をフレーム毎に圧縮・符号化し、通信手段へ出力するが、ある一定間隔（この例では４フレーム毎）に圧縮後のデータ量を試算して圧縮率の適否をチェックする。このチェック間隔は最短の場合で１フレームおきに行うが、一般的なナビ画像を考えた場合には、数十フレームに１回程度行えば十分である。
【００５４】
このチェックの結果、試算した圧縮後のデータ量が目標データ量から外れている場合には、圧縮強度調整（Ｑ値調整）を行う。上述したように、量子化ステップ値（Ｑ値）は、ＤＣＴを施したデータを量子化する際のレベルを決めるパラメータであり、Ｑ値を大きくすると高圧縮になり、逆に小さくすると低圧縮になる。但し、この圧縮率チェックと圧縮・符号化は同時にできないため、チェック中の出力（データ伝送）は、フレームメモリ１３内に格納されている前フレームの圧縮データを出力することで対応する。
【００５５】
この場合のＢＲＣ処理について、図７のフローチャートを参照して説明する。本処理が開始されると、まず各種初期設定をする（Ｓ２１０）。この初期設定において、圧縮符号化部１１における圧縮率も初期設定される。具体的には、量子化ステップ値（Ｑ値）のデフォルト値が設定される。
【００５６】
その後、目標データ量を設定する（Ｓ２２０）。この目標データ量とは、フレームを圧縮した後のデータ量として目標とすべき値をいう。同じ圧縮率であれば、画像の内容によって圧縮後のデータ量が異なり、ビットレートを一定に保つことができない。したがって、圧縮後のデータ量が大きくなりすぎないように、例えば複雑な画像の場合には圧縮率を上げ、ビットレートを一定にしようとするのである。
【００５７】
Ｓ２３０では、ナビＥＣＵの方から画像データ（ＲＧＢ）を入力する。そして、その入力された画像が４ｎ（ｎ＝０，１，２…）フレーム目であるか否かを判断する（Ｓ２４０）、画像データが４ｎフレーム目でなければ（Ｓ２４０：ＮＯ）、圧縮符号化部１１にてフレームデータを圧縮してフレームメモリ１３へ出力し（Ｓ２５０）、フレームメモリ１３から伝送データを通信手段へ出力する（Ｓ２６０）。１フレーム分のデータについてＳ２５０，Ｓ２６０の処理が終了したら（Ｓ２７０：ＹＥＳ）、Ｓ３２０へ移行する。Ｓ３２０では、画像データの供給処理自体が終了か否かを判断し、終了していなければ（Ｓ３２０：ＮＯ）、Ｓ２３０へ戻る。
【００５８】
一方、入力した画像データが４ｎフレーム目であれば（Ｓ２４０：ＹＥＳ）、圧縮符号化部１１にてそのフレームデータを圧縮し、圧縮後のデータ量を計算する（Ｓ２８０）。このデータ量の計算は、１フレームを例えば８画素×８画素といったブロック単位で実行されるため、１フレーム分の計算が完了したら（Ｓ２９０）、Ｓ３００へ移行して圧縮強度を調整する。つまり、１フレームを圧縮した場合のデータ量（圧縮試算値）と、Ｓ２２０にて設定した目標データ量と比較し、圧縮試算値が目標データ量と一致しない場合には、現在の圧縮率では圧縮強度が適切ではないので、目標データ量になるような圧縮強度を実現できる量子化ステップ値（Ｑ値）に調整する。もちろん、圧縮試算値が目標データ量と完全一致することを期待するのではなく、誤差が所定範囲内であれば十分である。
【００５９】
そして、Ｓ３００での圧縮強度の調整が済んだ後は、Ｓ３１０へ移行し、前フレームの伝送データを、フレームメモリ１３から通信手段へ再度出力する。これは、上述したように、Ｓ２８０〜Ｓ３００での圧縮率チェックに係る一連の処理と、Ｓ２５０に示すような圧縮・符号化処理は同時にできないため、フレームメモリ１３内に格納されている前フレームの圧縮データを出力することで対応するためである。Ｓ３１０の処理後はＳ３２０へ移行する。
したがって、例えば４フレーム目で圧縮強度を調整した場合には、５，６，７フレームはその調整された圧縮強度での圧縮が施される。同様に、８フレーム目で圧縮強度を調整した場合には、９，１０，１１フレームはその調整された圧縮強度での圧縮が施される。ナビ画像は自然画像に比べて時間的（フレーム間）相関関係が高いため、同じような画像が連続する可能性が高い。そのため圧縮強度の調整が４フレーム毎であっても、全てのフレームについてほぼ適切な圧縮が実現される。
【００６０】
なお、必ず４ｎフレーム毎に圧縮強度の調整機会が与えられているが、実質的な調整が毎回なされるとは限らない。つまり、Ｓ２８０での試算値がＳ２２０での目標データ量と一致（所定範囲内の誤差という場合も含む）している場合には、実質的な調整は実行されない。また、本実施例では圧縮後のデータ量の試算を４ｎフレーム毎に行うこととしたが、これに限定されず、それよりも長い（あるいは短い）間隔で行っても良い。
【００６１】
このように、本第２実施例の場合の圧縮手段は、入力される原画像のフレームの内、一定間隔のフレーム毎に圧縮率の試算を行い、その試算値に基づき、圧縮後のデータ量が目標データ量になるような圧縮率に調整することによって所定のビットレートでのデータ伝送が可能となる。そして、試算のために用いたフレーム以降のフレームについては、その調整された圧縮率にて圧縮を施して圧縮データとすると共に、試算のために用いたフレームについては圧縮は施さず、代わりに、直前のフレームについての圧縮データを援用することによって、所定のビットレートでの画像再生装置側への供給を実現する。
【００６２】
ここで、比較のため従来構成の場合のシステムブロック図を図６（ａ）に、その構成の場合のビットレート制御の概念図を図６（ｂ）に示す。この場合は、圧縮符号化部１１１の前段にフレームメモリＡ１１３を持ち、そのフレームメモリＡ１１３に貯えた画像データから圧縮符号化部１１１が同じフレームデータを２回入力することで、圧縮率の計算とその結果を基に圧縮データを生成するようにしていた。そのため、１フレームを圧縮するのに２倍の時間がかかる。また、リアルタイム性を維持するためには、フレームメモリに１フレームおきのデータを入力する必要である。そのため、さらにフレームメモリＡ１１３において、フレームを間引くための構成が必要になってくる。
【００６３】
すなわち、図６（ｂ）に示すように、ナビＥＣＵから取り込んだ画像データ１に対して、まず１フレームおきに間引く。そして、同じフレームについて圧縮データ量の計算と、その計算に基づいて調整された圧縮率による実際の圧縮符号化を行う。また、圧縮符号化部１１１から後段のフレームメモリＢ１１４へは１フレームおきにしか圧縮データが出力されないので、毎回、同じ圧縮データを２度続けて伝送データとすることとなる。このように、従来構成においてはリアルタイム性を維持するためには、圧縮符号化部１１１の前段に、入力された原画像のフレームを間引き且つ一時的に蓄積するフレームメモリＡ１１３が必要になるなど、回路の大規模化や高コスト化につながっていた。
【００６４】
それに対して、本第２実施例の画像データ供給装置によれば、自然画像に比べて時間的（フレーム間）相関関係が高く、例えば静止画像に近いようなナビ画像を扱うことを前提とし、フレーム毎に圧縮率を計算するのではなく、ある一定間隔に圧縮率の試算を行い、その試算に用いたフレームは出力せず前フレームの圧縮データを出力するようにした。これにより、リアルタイム性を維持しながら、原画像のフレームを一時的に蓄積しておくフレームバッファは不要であり、回路の大規模化や高コスト化を防止できることとなった。
【００６５】
［第３実施例］
ナビＥＣＵをソースコンテンツとする画像データ供給装置１０は、基本的には秒間６０フレームでナビ画像を画像再生装置５０，６０側へ供給する。画像を圧縮する場合には、復元画像の画質及び通信帯域の制約から１フレーム当たりの圧縮目標値及び圧縮手法を決定している。一般的にナビ画像は、道路、川や建物などの線情報と文字情報から成る単純な画像が多いが、例えば、交差点をより現実に近い状態で示すために、写真表示などが使用されることも考えられる。しかし、時間的な相関関係は高いままである。このような特徴を持つナピ画像に対して、画像の絵柄（単純か複雑か）に応じて圧縮アルゴリズムが変わらない場合、複雑な画像を圧縮する際には１フレームに要する処理時間が多くかかり、タイムオーバ一が発生する。その結果、画像データの伝送遅れが生じ、絵柄の複雑な画像が連続すると遅れ時間が積み重なり、リアルタイム性が損なわれてしまう。
【００６６】
そこで、本第３実施例の画像データ供給装置は、このようなタイムオーバーが生じた場合にリアルタイム性が損なわれることを防止するため、フェールセーフ機能を持つ圧縮手段を採用した。
図８（ａ）は、本第３実施例の圧縮手段のシステムブロック図であり、圧縮符号化部２１と、タイムオーバー判断・メモリコントロール部２２と、フレームメモリＡ２３と、フレームメモリＢ２４とを備えている。
【００６７】
フレームメモリＡ２３は、ナビＥＣＵが画像データを出力する速度と圧縮符号化部２１が画像データを入力する速度の差を吸収するためのメモリであり、「入力側フレームメモリ」に相当する。
圧縮符号化部２１は、取り込んだ画像データ（デジタルＲＧＢデータ）を圧縮し、さらに符号化するものであり、上述したダイ２実施例と同様に、ＤＣＴとハフマン符号化を組み合わせた圧縮アルゴリズムを持つ汎用ＩＣを想定している。
【００６８】
また、フレームメモリＢ２４は、圧縮符号化部２１からのデータ出力速度と通信手段へのデータ入力速度の差を吸収するためのバッファメモリであり、「出力側フレームメモリ」に相当する。
なお、フレームメモリＡ２３及びフレームメモリＢ２４は、それぞれＦＩＦ０（First In First Out）構造になっていて数フレーム分の容量がある。以下の説明では、データの書き込みとデータの読み出しの間には１フレーム分の遅れがあるものとする。
【００６９】
そして、タイムオーバー判断・メモリコントロール部２２は、圧縮符号化部２１から１フレーム毎の圧縮完了信号であるＥＮＤ信号を得ると共に、ナビＥＣＵ側より垂直同期信号Ｖsync及び水平同期信号Ｈsyncを取得する。そしてタイムオーバーを判断すると共に、フレームメモリＡ２３及びフレームメモリＢ２４のデータ入出力タイミングを制御する。
【００７０】
図８（ｂ）には、このような構成の本第３実施例の圧縮手段が発揮するフェールセーフ機能の概念を示した。
図８（ｂ）中の「画像データ」とは、フレームメモリＡ２３へ入力されるデータを指し、「非圧縮データ」とは、フレームメモリＡ２３から圧縮符号化部２１へ出力されるデータを指す。これらのデータ間には上述したように１フレーム分のディレイ（遅れ）が生じている。また、「圧縮データ」とは、圧縮符号化部２１からフレームメモリＢ２４へ出力されるデータを指し、「伝送データ」とは、フレームメモリＢ２４から通信手段へ出力されるデータを指す。これらのデータ間にも上述したように１フレーム分のディレイ（遅れ）が生じている。
【００７１】
このような前提において、現在圧縮中のフレームが（ｎ−５）であったとする。この（ｎ−５）のデータに対する圧縮処理が完了しない内（つまり非圧縮データ（ｎ−５）として残っている内）に、画像データとして次のフレーム（ｎ−４）が入力される、タイムオーバーとなる。このタイムオーバーの判断は、タイムオーバー判断・メモリコントロール部２２に圧縮符号化部２１から入力されるＥＮＤ信号がアクティブになる前に、垂直同期信号Ｖsyncが入力されることで判断できる。
【００７２】
そして、タイムオーバ−となった場合、タイムオーバー判断・メモリコントロール部２２は、フレームメモリＡ２３への（ナビＥＣＵからの）画像データ入力をフレーム単位で止め、現在処理中のフレーム（ｎ−５）の圧縮処理が全て完了した時点で新しい画像データ（ｎ−１）入力を再開する。つまり、この場合は、画像データ（ｎ−３），（ｎ−２）の２フレームの入力が停止される。この入力停止に対処するため、フレームメモリＢ２４からの出力としては、前回と同じデータ（ｎ−６’）を、入力停止分の２フレームだけ出力する。なお、このように間引きすることで入力を停止するフレーム数は、人間の視覚特性（残像効果）を考慮して数フレーム（フレーム間隔としては数十ミリ秒程度）までとすることが好ましい。
【００７３】
この場合のフェールセーフに係る処理について、図１０のフローチャートを参照して説明する。
本処理が開始されると、まず各種初期設定をする（Ｓ４１０）。そして、ナビＥＣＵの方から画像データ（ＲＧＢ）をフレームメモリＡ２３へ入力し（Ｓ４２０）、続けて、フレームメモリＡ２３から圧縮符号化部２１へフレーム非圧縮データを入力する（４３０）。上述したようにこの「画像データ」と「非圧縮データ」との間には、通常１フレーム分のディレイ（遅れ）が生じている。
【００７４】
次に、圧縮符号化部２１においてフレームデータの圧縮及びフレームメモリＢ２４への出力を行う（Ｓ４４０）。このフレームデータの圧縮及び出力処理を実行している最中に、タイムオーバーが発生したか否かを判断する（Ｓ４５０）。上述したように、１フレーム分の圧縮が完了すると、圧縮符号化部２１からＥＮＮＤ信号がタイムオーバー判断・メモリコントロール部２２へ出力される。したがって、垂直同期信号Ｖsyncが入力される前にＥＮＤ信号がアクティブになっていればタイムオーバーは発生しておらず（Ｓ４５０：ＮＯ）、フレームメモリＢ２４から伝送データを出力する（Ｓ４６０）。
【００７５】
一方、ＥＮＤ信号がアクティブになる前に、垂直同期信号Ｖsyncが入力された場合には、タイムオーバーが発生しているので（Ｓ４５０：ＹＥＳ）、この場合は、フレームメモリＢ２４から前フレームの伝送データを再度出力する（Ｓ４７０）。
【００７６】
Ｓ４６０あるいはＳ４７０の処理後に移行するＳ４８０では圧縮が完了したかどうかを判断し、圧縮が完了しない間は（Ｓ４８０：ＮＯ）、Ｓ４３０へ戻ってフレームメモリＡ２３から圧縮符号化部２１へフレーム非圧縮データを入力し、Ｓ４４０以降の処理を繰り返す。そして、圧縮が完了すると（４８０：ＹＥＳ）、Ｓ４９０へ移行し、画像データの供給処理自体が終了か否かを判断し、終了していなければ（Ｓ４９０：ＮＯ）、Ｓ４２０へ戻る。
【００７７】
このように、本第３実施例の場合の圧縮手段は、フレームメモリＡ２３から圧縮符号化部２１へのフレーム入力タイミングまでに圧縮符号化部２１での圧縮処理が終了しないタイムオーバー状態が発生した場合には、フレームメモリＡ２３からのフレーム入力を一時的に中止させると共に、圧縮符号化部２１からフレームメモリＢ２４への圧縮データの出力が再開されるまで、フレームメモリＢ２４に蓄積された直前の圧縮データを取り出して、伝送データとして出力する。
【００７８】
ここで、比較のため、従来のフェールセーフ機能がない場合の制御概念図を図９に示す。
この場合は、画像の絵柄（単純か複雑か）に合わせて圧縮アルゴリズムが変わらないため、画像データ（ｎ−４）を入力した時点で前の圧縮処理が終了していないタイムオーバーが発生すると、その後に入力される画像データ（ｎ−３）及び（ｎ−２）がフレームメモリＡ２３にたまってしまう。それと共に、フレームメモリ２４から出力する圧縮データが無くなるため、伝送データは通常の場合に比べて２フレーム分だけ「出力データ無し」状態となる。よって、画像データの伝送遅れが生じ、このような絵柄の複雑な画像が連続すると遅れ時間が積み重なって、リアルタイム性が損なわれてしまう。
【００７９】
それに対して本第３実施例の画像データ供給装置によれば、自然画像に比べて時間的（フレーム間）相関関係が高く、例えば静止画像に近いようなナビ画像を扱うことを前提としている。このような画像では、前後のフレームで画像がほとんど変わらないことに着目し、絵柄が複雑で圧縮処理に時間を要する場合には、一時的に画像入力を止め、その時間で圧縮処理を行い圧縮データを分割して出力する（フロー制御出力する）こととした。これにより、絵柄が複雑で圧縮処理に時間を要する場合にでも通信帯域を確保し、リアルタイムの動画像通信が可能になる。
【００８０】
［その他］
上記各実施例では、車載用のシステムとして実現したが、例えば街頭やパーキングエリアなどに設置されて道案内などをするための情報端末装置などにも同様に適用できる。同様に上記各実施例では、扱う画像をナビ画像とした例を説明したが、ナビ画像は、自然画像に対して時間的相関が相対的に高い画像、あるいはさらに空間的相関も高い画像としての一具体例であり、同様の性質を持つ画像であれば適用可能である。
【００８１】
また、上記実施例の前提として、図１において複数の画像データ供給装置１０，２０，３０と、複数の画像再生装置５０，６０とが、多重通信可能な通信バス４０を介して接続されているシステムを例示した。これは、多重通信にてデータ伝送する際に通信帯域の確保（調整）が重要な問題となるため、本発明の効果がより顕著になると考えられる。但し、多重通信でなくても、データ伝送の際に通信帯域の確保（調整）を考える必要はあるため、必ずしも図１のようなシステムにて適用しなければならないわけではないことを言及しておく。
【図面の簡単な説明】
【図１】 本発明の各実施例の前提となる画像データ伝送システムの概略構成を示すブロック図である。
【図２】 第１実施例の特徴を示す概念図である。
【図３】 従来の制御概要を表した概念図である。
【図４】 画像データ供給装置側にて実行される処理を示すフローチャートである。
【図５】 （ａ）は第２実施例の圧縮手段のシステムブロック図であり、（ｂ）はこの圧縮手段にて実行されるビットレート制御の概念図である。
【図６】 （ａ）は従来の圧縮手段のシステムブロック図であり、（ｂ）は従来の圧縮手段にて実行されるビットレート制御の概念図である。
【図７】 第２実施例の圧縮手段にて実行されるビットレート制御に係る処理を示すフローチャートである。
【図８】 （ａ）は第３実施例の圧縮手段のシステムブロック図であり、（ｂ）はこの圧縮手段にて実行されるフェールセーフの概念図である。
【図９】 従来のフェールセーフ無しの場合の概念図である。
【図１０】 第３実施例の圧縮手段にて実行されるフェールセーフに係る処理を示すフローチャートである。
【符号の説明】
１０，２０，３０…画像データ供給装置
１１，２１，１１１…圧縮符号化部
１２，１１２…圧縮強度調整・メモリコントロール部
１３…フレームメモリ
２２…タイムオーバー判断・メモリコントロール部
２３，１１３…フレームメモリＡ
２４，１１４…フレームメモリＢ
４０…通信バス
５０，６０…画像再生装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image data supply apparatus that supplies, for example, a map image for navigation to an image reproduction apparatus side via a transmission path, and more particularly to a technique for performing real-time communication.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a car navigation system that is mounted on, for example, an automobile and automatically displays a map around a current position detected by a GPS (Global Positioning System) or guides a route to a set destination is known. ing. In such a navigation system, the navigation device sends a map read from a map data recording medium such as a CD-ROM or DVD to the display device, and displays the sent map on the display device. With the development of multimedia, it is conceivable to shift to a system in which a plurality of image sources (image data supply devices) are connected to a plurality of displays via digital communication paths and images are displayed by moving image communication in real time.
[0003]
In such a situation, there is no example of transmitting compressed data of an image for navigation (particularly a map image, hereinafter abbreviated as “Napi image”) using a digital communication channel. It is estimated that Motion-JPEG, MPEG, etc., which are methods for compressing natural images such as
[0004]
[Problems to be solved by the invention]
However, even for an image having a property different from that of a natural image, such as the navigation image, various problems as described below occur when a general-purpose compression method for the natural image is used.
[0005]
(1) As a feature of a general navigation image, there is a large amount of line information such as roads, rivers, buildings, and the like, and text information such as place names, and the image is almost similar to a still image. Nevertheless, when a general-purpose compression method (such as the above-mentioned MPEG) for natural images is adopted, the compression rate is increased due to the characteristics of DCT (discrete cosine transform) used in the method. High-frequency components such as outlines are cut away, making it difficult to see lines and characters. Also, with these compression methods, it is difficult to adjust the compression rate according to the navigation operating state (during normal driving and scrolling), and image degradation equivalent to that during scrolling is normal even during normal driving that requires the most visibility. Arise. Furthermore, there is a problem that the compression circuit on the image data supply side and the expansion circuit on the image reproduction apparatus side are increased in scale and cost.
(2) In addition, when the bit rate is controlled to be constant using a general-purpose compression method, compression is usually performed in units of frames, but it is actually based on pre-processing for calculating the compression rate and its result. Two processes of post-processing for compression and encoding are required. Therefore, generally, in order to perform constant bit rate control, it is necessary to input the same image data (frame) twice, and it takes twice as much time to compress one frame, and it is delayed by one frame. Has occurred. In order to maintain real-time characteristics under such a premise, the number of frames per second needs to be reduced by half, so the frames of the input original image are temporarily stored in the previous stage of the compression means. This led to an increase in circuit scale and cost, such as requiring a frame buffer.
[0006]
For example, in Japanese Patent Laid-Open No. 7-66789, a plurality of image data having different compression ratios are stored in the storage unit in advance, and the communication band is secured by using the compressed data as necessary. This technique leads to a significant increase in cost of the compression means and storage means.
[0007]
(3) When an image is compressed, a compression target value and a compression method per frame are determined based on the image quality of the restored image and the restriction on the communication band. In general, navigation images are often simple images consisting of line information and text information on roads, rivers, buildings, etc. For example, photo displays are used to show intersections in a more realistic state. Is also possible. However, the temporal correlation remains high. If the compression algorithm does not change according to the pattern (simple or complex) of an image with such characteristics, it takes a lot of processing time per frame to compress a complex image. Over one occurs. As a result, transmission delay of image data occurs, and when complex images of a pattern are continuous, delay times are accumulated and real-time characteristics are impaired.
[0008]
As described above, since various problems arise when a general-purpose compression method for natural images is used even for images having properties different from those of natural images, the present invention solves such problems and An object of the present invention is to realize appropriate data supply when a moving image having a relatively high temporal correlation with respect to an image is supplied to the image reproducing apparatus via a transmission path.
[0009]
[Means for Solving the Problems]
The image data supply device according to
[0010]
The image data supply device supplies a moving image that has been subjected to intra-frame compression without inter-frame compression when the image reproduction device performs scroll reproduction of the image. Note that “intra-frame compression” performed when scrolling and reproducing an image can be realized by thinning out pixels constituting a frame, for example, as described in
[0011]
Of course, in addition to the intra-frame compression by thinning out pixels, a general-purpose method (DCT, run length, Huffman coding, etc.) may be used as the intra-frame compression.
On the other hand, when the image playback apparatus does not perform the scroll playback of the image, the supplied frame is thinned out without performing the intra-frame compression, and the uncompressed frame is divided using the free time by the thinning. Supply. For example, if the frames to be supplied are left out of every four frames and three frames are thinned out, the total amount of supplied data can be reduced to a quarter.
[0012]
In this way, when scroll playback is not performed, intra-frame compression is not performed from the viewpoint of preventing image deterioration. Instead, a type of inter-frame compression is performed in which frames to be supplied are thinned out, and uncompressed frames are divided and supplied by using a free time resulting from the thinning. A moving image supplied by the image data supply apparatus has a relatively high temporal correlation with a natural image. For example, when considering the map image used for navigation described above, adjacent frames often have almost the same data. Therefore, even if thinning is performed, a sense of incongruity is unlikely to occur due to human visual characteristics (afterimage effect). Therefore, the amount of transmission data can be reduced while preventing image deterioration, and as a result, appropriate transmission within a predetermined communication band can be realized.
[0013]
On the other hand, smoothness is ensured by maintaining the original frame rate without performing inter-frame compression during scrolling. Then, intra-frame compression is performed as compression for realizing appropriate transmission within a predetermined communication band. If the above-described pixel-by-line pixel thinning is performed, some image deterioration cannot be denied, but the moving image supplied by the image data supply device has a relatively high spatial correlation with the natural image. In addition, since scroll playback is performed, there is little discomfort in view of human visual characteristics (resolution).
[0014]
As described above, according to the image data supply device of the present invention, the priority point when considering the visual characteristics of the user who is the recognition subject of the reproduction image is different between the case of the scroll reproduction and the case where it is not. In view of this, the amount of transmission data is reduced by intra-frame compression during scroll reproduction and inter-frame compression during non-scroll reproduction, and in either case, appropriate transmission within a predetermined communication band is realized. This is also based on the premise that a moving image having a relatively high spatial correlation and temporal correlation with respect to a natural image is assumed. Recognizing is also the point of the present invention.
[0015]
According to a fifth aspect of the present invention, there is provided an image data supply device comprising compression means for inputting and compressing an original image of a moving image having a relatively high temporal correlation with a natural image in units of frames. Is presupposed to be supplied to the image reproduction apparatus side at a predetermined bit rate via the transmission path. Note that the “moving image having a relatively high temporal correlation with respect to the natural image” may be a map image used in a navigation device or the like, for example, as shown in
[0016]
Here, the compression means performs a trial calculation of the compression rate for each frame at a predetermined interval in the input original image frames, and obtains the compression rate for obtaining the predetermined bit rate based on the trial calculation value. Adjust as follows. For frames after the frame used for the trial calculation, compression is performed at the adjusted compression rate to obtain compressed data, and the frame used for the trial calculation is not compressed. By using the compressed data for this frame, the supply to the image reproducing apparatus side at a predetermined bit rate is realized.
[0017]
As described above, conventionally, in order to perform constant bit rate control, it is necessary to input the same image data (frame) twice, and it takes twice as much time to compress one frame. There was a delay. In order to maintain real-time characteristics under such a premise, the number of frames per second needs to be reduced by half, so the frames of the input original image are temporarily stored in the previous stage of the compression means. This led to an increase in circuit scale and cost, such as requiring a frame buffer.
[0018]
On the other hand, according to the image data supply apparatus of the present invention, the temporal (inter-frame) correlation is higher than that of a natural image, and for example, it is assumed that an image similar to a still image is handled, and compression is performed for each frame. Instead of calculating the rate, a trial calculation of the compression rate was performed at certain intervals, and the compressed data of the previous frame was output without outputting the frame used for the calculation. This eliminates the need for a frame buffer that temporarily stores frames of the original image while maintaining real-time characteristics, and can prevent the circuit from becoming large and expensive.
[0019]
The compression rate can be adjusted by various methods. For example, as shown in
[0020]
In addition, there are many orthogonal transforms such as Hadamard transform, Fourier transform, Haar transform, KL transform, etc., but in the field of video compression, it has performance close to the most efficient KL transform among orthogonal transforms, In addition, it is common to use DCT (Discrete Cosine Transform) that is easy to be hardened. As the variable-length coding means, there can be considered one in which transform-coded data is compressed by run-length coding and then converted into a variable-length code, or one using Huffman coding.
[0021]
By the way, although the case where it implement | achieved as an image data supply apparatus was demonstrated so far, as shown in
[0022]
Since the operations and effects of this image compression apparatus are described in the above description of the image data supply apparatus, they will not be repeated.
The image data supply device according to claim 9 is an input side frame memory for temporarily storing an original image of a moving image having a relatively high temporal correlation with a natural image in units of frames. A compression unit that compresses an original image in units of frames taken out from the input side frame memory, and an output side frame memory that temporarily stores data compressed by the compression unit in units of frames It is assumed that compressed data in units of frames taken out from the output side frame memory is supplied to the image reproduction apparatus side via a transmission path. Note that the “moving image having a relatively high temporal correlation with respect to the natural image” may be a map image used in a navigation device or the like, for example, as shown in
[0023]
Further, the control means executes fail-safe control shown below. That is, when a time-over state occurs in which the compression process in the compression unit does not end by the frame input timing from the input side frame memory to the compression unit, the frame input from the input side frame memory is temporarily stopped, Until the output of the compressed data from the compression means to the output side frame memory is resumed, the immediately preceding compressed data stored in the output side frame memory is taken out and supplied to the image reproducing apparatus side.
[0024]
As the fail-safe control, for example, as shown in
[0025]
As described above, when a conventional general-purpose compression method is used, the compression algorithm does not change depending on the image pattern (whether simple or complex). It takes a lot of processing time and causes time over. As a result, transmission delay of image data occurs, and when complex images of a pattern are continuous, delay times are accumulated and real-time characteristics are impaired.
[0026]
On the other hand, the image data supply apparatus of the present invention is premised on handling an image that has a high temporal (interframe) correlation and is close to a still image, for example. Focusing on the fact that the image is almost the same between the previous and next frames, and if the design is complex and compression processing takes time, the image input is temporarily stopped and the compression processing is performed at that time. The data was divided and output (flow control output). As a result, even when the pattern is complex and compression processing takes time, a communication band is secured, and real-time moving image communication becomes possible.
[0027]
In the above description, a map image used in a navigation device or the like is given as a specific example of a moving image having a relatively high temporal correlation with a natural image. However, other images have similar properties (that is, Any image that has a relatively high temporal correlation or a relatively high spatial correlation) can be adopted as in the case of the navigation image.
[0028]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments to which the present invention is applied will be described below with reference to the drawings. Needless to say, the embodiments of the present invention are not limited to the following examples, and can take various forms as long as they belong to the technical scope of the present invention.
[0029]
FIG. 1 is a block diagram showing a schematic configuration of an image data transmission system to which each embodiment described below is applied. This system is configured on the premise that it is mounted on a vehicle. As shown in FIG. 1, an electronic control device for navigation (hereinafter referred to as “Navi ECU”), a CCD camera, and a TV tuner are provided as source contents. And a plurality of image
[0030]
The navigation ECU is connected to a position detector, a map data input device, and the like (not shown), and inputs data from these. Each of the position detectors has a well-known gyroscope, a distance sensor, and a GPS receiver for GPS (Global Positioning System) that detects the position of the vehicle based on radio waves from a satellite. Since these sensors have errors of different properties, they are configured to be used while being interpolated by a plurality of sensors. Depending on the accuracy, a part of the above may be used, and further, a steering rotation sensor, a wheel sensor of each rolling wheel, or the like may be used. The map data input device is a device for inputting various data including so-called map matching data, map data, and landmark data for improving the accuracy of position detection. As a medium, a CD-ROM or a DVD is generally used because of the amount of data.
[0031]
The CCD camera is provided for monitoring the rear of the vehicle, captures the rear video when the vehicle is moving backward, and displays it on the image display means in the passenger compartment.
The TV tuner selectively receives TV broadcasts via a reception antenna (not shown). The image display means is provided with a display ECU for controlling and an LCD monitor. The LCD monitor can perform color display, and the screen includes a navigation screen based on image data supplied from the image
[0032]
The screen to be displayed is selected, for example, when a user touches a desired input item on the screen in a state where the menu screen is displayed, which is detected by a touch switch, and a predetermined response process is performed by the display ECU. Is executed. Moreover, you may comprise so that it can select by operating the remote control which is not shown in figure. With respect to navigation images (mainly map images) supplied from the image
[0033]
Hereinafter, an embodiment of an image data supply apparatus premised on being used in such a system will be described. It should be noted that the present invention is applied to an image
[First embodiment]
The image
[0034]
Therefore, in the image
[0035]
FIG. 2A shows a method for processing image data during normal driving. In “normal driving” here, the navigation image displaying the map is often stationary. That is, the position of the vehicle on the map moves according to the traveling of the vehicle, but since the movement is not rapid, it is sufficient to scroll the map at regular intervals. Therefore, since there are many opportunities for a person viewing the map to recognize a navigation image in a stationary state, compression is performed accordingly.
[0036]
First, by using human visual characteristics (afterimage effect), every third frame is thinned out, and the number of frames per second is set to 15 frames, so that the total data amount is simply reduced to a quarter. Next, using the thinned free time for 3 frames, the data for 1 frame is divided in 4/60 seconds and transmitted as it is without processing (flow control). As a result, the smoothed data amount can be reduced to about 100 Mbit / s, and the decompression means of the
[0037]
Next, FIG. 2B shows a method for processing image data during scrolling. Here, “when scrolling” refers to a case where the user performs a predetermined scrolling operation to arbitrarily move a place where a map is to be displayed. The scroll speed is assumed to be about 400 dots / second. Of course, it is also related to the processing capability on the image
[0038]
As a result, the data amount per frame is reduced to a quarter, and the data amount can be suppressed to about 100 Mbit / second. However, some image deterioration cannot be denied as compared with the normal running in the case of FIG. 2A, but reversibility is not necessary in consideration of the scroll speed (about 400 dots / second). In other words, if the image is reproduced at a scroll speed of about 400 dots / second with human visual resolution, the deterioration of the image itself cannot be recognized in detail, so that it is less worrisome.
[0039]
Note that, as a guideline for line thinning, both horizontal and vertical data are considered to be within a range where there is little discomfort in up to half. In addition to the line thinning process, a general-purpose compression method (DCT, run length, Huffman coding, etc.) may be used here.
[0040]
The compression processing in this case will be described with reference to the flowchart of FIG.
When this process is started, first, various initial settings are made (S110), and then it is determined whether or not the scroll signal is turned on (S120). As described above, this is determined based on, for example, whether or not a remote controller (not shown) is operated by the user and a scroll instruction is given.
[0041]
If the scroll signal is ON (S120: YES), the setting is made so that image transmission is performed at the original frame rate (60 frames / second) without performing inter-frame compression (S130). A “simple compression output process” is performed to output frame data obtained by thinning horizontal data and vertical data every other line.
[0042]
On the other hand, if the scroll signal is not ON (S120: NO), every third consecutive frame is thinned out, and intraframe compression is performed so that the number of frames per second is 15 (S140). Then, using the thinned free time for 3 frames, the data for 1 frame is divided in 4/60 seconds and output without processing (flow control) (S160).
[0043]
After the processing of S140 or S160, the process proceeds to S170, where it is determined whether the supply of image data itself has been completed or not (S170: NO), the process returns to S120.
As described above, according to the image
[0044]
On the other hand, when the scroll reproduction is not performed (S120: NO), the supplied frame is thinned out without performing the intra-frame compression (S150), and the uncompressed frame is divided using the free time by the thinning. (S160). The navigation image to be supplied has a relatively high temporal correlation with the natural image, and even if it is thinned out, a sense of incongruity is unlikely to occur due to human visual characteristics (afterimage effect). For this reason, it is possible to reduce the amount of transmission data while preventing image deterioration, and as a result, it is possible to realize appropriate transmission within a predetermined communication band.
[0045]
As described above, according to the image data supply device of the present invention, the priority point when considering the visual characteristics of the user who is the recognition subject of the reproduction image is different between the case of the scroll reproduction and the case where it is not. Pay attention to the above, and reduce the amount of transmitted data by intra-frame compression during scroll playback and inter-frame compression during non-scroll playback, and in each case, supply image data with a quarter of the original data amount. Can do.
[0046]
For comparison, FIG. 3 shows a case where a general-purpose compression method such as Motorlon-JPEG or MPEG for compressing a natural image such as a television is adopted. In this case, stable quarter compression is possible both during normal driving and during scrolling, but all transmitted data is irreversible compression. Therefore, if the compression rate is increased, high-frequency components such as contours are increased. Will be cut off, making it difficult to see letters and lines during normal driving. On the other hand, in the case of the present embodiment, as shown in FIG. 2A, the frame data itself is transmitted in an uncompressed state, so there is no image deterioration and it is difficult to see characters and lines. .
[0047]
[Second Embodiment]
The image
[0048]
Therefore, the image
FIG. 5A is a system block diagram of the compression means of the second embodiment, and includes a
[0049]
The
[0050]
Note that orthogonal transform such as Hadamard transform, Fourier transform, Haar transform, and KL transform may be employed instead of DCT. Here, in the field of video compression, the most efficient KL among the orthogonal transforms. It was decided to use a DCT that has performance close to that of conversion and that is easy to hardware.
[0051]
The
[0052]
Then, the compression strength adjustment /
FIG. 5B shows the concept of bit rate control (BRC) executed by the compression means of the second embodiment having such a configuration.
[0053]
Basically, the image data (RGB) from the navigation ECU is compressed / encoded for each frame and output to the communication means, but the amount of data after compression is estimated at a certain interval (every 4 frames in this example). Check the compression ratio. This check interval is performed every other frame in the shortest case. However, when a general navigation image is considered, it is sufficient to perform it about once every several tens of frames.
[0054]
As a result of this check, if the calculated amount of data after compression deviates from the target data amount, compression strength adjustment (Q value adjustment) is performed. As described above, the quantization step value (Q value) is a parameter that determines the level at which the data subjected to DCT is quantized. When the Q value is increased, the compression becomes high, and conversely, the compression becomes low. Become. However, since the compression rate check and the compression / encoding cannot be performed at the same time, the output (data transmission) during the check is supported by outputting the compressed data of the previous frame stored in the
[0055]
The BRC process in this case will be described with reference to the flowchart of FIG. When this process is started, first, various initial settings are made (S210). In this initial setting, the compression rate in the
[0056]
Thereafter, a target data amount is set (S220). The target data amount is a value to be targeted as the data amount after compressing the frame. If the compression rate is the same, the amount of data after compression differs depending on the content of the image, and the bit rate cannot be kept constant. Therefore, in order to prevent the amount of data after compression from becoming too large, for example, in the case of complex images, the compression rate is increased and the bit rate is made constant.
[0057]
In S230, image data (RGB) is input from the navigation ECU. Then, it is determined whether or not the input image is the 4n (n = 0, 1, 2,...) Frame (S240). If the image data is not the 4n frame (S240: NO), the compression code is used. The
[0058]
On the other hand, if the input image data is the 4nth frame (S240: YES), the
[0059]
After the adjustment of the compression strength in S300, the process proceeds to S310, and the transmission data of the previous frame is output again from the
Therefore, for example, when the compression strength is adjusted at the fourth frame, the fifth, sixth, and seventh frames are compressed with the adjusted compression strength. Similarly, when the compression strength is adjusted at the eighth frame, the 9, 10, and 11 frames are compressed with the adjusted compression strength. Since navigation images have a higher temporal (interframe) correlation than natural images, there is a high possibility that similar images will continue. Therefore, even if the compression strength is adjusted every four frames, almost appropriate compression is realized for all the frames.
[0060]
Although an opportunity to adjust the compression strength is always given every 4n frames, substantial adjustment is not always performed. That is, when the trial calculation value in S280 matches the target data amount in S220 (including an error within a predetermined range), no substantial adjustment is performed. In this embodiment, the calculation of the amount of data after compression is performed every 4n frames. However, the present invention is not limited to this, and may be performed at longer (or shorter) intervals.
[0061]
Thus, the compression means in the case of the second embodiment performs a trial calculation of the compression rate for each frame at regular intervals among the frames of the input original image, and based on the trial calculation value, the amount of data after compression is calculated. By adjusting the compression rate so that becomes the target data amount, data transmission at a predetermined bit rate becomes possible. For frames after the frame used for the trial calculation, compression is performed at the adjusted compression rate to obtain compressed data, and the frame used for the trial calculation is not compressed. By using the compressed data for the immediately preceding frame, the supply to the image reproducing apparatus side at a predetermined bit rate is realized.
[0062]
Here, for comparison, FIG. 6A shows a system block diagram in the case of the conventional configuration, and FIG. 6B shows a conceptual diagram of bit rate control in the case of the configuration. In this case, the
[0063]
That is, as shown in FIG. 6B, the
[0064]
On the other hand, according to the image data supply apparatus of the second embodiment, on the premise that a navigation image that has a high temporal (inter-frame) correlation compared to a natural image, for example, close to a still image, is handled, Rather than calculating the compression rate for each frame, the compression rate was calculated at certain intervals, and the compressed data of the previous frame was output without outputting the frame used for the calculation. This eliminates the need for a frame buffer that temporarily stores frames of the original image while maintaining real-time characteristics, and can prevent the circuit from becoming large and expensive.
[0065]
[Third embodiment]
The image
[0066]
Therefore, the image data supply apparatus according to the third embodiment employs compression means having a fail-safe function in order to prevent the real-time property from being lost when such a time over occurs.
FIG. 8A is a system block diagram of the compression means of the third embodiment, and includes a
[0067]
The frame memory A23 is a memory for absorbing the difference between the speed at which the navigation ECU outputs image data and the speed at which the
The
[0068]
The frame memory B24 is a buffer memory for absorbing the difference between the data output speed from the
The frame memory A23 and the frame memory B24 each have a FIFO (First In First Out) structure and have a capacity of several frames. In the following description, it is assumed that there is a delay of one frame between data writing and data reading.
[0069]
Then, the time-over determination /
[0070]
FIG. 8B shows the concept of the fail safe function exhibited by the compression means of the third embodiment having such a configuration.
“Image data” in FIG. 8B refers to data input to the
[0071]
Under such a premise, it is assumed that the currently compressed frame is (n-5). While the compression process for the data of (n-5) is not completed (that is, within the remaining as uncompressed data (n-5)), the next frame (n-4) is input as image data. It becomes. This time-over determination can be made by inputting the vertical synchronization signal Vsync before the END signal input from the
[0072]
When the time is over, the time over determination /
[0073]
Processing related to fail-safe in this case will be described with reference to the flowchart of FIG.
When this process is started, first, various initial settings are made (S410). Then, the image data (RGB) is input from the navigation ECU to the frame memory A23 (S420), and then the frame uncompressed data is input from the frame memory A23 to the compression encoding unit 21 (430). As described above, a delay of one frame is usually generated between the “image data” and “uncompressed data”.
[0074]
Next, the
[0075]
On the other hand, if the vertical synchronization signal Vsync is input before the END signal becomes active, a time-over has occurred (S450: YES). In this case, the transmission data of the previous frame is received from the frame memory B24. Output again (S470).
[0076]
In S480 that is shifted to after the processing of S460 or S470, it is determined whether or not the compression is completed. If the compression is not completed (S480: NO), the process returns to S430 and the frame uncompressed data is transferred from the frame memory A23 to the
[0077]
As described above, in the case of the third embodiment, the compression means is used when a time-over state occurs in which the compression processing in the
[0078]
Here, for comparison, FIG. 9 shows a conceptual diagram of control when there is no conventional fail-safe function.
In this case, since the compression algorithm does not change according to the image pattern (simple or complex), if a time-over occurs when the previous compression processing is not completed at the time when the image data (n-4) is input, The image data (n−3) and (n−2) input to are stored in the frame memory A23. At the same time, since there is no compressed data output from the
[0079]
On the other hand, the image data supply apparatus according to the third embodiment is premised on handling a navigation image having a high temporal (inter-frame) correlation as compared with a natural image, for example, close to a still image. In such an image, paying attention to the fact that the image hardly changes between the previous and next frames. If the image is complicated and compression processing takes time, the image input is temporarily stopped and compression is performed at that time. The data was divided and output (flow control output). As a result, even when the pattern is complex and compression processing takes time, a communication band is secured, and real-time moving image communication becomes possible.
[0080]
[Others]
In each of the embodiments described above, the system is realized as an in-vehicle system. However, the present invention can be similarly applied to, for example, an information terminal device that is installed in a street, a parking area, or the like to provide route guidance. Similarly, in each of the above embodiments, an example in which the image to be handled is a navigation image has been described. However, a navigation image is an image having a relatively high temporal correlation with a natural image or an image having a high spatial correlation. This is a specific example, and any image having similar properties can be applied.
[0081]
As a premise of the above embodiment, a plurality of image
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an image data transmission system which is a premise of each embodiment of the present invention.
FIG. 2 is a conceptual diagram showing characteristics of the first embodiment.
FIG. 3 is a conceptual diagram showing an outline of conventional control.
FIG. 4 is a flowchart showing processing executed on the image data supply apparatus side.
FIG. 5A is a system block diagram of the compression means of the second embodiment, and FIG. 5B is a conceptual diagram of bit rate control executed by this compression means.
6A is a system block diagram of a conventional compression unit, and FIG. 6B is a conceptual diagram of bit rate control executed by the conventional compression unit.
FIG. 7 is a flowchart showing processing relating to bit rate control executed by the compression means of the second embodiment.
FIG. 8A is a system block diagram of compression means of the third embodiment, and FIG. 8B is a conceptual diagram of fail-safe executed by this compression means.
FIG. 9 is a conceptual diagram of a conventional case without fail-safe.
FIG. 10 is a flowchart showing a process related to fail safe executed by the compression means of the third embodiment.
[Explanation of symbols]
10, 20, 30 ... Image data supply device
11, 21, 111... Compression encoding unit
12, 112 ... Compression strength adjustment / memory control section
13 ... Frame memory
22 ... Time over judgment / memory control section
23, 113 ... Frame memory A
24, 114 ... frame memory B
40 ... communication bus
50, 60 ... Image reproduction device
Claims (11)
前記画像再生装置において画像のスクロール再生をする場合には、フレーム間圧縮はせずにフレーム内圧縮を施した動画像を供給し、
前記画像再生装置において前記画像のスクロール再生をしない場合には、前記フレーム内圧縮はせずに、供給するフレームを間引きし、その間引きによる空き時間を利用して、前記非圧縮のフレームを分割して供給すること、
を特徴とする画像データ供給装置。An image data supply device that supplies a moving image having a relatively high spatial correlation and temporal correlation to a natural image to the image reproduction device via a transmission path,
When scrolling playback of an image in the image playback device, supply a moving image that has been subjected to intra-frame compression without inter-frame compression,
When the image playback apparatus does not perform scroll playback of the image, the supplied frame is not compressed, and the supplied frame is thinned out, and the uncompressed frame is divided using the free time by the thinning out. Supply,
An image data supply device.
前記フレーム内圧縮は、フレームを構成する画素を間引きすることによって実現すること、
を特徴とする画像データ供給装置。The image data supply device according to claim 1.
The intra-frame compression is realized by thinning out pixels constituting the frame;
An image data supply device.
前記フレーム内圧縮は、フレームを構成する垂直方向及び水平方向のライン単位の画素を、所定ラインおきに間引きすることによって実現すること、
を特徴とする画像データ供給装置。The image data supply apparatus according to claim 2.
The intra-frame compression is realized by thinning out pixels in vertical and horizontal lines constituting the frame every predetermined line;
An image data supply device.
前記自然画像に対して空間的相関及び時間的相関が相対的に高い動画像は、地図画像であること、
を特徴とする画像データ供給装置。In the image data supply device according to any one of claims 1 to 3,
The moving image having a relatively high spatial correlation and temporal correlation with respect to the natural image is a map image;
An image data supply device.
前記圧縮手段は、
前記入力される原画像のフレームの内、一定間隔のフレーム毎に圧縮率の試算を行い、その試算値に基づいて前記所定のビットレートにするための圧縮率となるように調整し、前記試算のために用いたフレーム以降のフレームについては、前記調整された圧縮率にて圧縮を施して前記圧縮データとすると共に、前記試算のために用いたフレームについては圧縮は施さず、代わりに、直前のフレームについての圧縮データを援用すること、
を特徴とする画像データ供給装置。A compression means for inputting and compressing an original image of a moving image having a relatively high temporal correlation with respect to a natural image in units of frames, and the data compressed by the compression means is predetermined via a transmission path An image data supply device that supplies the image reproduction device with a bit rate of
The compression means includes
The compression rate is estimated for each frame of the input original image, and the compression rate is adjusted to obtain the predetermined bit rate based on the estimated value. For the frames after the frame used for the above, compression is performed at the adjusted compression rate to obtain the compressed data, and the frame used for the trial calculation is not compressed. Using compressed data for frames of
An image data supply device.
前記原画像はデジタル画像データであり、
前記圧縮手段は、
前記デジタル画像データに対して直交変換を施す直交変換手段と、
該直交変換手段から出力される直交変換データを所定の量子化ステップ値で割って変換符号化データとして出力する量子化手段と、
該量子化手段から出力された変換符号化データを可変長のコードに変換して出力する可変長符号化手段とを備えており、
前記圧縮率の調整は、前記量子化手段における量子化ステップ値を調整して行うこと、
を特徴とする画像データ供給装置。The image data supply device according to claim 5, wherein
The original image is digital image data;
The compression means includes
Orthogonal transform means for performing orthogonal transform on the digital image data;
Quantization means for dividing the orthogonal transformation data output from the orthogonal transformation means by a predetermined quantization step value and outputting the result as transformed encoded data;
Variable length encoding means for converting the converted encoded data output from the quantization means into a variable length code and outputting the code,
The adjustment of the compression ratio is performed by adjusting the quantization step value in the quantization means,
An image data supply device.
前記自然画像に対して時間的相関が相対的に高い動画像は、地図画像であること、
を特徴とする画像データ供給装置。The image data supply device according to claim 1 or 2,
The moving image having a relatively high temporal correlation with respect to the natural image is a map image;
An image data supply device.
当該画像圧縮装置にて圧縮されたデータは、伝送路を介して所定のビットレートで画像再生装置側へ供給されることを前提とし、
前記入力される原画像のフレームの内、一定間隔のフレーム毎に圧縮率の試算を行い、その試算値に基づいて前記所定のビットレートにするための圧縮率となるように調整し、前記試算のために用いたフレーム以降のフレームについては、前記調整された圧縮率にて圧縮を施して前記圧縮データとすると共に、前記試算のために用いたフレームについては圧縮は施さず、代わりに、直前のフレームについての圧縮データを援用すること、
を特徴とする画像圧縮装置。An image compression apparatus for inputting and compressing an original image of a moving image having a relatively high temporal correlation with respect to a natural image in units of frames,
Assuming that the data compressed by the image compression device is supplied to the image reproduction device side at a predetermined bit rate via the transmission path,
The compression rate is estimated for each frame of the input original image, and the compression rate is adjusted to obtain the predetermined bit rate based on the estimated value. For the frames after the frame used for the above, compression is performed at the adjusted compression rate to obtain the compressed data, and the frame used for the trial calculation is not compressed. Using compressed data for frames of
An image compression apparatus characterized by the above.
前記圧縮手段は、
自然画像に対して時間的相関が相対的に高い動画像の原画像をフレーム単位で入力して一時的に蓄積しておく入力側フレームメモリと、
該入力側フレームメモリから取り出したフレーム単位の原画像に対して圧縮を施す圧縮部と、
該圧縮部にて圧縮されたデータをフレーム単位で入力して一時的に蓄積しておく出力側フレームメモリと、
前記入力側フレームメモリから前記圧縮手段へのフレーム入力タイミングまでに前記圧縮手段での圧縮処理が終了しないタイムオーバー状態が発生した場合には、前記入力側フレームメモリからのフレーム入力を一時的に中止させると共に、前記圧縮手段から前記出力側フレームメモリへの圧縮データの出力が再開されるまで、前記出力側フレームメモリに蓄積された直前の圧縮データを取り出して前記画像再生装置側へ供給させるフェールセーフ制御を実行する制御手段と、を備えたこと、
を特徴とする画像データ供給装置。A compression unit is provided for inputting and compressing an original image of a moving image having a relatively high temporal correlation with respect to a natural image in units of frames, and the data compressed by the compression unit is preliminarily transmitted via a transmission path. An image data supply device that supplies the image reproduction device with a bit rate of
The compression means includes
An input side frame memory for temporarily storing an original image of a moving image that has a relatively high temporal correlation with respect to a natural image, in units of frames;
A compression unit that compresses an original image in frame units extracted from the input side frame memory;
An output side frame memory for temporarily storing data compressed by the compression unit in units of frames;
When a time-over state occurs in which the compression process in the compression unit does not end before the frame input timing from the input side frame memory to the compression unit, the frame input from the input side frame memory is temporarily stopped. At the same time, until the output of the compressed data from the compression means to the output side frame memory is restarted, the fail safe control for taking out the previous compressed data stored in the output side frame memory and supplying it to the image reproducing apparatus side. Control means for executing
An image data supply device.
前記制御手段は、
前記入力側フレームメモリからのフレーム入力を一時的に中止させたフレーム数分だけ、前記出力側フレームメモリに蓄積された直前の圧縮データを取り出して前記画像再生装置側へ供給させること、
を特徴とする画像データ供給装置。The image data supply apparatus according to claim 9.
The control means includes
Extracting the compressed data immediately before being stored in the output side frame memory and supplying it to the image reproducing apparatus side by the number of frames for which the frame input from the input side frame memory is temporarily stopped;
An image data supply device.
前記自然画像に対して時間的相関が相対的に高い動画像は、地図画像であること、
を特徴とする画像データ供給装置。The image data supply device according to claim 9 or 10,
The moving image having a relatively high temporal correlation with respect to the natural image is a map image;
An image data supply device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03057399A JP4086994B2 (en) | 1999-02-08 | 1999-02-08 | Image data supply device and image compression device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03057399A JP4086994B2 (en) | 1999-02-08 | 1999-02-08 | Image data supply device and image compression device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000232645A JP2000232645A (en) | 2000-08-22 |
| JP4086994B2 true JP4086994B2 (en) | 2008-05-14 |
Family
ID=12307603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03057399A Expired - Fee Related JP4086994B2 (en) | 1999-02-08 | 1999-02-08 | Image data supply device and image compression device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4086994B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5074233B2 (en) * | 2008-02-26 | 2012-11-14 | パイオニア株式会社 | Screen sharing processing apparatus, screen sharing method, and computer program |
| JP5614922B2 (en) * | 2008-08-01 | 2014-10-29 | キヤノン株式会社 | Imaging apparatus, X-ray diagnostic imaging apparatus, and control method thereof |
| US9219500B2 (en) * | 2009-07-09 | 2015-12-22 | Tomtom International B.V. | Navigation devices and methods carried out thereon |
| JP2013008384A (en) * | 2012-08-23 | 2013-01-10 | Pioneer Electronic Corp | Screen sharing processor, screen sharing method and computer program |
| CN107533630A (en) * | 2015-01-20 | 2018-01-02 | 索菲斯研究股份有限公司 | For the real time machine vision of remote sense and wagon control and put cloud analysis |
-
1999
- 1999-02-08 JP JP03057399A patent/JP4086994B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000232645A (en) | 2000-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6507672B1 (en) | Video encoder for digital video displays | |
| US8204104B2 (en) | Frame rate conversion system, method of converting frame rate, transmitter, and receiver | |
| KR100554427B1 (en) | Information receiving/ recording/reproducing apparatus and information receiving/recording/ reproducing method | |
| JP4444354B2 (en) | Image processing apparatus and image processing method | |
| US7589789B2 (en) | Video converting device and method for digital TV | |
| US20050213833A1 (en) | Image processing device and method for displaying images on multiple display devices | |
| JP2002135758A (en) | On-vehicle transmitting system, receiving apparatus and transmitting apparatus for video data | |
| JP4983317B2 (en) | Frame rate conversion system, frame rate conversion method, receiver | |
| US20090297051A1 (en) | Image Processing Apparatus | |
| JP2011019135A (en) | Image receiving apparatus, image receiving method, and image transmitting apparatus | |
| JP4086994B2 (en) | Image data supply device and image compression device | |
| US20100026737A1 (en) | Video Display Device | |
| JP5872171B2 (en) | Camera system | |
| JP2013205738A (en) | Video display processor and video display processing method | |
| CN113785582A (en) | Program, device and method for generating useful video stream from original video stream | |
| JP2019083433A (en) | Video transmitting device, video receiving device and program | |
| US7006570B2 (en) | Video signal coding method and video signal encoder | |
| JP2008306660A (en) | Video signal processing apparatus | |
| US8270773B2 (en) | Image processing apparatus and image processing method | |
| JP3254946B2 (en) | In-vehicle information processing device | |
| JPH09172580A (en) | Image controller and its method | |
| JPH02119486A (en) | Coding control method for moving picture signal and coding controller | |
| JP5328549B2 (en) | Image processing apparatus and control method thereof | |
| US20100045857A1 (en) | Image Processor and Image Processing Method | |
| JP4184223B2 (en) | Transcoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050519 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080220 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140228 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |