JP4062747B2 - Image data transmission device - Google Patents

Image data transmission device Download PDF

Info

Publication number
JP4062747B2
JP4062747B2 JP10975997A JP10975997A JP4062747B2 JP 4062747 B2 JP4062747 B2 JP 4062747B2 JP 10975997 A JP10975997 A JP 10975997A JP 10975997 A JP10975997 A JP 10975997A JP 4062747 B2 JP4062747 B2 JP 4062747B2
Authority
JP
Japan
Prior art keywords
image
image data
transmission
compressed
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP10975997A
Other languages
Japanese (ja)
Other versions
JPH10304359A (en
Inventor
幸夫 山本
敏雄 高市
俊宏 森
裕記 石川
寛 上原
清志 藤縄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Equos Research Co Ltd
Original Assignee
Aisin AW Co Ltd
Equos Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd, Equos Research Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP10975997A priority Critical patent/JP4062747B2/en
Publication of JPH10304359A publication Critical patent/JPH10304359A/en
Application granted granted Critical
Publication of JP4062747B2 publication Critical patent/JP4062747B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Telephonic Communication Services (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像データ送信装置に関するものである。
【0002】
【従来の技術】
従来、ビデオカメラ等で画像を撮影し、撮影された画像を遠隔地に配設された表示装置のディスプレイに表示するために画像伝送システムが提供されていて、該画像伝送システムは、前記ビデオカメラ等によって撮影された画像を圧縮画像データに変換して送信する画像データ送信装置、及び送信された圧縮画像データを受信し、該圧縮画像データに従って前記ディスプレイに画像を表示する画像データ受信装置から成る。
【0003】
そして、前記画像データ送信装置においては、ビデオカメラ等によって、例えば、画像に対応するNTSC信号、PAL信号等のビデオ信号が発生させられ、該ビデオ信号は、A/D変換部に送られ、該A/D変換部によってA/D変換が行われ、RGB信号、YUV信号等のディジタル信号になる。続いて、CPUによってタイミング信号にパルスが形成され、それによって発生させられる画像取込タイミングで、一つの画面、すなわち、一つのフレームごとにディジタル信号が画像符号化部によって取り込まれる。このようにして、画像符号化部は画像を取り込む。
【0004】
そして、前記ディジタル信号は、画像符号化部によって符号化されて画像データになるとともに圧縮され、圧縮画像データとして送信部に送られ、該送信部によって発生させられた送信タイミングに同期させて画像データ受信装置に送信される。
このようにして、前記圧縮画像データの送信が終了すると、前記CPUにおいて、直ちに次の画像取込タイミングが発生させられ、次のフレームの画像についてディジタル信号が画像符号化部によって取り込まれる。
【0005】
なお、ビデオカメラ等によって撮影された画像、及びディスプレイに表示される画像は、例えば、640×480のマトリクスで構成される複数の画素から成る。
【0006】
【発明が解決しようとする課題】
しかしながら、前記従来の画像データ送信装置においては、前記画像取込タイミングが発生させられてから次の画像取込タイミングが発生させられるまでの間に、例えば、ビデオカメラ等を操作しているオペレータが、急に現れた画像をスナップ画像としてディスプレイに表示しようとして前記画像データ送信装置の送信機のスナップ画像取込用のスナップボタンを操作した場合、画像取込タイミングを発生させることができるが、現在のフレームの画像についての圧縮画像データの送信が終了するまでは送信タイミングを発生させることができない。
【0007】
ところで、前記画像データ送信装置においては、ビデオカメラ等によって撮影された画像が画像符号化部によって取り込まれ、符号化されて画像データになるが、該画像データが圧縮されるまでの時間は1フレーム当たり約1/30秒である。これに対して、送信部に送られた圧縮画像データが画像データ受信装置に送信され、該画像データ受信装置によって受信されるまでの時間、すなわち、伝送時間は、伝送路、圧縮画像データのデータ量等によって異なるが、例えば、ディジタル携帯電話を使用した場合、1フレーム当たり約1〜180秒である。
【0008】
したがって、オペレータがスナップボタンを操作しても、スナップ画像がディスプレイに表示されるまでの時間が長くなり、操作に対する画像データ送信装置の応答が遅くなってしまう。
また、前記画像取込タイミングが発生させられてから次の画像取込タイミングが発生させられるまでの間に、例えば、オペレータが、ディスプレイに表示される画像の解像度、すなわち、画質を切り換え、例えば、640×480の画素から320×480の画素に変更しようとして、画質切換用の画質ボタンを操作した場合、画像取込タイミングを発生させることができるが、現在のフレームの画像についての圧縮画像データの送信が終了するまでは送信タイミングを発生させることができない。
【0009】
したがって、画質が切り換えられた後の画像がディスプレイに表示されるまでの時間が長くなり、操作に対する画像データ送信装置の応答が遅くなってしまう。
そこで、スナップ画像の表示、画質の切換え等のように、画像送信中断事由が発生した場合、直ちに送信を中断し、画像取込タイミングを発生させて新たな画像を取り込むことが考えられるが、現在のフレームの画像についての圧縮画像データの送信がほぼ終了しているときに送信を中断すると、現在のフレームの画像について再び符号化、画像データの圧縮、圧縮画像データの送信等を行う必要が生じるので、前のフレームの画像がディスプレイに表示されてから、次のフレームの画像がディスプレイに表示されるまでの時間が長くなってしまう。
【0010】
本発明は、前記従来の画像データ送信装置の問題点を解決して、操作に対する応答を速くすることができ、前のフレームの画像がディスプレイに表示されてから、次のフレームの画像がディスプレイに表示されるまでの時間を短くすることができる画像データ送信装置を提供することを目的とする。
【0011】
【課題を解決するための手段】
そのために、本発明の画像データ送信装置においては、画像を撮影する撮像手段と、該撮像手段によって撮影された画像を各フレームごとに発生させられる画像取込タイミングで取り込み、画像データを圧縮して圧縮画像データにする圧縮手段と、前記圧縮画像データを送信する送信手段と、前記圧縮画像データを送信しているときに、送信中のフレームについての圧縮画像データの送信が終了した後に発生する本来の画像取込タイミングより前のタイミングで画像送信中断事由が発生した場合に、前記本来の画像取込タイミングより前に次の画像取込タイミングを前倒しして発生させ、前倒しして発生させられた画像取込タイミングで取り込まれる画像についてのフレーム内圧縮処理によって圧縮された圧縮画像データのデータ量を表す第1の送信所要データ量と、送信中の圧縮画像データの残量に、前記本来の画像取込タイミングで取り込まれる画像とその直前の画像取込タイミングで取り込まれた画像との比較に基づくフレーム間圧縮処理によって圧縮された圧縮画像データのデータ量を加算して得られる第2の送信所要データ量とを比較し、前記第1の送信所要データ量が前記第2の送信所要データ量より少ないときに、前記送信手段による圧縮画像データの送信を中断する送信中断判断手段とを有する。
【0012】
そして、前記送信手段は、圧縮画像データの送信が中断されたときに、前倒しして発生させられた画像取込タイミングで取り込まれた画像についての圧縮画像データを送信する。
【0017】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
図1は本発明の第1の実施の形態における画像データ送信装置のブロック図、図2は本発明の第1の実施の形態における画像伝送システムを示す図である。
図2において、11は撮影された画像を圧縮画像データに変換して送信する画像データ送信装置であり、該画像データ送信装置11は、画像を撮影する撮像手段としてのビデオカメラ12、該ビデオカメラ12にケーブル14を介して接続され、撮影された画像を圧縮画像データに変換する送信機13、及び圧縮画像データを送信タイミングに同期させて送信するディジタル携帯電話等の送信手段としての送信部15を有する。なお、前記ビデオカメラ12は本体部12a及び制御部12bから成り、前記送信機13にはモデム99が接続される。
【0018】
また、16は、無線通信を行うための携帯電話回線等の電話回線17を介して、画像データ送信装置11に接続された画像データ受信装置であり、該画像データ受信装置16は、圧縮画像データを受信するディジタル携帯電話等の受信部31、モデム32、及び受信された圧縮画像データを伸長し、復号化してディジタル信号にするとともに、該ディジタル信号をアナログ信号にD/A変換し、画像を表示するパソコン等の受信・表示ユニット18を有する。そして、該受信・表示ユニット18は本体部21及び表示装置22を備え、該表示装置22にディスプレイ23が配設される。また、前記本体部21には操作部19が形成される。なお、本実施の形態においては、送信部15及び受信部31はディジタル携帯電話等の無線通信によって構成されるが、通常の電話機等の有線通信によって構成することもできる。その場合、前記電話回線17は、有線通信を行うための一般公衆回線、ISDN回線等によって構成される。
【0019】
次に、前記画像データ送信装置11について説明する。
図1において、12はビデオカメラ、13は送信機、15は送信部であり、前記送信機13は、ビデオ信号をディジタル信号にA/D変換するA/D変換部24、前記ディジタル信号を取り込んで符号化して画像データにするとともに、該画像データを圧縮して圧縮画像データにする圧縮手段としての画像符号化部25、CPU26、前記画像符号化部25に接続されたブロックメモリ27、並びに前記CPU26にそれぞれ接続されたRAM28及びROM29から成る。前記CPU26は、RAM28をワーキングエリアとして使用し、ROM29に格納されたプログラム及びデータに従って各種の制御を行う。
【0020】
前記ビデオカメラ12においては、例えば、撮影された画像に対応するNTSC信号、PAL信号等のビデオ信号が30〔フレーム/秒〕の速度で発生させられる。該ビデオ信号はA/D変換部24によってA/D変換が行われ、RGB信号、YUV信号等のディジタル信号になる。
また、前記CPU26に内蔵された図示しないタイミング発生回路においてタイミング信号が発生させられ、該タイミング信号にパルスが形成され、それによって画像取込タイミングが発生させられる。そして、該画像取込タイミングが発生させられるたびに、一つのフレームごとに前記ディジタル信号が画像符号化部25によって取り込まれる。次に、該画像符号化部25は、CPU26からの指示に基づいて前記ディジタル信号を符号化し、画像データにするとともに、該画像データを圧縮して圧縮画像データにする。このようにして、ディジタル信号にされた画像は、画像符号化部25によって取り込まれる。
【0021】
そして、前記画像データによって構成されるマトリクスは、オペレータによって指定された画質に対応させて形成されるようになっている。したがって、オペレータが画質を切り換えることによって前記マトリクスは各種のサイズに変更され、例えば、320×480にされる。そのために、前記送信機13に図示しない画質切換用の画質ボタンが配設され、オペレータが該画質ボタンを操作することによって、画質の切換えを指示することができるようになっている。なお、受信・表示ユニット18に画質切換用の画質ボタンを形成することもできる。
【0022】
ところで、前記画像符号化部25は、ディジタル信号を符号化して画像データにするが、このとき、CPU26の指示に従い、所定の圧縮方法によって前記画像データを圧縮して圧縮画像データにする。この場合、既存の各種の圧縮方法、例えば、FST圧縮方法が採用される(特開平5−227547号公報参照)。
該FST圧縮方法においては、例えば、前記ディジタル信号がRGB信号から成る場合、符号化が行われた後のマトリクスを構成する各画像データは、各要素R、G、Bごとに設定された5ビットのビットデータから成り、合計のビット数は15になる。
【0023】
そして、前記画像符号化部25は、画像データを圧縮するために、前記画像データのマトリクスを、例えば、4×2のサブマトリクスから成る複数のブロックに分割し、各ブロックごとに圧縮処理を行う。この場合、各画像データのビット数は15であるので、1ブロックの画像データを構成するビットデータのビット数は、
15×4×2=120
になる。
【0024】
ところで、FST圧縮方法は、一つのブロック内には2色だけが存在し、各色において輝度レベルは一定であるという前提で行われる。したがって、前記FST圧縮方法を行う場合、まず、各ブロックを構成する8個の画像データ(以下「ピクセル」という。)ごとに輝度レベルを調べ、各ピクセルを明暗二つのグループに分ける。次に、各グループを代表する色を決定するとともに、ブロック内のすべてのピクセルについて、どちらのグループの色に属しているかを「1」又は「0」で表す8ビットのビットマップを形成する。
【0025】
したがって、FST圧縮方法が行われた後の1ブロックの情報量を表すビットデータのビット数は、各グループを代表する色を表すためのビット数
2×15=30
に対して、ビットマップのビット数、すなわち、8を加算した数
30+8=38
になる。このような圧縮処理を行うことによって、各ブロック内の非冗長性情報が特定されてコード化され、前記画像データは、120ビットのビットデータから38ビットの圧縮画像データに圧縮される。なお、該圧縮画像データは、ブロックメモリ27に書き込まれる。
【0026】
また、前記FST圧縮方法においては、フレーム内の各ブロック間の相関を採るフレーム内圧縮処理を第1の圧縮処理として行ったり、各フレーム内の各ブロック間の相関を採るフレーム内圧縮処理と各フレーム間の相関を採るフレーム間圧縮処理とから成る第2の圧縮処理として行ったりすることができるようになっている。
【0027】
図3はFST圧縮方法におけるフレーム内圧縮処理及びフレーム間圧縮処理を説明する第1の図、図4はFST圧縮方法におけるフレーム内圧縮処理及びフレーム間圧縮処理を説明する第2の図、図5は本発明の第1の実施の形態における画像データ送信装置の動作を示すタイムチャートである。
図において、fi (i=1、2、…、n)は逐次形成されるn個のフレームのうちのi番目のフレームであり、fP は、前記フレームfi のうち現在のフレーム、fO は前記フレームfi のうち現在のフレームfP より一つ前のフレームである。
【0028】
また、bP は第1、第2の圧縮処理を行おうとする現在のブロック、b1 は該現在のブロックbP に対して左上に位置するブロック、b2 は前記現在のブロックbP に対して真上に位置するブロック、b3 は前記現在のブロックbP に対して右上に位置するブロック、b4 は前記現在のブロックbP に対して左に位置するブロック、b5 は一つ前のフレームfO において前記現在のブロックbP に対応するブロックである。
【0029】
通常、各ブロックb1 〜b5 内の画像データと現在のブロックbP 内の画像データとの相関は、比較的大きい。そこで、フレーム内圧縮処理において、各ブロックb1 〜b4 のブロックデータと現在のブロックbP のブロックデータとが比較され、フレーム間圧縮処理において、ブロックb5 のブロックデータと現在のブロックbP のブロックデータとが比較される。
【0030】
本実施の形態においては、第1、第2の圧縮処理の各モードで画像データを圧縮することができるようになっている。そして、第1の圧縮処理においては、フレーム内圧縮処理だけで画像データが圧縮され、各ブロックb1 〜b4 のブロックデータと現在のブロックbP のブロックデータとの比較結果が5ビットの第1の圧縮画像データにされる。このようにして、該第1の圧縮画像データによって前記現在のブロックbP 内の画像データを表すことができる。
【0031】
一方、第2の圧縮処理においては、フレーム内圧縮処理及びフレーム間圧縮処理が行われるので、各ブロックb1 〜b5 のブロックデータと現在のブロックbP のブロックデータとの比較結果が5ビットの第2の圧縮画像データにされる。したがって、該第2の圧縮画像データによって前記現在のブロックbP 内の画像データを表すことができる。
【0032】
なお、ブロックメモリ27(図1)において、各ブロックデータは逐次書き換えられるようになっていて、各ブロックb1 〜b5 のブロックデータは画像符号化部25によって前記ブロックメモリ27から読み出され、現在のブロックbP のブロックデータと比較される。
このようにして、前記第2の圧縮処理及び第1の圧縮処理の各モードで画像データを圧縮することによってフレーム内及びフレーム間の非冗長性情報が特定されてコード化され、38ビットの画像データは圧縮されて5ビットの圧縮画像データになる。
【0033】
なお、FST圧縮方法に代えてMPEG圧縮方法、TIM圧縮方法等を採用することもできる。
このように、画像データが圧縮されると、CPU26は圧縮画像データを読み込み、送信部15に送る。そして、該送信部15は前記圧縮画像データを伝送信号に乗せてリアルタイムに画像データ受信装置16(図2)に送る。このようにして、1フレーム分の圧縮画像データの送信が終了すると、前記CPU26において、直ちに次の画像取込タイミングが発生させられ、次のフレームの画像についてディジタル信号が画像符号化部25によって取り込まれる。
【0034】
ところで、通常は、図5に示すように、1フレーム分の圧縮画像データの送信が終了するたびに画像取込タイミングt1、t2、…が発生させられるが、ある画像取込タイミングが発生させられてから次の画像取込タイミングが発生させられるまでの間に、例えば、ビデオカメラ12等を操作しているオペレータが、急に現れた画像をスナップ画像としてディスプレイ23に表示しようとして前記送信機13の図示しないスナップ画像取込用のスナップボタンを操作して画像送信中断事由が発生すると、次の画像取込タイミングを前倒しして発生させ、必要に応じて圧縮画像データの送信を中断することができるようになっている。そのために、画像送信中断事由が発生すると、CPU26の図示しない送信中断判断手段によってタイミング変更処理が行われる。
【0035】
図6は本発明の第1の実施の形態におけるタイミング変更処理のサブルーチンを示すフローチャート、図7は本発明の第1の実施の形態における画像データ送信装置の動作を示すタイムチャートである。
図7において、t11、t12、…は画像取込タイミング、τ11は画像送信中断事由が発生するタイミング、τ12は本来発生させられる画像取込タイミングである。
【0036】
この場合、画像取込タイミングt11でディジタル信号が画像符号化部25(図1)によって取り込まれた後、圧縮画像データの送信を行い、圧縮画像データの送信が終了する時点で、本来の画像取込タイミングτ12が発生させられるが、本来の画像取込タイミングτ12が発生させられる前に、ビデオカメラ12を操作しているオペレータが、急に現れた画像をスナップ画像としてディスプレイ23(図2)に表示しようとして、タイミングτ11で前記送信機13の図示しないスナップ画像取込用のスナップボタンを操作すると、CPU26は、ブロックメモリ27に格納された圧縮画像データを画像取込タイミングt12でRAM28に格納するとともに、スナップ画像を取り込み、第2の圧縮処理によって画像データを圧縮し、圧縮後の第2の圧縮画像データをRAM28に格納する。続いて、スナップボタンの操作を必要とすることなく、前記画像符号化部25は、前記スナップ画像を再び取り込み、第1の圧縮処理によって画像データを圧縮し、圧縮後の第1の圧縮画像データをRAM28に格納する。なお、本実施の形態においては、スナップボタンは送信機13に配設されているが、受信・表示ユニット18に配設することもできる。
【0037】
次に、CPU26は、圧縮画像データの送信を中断してスナップ画像についてディジタル信号の符号化、画像データの圧縮等を開始するか、圧縮画像データの送信を中断しないで本来の画像取込タイミングτ12でスナップ画像についてディジタル信号の符号化、画像データの圧縮等を開始するかを判断する。そのために、タイミングτ11において送信中の圧縮画像データの残量をcとし、RAM28に格納された第2の圧縮画像データのデータ量をaとし、RAM28に格納された第1の圧縮画像データのデータ量をbとしたとき、CPU26は、第1の送信所要データ量としてのデータ量bと、データ量aに残量cを加算して得られる第2の送信所要データ量としてのデータ量(a+c)とを比較し、
b<a+c
であるかどうかを判断する。そして、
b<a+c
である場合、CPU26は送信部15に指示を与えて圧縮画像データの送信を中断するとともに、図7に示すように、送信部15によって第1の圧縮画像データを送信する。その後、第2の圧縮処理によって画像データを圧縮する。
【0038】
一方、
b≧a+c
である場合、圧縮画像データの送信を中断させることなく、本来の画像取込タイミングτ12を発生させ、該本来の画像取込タイミングτ12で第2の圧縮処理によって画像データを圧縮することにより得られた第2の圧縮画像データを送信する。この場合、ブロックメモリ27内においては、第2の圧縮画像データが第1の圧縮画像データに塗り代えられているので、画像符号化部25は、RAM28に格納された第2の圧縮画像データを一旦(いったん)ブロックメモリ27に格納し、前記第2の圧縮画像データを送信タイミングに同期させて送信する。その後、第2の圧縮処理によって画像データを圧縮する。
【0039】
ところで、
b<a+c
である場合は、圧縮画像データの送信を中断しても、次のフレームの画像について圧縮画像データの送信を比較的早く終了することができる。したがって、オペレータは要求した画像を早く見ることができる。
【0040】
一方、
b≧a+c
である場合は、送信を中断することなくそのまま送信を継続し、本来の画像取込タイミングτ12で次の画像を取り込む方が要求した画像を早く見ることができる。しかも、前のフレームの画像が表示されてから次のフレームの画像が表示されるまでの待機時間を短くすることができる。
【0041】
なお、本実施の形態においては、データ量bと、データ量aに残量cを加算して得られるデータ量(a+c)とを比較するようにしているが、データ量bを送信するのに必要とされる第1の送信所要時間とデータ量(a+c)を送信するのに必要とされる第2の送信所要時間とを比較することもできる。
次に、フローチャートについて説明する。
ステップS1 画像符号化部25はスナップ画像を取り込んで第2の圧縮処理によって画像データを圧縮する。
ステップS2 第2の圧縮画像データ(データ量a)をRAM28に格納する。
ステップS3 画像符号化部25はスナップ画像を取り込んで第1の圧縮処理によって画像データを圧縮する。
ステップS4 第1の圧縮画像データ(データ量b)をRAM28に格納する。
ステップS5 データ量bがデータ量(a+c)より少ないかどうかを判断する。データ量bがデータ量(a+c)より少ない場合はステップS6に、データ量bがデータ量(a+c)以上である場合はステップS8に進む。
ステップS6 送信部15に指示を与えて圧縮画像データの送信を中断する。
ステップS7 第1の圧縮画像データを送信する。
ステップS8 第2の圧縮画像データをブロックメモリ27に格納する。
ステップS9 送信部15に指示を与えて第2の圧縮画像データを送信する。
【0042】
次に、第2の実施の形態について説明する。
図8は本発明の第2の実施の形態における画像データ送信装置の動作を示すフローチャートである。
この場合、画像送信中断事由が発生すると、CPU26(図1)の図示しない送信中断判断手段によってタイミング変更処理が行われる。
ステップS11 画像符号化部25は画像を取り込み、符号化して画像データにし、該画像データを圧縮して圧縮画像データにする。
ステップS12 画質の切換えが指示されたかどうかを判断する。画像の切換えが指示された場合はステップS13に、切換えが指示されていない場合はステップS14に進む。
ステップS13 送信中断判断手段はタイミング変更処理を行う。
ステップS14 圧縮画像データを送信する。
ステップS15 圧縮画像データの送信が終了したかどうかを判断する。送信が終了した場合はステップS11に、終了していない場合はステップS12に戻る。
【0043】
次に、図8のステップS13におけるタイミング変更処理について説明する。
図9は本発明の第2の実施の形態におけるタイミング変更処理のサブルーチンを示すフローチャート、図10は本発明の第2の実施の形態における画像データ送信装置の動作を示す第1のタイムチャート、図11は本発明の第2の実施の形態における画像データ送信装置の動作を示す第2のタイムチャートである。
【0044】
図10において、t21、t22、…は画像取込タイミング、τ21は画像送信中断事由が発生するタイミング、τ22は本来発生させられる画像取込タイミングである。
この場合、画像取込タイミングt21でディジタル信号が画像符号化部25(図1)によって取り込まれた後、圧縮画像データの送信が終了する時点で、本来の画像取込タイミングτ22が発生させられるが、本来の画像取込タイミングτ22が発生させられる前に、オペレータが、ディスプレイ23(図2)に表示される画像の画質を切り換えようとして、タイミングτ21で操作部19の画質切換用の図示しない画質ボタンを操作し、所定のコマンドが送信機13に送られると、CPU26は、タイミングτ21から本来の画像取込タイミングτ22までの時間、すなわち、送信中の圧縮画像データの残量を送信するのに必要とされる送信所要時間δを計算し、該送信所要時間δが設定値以上であるかどうかを判断する。なお、前記送信所要時間δは、タイミングτ21において送信中の圧縮画像データの残量のデータ量、及び伝送速度に基づいて計算される。
【0045】
そして、送信所要時間δが設定値以上である場合、CPU26の図示しない送信中断判断手段は送信部15に指示を与えて送信を中断するとともに、図10に示すように、画像取込タイミングt22を発生させ、該画像取込タイミングt22で画像符号化部25は次のフレームの画像を取り込む。したがって、本来の画像取込タイミングτ22が発生させられる前に、次のフレームの画像についてディジタル信号の符号化、画像データの圧縮等を開始することができる。その結果、オペレータは要求した画像を早く見ることができる。
【0046】
これに対して、前記送信所要時間δが設定値より短い場合、CPU26は画像データの送信を中断することなく画質を切り換える。
すなわち、図11において、t31、t32、…は画像取込タイミング、τ31は画像送信中断事由が発生するタイミングである。
この場合、画像取込タイミングt31でディジタル信号が画像符号化部25(図1)によって取り込まれた後、圧縮画像データの送信が終了する時点で、次の画像取込タイミングt32が発生させられる。そして、画像取込タイミングt32が発生させられる前に、オペレータが、ディスプレイ23(図2)に表示される画像の画質を切り換えようとして、タイミングτ31で操作部19の画質ボタンを操作したとき、タイミングτ31から画像取込タイミングt32までの送信所要時間δが設定値より短い場合、そのまま画像取込タイミングt32が発生させられる。
【0047】
このように、タイミングτ31において送信中の圧縮画像データの残量がほとんどなく、圧縮画像データの送信がほぼ終了している場合、オペレータは要求した画像を早く見ることはできないが、前のフレームの画像が表示されてから次のフレームの画像が表示されるまでの待機時間を短くすることができる。
なお、本実施の形態においては、送信所要時間δと設定値とを比較するようになっているが、送信所要時間δを計算することなく、送信中の圧縮画像データの残量と設定値とを比較することもできる。
【0048】
次に、図9のフローチャートについて説明する。
ステップS13−1 CPU26は、送信中の圧縮画像データの残量のデータ量、及び伝送速度に基づいて送信所要時間δを計算する。
ステップS13−2 送信中断判断手段は送信所要時間δが設定値以上であるかどうかを判断する。送信所要時間δが設定値以上である場合はステップS13−3に、送信所要時間δが設定値より短い場合はステップS13−5に進む。
ステップS13−3 CPU26は送信部15に指示を与えて圧縮画像データの送信を中断する。
ステップS13−4 画像符号化部25は次のフレームの画像についてディジタル信号を取り込む。
ステップS13−5 CPU26は圧縮画像データの送信を中断することなく画質を切り換える。
【0049】
なお、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々変形させることが可能であり、それらを本発明の範囲から排除するものではない。
【0050】
【発明の効果】
以上詳細に説明したように、本発明によれば、画像データ送信装置においては、画像を撮影する撮像手段と、該撮像手段によって撮影された画像を各フレームごとに発生させられる画像取込タイミングで取り込み、画像データを圧縮して圧縮画像データにする圧縮手段と、前記圧縮画像データを送信する送信手段と、前記圧縮画像データを送信しているときに、送信中のフレームについての圧縮画像データの送信が終了した後に発生する本来の画像取込タイミングより前のタイミングで画像送信中断事由が発生した場合に、前記本来の画像取込タイミングより前に次の画像取込タイミングを前倒しして発生させ、前倒しして発生させられた画像取込タイミングで取り込まれる画像についてのフレーム内圧縮処理によって圧縮された圧縮画像データのデータ量を表す第1の送信所要データ量と、送信中の圧縮画像データの残量に、前記本来の画像取込タイミングで取り込まれる画像とその直前の画像取込タイミングで取り込まれた画像との比較に基づくフレーム間圧縮処理によって圧縮された圧縮画像データのデータ量を加算して得られる第2の送信所要データ量とを比較し、前記第1の送信所要データ量が前記第2の送信所要データ量より少ないときに、前記送信手段による圧縮画像データの送信を中断する送信中断判断手段とを有する。
【0051】
そして、前記送信手段は、圧縮画像データの送信が中断されたときに、前倒しして発生させられた画像取込タイミングで取り込まれた画像についての圧縮画像データを送信する。
この場合、画像送信中断事由が発生すると、送信中断判断手段は、前記第1の送信所要データ量と第2の送信所要データ量とを比較し、前記第1の送信所要データ量が前記第2の送信所要データ量より少ないときに、前記送信手段による圧縮画像データの送信を中断する。
【0052】
したがって、圧縮画像データの送信を中断する場合は、次のフレームの画像について圧縮画像データの送信を比較的早く終了することができるので、要求した画像を早く見ることができる。
また、圧縮画像データの送信を中断しない場合は、要求した画像を早く見ることはできないが、前のフレームの画像が表示されてから次のフレームの画像が表示されるまでの待機時間を短くすることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態における画像データ送信装置のブロック図である。
【図2】本発明の第1の実施の形態における画像伝送システムを示す図である。
【図3】FST圧縮方法におけるフレーム内圧縮処理及びフレーム間圧縮処理を説明する第1の図である。
【図4】FST圧縮方法におけるフレーム内圧縮処理及びフレーム間圧縮処理を説明する第2の図である。
【図5】本発明の第1の実施の形態における画像データ送信装置の動作を示すタイムチャートである。
【図6】本発明の第1の実施の形態におけるタイミング変更処理のサブルーチンを示すフローチャートである。
【図7】本発明の第1の実施の形態における画像データ送信装置の動作を示すタイムチャートである。
【図8】本発明の第2の実施の形態における画像データ送信装置の動作を示すフローチャートである。
【図9】本発明の第2の実施の形態におけるタイミング変更処理のサブルーチンを示すフローチャートである。
【図10】本発明の第2の実施の形態における画像データ送信装置の動作を示す第1のタイムチャートである。
【図11】本発明の第2の実施の形態における画像データ送信装置の動作を示す第2のタイムチャートである。
【符号の説明】
11 画像データ送信装置
12 ビデオカメラ
15 送信部
25 画像符号化部
26 CPU
t12、t22 画像取込タイミング
δ 送信所要時間
τ12、τ22 本来の画像取込タイミング
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image data transmitting apparatus.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, an image transmission system has been provided for capturing an image with a video camera or the like and displaying the captured image on a display of a display device disposed in a remote place, and the image transmission system includes the video camera. An image data transmitting device for converting an image captured by the method into compressed image data and transmitting the image, and an image data receiving device for receiving the transmitted compressed image data and displaying the image on the display according to the compressed image data .
[0003]
In the image data transmitting apparatus, a video signal such as an NTSC signal or a PAL signal corresponding to an image is generated by a video camera or the like, and the video signal is sent to an A / D converter, A / D conversion is performed by the A / D converter, and digital signals such as RGB signals and YUV signals are obtained. Subsequently, a pulse is formed in the timing signal by the CPU, and a digital signal is captured by the image encoding unit for each screen, that is, for each frame, at an image capture timing generated thereby. In this way, the image encoding unit captures an image.
[0004]
Then, the digital signal is encoded by the image encoding unit to become image data, is compressed, is sent to the transmission unit as compressed image data, and is synchronized with the transmission timing generated by the transmission unit. It is transmitted to the receiving device.
In this way, when the transmission of the compressed image data is completed, the CPU immediately generates the next image capture timing, and the digital signal is captured by the image encoding unit for the next frame image.
[0005]
In addition, the image image | photographed with the video camera etc. and the image displayed on a display consist of a some pixel comprised by a 640 * 480 matrix, for example.
[0006]
[Problems to be solved by the invention]
However, in the conventional image data transmitting apparatus, an operator operating a video camera or the like, for example, between the time when the image capture timing is generated and the time when the next image capture timing is generated. When the snap button for capturing the snap image of the transmitter of the image data transmitting device is operated to display the image that appears suddenly on the display as a snap image, the image capture timing can be generated. The transmission timing cannot be generated until the transmission of the compressed image data for the image of this frame is completed.
[0007]
By the way, in the image data transmitting apparatus, an image captured by a video camera or the like is captured by an image encoding unit and encoded into image data. The time until the image data is compressed is one frame. Per 1/30 second. On the other hand, the time from when the compressed image data sent to the transmission unit is transmitted to the image data receiving device and received by the image data receiving device, that is, the transmission time is the transmission path, the data of the compressed image data. For example, when a digital mobile phone is used, it takes about 1 to 180 seconds per frame although it varies depending on the amount.
[0008]
Therefore, even if the operator operates the snap button, the time until the snap image is displayed on the display becomes long, and the response of the image data transmitting apparatus to the operation is delayed.
Also, between the time when the image capture timing is generated and the time when the next image capture timing is generated, for example, the operator switches the resolution of the image displayed on the display, that is, the image quality, for example, When the image quality switching button is operated to change from a 640 × 480 pixel to a 320 × 480 pixel, an image capture timing can be generated, but the compressed image data of the image of the current frame can be generated. The transmission timing cannot be generated until the transmission is completed.
[0009]
Therefore, the time until the image after the image quality is switched is displayed on the display becomes long, and the response of the image data transmitting apparatus to the operation is delayed.
Therefore, when an image transmission interruption event occurs, such as displaying a snap image or switching image quality, it is possible to interrupt transmission immediately and generate an image capture timing to capture a new image. If transmission of the compressed image data for the image of the current frame is almost completed, it is necessary to re-encode, compress the image data, transmit the compressed image data, etc. for the image of the current frame Therefore, it takes a long time from when the image of the previous frame is displayed on the display to when the image of the next frame is displayed on the display.
[0010]
The present invention solves the problems of the conventional image data transmitting apparatus and can speed up the response to the operation. After the image of the previous frame is displayed on the display, the image of the next frame is displayed on the display. An object of the present invention is to provide an image data transmitting apparatus that can shorten the time until display.
[0011]
[Means for Solving the Problems]
For this purpose, in the image data transmitting apparatus of the present invention, an image capturing unit that captures an image and an image captured by the image capturing unit are captured at an image capture timing generated for each frame, and the image data is compressed. Originally generated after completion of transmission of compressed image data for a frame being transmitted when transmitting the compressed image data, compression means for converting to compressed image data, transmission means for transmitting the compressed image data, and the compressed image data When an image transmission interruption event occurs at a timing before the image capture timing, the next image capture timing is generated ahead of the original image capture timing, and it is generated ahead of schedule. The number representing the data amount of the compressed image data compressed by the intra-frame compression process for the image captured at the image capture timing. The interframe compression is based on the comparison between the amount of data required for transmission and the remaining amount of compressed image data being transmitted and the image captured at the original image capture timing and the image captured at the immediately preceding image capture timing. When the second required transmission data amount obtained by adding the data amount of the compressed image data compressed by the processing is compared, and the first required transmission data amount is smaller than the second required transmission data amount And a transmission interruption judging means for interrupting transmission of the compressed image data by the transmission means.
[0012]
The transmission unit transmits the compressed image data of the image captured at the image capture timing generated ahead when the transmission of the compressed image data is interrupted.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram of an image data transmitting apparatus according to the first embodiment of the present invention, and FIG. 2 is a diagram showing an image transmission system according to the first embodiment of the present invention.
In FIG. 2, reference numeral 11 denotes an image data transmitting device that converts a captured image into compressed image data and transmits the image. The image data transmitting device 11 includes a video camera 12 as an imaging unit that captures an image, and the video camera. 12, a transmitter 13 that converts a captured image into compressed image data, and a transmission unit 15 as a transmission unit such as a digital mobile phone that transmits the compressed image data in synchronization with the transmission timing. Have The video camera 12 includes a main body 12a and a controller 12b, and a modem 99 is connected to the transmitter 13.
[0018]
Reference numeral 16 denotes an image data receiving apparatus connected to the image data transmitting apparatus 11 via a telephone line 17 such as a mobile telephone line for performing wireless communication. The image data receiving apparatus 16 includes compressed image data. Receiving unit 31 such as a digital mobile phone, modem 32, and received compressed image data are decompressed and decoded into a digital signal, and the digital signal is D / A converted into an analog signal, It has a receiving / display unit 18 such as a personal computer for displaying. The reception / display unit 18 includes a main body 21 and a display device 22, and a display 23 is disposed on the display device 22. An operation unit 19 is formed on the main body 21. In the present embodiment, the transmission unit 15 and the reception unit 31 are configured by wireless communication such as a digital mobile phone, but can also be configured by wired communication such as an ordinary telephone. In this case, the telephone line 17 is constituted by a general public line, an ISDN line, etc. for performing wired communication.
[0019]
Next, the image data transmission device 11 will be described.
In FIG. 1, 12 is a video camera, 13 is a transmitter, and 15 is a transmitter. The transmitter 13 is an A / D converter 24 for A / D converting a video signal into a digital signal, and captures the digital signal. The image encoding unit 25, the CPU 26, the block memory 27 connected to the image encoding unit 25, and the block memory 27 as compression means for compressing the image data into compressed image data, It consists of a RAM 28 and a ROM 29 connected to the CPU 26, respectively. The CPU 26 uses the RAM 28 as a working area and performs various controls according to programs and data stored in the ROM 29.
[0020]
In the video camera 12, for example, a video signal such as an NTSC signal and a PAL signal corresponding to a photographed image is generated at a speed of 30 [frames / second]. The video signal is A / D converted by the A / D converter 24 to become a digital signal such as an RGB signal or a YUV signal.
A timing signal (not shown) built in the CPU 26 generates a timing signal, and a pulse is formed in the timing signal, thereby generating an image capture timing. Each time the image capture timing is generated, the digital signal is captured by the image encoding unit 25 for each frame. Next, the image encoding unit 25 encodes the digital signal based on an instruction from the CPU 26 to form image data, and compresses the image data into compressed image data. The image converted into the digital signal in this way is captured by the image encoding unit 25.
[0021]
The matrix constituted by the image data is formed in correspondence with the image quality designated by the operator. Therefore, when the operator switches the image quality, the matrix is changed to various sizes, for example, 320 × 480. For this purpose, an image quality switching button (not shown) is provided on the transmitter 13, and an operator can instruct switching of the image quality by operating the image quality button. An image quality button for switching image quality can also be formed on the reception / display unit 18.
[0022]
By the way, the image encoding unit 25 encodes a digital signal into image data. At this time, according to an instruction from the CPU 26, the image data is compressed into a compressed image data by a predetermined compression method. In this case, various existing compression methods, for example, the FST compression method are employed (see Japanese Patent Laid-Open No. 5-227547).
In the FST compression method, for example, when the digital signal is composed of RGB signals, each image data constituting the matrix after encoding is 5 bits set for each element R, G, B. The total number of bits is 15.
[0023]
Then, in order to compress the image data, the image encoding unit 25 divides the image data matrix into a plurality of blocks made up of, for example, 4 × 2 sub-matrices, and performs compression processing for each block. . In this case, since the number of bits of each image data is 15, the number of bits of the bit data constituting one block of image data is
15 × 4 × 2 = 120
become.
[0024]
By the way, the FST compression method is performed on the premise that there are only two colors in one block and the luminance level is constant in each color. Therefore, when the FST compression method is performed, first, the luminance level is examined for each of eight image data (hereinafter referred to as “pixels”) constituting each block, and each pixel is divided into two groups of light and dark. Next, a color representative of each group is determined, and an 8-bit bitmap representing which group color belongs to “1” or “0” for all pixels in the block is formed.
[0025]
Accordingly, the number of bits of the bit data representing the information amount of one block after the FST compression method is performed is the number of bits for representing the color representing each group.
2 × 15 = 30
Is the number of bits in the bitmap, that is, the number obtained by adding 8
30 + 8 = 38
become. By performing such compression processing, non-redundancy information in each block is specified and coded, and the image data is compressed from 120-bit bit data to 38-bit compressed image data. The compressed image data is written in the block memory 27.
[0026]
Further, in the FST compression method, intra-frame compression processing that takes a correlation between blocks in a frame is performed as the first compression processing, or intra-frame compression processing that takes a correlation between blocks in each frame and This can be performed as a second compression process including an inter-frame compression process that takes a correlation between frames.
[0027]
FIG. 3 is a first diagram illustrating intra-frame compression processing and inter-frame compression processing in the FST compression method. FIG. 4 is a second diagram illustrating intra-frame compression processing and inter-frame compression processing in the FST compression method. These are the time charts which show operation | movement of the image data transmission apparatus in the 1st Embodiment of this invention.
In the figure, f i (I = 1, 2,..., N) is the i-th frame among n frames sequentially formed, and f P Is the frame f i Of the current frame, f O Is the frame f i Of the current frame f P This is the previous frame.
[0028]
B P Is the current block to be subjected to the first and second compression processing, b 1 Is the current block b P A block located in the upper left with respect to b 2 Is the current block b P A block located directly above b, Three Is the current block b P A block located in the upper right with respect to b Four Is the current block b P The block located to the left of b Five Is the previous frame f O In the current block b P Is a block corresponding to.
[0029]
Usually each block b 1 ~ B Five Image data and current block b P The correlation with the image data is relatively large. Therefore, in the intra-frame compression processing, each block b 1 ~ B Four Block data and current block b P In the inter-frame compression processing, the block b Five Block data and current block b P Are compared with the block data.
[0030]
In the present embodiment, image data can be compressed in each mode of the first and second compression processes. In the first compression process, the image data is compressed only by the intra-frame compression process, and each block b 1 ~ B Four Block data and current block b P The result of comparison with the block data is the first compressed image data of 5 bits. In this way, the current block b is determined by the first compressed image data. P The image data within can be represented.
[0031]
On the other hand, in the second compression processing, intra-frame compression processing and inter-frame compression processing are performed. 1 ~ B Five Block data and current block b P The result of comparison with the block data is converted to the 5-bit second compressed image data. Therefore, the current block b is determined by the second compressed image data. P The image data within can be represented.
[0032]
In the block memory 27 (FIG. 1), each block data is sequentially rewritten, and each block b 1 ~ B Five Are read from the block memory 27 by the image encoding unit 25, and the current block b is read out. P Is compared with the block data.
In this way, non-redundancy information within and between frames is identified and coded by compressing image data in each mode of the second compression process and the first compression process, and a 38-bit image is obtained. The data is compressed into 5-bit compressed image data.
[0033]
Note that an MPEG compression method, a TIM compression method, or the like may be employed instead of the FST compression method.
In this way, when the image data is compressed, the CPU 26 reads the compressed image data and sends it to the transmission unit 15. The transmitting unit 15 puts the compressed image data on the transmission signal and sends it to the image data receiving device 16 (FIG. 2) in real time. In this way, when transmission of compressed image data for one frame is completed, the CPU 26 immediately generates the next image capture timing, and the digital signal is captured by the image encoding unit 25 for the next frame image. It is.
[0034]
Normally, as shown in FIG. 5, image transmission timings t1, t2,... Are generated every time transmission of compressed image data for one frame is completed, but a certain image capturing timing is generated. Until the next image capture timing is generated, for example, an operator operating the video camera 12 or the like tries to display an image that appears suddenly on the display 23 as a snap image. If an event for interrupting image transmission occurs by operating a snap button for capturing a snap image (not shown), the next image capture timing may be advanced and the transmission of compressed image data may be interrupted as necessary. It can be done. Therefore, when an image transmission interruption event occurs, a timing change process is performed by a transmission interruption determination unit (not shown) of the CPU 26.
[0035]
FIG. 6 is a flowchart showing a timing change processing subroutine according to the first embodiment of the present invention, and FIG. 7 is a time chart showing the operation of the image data transmitting apparatus according to the first embodiment of the present invention.
7, t11, t12,... Are image capture timings, τ11 is a timing at which an image transmission interruption event occurs, and τ12 is an image capture timing that is originally generated.
[0036]
In this case, after the digital signal is captured by the image encoding unit 25 (FIG. 1) at the image capture timing t11, the compressed image data is transmitted, and when the transmission of the compressed image data is completed, the original image capture is performed. The capture timing τ12 is generated, but before the original image capture timing τ12 is generated, the operator operating the video camera 12 uses the suddenly appearing image as a snap image on the display 23 (FIG. 2). When a snap button for capturing a snap image (not shown) of the transmitter 13 is operated at the timing τ11 to display, the CPU 26 stores the compressed image data stored in the block memory 27 in the RAM 28 at the image capturing timing t12. At the same time, take a snap image, compress the image data by the second compression process, compress Storing the second compressed image data in the RAM 28. Subsequently, without requiring the operation of a snap button, the image encoding unit 25 takes in the snap image again, compresses the image data by the first compression processing, and the first compressed image data after the compression Is stored in the RAM 28. In the present embodiment, the snap button is disposed in the transmitter 13, but may be disposed in the reception / display unit 18.
[0037]
Next, the CPU 26 interrupts the transmission of the compressed image data and starts encoding of the digital signal and compression of the image data for the snap image, or the original image capture timing τ12 without interrupting the transmission of the compressed image data. It is then determined whether to start encoding digital signals, compressing image data, etc. for the snap image. Therefore, the remaining amount of the compressed image data being transmitted at the timing τ 11 is c, the data amount of the second compressed image data stored in the RAM 28 is a, and the data of the first compressed image data stored in the RAM 28 When the amount is b, the CPU 26 has a data amount b as the first required transmission data amount and a data amount (a + c) as the second required transmission data amount obtained by adding the remaining amount c to the data amount a. ) And
b <a + c
It is determined whether or not. And
b <a + c
In this case, the CPU 26 gives an instruction to the transmission unit 15 to interrupt the transmission of the compressed image data, and transmits the first compressed image data by the transmission unit 15 as shown in FIG. Thereafter, the image data is compressed by the second compression process.
[0038]
on the other hand,
b ≧ a + c
The original image capture timing τ12 is generated without interrupting transmission of the compressed image data, and the image data is compressed by the second compression process at the original image capture timing τ12. The second compressed image data is transmitted. In this case, since the second compressed image data is replaced with the first compressed image data in the block memory 27, the image encoding unit 25 stores the second compressed image data stored in the RAM 28. Once (once) stored in the block memory 27, the second compressed image data is transmitted in synchronization with the transmission timing. Thereafter, the image data is compressed by the second compression process.
[0039]
by the way,
b <a + c
In this case, even if transmission of compressed image data is interrupted, transmission of compressed image data for the next frame image can be completed relatively quickly. Therefore, the operator can quickly view the requested image.
[0040]
on the other hand,
b ≧ a + c
In this case, transmission can be continued without interrupting transmission, and the image requested by capturing the next image at the original image capture timing τ12 can be viewed earlier. In addition, it is possible to shorten the waiting time from when the previous frame image is displayed until the next frame image is displayed.
[0041]
In the present embodiment, the data amount b is compared with the data amount (a + c) obtained by adding the remaining amount c to the data amount a. However, the data amount b is transmitted. It is also possible to compare the required first transmission time and the second transmission time required to transmit the data amount (a + c).
Next, a flowchart will be described.
Step S1: The image encoding unit 25 takes in the snap image and compresses the image data by the second compression processing.
Step S2: The second compressed image data (data amount a) is stored in the RAM 28.
Step S3: The image encoding unit 25 takes in the snap image and compresses the image data by the first compression processing.
Step S4: The first compressed image data (data amount b) is stored in the RAM 28.
Step S5: It is determined whether the data amount b is smaller than the data amount (a + c). If the data amount b is smaller than the data amount (a + c), the process proceeds to step S6. If the data amount b is greater than or equal to the data amount (a + c), the process proceeds to step S8.
Step S6: An instruction is given to the transmission unit 15 to interrupt transmission of the compressed image data.
Step S7: The first compressed image data is transmitted.
Step S8: The second compressed image data is stored in the block memory 27.
Step S9: An instruction is given to the transmission unit 15 to transmit the second compressed image data.
[0042]
Next, a second embodiment will be described.
FIG. 8 is a flowchart showing the operation of the image data transmitting apparatus according to the second embodiment of the present invention.
In this case, when an image transmission interruption cause occurs, a timing change process is performed by a transmission interruption determination unit (not shown) of the CPU 26 (FIG. 1).
Step S11 The image encoding unit 25 takes in an image, encodes it into image data, and compresses the image data into compressed image data.
Step S12: It is determined whether or not an image quality switching instruction has been issued. If the switching of the image is instructed, the process proceeds to step S13. If the switching is not instructed, the process proceeds to step S14.
Step S13: Transmission interruption determination means performs timing change processing.
Step S14: The compressed image data is transmitted.
Step S15: It is determined whether or not the transmission of the compressed image data has been completed. If the transmission is completed, the process returns to step S11. If the transmission is not completed, the process returns to step S12.
[0043]
Next, the timing change process in step S13 of FIG. 8 will be described.
FIG. 9 is a flowchart showing a subroutine of timing change processing according to the second embodiment of the present invention. FIG. 10 is a first time chart showing the operation of the image data transmitting apparatus according to the second embodiment of the present invention. 11 is a second time chart showing the operation of the image data transmitting apparatus according to the second embodiment of the present invention.
[0044]
10, t21, t22,... Are image capture timings, τ21 is a timing at which an image transmission interruption event occurs, and τ22 is an image capture timing that is originally generated.
In this case, the original image capture timing τ22 is generated when the transmission of the compressed image data ends after the digital signal is captured by the image encoding unit 25 (FIG. 1) at the image capture timing t21. Before the original image capture timing τ22 is generated, the operator tries to switch the image quality of the image displayed on the display 23 (FIG. 2), and the image quality (not shown) for switching the image quality of the operation unit 19 at the timing τ21. When the button is operated and a predetermined command is sent to the transmitter 13, the CPU 26 transmits the time from the timing τ21 to the original image capture timing τ22, that is, the remaining amount of compressed image data being transmitted. The required transmission time δ is calculated, and it is determined whether the transmission time δ is equal to or greater than a set value. The required transmission time δ is calculated based on the remaining amount of compressed image data being transmitted at the timing τ21 and the transmission speed.
[0045]
If the required transmission time δ is equal to or longer than the set value, the transmission interruption determining means (not shown) of the CPU 26 gives an instruction to the transmission unit 15 to interrupt the transmission and, as shown in FIG. The image encoding unit 25 captures an image of the next frame at the image capture timing t22. Therefore, before the original image capture timing τ22 is generated, encoding of a digital signal, compression of image data, and the like can be started for the next frame image. As a result, the operator can quickly view the requested image.
[0046]
On the other hand, when the transmission required time δ is shorter than the set value, the CPU 26 switches the image quality without interrupting the transmission of the image data.
That is, in FIG. 11, t31, t32,... Are image capture timings, and τ31 is a timing at which an image transmission interruption cause occurs.
In this case, after the digital signal is captured by the image encoding unit 25 (FIG. 1) at the image capture timing t31, the next image capture timing t32 is generated when transmission of the compressed image data ends. Then, before the image capture timing t32 is generated, when the operator operates the image quality button of the operation unit 19 at timing τ31 in order to switch the image quality of the image displayed on the display 23 (FIG. 2), the timing When the required transmission time δ from τ31 to the image capture timing t32 is shorter than the set value, the image capture timing t32 is generated as it is.
[0047]
As described above, when there is almost no remaining compressed image data being transmitted at the timing τ31 and the transmission of the compressed image data is almost finished, the operator cannot quickly view the requested image. The waiting time from when the image is displayed until the next frame image is displayed can be shortened.
In the present embodiment, the required transmission time δ is compared with the set value, but the remaining amount of compressed image data being transmitted and the set value are calculated without calculating the required transmission time δ. Can also be compared.
[0048]
Next, the flowchart of FIG. 9 will be described.
Step S13-1: The CPU 26 calculates the required transmission time δ based on the remaining amount of compressed image data being transmitted and the transmission speed.
Step S13-2: The transmission interruption determining means determines whether the required transmission time δ is equal to or greater than a set value. If the required transmission time δ is greater than or equal to the set value, the process proceeds to step S13-3. If the required transmission time δ is shorter than the set value, the process proceeds to step S13-5.
Step S13-3: The CPU 26 gives an instruction to the transmission unit 15 and interrupts the transmission of the compressed image data.
Step S13-4: The image encoding unit 25 captures a digital signal for the next frame image.
Step S13-5: The CPU 26 switches the image quality without interrupting the transmission of the compressed image data.
[0049]
In addition, this invention is not limited to the said embodiment, It can change variously based on the meaning of this invention, and does not exclude them from the scope of the present invention.
[0050]
【The invention's effect】
As described above in detail, according to the present invention, in the image data transmitting apparatus, an image capturing unit that captures an image and an image capture timing at which an image captured by the image capturing unit is generated for each frame. A compression unit that captures and compresses image data into compressed image data; a transmission unit that transmits the compressed image data; and a compressed image data for a frame that is being transmitted when the compressed image data is transmitted. If an image transmission interruption event occurs at a timing prior to the original image capture timing that occurs after the transmission is completed, the next image capture timing is generated before the original image capture timing. Compressed image data compressed by intra-frame compression processing for images captured at the image capture timing generated ahead of schedule. An image captured at the original image capture timing and an image captured at the immediately preceding image capture timing in the first required transmission data amount representing the data amount of the data and the remaining amount of compressed image data being transmitted And the second required transmission data amount obtained by adding the data amount of the compressed image data compressed by the inter-frame compression process based on the comparison with the first required transmission data amount. And a transmission interruption determination unit that interrupts transmission of the compressed image data by the transmission unit when the amount of data required for transmission is smaller.
[0051]
The transmission unit transmits the compressed image data of the image captured at the image capture timing generated ahead when the transmission of the compressed image data is interrupted.
In this case, when an image transmission interruption event occurs, the transmission interruption determination unit compares the first required transmission data amount with the second required transmission data amount, and the first required transmission data amount is the second required transmission data amount. When the amount of data required for transmission is smaller, the transmission of the compressed image data by the transmission means is interrupted.
[0052]
Therefore, when the transmission of the compressed image data is interrupted, the transmission of the compressed image data for the next frame image can be completed relatively quickly, so that the requested image can be viewed quickly.
If the transmission of compressed image data is not interrupted, the requested image cannot be viewed quickly, but the waiting time until the next frame image is displayed after the previous frame image is displayed is shortened. be able to.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image data transmitting apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram showing an image transmission system according to the first embodiment of the present invention.
FIG. 3 is a first diagram illustrating intra-frame compression processing and inter-frame compression processing in the FST compression method.
FIG. 4 is a second diagram illustrating intra-frame compression processing and inter-frame compression processing in the FST compression method.
FIG. 5 is a time chart showing an operation of the image data transmitting apparatus according to the first embodiment of the present invention.
FIG. 6 is a flowchart showing a subroutine of timing change processing according to the first embodiment of the present invention.
FIG. 7 is a time chart showing an operation of the image data transmitting apparatus according to the first embodiment of the present invention.
FIG. 8 is a flowchart showing an operation of the image data transmitting apparatus according to the second embodiment of the present invention.
FIG. 9 is a flowchart illustrating a subroutine of timing change processing according to the second embodiment of the present invention.
FIG. 10 is a first time chart showing an operation of the image data transmitting apparatus according to the second embodiment of the present invention.
FIG. 11 is a second time chart showing the operation of the image data transmitting apparatus according to the second embodiment of the present invention.
[Explanation of symbols]
11 Image data transmitter
12 Video camera
15 Transmitter
25 Image encoding unit
26 CPU
t12, t22 Image capture timing
δ Time required for transmission
τ12, τ22 Original image capture timing

Claims (2)

画像を撮影する撮像手段と、該撮像手段によって撮影された画像を各フレームごとに発生させられる画像取込タイミングで取り込み、画像データを圧縮して圧縮画像データにする圧縮手段と、前記圧縮画像データを送信する送信手段と、前記圧縮画像データを送信しているときに、送信中のフレームについての圧縮画像データの送信が終了した後に発生する本来の画像取込タイミングより前のタイミングで画像送信中断事由が発生した場合に、前記本来の画像取込タイミングより前に次の画像取込タイミングを前倒しして発生させ、前倒しして発生させられた画像取込タイミングで取り込まれる画像についてのフレーム内圧縮処理によって圧縮された圧縮画像データのデータ量を表す第1の送信所要データ量と、送信中の圧縮画像データの残量に、前記本来の画像取込タイミングで取り込まれる画像とその直前の画像取込タイミングで取り込まれた画像との比較に基づくフレーム間圧縮処理によって圧縮された圧縮画像データのデータ量を加算して得られる第2の送信所要データ量とを比較し、前記第1の送信所要データ量が前記第2の送信所要データ量より少ないときに、前記送信手段による圧縮画像データの送信を中断する送信中断判断手段とを有するとともに、前記送信手段は、圧縮画像データの送信が中断されたときに、前倒しして発生させられた画像取込タイミングで取り込まれた画像についての圧縮画像データを送信することを特徴とする画像データ送信装置 Image capturing means for capturing an image, compression means for capturing an image captured by the image capturing means at an image capture timing generated for each frame, and compressing the image data into compressed image data, and the compressed image data And transmitting means for transmitting the image at a timing prior to the original image capture timing that occurs after the transmission of the compressed image data for the frame being transmitted ends when transmitting the compressed image data. In the case of an interruption cause, the next image capture timing is generated ahead of the original image capture timing, and the image is captured at the image capture timing generated in advance . a first transmission required data value representing the data quantity of the compressed image data compressed by the compression process, the remaining of the compressed image data being transmitted A, by adding the data amount of the compressed image data compressed by the compression processing between based rather frames on a comparison of the image with the captured in the original image capture timing and an image captured by the image pickup timing of the immediately preceding comparing the second transmission required data amount obtained Te, when the first transmission required data amount is smaller than the second transmission required data amount, it suspends the transmission of the compressed image data by the transmitting means which has a transmit interrupt determining means, said transmitting means is transmitted when the transmission of the compressed image data is interrupted, the compressed image data for the captured image by the image pickup timing that is allowed to occur ahead of schedule image data transmission apparatus, characterized by. 像を撮影する撮像手段と、該撮像手段によって撮影された画像を各フレームごとに発生させられる画像取込タイミングで取り込み、画像データを圧縮して圧縮画像データにする圧縮手段と、前記圧縮画像データを送信する送信手段と、前記圧縮画像データを送信しているときに、送信中のフレームについての圧縮画像データの送信が終了した後に発生する本来の画像取込タイミングより前のタイミングで画像送信中断事由が発生した場合に、前記本来の画像取込タイミングより前に次の画像取込タイミングを前倒しして発生させ、前倒しして発生させられた画像取込タイミングで取り込まれる画像についてのフレーム内圧縮処理によって圧縮された圧縮画像データのデータ量を送信するのに必要とされる第1の送信所要時間と、送信中の圧縮画像データの残量に、前記本来の画像取込タイミングで取り込まれる画像とその直前の画像取込タイミングで取り込まれた画像との比較に基づくフレーム間圧縮処理によって圧縮された圧縮画像データのデータ量を加算して得られるデータ量を送信するのに必要とされる第2の送信所要時間とを比較し、前記第1の送信所要時間が前記第2の送信所要時間より短いときに、前記送信手段による圧縮画像データの送信を中断する送信中断判断手段とを有するとともに、前記送信手段は、圧縮画像データの送信が中断されたときに、前倒しして発生させられた画像取込タイミングで取り込まれた画像についての圧縮画像データを送信することを特徴とする画像データ送信装置。Imaging means for capturing the images, the image taken by the image pickup means captures the image capture timing is generated for each frame, and compressing means for compressing image data by compressing the image data, the compressed image transmitting means for transmitting data, while sending the compressed image data, the image at the timing before the actual image capture timing at which the transmission of the compressed image data for a frame during transmission occurs after the completion frame when the transmission interruption event occurs, the images captured by the prior original image capture timing is generated by ahead of the next image capture timing, the image pickup timing that is allowed to occur ahead of schedule first transmission duration required to transmit the data amount of the compressed image data compressed by the inner compression, pressure in the transmission The remaining amount of the image data, image and the compressed image data compressed by the compression processing between based rather frames on a comparison of the captured image by the image pickup timing immediately before being taken in by the original image capture timing Compared with the second transmission time required to transmit the data amount obtained by adding the data amount, and when the first transmission time is shorter than the second transmission time, which has a signal interruption determining means sending you suspend transmission of the compressed image data by said transmitting means, said transmitting means, when the transmission of the compressed image data is interrupted, the image capture that is allowed to occur ahead of schedule An image data transmitting apparatus that transmits compressed image data of an image captured at timing.
JP10975997A 1997-04-25 1997-04-25 Image data transmission device Expired - Fee Related JP4062747B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10975997A JP4062747B2 (en) 1997-04-25 1997-04-25 Image data transmission device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10975997A JP4062747B2 (en) 1997-04-25 1997-04-25 Image data transmission device

Publications (2)

Publication Number Publication Date
JPH10304359A JPH10304359A (en) 1998-11-13
JP4062747B2 true JP4062747B2 (en) 2008-03-19

Family

ID=14518526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10975997A Expired - Fee Related JP4062747B2 (en) 1997-04-25 1997-04-25 Image data transmission device

Country Status (1)

Country Link
JP (1) JP4062747B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5264629B2 (en) * 2009-06-23 2013-08-14 キヤノン株式会社 Communication terminal and communication terminal control method

Also Published As

Publication number Publication date
JPH10304359A (en) 1998-11-13

Similar Documents

Publication Publication Date Title
US8194143B2 (en) Digital camera apparatus and recording method thereof
JP3125552B2 (en) Video conference system
JP4525561B2 (en) Imaging apparatus, image processing method, and program
USRE42978E1 (en) Image capturing device
JPH08195944A (en) Video telephone system
JPH0795566A (en) Method and device for encoding image
JP3768182B2 (en) Electronic camera
JP4062747B2 (en) Image data transmission device
JP2001189932A (en) Image transmission system and image transmission method
JP2522027B2 (en) Video signal encoding / decoding method and apparatus thereof
JPH09121333A (en) Image transmitter
JP3122445B2 (en) Communication device
JPS6378674A (en) Picture transmission system
JP2000333130A (en) Method and device for moving picture data
JP2849385B2 (en) Color image compression encoder
JP2008113088A (en) Door phone system
JP2002112086A (en) Camera system, image encoding device and image decoding device
JPH0686314A (en) White balance correcting device
JPH09205628A (en) Image information transmitter
KR100669607B1 (en) Display control apparatus for each mode of mobile terminal
JP3585879B2 (en) Communication device
JP3300179B2 (en) Color image capture device
JP3263664B2 (en) Communication device
JPH06233288A (en) Video telephone system
JPH05281936A (en) Binary image display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070911

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071224

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140111

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees