JP3576024B2

JP3576024B2 - Image communication device

Info

Publication number: JP3576024B2
Application number: JP04863599A
Authority: JP
Inventors: 光本　　直樹; 卓也笹谷; 伸章川原; 肇須藤; 一成大井
Original assignee: Toshiba Corp; Denso Corp
Current assignee: Toshiba Corp; Denso Corp
Priority date: 1999-02-25
Filing date: 1999-02-25
Publication date: 2004-10-13
Anticipated expiration: 2019-02-25
Also published as: JP2000253381A

Description

【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤカメラ等の撮像装置にて得られた２次元画像データを外部装置に送信する撮像画像通信装置に関する。
【０００２】
【従来の技術】
従来より、ＣＣＤカメラ等で撮像した２次元画像を外部装置に送信する際には、画像データを、ＭＰＥＧ２等の画像圧縮技術を用いて圧縮することにより、所定規格の映像信号に変換してから、外部装置に送信することが行われている（例えば、日経ＢＰ社発行，日経エレクトロニクス１９９８，３−９号，１３３頁〜１５４頁参照）。
【０００３】
一方、近年では、例えば、配管等、人が入ることのできない小さな構造物内に進入させて、その内部を検査したり、内部の付着物を採取したりするための装置として、数ｃｍ程度の大きさのマイクロマシンが開発されている。そして、こうしたマイクロマシンには、ＣＣＤカメラ等の小型カメラが組み込まれ、マイクロマシンの操作者が、小型カメラが撮像した構造物内の画像を監視しながら、マイクロマシンを遠隔操作できるようにされている。
【０００４】
【発明が解決しようとする課題】
ところで、こうしたマイクロマシンに通信機能を持たせ、マイクロマシンをコードレスで動作させようとすると、マイクロマシンに小型カメラで撮像した２次元画像を送信する通信装置を組み込む必要がある。
【０００５】
そして、この通信装置を、上記従来の画像圧縮技術を利用して撮像画像を送信するように構成すると、回路の大型化，消費電力の増大を招き、マイクロマシンに組み込むことができないという問題があった。つまり、マイクロマシンに撮像画像の通信装置を組み込むに当たっては、回路の小型化，低消費電力化が要求されるが、従来の画像圧縮技術では、大規模メモリの搭載が不可欠であり（上記参考文献の１４０頁〜１４１頁参照）、また、画像圧縮のための動作クロックも極めて高速になるため、こうした要求に応えることができないのである。
【０００６】
また、上記従来の画像圧縮技術を利用して画像データを送信するようにした場合、カメラによる撮像画像を一旦圧縮し、これを伸張させてディスプレイに表示することになるので、外部装置側で得られる画像の分解能が、カメラの分解能に比べて劣化してしまうという問題もある。
【０００７】
本発明は、こうした問題に鑑みなされたものであり、ＣＣＤカメラ等の撮像装置にて撮像した２次元画像を送信する装置において、装置の小型化，低消費電力化，及び通信画像の高分解能化を図り、延いては、マイクロマシンへの組み込みを可能にすることを目的とする。
【０００８】
【課題を解決するための手段及び発明の効果】
かかる目的を達成するためになされた請求項１記載の撮像画像通信装置においては、撮像制御手段が、外部からの撮像指令に従って、２次元配置された複数の撮像素子からなる撮像手段を駆動することにより、２次元画像を撮像させ、その後、撮像画像出力手段に対して、水平同期信号及び出力タイミング信号を出力することにより、撮像画像出力手段から画像情報を出力させる。また、撮像画像出力手段は、撮像制御手段から入力される水平同期信号に従い、撮像手段による撮像画像を一水平走査ライン毎に取り込み、その取り込んだ一水平走査ライン分の撮像画像を、出力タイミング信号に同期して、画素単位で順次ｎビットの画像情報に量子化して出力する。そして、この撮像画像出力手段から出力される画像情報は、書込読出制御手段による制御の下に、撮像画像記憶手段に順次格納される。
【０００９】
また、書込読出制御手段は、通信手段から入力される読出タイミング信号に同期して、撮像画像記憶手段に格納した画像情報を順次読み出し、通信手段は、その読み出された画像情報を、一水平走査ライン分毎に、データ通信用のパケットデータに変換しながら、外部装置に送信すると共に、その外部装置から送信されてくる撮像指令を受信する。そして、この通信手段にて受信された撮像指令は、撮像指令転送手段により、撮像制御手段に転送され、撮像制御手段が撮像手段を駆動するのに使用される。
【００１０】
従って、本発明の撮像画像通信装置においては、撮像手段にて撮像された２次元画像が、水平走査信号に同期して、一水平走査ライン分毎に順次撮像画像記憶手段に格納され、その格納された撮像画像が、一水平走査ライン分毎に通信手段側に読み出され、通信手段側でデータ通信用のパケットデータに変換されて、外部装置に送信されることになり、撮像画像記憶手段は、撮像画像を、送信前に一時的に記憶するだけの所謂バッファとして動作する。
【００１１】
そして、特に、本発明では、このようにバッファとして動作する撮像画像記憶手段を、撮像画像出力手段から出力される一水平走査ライン分の画像情報を記憶可能な少なくとも２個の記憶素子にて構成し、書込読出制御手段が、撮像画像記憶手段において画像情報を書き込む記憶素子と画像情報を読み出す記憶素子とを順次変更しながら、画像情報の書込及び読出を夫々同時に行うようにしている。
【００１２】
また、撮像画像出力手段が一水平走査ライン分の画像情報を出力するのに要する水平同期信号一周期当たりの時間が、通信手段が一水平走査ライン分の画像情報をパケットデータに変換して外部装置に送信するのに要する時間よりも短くなると、書込読出制御手段による撮像画像記憶手段からの画像情報の読出速度よりも、書込読出制御手段による撮像画像記憶手段への画像情報の書込速度の方が速くなって、撮像画像記憶手段がオーバフローすることになるので、本発明では、水平同期信号一周期当たりの時間が、通信手段が一水平走査ライン分の画像情報をパケットデータに変換して外部装置に送信するのに要する時間以上となるように、撮像制御手段が撮像画像出力手段に対して出力する水平同期信号及び出力タイミング信号の周期を設定している。
【００１３】
この結果、本発明によれば、撮像手段による撮像画像を、圧縮することなく、リアルタイムで、外部装置に送信することが可能になり、外部装置側では、当該撮像画像通信装置からの送信データに基づき、撮像手段による撮像画像を、劣化させることなく（換言すれば、撮像手段の分解能と同じ分解能で）、再生することができるようになる。
【００１４】
また、画像通信のために画像情報を記憶しておく撮像画像記憶手段は、撮像手段が撮像した画像の内、例えば、水平走査ライン２本分又は３本分を記憶するようにすれば、画像圧縮技術を用いて撮像画像を圧縮する場合に比べて、画像情報の記憶容量を極めて小さくすることができる。よって、本発明によれば、撮像画像記憶手段を構成する記憶素子及びその周辺回路を小さくし、延いては、撮像画像通信装置の小型化を図ることができる。また、このように回路規模を小さくできるため、消費電力を低減することもできる。
【００１５】
そして、このように、本発明によれば、撮像画像通信装置の小型化，低消費電力化，及び通信画像の高分解能化を図ることができることから、前述のマイクロマシンにも容易に組み込むことができるようになる。
ここで、撮像画像記憶手段がオーバフローするのを防止するための出力タイミング信号の周期としては、請求項２に記載のように、通信手段が画像情報を送信する際の通信ビットレートをｆｃ［Ｈｚ］としたとき、出力タイミング信号の速度が、ｆｃ／ｎ［Ｈｚ］よりも小さくなるように設定するとよい。具体的には、撮像画像出力手段が画素単位で８ビットの画像情報を生成する際には、撮像画像出力手段による画像情報の出力速度を、ｆｃ／９［Ｈｚ］若しくはｆｃ／１０［Ｈｚ］として、画像情報の出力速度を低くし、撮像画像出力手段が水平走査ライン一本分の画像情報を出力するのに要する時間が、通信手段が水平走査ライン一本分の画像情報を通信ビットレートに従い読み込み、これにヘッダ等の通信用の各種情報を付与して送信するのに要する時間以上となるようにすればよい。
【００１６】
また、撮像画像出力手段が水平走査ライン一本分の画像情報を出力するのに要する時間は、画像情報の出力速度だけでなく、撮像画像出力手段が画像情報を量子化しない、水平同期信号のブランキング期間によっても変化するため、撮像画像記憶手段がオーバフローするのを防止するためには、請求項３に記載のように、水平同期信号のブランキング期間を、通信手段が一水平走査ライン分の全画像情報をパケットデータに変換して外部装置に送信するのに要する時間と、撮像画像出力手段が一水平走査ライン分の全画像情報を出力するのに要する時間との偏差に基づき設定するようにしてもよい。
【００１７】
一方、撮像画像記憶手段は、撮像手段が撮像した画像の内、少なくとも水平走査ライン２本分の画像情報を記憶できればよいが、撮像画像記憶手段を、水平走査ライン２本分の画像情報を記憶するように構成すると、書込読出制御手段が画像情報を書き込む記憶素子と画像情報を読み出す記憶素子とが重複しないように、撮像画像出力手段の動作タイミングと通信手段の動作タイミングとを調整しなければならず、回路設計が難しくなることが考えられる。
【００１８】
そこで、より好ましくは、請求項３に記載のように、撮像画像記憶手段を、一水平走査ライン分の画像情報を記憶可能な３個の記憶素子から構成し、書込読出制御手段側では、これら３個の記憶素子を、夫々、一水平走査ライン分の画像情報の書込・保持・読出用として順次変更しながら、画像情報の書込及び読出を行うようにするとよい。
【００１９】
つまり、このようにすれば、書込読出制御手段が画像情報の書込及び読出を行う記憶素子以外に、水平走査ライン１本分の画像情報を記憶しておく記憶素子が余ることになり、撮像画像出力手段の動作タイミングと通信手段の動作タイミングとがずれても、同じ記憶素子からの画像情報の書込及び読出を同時に行う心配がなく、回路設計がし易くなる。
【００２０】
一方、本発明（請求項１）では、通信手段が、外部装置から送信されてきた撮像指令を受信し、撮像指令転送手段が、その受信された撮像指令を、撮像制御手段に転送することにより、撮像制御手段による撮像手段の駆動を外部装置側で制御できるようにしている。このため、本発明によれば、外部装置側で、撮像制御手段が撮像手段を駆動する際の撮像手段の露光時間等を制御できることになるが、撮像指令転送手段により撮像指令を転送させるには、撮像指令転送手段側での撮像指令の転送タイミングと撮像制御手段側での撮像指令の受信タイミングとを同期させる必要がある。
【００２１】
そして、撮像指令転送手段を、通信手段が外部装置からの撮像指令を受信した直後に、撮像制御手段に対して、撮像指令をそのまま転送するように構成すると、その転送タイミングと撮像制御手段側での撮像指令の受信タイミングとを同期させるための同期信号が必要になり、装置構成が複雑になる。
【００２２】
そこで、こうした同期信号を不要にするには、請求項５に記載のように、通信手段が外部装置から受信する撮像指令のデータ長を、撮像制御手段が撮像画像出力手段から一フレーム分の画像情報を出力させる垂直同期信号一周期当たりの水平同期信号の数より小さいビット数となるように予め設定しておき、撮像指令転送手段を、垂直同期信号に同期して撮像指令の転送を開始し、且つ、撮像指令の転送を、水平同期信号に同期して１ビット単位で行うように構成し、撮像制御手段側では、撮像指令転送手段から転送されてくる撮像指令一ビット分を水平同期信号に同期して取り込み、その取り込んだ撮像指令の全ビットデータに基づく撮像手段の駆動制御を、垂直同期信号に同期して行うように構成するとよい。
【００２３】
そして、このようにすれば、撮像指令転送手段側での撮像指令の転送タイミングと撮像制御手段側での撮像指令の受信タイミングとを同期させるために、専用の同期信号を生成する必要がなく、装置構成を簡素化できる。
【００２４】
【発明の実施の形態】
以下に、本発明の実施例を図面と共に説明する。
まず、図１は本発明が適用された実施例の撮像画像通信装置２及びその周辺装置を表す概略構成図である。
【００２５】
本実施例の撮像画像通信装置は、図示しない静電アクチュエータ，圧電アクチュエータ等の各種アクチュエータ及びその駆動装置と共に、自走式のマイクロマシン２に組み込まれ、周囲の画像を撮像して、撮像画像をマイクロ波で外部装置（マイクロマシン用の制御装置）４に送信するものであり、周囲画像撮像用のＣＣＤカメラ１０と、制御装置４との間でマイクロ波通信を行うＲＦ回路３０と、ＣＣＤカメラ１０による撮像画像を通信用のシリアルデータに変換して、ＲＦ回路３０に出力すると共に、ＲＦ回路３０にて受信されたカメラ制御用の指令信号（撮像指令）を受けて、ＣＣＤカメラ１０に転送する画像通信制御ＬＳＩ４０とから構成されている。
【００２６】
尚、ＲＦ回路３０は、撮像画像通信装置と制御装置４との間の通信を行うだけでなく、マイクロマシン２に組み込まれた他の装置（各種アクチュエータの駆動装置等）と制御装置４との間の通信についても行う。また、制御装置４側には、マイクロマシン２側のＲＦ回路３０との間でマイクロ波を用いた無線通信を行うためのＲＦ回路６が備えられ、このＲＦ回路６は、通信制御部８により制御される。
【００２７】
そして、通信制御部８は、ＲＦ回路６を介して、マイクロマシン２側からの送信データを受信すると、その受信データを図示しないホストコンピュータに出力して、マイクロマシン２の動作状態やＣＣＤカメラ１０による撮像画像等をディスプレイに表示させると共に、ホストコンピュータから入力されたマイクロマシン２に対する各種指令信号を、ＲＦ回路６からマイクロマシン２側に送信させる。
【００２８】
この結果、本実施例の撮像画像通信装置がＲＦ回路３０を介して制御装置４側に送信した画像データは、制御装置４側のホストコンピュータに取り込まれてディスプレイに表示されることになり、マイクロマシン２の操作者は、その表示画像を見ながら、マイクロマシン２を駆動制御することが可能になる。
【００２９】
次に図２は、本発明に係る主要部であるＣＣＤカメラ１０及び画像通信制御ＬＳＩ４０の構成を表すブロック図である。
図２に示す如く、ＣＣＤカメラ１０は、撮像素子（本実施例ではＣＣＤ）を２次元配置したＣＣＤセンサ１２と、水平同期信号ＨＰに従いＣＣＤセンサ１２から一水平走査ライン分の画像信号を取り込み、これを、出力タイミング信号としてのピクセルクロックＰＣＫに従い一画素分ずつ順次シフトさせつつ出力する水平シフトレジスタ１４と、水平シフトレジスタ１４が出力してくる画像信号をｎビット（本実施例では８ビット）の画像情報に量子化（換言すればＡ／Ｄ変換）するＡ／Ｄコンバータ１６と、垂直同期信号ＶＰ及び水平同期信号ＨＰに基づき、水平シフトレジスタ１４が取り込む一水平走査ライン分の画像信号を列方向に順次シフトさせる垂直シフトレジスタ１８と、外部から入力される基準クロックＣＫＯ（本実施例では、５００ｋＨｚ）に基づき、水平同期信号ＨＰ，垂直同期信号ＶＰ，及びピクセルクロックＰＣＫを生成して、上記各部に出力すると共に、画像通信制御ＬＳＩ側より転送されてくる制御装置４側からのカメラ制御用の指令信号（以下、コマンドという）ＣＭＤを取り込み、垂直同期信号ＶＰに同期して、このコマンドＣＭＤに基づきＣＣＤセンサ１２を駆動（露光）し、周囲画像を撮像させるＣＣＤ制御回路２０とから構成されている。
【００３０】
ここで、ＣＣＤセンサ１２は、本発明の撮像手段に相当するものであり、本実施例では、図３に示すように、行方向の画素数が３０２、列方向の画素数が３５２で、総画素数が３０２×３５２の１０万画素であり、２７２×３４７の信号画素、２８×３４７の黒基準画素、及びその他のダミー用の画素から構成されている。また、本実施例のＣＣＤセンサ１２は、カラーイメージセンサであり、信号画素には、イエローＹｅ，シアンＣｙ，マゼンタＭｇ，グリーンＧｒの各色フィルタが設けられている。
【００３１】
また、ＣＣＤ制御回路２０は、本発明の撮像制御手段に相当するものであり、本実施例では、基準クロックＣＫＯを分周して、２５０ｋＨｚのピクセルクロックＰＣＫを生成することにより、Ａ／Ｄコンバータ１６からの画像情報の出力速度を２５０ｋＨｚに設定している。
【００３２】
また、ＣＣＤ制御回路２０は、水平同期信号ＨＰ及び垂直同期信号ＶＰも生成するが、図４（ａ）に示す如く、水平同期信号ＨＰについては、５０ピクセルクロック（５０ＰＣＫ）分の水平ブランキング期間と、３０２ピクセルクロック（３０２ＰＣＫ）分の映像信号有効期間とから一水平走査期間（１Ｈ）を構成し、映像信号有効期間中に、Ａ／Ｄコンバータ１６から、２ピクセルクロック（２ＰＣＫ）分のフロントポーチ期間と、２７２ピクセルクロック（２７２ＰＣＫ）分の映像信号期間と、２８ピクセルクロック（２８ＰＣＫ）分のバックポーチ期間とからなる映像信号を出力させる。
【００３３】
また、図４（ｂ）に示すように、垂直同期信号ＶＰには、２０水平走査期間（２０Ｈ）分の垂直ブランキング期間が設定されている。そして、垂直同期信号ＶＰは、１９６回目の水平ブランキング期間で立ち上がり、その後、１７５．５水平走査期間（１７５．５Ｈ）経過したときに立ち下がることにより、この立ち上がりから立ち下がりまでの期間を、奇数フィールド有効信号期間として規定し、１回目の水平信号有効期間に立ち上がり、その後、１７５．５水平走査期間（１７５．５Ｈ）経過後に立ち下がることにより、この立ち上がりから立ち下がりまで期間を、遇数フィールド有効信号期間として規定するようにされている。
【００３４】
尚、偶数フィールド有効信号期間の立下がりエッジ、及び、奇数フィールド有効期間の立上がりエッジは、図４（ｂ−１）に示すように、水平同期信号ＨＰが水平ブランキング期間に入る立下がりエッジに対して、２ピクセルクロック（２ＰＣＫ）分遅れたタイミングに制御される。
【００３５】
また、本実施例では、垂直シフトレジスタ１８は、奇数フィールド有効期間では、Ａ／Ｄコンバータ１６に対して、ＣＣＤセンサ１２の１行目から順に、隣接する撮像素子２行分を一水平走査ラインとして、上下２つの撮像素子に蓄積された電荷を混合して量子化させ、偶数フィールド有効期間では、Ａ／Ｄコンバータ１６に対して、ＣＣＤセンサ１２の２行目から順に、隣接する撮像素子２行分を一水平走査ラインとして、上下２つの撮像素子に蓄積された電荷を混合して量子化させる、周知のフィールド蓄積駆動方式で動作する。
【００３６】
また、Ａ／Ｄコンバータ１６は、図４（ａ−１）に示す如く、ＣＣＤ制御回路２０が基準クロックＣＫＯに基づき生成したピクセルクロックＰＣＫの立上がりエッジで、画像信号の量子化を開始するように構成され、以下に説明する画像通信制御ＬＳＩ４０側では、Ａ／Ｄコンバータ１６から出力される一画素当たりの画像情報が確定しているタイミングで、画像情報を取り込むために、ピクセルクロックＰＣＫの立下がりエッジと同タイミングで、Ａ／Ｄコンバータ１６から出力される画像情報を取り込むようにされている。
【００３７】
そして、本実施例では、ＣＣＤカメラ１０内の水平シフトレジスタ１４，Ａ／Ｄコンバータ１６及び垂直シフトレジスタ１８が、本発明の撮像画像出力手段として機能する。
次に、画像通信制御ＬＳＩ４０は、Ａ／Ｄコンバータ１６から出力される画像情報を記憶する、撮像画像記憶手段としてのラインメモリ４２と、ＣＣＤカメラ１０から垂直同期信号ＶＰ及び水平同期信号ＨＰを受けて、ラインメモリ４２への画像情報の書き込み、及び、ラインメモリ４２からの画像情報の読み出しを制御する、書込読出制御手段としてのＣＣＤインタフェース４４と、ＣＣＤインタフェース４４を介して、ラインメモリ４２から一水平走査ライン分の画像情報を読み出し、これを所定の通信ビットレート（本実施例では２．５Ｍｂｐｓ）でデータ通信用のパケットデータ（シリアルデータ）に変換して、ＲＦ回路３０に出力するデータ送信部４６と、ＲＦ回路３０を介してカメラ制御用のコマンドＣＭＤを受信し、これをＣＣＤインタフェース４４に出力することにより、ＣＣＤインタフェース４４からＣＣＤカメラ１０側のＣＣＤ制御回路２０に転送させるデータ受信部４８とから構成されている。尚、データ送信部４６及びデータ受信部４８は、本発明の通信手段に相当する。
【００３８】
ここで、ラインメモリ４２は、Ａ／Ｄコンバータ１６から出力される画像情報の内、一水平走査ライン分の画像情報を夫々記憶可能な３個の記憶素子（第１メモリ５１，第２メモリ５２，第３メモリ５３）から構成されている。
そして、ＣＣＤインタフェース４４には、各メモリ５１〜５３への画像情報の書き込みを夫々許可するライトイネーブル信号ＷＥ１，ＷＥ２，ＷＥ３、及び、各メモリ５１〜５３からの画像情報の読み出しを夫々許可するリードイネーブル信号ＲＥ１，ＲＥ２，ＲＥ２を発生する、ＷＥ・ＲＥ発生回路６１と、ライトイネーブル信号にて画像情報の書き込みが許可されたメモリに対する画像情報の書込アドレスＤＩＡＤＲを発生するＤＩＡＤＲ発生回路６２と、リードイネーブル信号にて画像情報の読み出しが許可されたメモリに対する画像情報の読出アドレスＤＯＡＤＲを発生するＤＯＡＤＲ発生回路６３と、データ受信部４８から入力されたコマンドＣＭＤを、ＣＣＤ制御回路２０に転送する、撮像指令転送手段としてのＣＭＤ出力回路６４とが備えられている。
【００３９】
また、ＣＣＤインタフェース４４には、基準クロックＣＫＯを分周して、ＣＣＤ制御回路２０が生成するピクセルクロックＰＣＫと同じ２５０ｋＨｚの書込ストローブ信号ＤＩＳＴＲＢを生成する分周回路も内蔵されており、この生成した書込ストローブ信号ＤＩＳＴＲＢを、ラインメモリ４２に出力することにより、画像情報の書き込みが許可されたメモリに対する画像情報の書込タイミングを制御する。また、書込ストローブ信号ＤＩＳＴＲＢは、ＤＩＡＤＲ発生回路６２にも入力され、ＤＩＡＤＲ発生回路６２は、書込ストローブ信号ＤＩＳＴＲＢに同期して、書込アドレスＤＩＡＤＲを更新する。
【００４０】
一方、データ送信部４６は、例えば、図５に示すように、一水平走査ライン分のパケットデータの送信時に、パケットデータの先頭に付与するヘッダやフラグ等の付与情報Ｆ１，Ｆ２，Ｆ３を生成し、ラインメモリ４２からの画像情報の読み出しが必要になると、ＣＣＤインタフェース４４に対して、ラインメモリ４２からの一水平走査ライン分の画像情報の読み出しを許可するイネーブル信号ＥＮＢを出力し、更に、パケットデータの生成に同期して、読出タイミング信号としての読出ストローブ信号ＤＯＳＴＲＢを出力する。尚、データ送信部４６は、ＣＣＤインタフェース４４を介して、ラインメモリ４２から画像情報を読み出す際、ゼロインサーションの時間を確保するために、読出ストローブ信号ＤＯＳＴＲＢの周期を一時的に長くする。ここで、ゼロインサーションとは、パケット化された送信データの実データ部と先頭／末端部とを識別するために、送信データにゼロを挿入する操作のことである。
【００４１】
そして、データ送信部４６からのイネーブル信号ＥＮＢは、ＷＥ・ＲＥ発生回路６１に入力され、ＷＥ・ＲＥ発生回路６１は、このイネーブル信号ＥＮＢを受けて、ラインメモリ４２へのリードイネーブル信号の出力を開始する。また、読出ストローブ信号ＤＯＳＴＲＢは、ＣＣＤインタフェース４４を介して、ラインメモリ４２に出力され、画像情報の読み出しが許可されたメモリに対する画像情報の書込タイミングを制御する。また、読出ストローブ信号ＤＯＳＴＲＢは、ＤＯＡＤＲ発生回路６３にも入力され、ＤＯＡＤＲ発生回路６３は、この読出ストローブ信号ＤＯＳＴＲＢに同期して、読出アドレスＤＯＡＤＲを更新する。
【００４２】
次に、図６は、ＣＣＤインタフェース４４から出力されるラインメモリ４２アクセス用の各信号を表すタイムチャートである。
図６に示すように、ＤＩＡＤＲ発生回路６２は、ＣＣＤカメラ１０から出力される水平同期信号ＨＰに同期して書込アドレスＤＩＡＤＲを繰り返し発生すると共に、この書込アドレスＤＩＡＤＲの値を、基準クロックＣＫＯから生成した書込ストローブ信号ＤＩＳＴＲＢに同期して、各メモリ５１〜５３の最小アドレスから最大アドレスへと順に変更する。また、ＣＣＤカメラ１０が垂直同期信号ＶＰに同期して画像情報の出力を開始すると、ＷＥ・ＲＥ発生回路６１が、第１メモリ５１に対するライトイネーブル信号ＷＥ１を発生し、ＣＣＤカメラ１０からの画像情報を第１メモリ５１に書き込む。そして、その後、ＷＥ・ＲＥ発生回路６１は、ラインメモリ４２に出力するライトイネーブル信号を、水平同期信号ＨＰに同期して、ＷＥ２→ＷＥ３→ＷＥ１…と順に切り換え、ＣＣＤカメラ１０が出力する一水平走査ライン分の画像情報の書き込み先を、第２メモリ５２→第３メモリ５３→第１メモリ５１…と、順に変更する。
【００４３】
一方、ＤＯＡＤＲ発生回路６３は、データ送信部４６からイネーブル信号ＥＮＢが出力されると、水平同期信号ＨＰに同期して、読出アドレスＤＯＡＤＲの出力を開始すると共に、この読出アドレスＤＯＡＤＲの値を、データ送信部４６からの読出ストローブ信号ＤＯＳＴＲＢに同期して、各メモリ５１〜５３の最小アドレスから最大アドレスへと順に変更する。そして、ＷＥ・ＲＥ発生回路６１は、水平同期信号ＨＰに同期して、前回の水平走査期間中にライトイネーブル信号を出力したメモリに対するリードイネーブル信号を出力する。このため、リードイネーブル信号は、ＲＥ１→ＲＥ２→ＲＥ３→ＲＥ１…というように、常に、前回の水平走査期間中に画像情報が書き込まれたメモリに対して出力されることになり、データ送信部４６には、画像情報書込後のメモリから最新の画像情報が出力されることになる。
【００４４】
そして、このように、本実施例では、データ送信部４６が２．５Ｍｂｐｓの通信ビットレートで一水平走査ライン分の画像データをパケットデータに変換して出力するように構成され、ＣＣＤカメラ１０からは、２５０ｋＨｚのピクセルクロックＰＣＫに同期した送信速度で８ビットの画像情報が出力され、しかも、水平同期信号ＨＰのブランキング期間（水平ブランキング期間）が、５０ピクセルクロック（５０ＰＣＫ）分の時間に設定されていることから、水平走査期間中にＣＣＤカメラ１０から出力されて、ラインメモリ４２内の特定のメモリに書き込まれる画像情報の量が、データ送信部４６が水平走査期間中にＣＣＤインタフェース４４を介して読み出す画像情報よりも多くなって、ラインメモリ４２がオーバフローしてしまうようなことはない。
【００４５】
つまり、本実施例では、データ送信部４６が一水平走査ライン分の画像情報を送信用のパケットデータに変換して、ＲＦ回路３０に送信するのに要する時間を、パケットデータの総データ量｛総データ量＝（ＣＣＤ一水平走査ライン分のデータ量）＋（ゼロインサーション最大値）＋（送信用の付与データ量）｝と、データ送信部４６の通信ビットレート（２．５Ｍｂｐｓ）とから求め、この時間に対して、ＣＣＤカメラ１０が一水平走査ライン分の画像情報を出力する水平走査期間１Ｈが長くなるよう（好ましくは等しくなるよう）、ＣＣＤカメラ１０からの画像情報の送信速度（２５０ｋＨｚ）及び水平ブランキング期間（５０ＰＣＫ）を設定することにより、ラインメモリ４２がオーバフローするのを防止しているのである。
【００４６】
次に、ＣＭＤ出力回路６４は、データ受信部４８から入力されたコマンドＣＭＤをＣＣＤ制御回路２０に転送するが、このコマンドＣＭＤは、データ長が、垂直同期信号ＶＰ一周期当たりの水平同期信号ＨＰの数よりも少ない１２８ビットに設定されている。そして、ＣＣＤ制御回路２０は、図７（ａ）に示す如く、垂直同期信号ＶＰの立上がり後に入力される水平同期信号ＨＰに同期して、この１２８ビットのコマンドＣＭＤを、一ビット単位で、ＣＣＤ制御回路２０に転送する。
【００４７】
また、ＣＣＤ制御回路２０は、ＣＭＤ出力回路６４から一ビット毎に転送されてきたコマンドＣＭＤを水平同期信号ＨＰに同期して取り込む。そして、垂直同期信号ＶＰの次のブランキング期間で、それまでにＣＭＤ出力回路６４から転送されてきたコマンドＣＭＤの全ビットデータ（１２８ビット）に基づき、露光時間等を制御しつつ、ＣＣＤセンサ１２を駆動して、周囲画像を撮像させる。
【００４８】
尚、図７（ｂ）に示す如く、ＣＭＤ出力回路６４は、水平同期信号ＨＰの立ち上がりエッジ（タイミングｔ１）で、コマンドＣＭＤの一ビット分のデータの出力を開始し、その後、水平同期信号ＨＰの立ち上がりエッジ（タイミングｔ１）で、出力するデータ値を、コマンドＣＭＤの次のデータに応じて変更する、といった手順で、垂直同期信号ＶＰ一周期内に、コマンドＣＭＤの全ビットデータをＣＣＤ制御回路２０に転送する。また、ＣＣＤ制御回路２０は、水平同期信号ＨＰの立ち下がりエッジ（タイミングｔ２）で、ＣＭＤ出力回路６４から出力されるコマンドＣＭＤのビットデータを取り込む。
【００４９】
以上説明したように、本実施例の撮像画像通信装置においては、ＣＣＤカメラ１０から順次出力される画像情報を、一水平走査ライン分毎に、ラインメモリ４２内の第１メモリ５１〜第３メモリ５３に順に書き込み、データ送信部４６側では、画像情報が書き込まれた第１メモリ５１〜第３メモリ５３から、一水平走査ライン分の画像情報を順に読み出し、同時にデータ通信用のパケットデータに変換しながら、ＲＦ回路３０に出力するようにしている。また、ＣＣＤカメラ１０が一水平走査ライン分の画像情報を出力する周期を決定する水平同期信号ＨＰのブランキング期間（水平ブランキング期間）、及び、画像情報の送信速度を規定するピクセルクロックＰＣＫの周期は、水平同期信号ＨＰの一周期当たりの時間（水平走査期間）が、データ送信部４６が一水平走査ライン分のパケットデータを送信するのに要する時間よりも短くなることのないように設定されている。
【００５０】
このため本実施例によれば、ラインメモリ４２を構成する３つのメモリ５１〜５３を用いて、ＣＣＤカメラ１０による撮像画像を圧縮することなく、リアルタイムで、制御装置４に送信することが可能になり、制御装置４側では、その送信データに基づき、ＣＣＤカメラ１０による撮像画像を劣化させることなく、ディスプレイに表示することができるようになる。
【００５１】
また、本実施例では、画像通信のために画像情報を記憶しておくラインメモリ４２を、一水平走査ライン分の画像情報を記憶する３個のメモリ５１〜５３にて構成しているので、画像圧縮技術を用いて撮像画像を圧縮する場合に比べて、画像情報の記憶容量を極めて小さくすることができ、装置の小型化，延いては、低消費電力化を図ることができる。よって、本実施例のように、撮像画像通信装置をマイクロマシン２に組み込んでも、マイクロマシン２の大型化を招くことはなく、鮮明な画像をリアルタイムで得ることのできるマイクロマシンを実現できる。
【００５２】
また、制御装置４からマイクロマシン２には、各種指令信号が送信され、カメラ制御用のコマンドＣＭＤは、ＲＦ回路３０，画像通信制御ＬＳＩ４０を介して、ＣＣＤカメラ１０に転送されるが、本実施例では、画像通信制御ＬＳＩ４０において、コマンドＣＭＤをＣＣＤカメラ１０に転送するＣＭＤ出力回路６４が、コマンドＣＭＤを、水平同期信号ＨＰに同期して、一ビット単位で、ＣＣＤカメラ１０に転送するよう構成しているので、ＣＭＤ出力回路６４とＣＣＤカメラ１０側のＣＣＤ制御回路２０と同期をとるためのコマンド転送専用の同期信号を生成する必要がなく、これによっても、装置構成を簡素化できることになる。
【００５３】
以上、本発明の一実施例について説明したが、本発明は、上記実施例に限定されるものではなく、種々の態様を採ることができる。
例えば、上記実施例では、ラインメモリ４２のオーバフローを防止するために、ＣＣＤ制御回路２０が発生する水平同期信号ＨＰのブランキング期間と、ピクセルクロックＰＣＫの周期との両方を調整するものとして説明したが、例えば、ピクセルクロックＰＣＫの周期については、データ送信部４６の通信ビットレートｆｃを、Ａ／Ｄコンバータ１６が量子化するビット数ｎで除算した速度（ｆｃ／ｎ）に対応して設定し、水平同期信号ＨＰのブランキング期間のみをより長くすることにより、ラインメモリ４２のオーバフローを防止するようにしてもよく、逆に、水平同期信号ＨＰのブランキング期間については、必要最小限の長さに定め、ＣＣＤカメラ１０側でのピクセルクロック（換言すれば量子化した画像情報の送信速度）のみを調整することにより、ラインメモリ４２のオーバフローを防止するようにしてもよい。
【００５４】
また、上記実施例では、撮像用のカメラには、ＣＣＤセンサからなる撮像手段を用いるものとして説明したが、こうした撮像用のカメラに組み込むイメージセンサとしては、必ずしも撮像素子としてＣＣＤ（電荷結合素子）を用いたＣＣＤセンサにする必要はなく、例えば、ＭＯＳ型固体撮像素子を用いたＭＯＳイメージセンサ等、他のイメージセンサを用いるようにしてもよい。
【００５５】
また、上記実施例では、撮像画像通信装置を、マイクロマシンに組み込むものとして説明したが、本発明の撮像画像通信装置によれば、カメラによる撮像画像を、圧縮することなく、リアルタイムで送信でき、しかも、装置の小型化、低消費電力化を図ることができるので、例えば、携帯電話等に組み込み、撮像画像を通話相手に送信する、というように、低消費電力で小型のカメラが要求される分野で使用すれば、マイクロマシンに組み込む場合と同様の効果を得ることができる。
【図面の簡単な説明】
【図１】実施例の撮像画像通信装置及びその周辺装置を表す概略構成図である。
【図２】ＣＣＤカメラ及び画像通信制御ＬＳＩの構成を表すブロック図である。
【図３】ＣＣＤセンサの画素構成を表す説明図である。
【図４】ＣＣＤカメラの動作を表すタイムチャートである。
【図５】データ送信部の動作を表すタイムチャートである。
【図６】ＣＣＤインタフェースのラインメモリへのアクセス動作を表すタイムチャートである。
【図７】ＣＭＤ出力回路６４の動作を表すタイムチャートである。
【符号の説明】
２…マイクロマシン、４…制御装置、６…ＲＦ回路、８…通信制御部、１０…ＣＣＤカメラ、１２…ＣＣＤセンサ、１４…水平シフトレジスタ、１６…Ａ／Ｄコンバータ、１８…垂直シフトレジスタ、２０…ＣＣＤ制御回路、３０…ＲＦ回路、４０…画像通信制御ＬＳＩ、４２…ラインメモリ、４４…ＣＣＤインタフェース、４６…データ送信部、４８…データ受信部、５１…第１メモリ、５２…第２メモリ、５３…第３メモリ、６１…ＷＥ・ＲＥ発生回路、６２…ＤＩＡＤＲ発生回路、６３…ＤＯＡＤＲ発生回路、６４…ＣＭＤ出力回路。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a captured image communication device that transmits two-dimensional image data obtained by an imaging device such as a CCD camera to an external device.
[0002]
[Prior art]
Conventionally, when transmitting a two-dimensional image captured by a CCD camera or the like to an external device, the image data is converted into a video signal of a predetermined standard by compressing the image data using an image compression technique such as MPEG2. (See, for example, Nikkei Electronics, 1998, No. 3-9, pp. 133-154).
[0003]
On the other hand, in recent years, for example, a device such as a pipe for entering a small structure in which no human can enter, inspecting the inside thereof, or collecting attached matter inside the device, has a size of about several cm. Micromachines of a size have been developed. A small camera such as a CCD camera is incorporated in such a micromachine, so that the operator of the micromachine can remotely control the micromachine while monitoring an image in a structure taken by the small camera.
[0004]
[Problems to be solved by the invention]
By the way, in order to provide such a micromachine with a communication function and to operate the micromachine cordlessly, it is necessary to incorporate a communication device for transmitting a two-dimensional image captured by a small camera into the micromachine.
[0005]
If this communication device is configured to transmit a captured image using the above-described conventional image compression technology, there is a problem that a circuit becomes large and power consumption increases, and it cannot be incorporated in a micromachine. . In other words, in order to incorporate a communication device for picked-up images into a micromachine, it is necessary to reduce the size and power consumption of the circuit. However, in the conventional image compression technology, it is essential to mount a large-scale memory (see the above-mentioned reference). (See pages 140 to 141) Also, the operation clock for image compression becomes extremely high, and thus such demands cannot be met.
[0006]
When image data is transmitted using the above-described conventional image compression technology, an image captured by a camera is once compressed, decompressed, and displayed on a display. There is also a problem that the resolution of the obtained image is deteriorated compared to the resolution of the camera.
[0007]
SUMMARY OF THE INVENTION The present invention has been made in view of such a problem, and in a device for transmitting a two-dimensional image captured by an imaging device such as a CCD camera, the device is reduced in size, reduced in power consumption, and improved in resolution of a communication image. Therefore, it is intended to enable the incorporation into a micromachine.
[0008]
Means for Solving the Problems and Effects of the Invention
According to a first aspect of the present invention, there is provided a captured image communication apparatus, wherein the imaging control unit drives an imaging unit including a plurality of two-dimensionally arranged imaging elements in accordance with an external imaging command. Then, a horizontal synchronization signal and an output timing signal are output to the captured image output means, so that the captured image output means outputs image information. The captured image output means captures an image captured by the imaging means for each horizontal scanning line in accordance with a horizontal synchronization signal input from the imaging control means, and outputs the captured image of the captured horizontal scanning line to an output timing signal. In synchronization with the above, the image information is sequentially quantized into n-bit image information in pixel units and output. The image information output from the captured image output means is sequentially stored in the captured image storage means under the control of the write / read control means.
[0009]
The writing / reading control means sequentially reads out the image information stored in the captured image storage means in synchronization with a readout timing signal input from the communication means, and the communication means stores the read out image information into one. For each horizontal scanning line, the data is transmitted to an external device while being converted into packet data for data communication, and an imaging command transmitted from the external device is received. Then, the imaging command received by the communication unit is transferred to the imaging control unit by the imaging command transfer unit, and the imaging control unit is used to drive the imaging unit.
[0010]
Therefore, in the captured image communication apparatus of the present invention, the two-dimensional image captured by the image capturing means is sequentially stored in the captured image storage means for each horizontal scanning line in synchronization with the horizontal scanning signal, and The captured image thus read is read out by the communication means for each horizontal scanning line, converted into packet data for data communication by the communication means, and transmitted to an external device. Operates as a so-called buffer that only temporarily stores captured images before transmission.
[0011]
In particular, according to the present invention, the captured image storage means operating as a buffer in this way is configured by at least two storage elements capable of storing image information for one horizontal scanning line output from the captured image output means. The writing / reading control means simultaneously writes and reads the image information while sequentially changing the storage element for writing the image information and the storage element for reading the image information in the captured image storage means.
[0012]
Also, the time required for one period of the horizontal synchronizing signal required for the captured image output means to output the image information for one horizontal scanning line, the communication means converts the image information for one horizontal scanning line into packet data, If the time is shorter than the time required for transmission to the apparatus, the writing / reading control means writes the image information to the captured image storage means faster than the reading speed of the image information from the captured image storage means. In the present invention, since the speed is higher and the captured image storage means overflows, the time required for one cycle of the horizontal synchronizing signal is converted by the communication means into image data for one horizontal scanning line into packet data. The period of the horizontal synchronization signal and the output timing signal output from the imaging control unit to the captured image output unit is set so as to be equal to or longer than the time required for transmission to the external device. It is constant.
[0013]
As a result, according to the present invention, it is possible to transmit an image captured by the imaging unit to an external device in real time without compression, and the external device transmits the image data transmitted from the captured image communication device to the external device. Based on this, it is possible to reproduce the image picked up by the image pickup means without deteriorating (in other words, at the same resolution as that of the image pickup means).
[0014]
Further, the captured image storage means for storing image information for image communication may store, for example, two or three horizontal scanning lines out of the images captured by the imaging means. The storage capacity of image information can be extremely reduced as compared with a case where a captured image is compressed using a compression technique. Therefore, according to the present invention, it is possible to reduce the size of the storage element constituting the captured image storage means and its peripheral circuits, and to further reduce the size of the captured image communication device. Further, since the circuit scale can be reduced in this way, power consumption can be reduced.
[0015]
As described above, according to the present invention, it is possible to reduce the size, reduce the power consumption, and increase the resolution of a communication image of the captured image communication device, so that it can be easily incorporated into the above-described micromachine. Become like
Here, as the period of the output timing signal for preventing the captured image storage unit from overflowing, the communication bit rate when the communication unit transmits image information is set to fc [Hz]. ], The speed of the output timing signal may be set to be smaller than fc / n [Hz]. Specifically, when the captured image output unit generates 8-bit image information in pixel units, the output speed of the image information by the captured image output unit is set to fc / 9 [Hz] or fc / 10 [Hz]. The time required for the output speed of the image information to be reduced and the time required for the captured image output means to output the image information for one horizontal scanning line depends on the communication bit rate of the image information for one horizontal scanning line. , And the time required for transmission after adding various kinds of communication information such as a header may be set to be longer than the time required for transmission.
[0016]
The time required for the captured image output means to output image information for one horizontal scanning line is not only the output speed of the image information, but also the horizontal synchronization signal of the captured image output means which does not quantize the image information. In order to prevent overflow of the captured image storage means, the communication means sets the blanking period of the horizontal synchronizing signal for one horizontal scanning line to prevent overflow of the captured image storage means. Is set based on the deviation between the time required to convert all image information into packet data and transmitting it to the external device and the time required for the captured image output means to output all image information for one horizontal scanning line. You may do so.
[0017]
On the other hand, the captured image storage means only needs to be able to store image information for at least two horizontal scanning lines out of the images captured by the imaging means, but the captured image storage means stores the image information for two horizontal scanning lines. With this configuration, the operation timing of the captured image output unit and the operation timing of the communication unit must be adjusted so that the storage element for writing image information and the storage element for reading image information do not overlap with each other. It is conceivable that circuit design becomes difficult.
[0018]
Therefore, more preferably, the picked-up image storage means is constituted by three storage elements capable of storing image information for one horizontal scanning line. It is preferable that writing and reading of image information be performed while sequentially changing these three storage elements for writing, holding, and reading of image information for one horizontal scanning line.
[0019]
In other words, in this case, a storage element for storing image information for one horizontal scanning line is left in addition to a storage element for writing and reading of image information by the write / read control means. Even if the operation timing of the captured image output unit and the operation timing of the communication unit deviate from each other, there is no need to simultaneously write and read image information from the same storage element, which facilitates circuit design.
[0020]
On the other hand, according to the present invention (claim 1), the communication unit receives an imaging command transmitted from an external device, and the imaging command transfer unit transfers the received imaging command to the imaging control unit. The driving of the imaging unit by the imaging control unit can be controlled on the external device side. For this reason, according to the present invention, the external device can control the exposure time and the like of the imaging unit when the imaging control unit drives the imaging unit. It is necessary to synchronize the transfer timing of the imaging command on the imaging command transfer means side with the reception timing of the imaging command on the imaging control means side.
[0021]
Then, if the imaging command transfer means is configured to transfer the imaging command to the imaging control means as it is immediately after the communication means receives the imaging command from the external device, the transfer timing and the imaging control means side Therefore, a synchronization signal for synchronizing the reception timing of the imaging command is required, and the device configuration becomes complicated.
[0022]
Therefore, in order to eliminate the need for such a synchronization signal, as described in claim 5, the data length of the imaging command received by the communication means from the external device is determined by the imaging control means. The number of bits is set in advance so that the number of bits is smaller than the number of horizontal synchronization signals per cycle of the vertical synchronization signal for outputting information, and the imaging command transfer unit starts transferring the imaging command in synchronization with the vertical synchronization signal. In addition, the imaging command is transferred in units of 1 bit in synchronization with the horizontal synchronization signal, and the imaging control means side transfers one bit of the imaging command transferred from the imaging command transfer means to the horizontal synchronization signal. And the driving control of the imaging means based on all the bit data of the captured imaging command is performed in synchronization with the vertical synchronization signal.
[0023]
According to this configuration, it is not necessary to generate a dedicated synchronization signal in order to synchronize the transfer timing of the imaging command on the imaging command transfer unit side and the reception timing of the imaging command on the imaging control unit side. The device configuration can be simplified.
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, FIG. 1 is a schematic configuration diagram illustrating a captured image communication device 2 and peripheral devices according to an embodiment to which the present invention is applied.
[0025]
The captured image communication device according to the present embodiment is incorporated in a self-propelled micromachine 2 together with various actuators such as an electrostatic actuator and a piezoelectric actuator (not shown) and a drive device thereof, and captures an image of the surroundings to convert the captured image into a micro image. The signal is transmitted to an external device (control device for a micromachine) 4 by a wave, and includes a CCD camera 10 for capturing an ambient image, an RF circuit 30 for performing microwave communication with the control device 4, and a CCD camera 10. The captured image is converted into serial data for communication and output to the RF circuit 30, and the image to be transferred to the CCD camera 10 upon receiving the camera control command signal (imaging command) received by the RF circuit 30. And a communication control LSI 40.
[0026]
The RF circuit 30 not only performs communication between the captured image communication device and the control device 4, but also performs communication between the control device 4 and another device (such as a driving device for various actuators) incorporated in the micromachine 2. The communication is also performed. Further, on the control device 4 side, an RF circuit 6 for performing wireless communication using microwaves with the RF circuit 30 on the side of the micromachine 2 is provided, and the RF circuit 6 is controlled by the communication control unit 8. Is done.
[0027]
When receiving the transmission data from the micromachine 2 via the RF circuit 6, the communication control unit 8 outputs the received data to a host computer (not shown) so that the operation state of the micromachine 2 and the imaging by the CCD camera 10 are performed. Images and the like are displayed on the display, and various command signals to the micromachine 2 input from the host computer are transmitted from the RF circuit 6 to the micromachine 2 side.
[0028]
As a result, the image data transmitted by the captured image communication device of the present embodiment to the control device 4 via the RF circuit 30 is captured by the host computer of the control device 4 and displayed on the display. The second operator can drive and control the micromachine 2 while viewing the display image.
[0029]
Next, FIG. 2 is a block diagram showing a configuration of the CCD camera 10 and the image communication control LSI 40 which are main parts according to the present invention.
As shown in FIG. 2, the CCD camera 10 captures an image signal for one horizontal scanning line from the CCD sensor 12 in accordance with a horizontal synchronization signal HP and a CCD sensor 12 in which an image sensor (CCD in this embodiment) is two-dimensionally arranged. The horizontal shift register 14 sequentially shifts this pixel by pixel in accordance with the pixel clock PCK as an output timing signal, and outputs the image signal output from the horizontal shift register 14 by n bits (8 bits in this embodiment). An A / D converter 16 that quantizes (in other words, A / D converts) the image information into the image information, and an image signal for one horizontal scanning line captured by the horizontal shift register 14 based on the vertical synchronization signal VP and the horizontal synchronization signal HP. A vertical shift register 18 for sequentially shifting in the column direction, and a reference clock CKO input from the outside (in this embodiment, A horizontal synchronizing signal HP, a vertical synchronizing signal VP, and a pixel clock PCK are generated on the basis of 500 kHz) and output to each of the above-described units, and also used for camera control from the control device 4 transferred from the image communication control LSI. And a CCD control circuit 20 for driving (exposure) the CCD sensor 12 based on the command CMD in synchronism with the vertical synchronizing signal VP to capture a surrounding image. ing.
[0030]
Here, the CCD sensor 12 corresponds to the imaging means of the present invention. In the present embodiment, as shown in FIG. 3, the number of pixels in the row direction is 302, and the number of pixels in the column direction is 352. The number of pixels is 100,000 pixels of 302 × 352, and is composed of 272 × 347 signal pixels, 28 × 347 black reference pixels, and other dummy pixels. Further, the CCD sensor 12 of the present embodiment is a color image sensor, and signal pixels are provided with respective color filters of yellow Ye, cyan Cy, magenta Mg, and green Gr.
[0031]
Further, the CCD control circuit 20 corresponds to an imaging control unit of the present invention. In the present embodiment, the A / D converter is generated by dividing the frequency of the reference clock CKO to generate a pixel clock PCK of 250 kHz. The output speed of the image information from 16 is set to 250 kHz.
[0032]
Further, the CCD control circuit 20 also generates a horizontal synchronizing signal HP and a vertical synchronizing signal VP. As shown in FIG. 4A, the horizontal synchronizing signal HP has a horizontal blanking period of 50 pixel clocks (50 PCK). And a video signal valid period for 302 pixel clocks (302 PCK), and constitutes one horizontal scanning period (1H). During the video signal valid period, the A / D converter 16 outputs a front signal for two pixel clocks (2 PCK). A video signal including a porch period, a video signal period of 272 pixel clocks (272 PCK), and a back porch period of 28 pixel clocks (28 PCK) is output.
[0033]
Also, as shown in FIG. 4B, a vertical blanking period for 20 horizontal scanning periods (20H) is set in the vertical synchronization signal VP. Then, the vertical synchronizing signal VP rises in the 196th horizontal blanking period, and then falls when the 175.5 horizontal scanning period (175.5H) has elapsed. The period is defined as an odd field valid signal period, rises during the first horizontal signal valid period, and then falls after the elapse of the 175.5 horizontal scanning period (175.5H). It is defined as a field valid signal period.
[0034]
Incidentally, the falling edge of the even field valid signal period and the rising edge of the odd field valid period are, as shown in FIG. 4 (b-1), the falling edge at which the horizontal synchronizing signal HP enters the horizontal blanking period. On the other hand, it is controlled at a timing delayed by two pixel clocks (2PCK).
[0035]
Further, in the present embodiment, the vertical shift register 18 instructs the A / D converter 16 to sequentially scan two rows of adjacent image pickup elements for one horizontal scanning line from the first row of the CCD sensor 12 during the odd field effective period. The electric charges accumulated in the upper and lower imaging elements are mixed and quantized, and during the even field effective period, the adjacent imaging elements 2 are sequentially supplied to the A / D converter 16 from the second row of the CCD sensor 12. The operation is performed by a well-known field accumulation driving method, in which electric charges accumulated in upper and lower two imaging elements are mixed and quantized by using one row as one horizontal scanning line.
[0036]
Further, the A / D converter 16 starts the quantization of the image signal at the rising edge of the pixel clock PCK generated by the CCD control circuit 20 based on the reference clock CKO, as shown in FIG. In the image communication control LSI 40 described below, the falling edge of the pixel clock PCK is used to capture the image information at the timing when the image information per pixel output from the A / D converter 16 is determined. At the same timing as the edge, image information output from the A / D converter 16 is fetched.
[0037]
In the present embodiment, the horizontal shift register 14, the A / D converter 16, and the vertical shift register 18 in the CCD camera 10 function as a captured image output unit of the present invention.
Next, the image communication control LSI 40 receives a vertical synchronizing signal VP and a horizontal synchronizing signal HP from the CCD camera 10 and a line memory 42 as a captured image storing means for storing image information output from the A / D converter 16. The CCD interface 44 as write / read control means for controlling writing of image information to the line memory 42 and reading of image information from the line memory 42, and from the line memory 42 via the CCD interface 44 The image information for one horizontal scanning line is read out, converted into packet data (serial data) for data communication at a predetermined communication bit rate (2.5 Mbps in this embodiment), and output to the RF circuit 30. A command CMD for camera control is received via the transmitting unit 46 and the RF circuit 30 and is transmitted to the C By outputting the D interface 44, and a data reception unit 48. which is transferred from the CCD interface 44 to the CCD control circuit 20 of the CCD camera 10 side. Note that the data transmitting unit 46 and the data receiving unit 48 correspond to the communication unit of the present invention.
[0038]
Here, the line memory 42 includes three storage elements (a first memory 51 and a second memory 52) each of which can store image information for one horizontal scanning line among image information output from the A / D converter 16. , Third memory 53).
The CCD interface 44 has write enable signals WE1, WE2, and WE3 that permit writing of image information to the memories 51 to 53, respectively, and reads that allow reading of image information from the memories 51 to 53, respectively. A WE / RE generating circuit 61 for generating enable signals RE1, RE2 and RE2, a DIADR generating circuit 62 for generating a write address DIADR of image information to a memory in which writing of image information is permitted by a write enable signal; A DOADR generating circuit 63 for generating a read address DOADR of image information for a memory to which reading of image information is permitted by a read enable signal, and a command CMD input from the data receiving unit 48 are transferred to the CCD control circuit 20. CMD output circuit as imaging command transfer means 4 and are provided.
[0039]
The CCD interface 44 also incorporates a frequency divider that divides the reference clock CKO and generates a write strobe signal DISTRB of 250 kHz, which is the same as the pixel clock PCK generated by the CCD control circuit 20. By outputting the written write strobe signal DISTRB to the line memory 42, the writing timing of the image information to the memory to which the writing of the image information is permitted is controlled. The write strobe signal DISTRB is also input to the DIADR generation circuit 62, and the DIADR generation circuit 62 updates the write address DIADR in synchronization with the write strobe signal DISTRB.
[0040]
On the other hand, for example, as shown in FIG. 5, when transmitting packet data for one horizontal scanning line, the data transmitting unit 46 generates additional information F1, F2, F3 such as a header and a flag to be added to the head of the packet data. Then, when it becomes necessary to read the image information from the line memory 42, an enable signal ENB for permitting the reading of the image information for one horizontal scanning line from the line memory 42 is output to the CCD interface 44. A read strobe signal DOSTRB is output as a read timing signal in synchronization with the generation of the packet data. When reading the image information from the line memory 42 via the CCD interface 44, the data transmitting section 46 temporarily lengthens the cycle of the read strobe signal DOSTRB in order to secure a zero insertion time. Here, the zero insertion is an operation of inserting zero into the transmission data in order to identify the actual data part and the head / end part of the packetized transmission data.
[0041]
The enable signal ENB from the data transmission unit 46 is input to the WE / RE generation circuit 61. The WE / RE generation circuit 61 receives the enable signal ENB and outputs a read enable signal to the line memory 42. Start. The read strobe signal DOSTRB is output to the line memory 42 via the CCD interface 44, and controls the timing of writing image information to a memory to which reading of image information is permitted. The read strobe signal DOSTRB is also input to the DOADR generation circuit 63, and the DOADR generation circuit 63 updates the read address DOADR in synchronization with the read strobe signal DOSTRB.
[0042]
Next, FIG. 6 is a time chart showing signals for accessing the line memory 42 output from the CCD interface 44.
As shown in FIG. 6, the DIADR generation circuit 62 repeatedly generates the write address DIADR in synchronization with the horizontal synchronization signal HP output from the CCD camera 10, and also outputs the value of the write address DIADR to the reference clock CKO. Are sequentially changed from the minimum address to the maximum address of each of the memories 51 to 53 in synchronization with the write strobe signal DISTRB generated from the above. When the CCD camera 10 starts outputting image information in synchronization with the vertical synchronizing signal VP, the WE / RE generation circuit 61 generates a write enable signal WE1 for the first memory 51, and outputs the image information from the CCD camera 10. Is written to the first memory 51. After that, the WE / RE generation circuit 61 switches the write enable signal output to the line memory 42 in the order of WE2 → WE3 → WE1... In synchronization with the horizontal synchronization signal HP, and outputs one horizontal signal output by the CCD camera 10. The writing destination of the image information for the scanning line is changed in the order of the second memory 52 → the third memory 53 → the first memory 51.
[0043]
On the other hand, when the enable signal ENB is output from the data transmission unit 46, the DOADR generation circuit 63 starts outputting the read address DOADR in synchronization with the horizontal synchronizing signal HP, and outputs the value of the read address DOADR to the data. In synchronization with the read strobe signal DOSTRB from the transmission unit 46, the addresses are sequentially changed from the minimum address of each of the memories 51 to 53 to the maximum address. Then, the WE / RE generation circuit 61 outputs a read enable signal for the memory that has output the write enable signal during the previous horizontal scanning period, in synchronization with the horizontal synchronization signal HP. Therefore, the read enable signal is always output to the memory in which the image information has been written during the previous horizontal scanning period, such as RE1, RE2, RE3, RE1,. , The latest image information is output from the memory after the image information is written.
[0044]
As described above, in the present embodiment, the data transmission unit 46 is configured to convert image data for one horizontal scanning line into packet data at a communication bit rate of 2.5 Mbps and output the packet data. Outputs 8-bit image information at a transmission speed synchronized with the pixel clock PCK of 250 kHz, and furthermore, the blanking period (horizontal blanking period) of the horizontal synchronizing signal HP is reduced to a time corresponding to 50 pixel clocks (50 PCK). Since it is set, the amount of image information output from the CCD camera 10 during the horizontal scanning period and written to a specific memory in the line memory 42 is determined by the data transmission unit 46 during the horizontal scanning period. And the line memory 42 overflows. It is not such.
[0045]
That is, in the present embodiment, the time required for the data transmitting unit 46 to convert image information for one horizontal scanning line into packet data for transmission and transmit the packet data to the RF circuit 30 is represented by the total data amount of the packet data. Total data amount = (data amount of one horizontal scanning line of CCD) + (maximum value of zero insertion) + (data amount for transmission)｝ and communication bit rate (2.5 Mbps) of data transmission unit 46 The transmission speed of the image information from the CCD camera 10 is determined so that the horizontal scanning period 1H during which the CCD camera 10 outputs image information for one horizontal scanning line is longer (preferably equal) with respect to this time. By setting 250 kHz) and the horizontal blanking period (50 PCK), the line memory 42 is prevented from overflowing.
[0046]
Next, the CMD output circuit 64 transfers the command CMD input from the data receiving unit 48 to the CCD control circuit 20. The command CMD has a data length equal to the horizontal synchronization signal HP per one cycle of the vertical synchronization signal VP. Is set to 128 bits, which is smaller than the number of. Then, as shown in FIG. 7A, the CCD control circuit 20 synchronizes the 128-bit command CMD with the CCD in units of 1 bit in synchronization with the horizontal synchronization signal HP input after the rise of the vertical synchronization signal VP. Transfer to the control circuit 20.
[0047]
Further, the CCD control circuit 20 fetches the command CMD transferred bit by bit from the CMD output circuit 64 in synchronization with the horizontal synchronization signal HP. In the next blanking period of the vertical synchronizing signal VP, the CCD sensor 12 controls the exposure time and the like based on all the bit data (128 bits) of the command CMD transferred from the CMD output circuit 64 so far. Is driven to capture a surrounding image.
[0048]
As shown in FIG. 7B, the CMD output circuit 64 starts outputting one-bit data of the command CMD at the rising edge (timing t1) of the horizontal synchronization signal HP, and thereafter, outputs the horizontal synchronization signal HP In the vertical control signal VP during one cycle of the vertical synchronizing signal VP, such that the output data value is changed at the rising edge (timing t1) of the command CMD in accordance with the next data of the command CMD. Transfer to 20. Further, the CCD control circuit 20 captures the bit data of the command CMD output from the CMD output circuit 64 at the falling edge (timing t2) of the horizontal synchronization signal HP.
[0049]
As described above, in the captured image communication apparatus of the present embodiment, the image information sequentially output from the CCD camera 10 is stored in the first memory 51 to the third memory in the line memory 42 every one horizontal scanning line. 53, and the data transmitting section 46 sequentially reads out image information for one horizontal scanning line from the first memory 51 to the third memory 53 in which the image information is written, and simultaneously converts the image information into packet data for data communication. While outputting to the RF circuit 30. Further, a blanking period (horizontal blanking period) of a horizontal synchronizing signal HP for determining a cycle at which the CCD camera 10 outputs image information for one horizontal scanning line, and a pixel clock PCK for defining a transmission speed of image information. The cycle is set so that the time per one cycle of the horizontal synchronizing signal HP (horizontal scanning period) is not shorter than the time required for the data transmitting unit 46 to transmit packet data for one horizontal scanning line. Have been.
[0050]
For this reason, according to the present embodiment, it is possible to transmit the image captured by the CCD camera 10 to the control device 4 in real time without compressing the image captured by the CCD camera 10 using the three memories 51 to 53 constituting the line memory 42. That is, the control device 4 can display the image captured by the CCD camera 10 on the display without deteriorating based on the transmission data.
[0051]
Further, in this embodiment, the line memory 42 for storing image information for image communication is constituted by three memories 51 to 53 for storing image information for one horizontal scanning line. Compared to a case where a captured image is compressed using an image compression technique, the storage capacity of image information can be extremely reduced, and the device can be reduced in size and power consumption can be reduced. Therefore, even if the captured image communication device is incorporated in the micromachine 2 as in the present embodiment, it is possible to realize a micromachine capable of obtaining a clear image in real time without increasing the size of the micromachine 2.
[0052]
Further, various command signals are transmitted from the control device 4 to the micromachine 2, and the command CMD for camera control is transferred to the CCD camera 10 via the RF circuit 30 and the image communication control LSI 40. In the image communication control LSI 40, the CMD output circuit 64 that transfers the command CMD to the CCD camera 10 is configured to transfer the command CMD to the CCD camera 10 in units of one bit in synchronization with the horizontal synchronization signal HP. Therefore, there is no need to generate a synchronization signal dedicated to command transfer for synchronizing the CMD output circuit 64 and the CCD control circuit 20 of the CCD camera 10, which can also simplify the device configuration.
[0053]
As mentioned above, although one Example of this invention was described, this invention is not limited to the said Example, You can take various aspects.
For example, in the above embodiment, in order to prevent the line memory 42 from overflowing, both the blanking period of the horizontal synchronization signal HP generated by the CCD control circuit 20 and the period of the pixel clock PCK are adjusted. However, for example, the cycle of the pixel clock PCK is set corresponding to the speed (fc / n) obtained by dividing the communication bit rate fc of the data transmission unit 46 by the number n of bits to be quantized by the A / D converter 16. Alternatively, by making only the blanking period of the horizontal synchronizing signal HP longer, the overflow of the line memory 42 may be prevented. Conversely, the blanking period of the horizontal synchronizing signal HP may be set to a minimum length. Only the pixel clock (in other words, the transmission speed of the quantized image information) on the CCD camera 10 side is determined. By integer, it may be prevented overflow line memory 42.
[0054]
Further, in the above-described embodiment, the description has been made assuming that the imaging camera uses an imaging unit including a CCD sensor. However, the image sensor incorporated in such an imaging camera is not necessarily a CCD (charge coupled device) as an imaging device. It is not necessary to use a CCD sensor using a CMOS image sensor. For example, another image sensor such as a MOS image sensor using a MOS solid-state imaging device may be used.
[0055]
Further, in the above embodiment, the captured image communication device is described as being incorporated in the micromachine. However, according to the captured image communication device of the present invention, the image captured by the camera can be transmitted in real time without compression, and Fields that require a small camera with low power consumption, such as, for example, incorporating a mobile phone or the like and transmitting a captured image to a communication partner because the device can be reduced in size and power consumption can be reduced. In this case, it is possible to obtain the same effect as in the case of incorporating into a micromachine.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram illustrating a captured image communication device and a peripheral device thereof according to an embodiment.
FIG. 2 is a block diagram illustrating a configuration of a CCD camera and an image communication control LSI.
FIG. 3 is an explanatory diagram illustrating a pixel configuration of a CCD sensor.
FIG. 4 is a time chart illustrating an operation of the CCD camera.
FIG. 5 is a time chart illustrating an operation of a data transmission unit.
FIG. 6 is a time chart showing an operation of accessing a line memory of the CCD interface.
FIG. 7 is a time chart illustrating an operation of the CMD output circuit 64;
[Explanation of symbols]
2 ... micro machine, 4 ... control device, 6 ... RF circuit, 8 ... communication control unit, 10 ... CCD camera, 12 ... CCD sensor, 14 ... horizontal shift register, 16 ... A / D converter, 18 ... vertical shift register, 20 ... CCD control circuit, 30 ... RF circuit, 40 ... Image communication control LSI, 42 ... Line memory, 44 ... CCD interface, 46 ... Data transmission unit, 48 ... Data reception unit, 51 ... First memory, 52 ... Second memory 53, a third memory, 61, a WE / RE generation circuit, 62, a DIADR generation circuit, 63, a DOADR generation circuit, 64, a CMD output circuit.

Claims

Imaging means comprising a plurality of two-dimensionally arranged imaging elements;
In accordance with a horizontal synchronization signal input from the outside, an image captured by the imaging means is captured for each horizontal scanning line, and the captured images for the captured one horizontal scanning line are sequentially synchronized in pixel units in synchronization with an output timing signal. a captured image output unit that quantizes and outputs the n-bit image information,
The imaging means is driven in accordance with an external imaging instruction to capture a two-dimensional image, and after the imaging, the horizontal synchronization signal and the output timing signal are output to the captured image output means, and the captured image output means is output. Imaging control means for outputting image information from
A captured image storage unit for temporarily storing image information output from the captured image output unit,
In synchronization with the operation of the captured image output means controlled by the imaging control means, the image information output from the captured image output means is sequentially stored in the captured image storage means, and the readout timing externally input Writing and reading control means for sequentially reading image information stored in the captured image storage means in synchronization with a signal;
By outputting the read timing signal to the write / read control means, the image information stored in the captured image storage means is sequentially read out via the write / read control means, and the image information is read out by the horizontal Communication means for transmitting to an external device while converting the data into packet data for data communication for each scanning line, and receiving an imaging instruction transmitted from the external device;
Imaging command transfer means for transferring an imaging command from the external device received by the communication means to the imaging control means,
A captured image communication device comprising:
The captured image storage unit is configured with at least two storage elements capable of storing image information for one horizontal scanning line output from the captured image output unit,
The writing / reading control means is configured to simultaneously perform writing and reading of the image information while sequentially changing a storage element for writing image information and a storage element for reading image information in the captured image storage means. ,
In addition, the horizontal synchronization signal is controlled so that the time per one cycle is equal to or longer than the time required for the communication unit to convert the image information for one horizontal scanning line into packet data and transmit the packet data to an external device. A captured image communication device, wherein a period of a signal and a period of the output timing signal are set.

When a communication bit rate at which the communication unit transmits the image information is fc [Hz], a cycle of the output timing signal is set such that a speed of the output timing signal is smaller than fc / n [Hz]. 2. The captured image communication device according to claim 1, wherein:

The blanking period of the horizontal synchronization signal, which determines the time from when the captured image output unit outputs the image information for one horizontal scanning line to when the output of the image information starts next, is performed by the communication unit. The time required to convert all image information for one horizontal scan line into packet data and transmit it to an external device, and the time required for the captured image output means to output all image information for one horizontal scan line 3. The captured image communication device according to claim 1, wherein the setting is based on a deviation from time.

The captured image storage means includes three storage elements capable of storing image information for one horizontal scanning line, and the writing / reading control means stores the three storage elements in the one horizontal scanning line, respectively. 4. The captured image communication device according to claim 1, wherein the image information is written and read while sequentially changing the image information for writing, holding, and reading.

The data length of the imaging command received by the communication unit is a bit number smaller than the number of horizontal synchronization signals per one cycle of a vertical synchronization signal that causes the imaging control unit to output one frame of image information from the captured image output unit. Is set to
The imaging command transfer unit is configured to start transfer of the imaging command in synchronization with the vertical synchronization signal, and to transfer the imaging command in units of 1 bit in synchronization with the horizontal synchronization signal,
The imaging control unit captures one bit of the imaging command transferred from the imaging command transfer unit in synchronization with the horizontal synchronization signal, and controls the imaging unit based on all the bit data of the captured imaging command. 5. The captured image communication device according to claim 1, wherein drive control is performed in synchronization with the vertical synchronization signal.