JP5506656B2

JP5506656B2 - 画像処理装置

Info

Publication number: JP5506656B2
Application number: JP2010294888A
Authority: JP
Inventors: 晴雄井上; 昌史野沢; 淳一島田; 春二駒形; 藤隆渡辺; 進白川
Original assignee: 株式会社テクノスコープ
Priority date: 2010-12-28
Filing date: 2010-12-28
Publication date: 2014-05-28
Anticipated expiration: 2030-12-28
Also published as: JP2012142809A

Description

本発明は、画像処理装置、および画像処理方法に関するものである。

目を通して入力される画像情報は、優れた視覚の情報処理能力から得られ人の世に欠かせない最も重要なメディアの一つである。人の目は広い視野を持ち、この視野の情報を捉える網膜は、中心部と周辺部とではその機能が異なる。最も外側は光の存在を検知し、その内側の周辺部は物の全体像や形状の把握、そして中心部は物を詳細に見分け、情報内容を認識する。このように、面センサを形成する網膜は外側から中心へ向け、情報受容レベルが“感覚”から“知覚”、さらに“認識”へとその機能を分担する構成になっている（非特許文献１）。

従来、一つの監視エリアにワイドカメラとズームカメラを設置し、ワイドカメラにより監視エリアの画像を取得し、取得画像を平常画像と比較して差異を認識することで異常事態を検知し、異常事態が発生した場合にはワイドカメラによる画像取得と共に、ズームカメラで重要地点の画像を取得し、ワイドカメラとズームカメラによる画像を端末コンピュータに伝送する監視システムが提案されている（特許文献１）。

藤尾孝著「電子画像工学」社団法人電子情報通信学会発行、平成１１年１月２０日、ｐ．１−２

特開平１１−２５９７７５号公報

しかしながら、特許文献１に示される先行技術にあっては、
（１）一つの監視エリアに対しカメラを２台必要としカメラシステムが複雑となる、
（２）ズームカメラは指示を出してから機械的に動作するため必要とする映像にたどり着くために時間がかかりワイドカメラとの同期が難しい、
（３）コストアップの要因になる
等の問題点があった。

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、カメラ位置を移動可能とし、捕捉した画像を加工し、捕捉した解像度のまま維持する第１の画像領域と、画素を間引き第１の画像領域より画素数の少ない第２の画像領域をそれぞれ形成し、第２の画像領域を第１の画像領域を囲成する部位に形成することにより所望位置の画像データを解像度の異なる２領域を持たせて人の目に近い機能を持った画像データとして形成し、併せて、原画像のデータ量を減らし１本のケーブル、例えば、ＩＥＥＥ１３９４ケーブルにより転送することを可能とする画像処理装置を提供することにある。

本発明の他の目的は、取り込み画像（原画像）の周辺を間引きし、画像解像度の異なる画像データを作製することにより、原画像の画像データのデータ量を削減し、物理的に上限が定められている通信速度の範囲内にて、１本のケーブルで転送スピードを上げて効率よく画像情報を転送できる画像処理装置を提供することにある。

本発明に係る画像処理装置は、カメラ制御コマンドが入力するとカメラを上下左右に移動させるとともにカメラを駆動させるモータの位置を検出してモータ位置検出信号を駆動制御手段に送信するカメラ駆動手段と、カメラ制御コマンドをカメラに送信するとともにモータ位置検出信号をカメラ位置信号に変換してデータ転送手段に送信する駆動制御手段と、カメラ制御コマンドを前記駆動制御手段に送信するとともにカメラ位置信号をカメラ通信制御手段に送信するデータ転送手段を備え、前記カメラ通信制御手段よりカメラ制御コマンドが入力するときに、カメラ位置をカメラ制御データに対応するカメラ位置に移動させ、移動位置におけるカメラが撮像する画像データを前記データ転送手段に送信する画像処理装置において、前記データ転送手段は、捕捉した画像データを加工して捕捉した画像解像度のまま維持する第１の画像領域と、画素を間引き前記第１の画像領域より画素数の少ない第２の画像領域をそれぞれ形成し、前記第２の画像領域を前記第１の画像領域を囲成する部位に形成することにより取り込み画像である原画像のデータ量を減らすとともに原画像の画像データを画像解像度の異なる人の目に近い機能を持った画像データとして形成し、前記データ転送手段を前記カメラ通信制御手段と１本のケーブルで接続し、画像解像度の異なる２領域を持った画像データを前記カメラ通信制御手段に転送可能としたことを特徴としている。

前記データ転送手段は、ＩＥＥＥ１３９４物理層を具備し、前記データ転送手段を前記カメラ通信制御手段と１本のＩＥＥＥ１３９４ケーブルにより接続するとよい。

前記カメラ駆動手段を構成するカメラ駆動部は、構造を単純化するために、回転台を２軸のジンバル構造と直線移動が可能なモータ付スライドボリュームを２個用いてカメラを上下左右に移動させる機構として構成できる。

捕捉した画像を加工し、捕捉した画像解像度のまま維持した対象画像領域である第１の画像領域と、画素数を前記対象画像領域より間引き前記対象画像領域より画素数の少ない背景画像領域である第２の画像領域をそれぞれ形成し、前記背景画像領域を前記対象画像領域を囲成する部位にそれぞれ形成することにより、映像データの対象画像領域において物を詳細に見分けることを可能とするとともに、対象画像領域より外側の周辺部において物の全体像や形状の把握を可能とし、画像データが解像度の異なる２領域を持ち、人の目に近い機能を持った画像データを形成するとよい。

上記構成を備えた本発明によれば、次の効果を奏する。
（１）カメラの画像をディスプレイにリアルタイムにて表示し、その際、カメラのズーム機能、フォーカス機能、自動露光機能、ホワイトバランス機能等の光学調整機能を制御しながらカメラ位置を上下左右に移動可能とし、捕捉した画像を加工し、捕捉した解像度のまま維持する第１の画像領域と、画素を間引き第１の画像領域より画素数の少ない第２の画像領域をそれぞれ形成し、第２の画像領域を第１の画像領域を囲成する部位に形成することにより所望位置の画像データを解像度の異なる２領域を持たせて人の目に近い機能を持った画像データとして形成し、併せて、原画像のデータ量を減らし１本のケーブル、例えば、ＩＥＥＥ１３９４ケーブルにより転送することを可能とする画像処理装置が得られる。
（２）取り込み画像（原画像）の周辺を間引きし、画像解像度の異なる画像データを作製することにより、原画像の画像データのデータ量を削減し、物理的に上限が定められている通信速度の範囲内にて、１本のケーブルで転送スピードを上げて効率よく画像情報を転送できる画像処理装置が得られる。

本発明に係る画像処理装置の実施例の構成を示すブロック図である。画像処理装置のカメラの構成を示すブロック図である。画像処理装置の駆動制御手段の構成を示すブロック図である。画像処理装置のデータ転送手段の構成を示すブロック図である。カメラ手段を制御するカメラ通信制御手段の構成を示すブロック図である。カメラが撮像し取り込んだ画像データを間引き加工処理することを示す概略図である。カメラが撮像した画像データ（１２８０画素×７２０ライン）の中央部における６４０画素×３６０ラインの画像をパーシャルスキャン（６４０画素×３６０ライン）し、画像データのｘ方向の画素を１／２、ｙ方向の画素を１／２にビニング（６４０画素×３６０ライン）して加工処理することを示す概略図である。雲台の内部正面概要図を示し、カメラ駆動部が、回転台を２軸のジンバル構造と直線移動が可能なモータ付スライドボリュームを２個用いてカメラを上下左右に移動させる機構として構成されていることを示す概要図である。雲台の内部側面概要図を示す。モータ操作時（カメラ首振り系）の通信フロー概要図である。カメラ手段（カメラ映像系）への通信フロー概要図である。画像処理装置を構成する各手段の動作例を示すシーケンス図である。画像処理方法のフロー図である。

以下本発明に係る画像処理装置を視覚型ロボットに搭載した実施例について、図面を参照しながら説明する。

図１〜図５において、画像処理装置１は、光学系を含むカメラとデータ通信をつかさどるＩＥＥＥ１３９４物理層を含むカメラ手段２に搭載される。

該カメラ手段２は、カメラ１０、カメラ駆動手段２０、駆動制御手段３０、データ転送手段５０を含んで構成され、前記カメラ駆動手段２０と前記駆動制御手段３０とでカメラ雲台（カメラを搭載するための台で、例えば電動により動かして広い視野範囲を撮影するためのもの）を構成する（図１）。

前記カメラ手段２は１本のＩＥＥＥ１３９４ケーブル５を介してカメラ通信制御手段７０に接続される（図１）。さらに、前記カメラ通信制御手段７０は、画像表示モニタ８０に接続される。符号８５は入力手段である（図５）。

このうち、前記カメラ１０は、レンズ１１と、該レンズ１１を介して結像される所定エリアの投影像を映像信号に変換する撮像素子１２と、該撮像素子１２で生成された映像信号をデジタル変換し画像データを生成する画像処理部１３と、生成された画像データを前記データ転送手段５０に送信する画像データ送信部１４を含んで構成される（図２）。

前記カメラ駆動手段２０は、前記カメラ１０を前後左右に移動させるモータ２１とモータ位置検出器２２を備えている（図１）。前記カメラ１０を用いて広い視野範囲で撮影するために、カメラ雲台を用いてこれを上下左右に動かす方法を採用している。本実施例では、前記カメラ駆動手段２０のカメラ駆動部２０Ａは、構造を単純化し、回転台を２軸のジンバル構造と直線移動が可能なモータ付スライドボリュームを２個用いてカメラを上下左右に移動させる機構として構成している（図８、図９参照）。すなわち、スライドボリュームの抵抗の大小によりモータの移動位置を把握する。前記モータ位置検出器２２は、モータの位置を検出しモータ位置検出信号を前記駆動制御手段３０に送信する。

前記駆動制御手段３０は、駆動制御部３０Ａと、モータドライバ３０Ｂより構成される（図１、図３）。前記駆動制御部３０Ａは、例えば、ＭＣＵ（ＭｏｔｏｒＣｏｎｔｒｏｌＵｎｉｔ：モータ制御装置）により構成され、前記カメラ通信制御手段７０から発信されるカメラ制御コマンドを受信するとモータ２１のＯＮ／ＯＦＦ及び正転／逆転の制御を行う（図１０参照）。このため、カメラ制御コマンド受信部３１、第１信号制御部３２、カメラ制御コマンド送信部３３、モータ位置検出信号受信部３４、カメラ位置信号送信部３５、ＲＯＭ３６、ＲＡＭ３７を含んで構成される（図３）。前記ＲＯＭ３６は、前記駆動制御部３０Ａを動作させるプログラムを記憶している。また前記ＲＡＭ３７は、ワークＲＡＭを構成している。前記駆動制御部３０Ａは、カメラ制御コマンドと雲台制御コマンドの選別を行なう。

前記駆動制御部３０Ａは、前記モータ２１のＯＮ／ＯＦＦ制御を行うとともに、カメラ制御コマンドを前記カメラ１０に送信し、さらに、モータ位置検出信号をカメラ位置信号に変換して前記データ転送手段５０に送信する。

また、前記駆動制御部３０Ａは、カメラ位置情報のデジタル化を行うとともに、前記データ転送手段５０から送信されるデータ内容が位置情報データかカメラ制御データかを判別する。データ内容が位置情報データである場合には、モータ２１に対する移動方向、カメラ位置、動作ステータスを設定／取得するためのデータを前記データ転送手段５０より受け取る。前記データ転送手段５０から送出されるデータ内容がカメラ制御データである場合には、カメラの画面サイズ、フレームレート、輝度などのパラメータを設定／取得するためのデータを前記データ転送手段５０より受け取る。

前記データ転送手段５０は、データ転送部５０Ａと、ＩＥＥＥ１３９４物理層５０Ｂより構成される（図１、図４）。前記データ転送部５０Ａは、例えば、ＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）により構成され、一枚のフレーム全体を縮小した画像と、フレームの一部を切り出した画像を一枚の画像として画像処理し転送する（図６参照）。

すなわち、前記データ転送部５０Ａでは、カメラ１０が撮像した画像をビニング画像とパーシャルスキャン画像を１枚の画像として加工処理しＩＳＯ出力し画像転送処理を行なう（図７）。

前記カメラ手段２（前記データ転送手段５０）は、捕捉した画像解像度を維持する画像領域（第１の画像領域）の座標［例えば、図６における（ａ，ｂ）、（ｃ，ｂ）、（ａ，ｄ）、（ｃ，ｄ）］とサイズを算出して間引く範囲を決定（画成）し、領域の画像から、例えば、矩形部分の画像解像度を高画像解像度に維持する画像領域（第１の画像領域）を算出する。ここでは、先ず、前記カメラ１０の画像解像度を通常よりｍ倍（ｍは２，３，４・・・の整数）高くして高解像度に設定して画角内の目的映像（対象領域の画像：第１の画像領域の画像）の切り出しを行ない、さらに、カメラ内部で全体画像（背景領域画像）の画像データの画素数を１／ｍに間引き、画角内の目的映像と間引いた画像とを１枚の画像とすることで首振り並びにｍ倍ズームと同等のことを行なう。この場合、前記カメラ１０から送られる第２の画像領域の画像と第１の画像領域の画像は同じ画素×ラインである、例えば、カメラ１０（撮像素子１２）の解像度が１２８０画素×７２０ラインの画像データの画素数を１／２に間引き第１の画像領域、第２の画像領域とも６４０画素×３６０ラインとすると、転送データ量Ｄ１は、Ｄ１＝２（画面）／４＝１／２に減らすことができる。同様に、カメラ１０（撮像素子１２）の解像度が１２８０画素×７２０ラインの画像データの画素数を１／４に間引き第１の画像領域、第２の画像領域とも３２０画素×１８０ラインとすると、転送データ量Ｄ２を、Ｄ２＝２（画面）／１６＝１／８に減らすことができる。

切り出し位置とＰＡＮ／ＴＩＬＴＥ動作の切り替えは次のとおりである。（図７、図１０、図１１参照）。
（１）ビニング画像の表示範囲内は切り出しで移動し、その後に雲台を移動する。
（２）切り出しサイズは６４０画素×３６０ラインに固定し、切り出し位置は１ピクセル／１ライン単位で任意とする。
（３）切り出し位置が極力、画像の中央となるように雲台を動作させる。
（４）切り出しの範囲が表示範囲外の場合は切り出し位置を変更して範囲内に収まるようにする。

前記データ転送部５０Ａは、カメラ制御コマンド受信部５１、第２信号制御部５２、カメラ制御コマンド送信部５３、カメラ位置信号受信部５４、カメラ位置信号送信部５５、画像データ受信部５６、画素間引き加工処理部５７、画素間引き画像転送部５８、ＲＯＭ５９、ＲＡＭ６０を含んで構成される（図４）。前記ＲＯＭ５９は、前記データ転送部５０Ａを動作させるプログラムを記憶している。また、前記ＲＡＭ６０は、ワークＲＡＭを構成している。

かくして、前記データ転送手段５０は、カメラ位置制御データ、カメラ制御データ、転送プロトコール制御用データの制御を行ってこれらのデータを前記駆動制御手段３０に送信する。さらに、カメラ位置制御データ、カメラ制御データ、転送プロトコール制御用データ、および、前記カメラ１０から送出される画像データを変換し、高解像度により捕捉した画像領域を高解像度のまま維持した第１の画像領域と、画素を間引いて第１の領域より画素数の少ない第２の画像領域を形成し、第２の画像領域を第１の画像領域を囲成する部位に形成することによりカメラが撮像する画像領域の画像を解像度の異なる２領域を持った画像とする処理を行ない伝送する画像のデータ量を減らして画像データを圧縮することなく１本のケーブルにより前記カメラ通信制御手段７０に送出することを可能とする。

前記データ転送手段５０より送信されるカメラ制御コマンドを前記駆動制御手段３０が受信し、かつ前記駆動制御手段３０より送信されるカメラ駆動信号が前記カメラ駆動手段２０を介して前記カメラ１０に入力すると前記カメラ１０は上下左右に移動し所望のカメラ位置が設定され、前記カメラ１０が高解像度により撮像した画像データはデータ転送手段５０に送信される（図１１）。

前記カメラ通信制御手段７０は、前記データ転送手段５０との間でカメラ位置制御コマンドの送信を行うとともに画像データの受信および転送プロトコール制御用データの送受信を行って、カメラの映像を画像表示手段８０にリアルタイムで表示するとともに、カメラ制御コマンドを送信してカメラの制御（ズーム、フォーカス、自動露光、ホワイトバランスなど）を行い、さらに、カメラの位置を上下左右に移動させることに寄与する。前記カメラ通信制御手段７０は、例えば、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）により構成される。

前記カメラ通信制御手段７０は、カメラ制御コマンド送信部７１と、カメラ位置検知信号受信部７２と、画素間引き画像データ受信部７３と、通信制御部７４、画素間引き画像データ送信部７５を備えている。

前記カメラ通信制御手段７０は、前記カメラ１０に必要な動きを与えるカメラ制御データ（信号）を前記データ転送手段５０に送信するとともに、前記データ転送手段５０より送信される画像データ（画素間引き加工された「画素間引き加工画像」を含む。）を受信し、その画像データの第２の画像領域の画素をもとの解像度（例えば、１２８０画素×７２０ライン）に戻し、第１の画像領域をそのままの解像度ではめ込み表示モニタ８０に送信する。

前記画像表示モニタ８０は、前記カメラ通信制御手段７０より送出される解像度の異なる２領域を持った画像を表示する。

（画像処理方法における処理手順）
画像処理方法は、カメラ制御コマンドが入力するとカメラを上下左右に移動させるとともにカメラを駆動させるモータの位置を検出してモータ位置検出信号を駆動制御手段に送信するカメラ駆動手段と、カメラ制御コマンドをカメラに送信するとともにモータ位置検出信号をカメラ位置信号に変換してデータ転送手段に送信する駆動制御手段と、カメラ制御コマンドを前記駆動制御手段に送信するとともにカメラ位置信号をカメラ通信制御手段に送信するデータ転送手段を備え、前記カメラ通信制御手段よりカメラ制御コマンドが入力するときに、カメラ位置をカメラ制御データに対応するカメラ位置に移動させ、移動位置におけるカメラが撮像する画像データをデータ転送手段に送信する画像処理装置において、捕捉した画像データを加工し、捕捉した解像度のまま維持した第１の画像領域と、画素を間引き前記第１の画像領域より画素数を減らした第２の画像領域をそれぞれ形成するステップと、前記第２の画像領域を前記第１の画像領域を囲成する部位に形成するステップと、この画像解像度の異なる２領域を持った画像データを１本のケーブルにより前記カメラ通信制御手段に転送するステップとを含むことを特徴としている。
画像処理方法における処理手順を、図１０〜図１３を用いて説明する。

今、入力手段８５を操作しカメラ通信制御手段が送信するカメラ制御コマンド（カメラ駆動信号）を受信すると（Ｓ１０）、モータ２１がＯＮとなりカメラ１０は撮像を開始する（Ｓ１１）。カメラ手段２は画像の取込みを実行するとともに（Ｓ１２）、カメラ位置を検出しカメラ位置信号をデータ転送手段５０に送信する（Ｓ１３）。さらに、カメラ位置を修正するカメラ制御コマンド（カメラ位置修正信号）が入力すると（Ｓ１４）、カメラ位置が指定され（Ｓ１５）、その位置における画像が取り込まれ（Ｓ１６）る。取込み画像は一旦記憶され（Ｓ１７）、画素の間引き処理が行なわれる（Ｓ１８）。画素間引き画像はカメラ通信制御手段７０に転送され（Ｓ１９）、画像表示手段８０に表示される（Ｓ２０）。

１画像処理装置
２カメラ手段
５ＩＥＥＥ１３９４ケーブル
１０カメラ
１１レンズ
１２撮像素子
１３画像処理部
１４画像データ送信部
２０カメラ駆動手段
２０Ａカメラ駆動部
２１モータ
２２モータ位置検出器
３０駆動制御手段
３０Ａ駆動制御部
３０Ｂモータドライバ
３１カメラ制御コマンド受信部
３２第１信号制御部
３３カメラ制御コマンド送信部
３４モータ位置検出信号受信部
３５カメラ位置信号送信部
３６ＲＯＭ
３７ＲＡＭ
５０データ転送手段
５０Ａデータ転送部
５０ＢＩＥＥＥ１３９４物理層
５１カメラ制御コマンド受信部
５２第２信号制御部
５３カメラ制御コマンド送信部
５４カメラ位置信号受信部
５５カメラ位置信号送信部
５６画像データ受信部
５７画素間引き加工処理部
５８間引き画像転送部
５９ＲＯＭ
６０ＲＡＭ
７０カメラ通信制御手段
７１カメラ制御コマンド発信部
７２カメラ位置信号受信部
７３間引き画像データ受信部
７４間引き画像データ送信部
７５通信制御部
８０画像表示手段
８５入力手段

Claims

カメラ制御コマンドが入力するとカメラ（１０）を上下左右に移動させるとともにカメラを駆動させるモータの位置を検出してモータ位置検出信号を駆動制御手段（３０）に送信するカメラ駆動手段（２０）と、
カメラ制御コマンドをカメラに送信するとともにモータ位置検出信号をカメラ位置信号に変換してデータ転送手段（５０）に送信する駆動制御手段（３０）と、
カメラ制御コマンドを前記駆動制御手段（３０）に送信するとともにカメラ位置信号をカメラ通信制御手段に送信するデータ転送手段（５０）を備え、
前記カメラ通信制御手段よりカメラ制御コマンドが入力するときに、カメラ位置をカメラ制御データに対応するカメラ位置に移動させ、移動位置におけるカメラが撮像する画像データを前記データ転送手段（５０）に送信する画像処理装置において、
前記データ転送手段（５０）は、
捕捉した画像データを加工して捕捉した画像解像度のまま維持する第１の画像領域と、画素を間引き前記第１の画像領域より画素数の少ない第２の画像領域をそれぞれ形成し、前記第２の画像領域を前記第１の画像領域を囲成する部位に形成することにより取り込み画像である原画像のデータ量を減らすとともに原画像の画像データを画像解像度の異なる人の目に近い機能を持った画像データとして形成し、前記データ転送手段を前記カメラ通信制御手段と１本のケーブルで接続し、画像解像度の異なる２領域を持った画像データを前記カメラ通信制御手段に転送可能としたことを特徴とする画像処理装置。
捕捉した画像を加工し、捕捉した画像解像度のまま維持した対象画像領域である第１の画像領域と、画素数を前記対象画像領域より間引き前記対象画像領域より画素数の少ない背景画像領域である第２の画像領域をそれぞれ形成し、前記背景画像領域を前記対象画像領域を囲成する部位にそれぞれ形成することにより、映像データの対象画像領域において物を詳細に見分けることを可能とするとともに、対象画像領域より外側の周辺部において物の全体像や形状の把握を可能とし、画像データが解像度の異なる２領域を持ち、人の目に近い機能を持った画像データを形成することを特徴とする請求項１に記載の画像処理装置。
前記データ転送手段が、ＩＥＥＥ１３９４物理層を具備し、前記データ転送手段を前記カメラ通信制御手段と１本のＩＥＥＥ１３９４ケーブルにより接続したことを特徴とする請求項１または２に記載の画像処理装置。
前記カメラ駆動手段を構成するカメラ駆動部が、回転台を２軸のジンバル構造と直線移動が可能なモータ付スライドボリュームを２個用いてカメラを上下左右に移動させる機構として構成されていることを特徴とする請求項１ないし３いずれか一項に記載の画像処理装置。