JPH11103456A

JPH11103456A - 表示装置及び画像処理システム

Info

Publication number: JPH11103456A
Application number: JP9276608A
Authority: JP
Inventors: Hideyuki Kobayashi; 秀行小林; Yoriyuki Okochi; 頼行大河内
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1997-09-25
Filing date: 1997-09-25
Publication date: 1999-04-13

Abstract

(57)【要約】【課題】撮像した画像をリアルタイムで伝送し、所定
の処理（画像検索等）をする場合には詳細な画像に基づ
いて精度よく行える画像処理システムを提供すること【解決手段】カメラ端末２０で撮像した対象物Ａは、
通常は画像処理部２４にて白黒画像（濃淡）に変換後、
赤外線通信を介して本体１０に送られ、表示部１１に表
示される。すると１枚の画像を構成するデータ量が少な
くてすむので、リアルタイムでの伝送が可能となる。そ
して、シャッターボタン２６を押下すると、その時撮像
した画像データ（画像メモリ２３に格納されている）
が、白黒画像に変換されることなく、高解像度のカラー
画像のまま本体に伝送される。本体では受け取ったカラ
ー画像を表示したり、記憶したり、画像検索する等の所
定の処理実行するが、係る処理は高解像度のカラー画像
に基づいて行われるので精度よく行える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、表示装置及び画像
処理システムに関するもので、より具体的には画像デー
タの伝送方式の改良に関する。

【０００２】

【発明の背景】撮像装置で撮像した画像を伝送して表示
装置に表示しようとした場合、その表示をリアルタイム
で行おうとすると、高速通信可能な伝送路を使用する必
要がある。しかし、伝送速度は有線の場合でも限度があ
りコスト等や送受信の機能等を考慮すると、高解像度の
カラー画像を伝送するのは困難なことがある。まして
や、画像情報の伝送に無線通信路（赤外線通信等）を使
用する場合には、伝送速度が遅いため、撮像したカラー
画像をリアルタイムで伝送することはできない。その結
果、一定時間ごとに静止画像を伝送するようにしてリア
ルタイムの伝送はできなくなる。

【０００３】その結果、例えば伝送中に撮像装置の向き
を変えると、その移動速度が１枚の画像を伝送する時間
よりも早くなると、あるタイミングで撮像した画像を表
示したときには、すでにその表示した画像が撮像装置の
撮像領域外になることがあり、そうすると１フレーム前
に表示された表示画面から急にそれまで撮像していた対
象物が消えてしまうことになる。よって、見づらくて違
和感が生じるのみならず、その撮像した画像に基づいて
所定の処理（記憶，検索など）をしようとした場合に
は、処理対象の対象物を所定の大きさ・位置にする処理
が煩雑となる。

【０００４】一方、画像データを効率よく伝送する技術
としてＪＰＥＧやＭＰＥＧと称されるように画像を圧縮
して伝送する技術が開発されている。しかし、係る方式
をとると、伝送されてきたデータは圧縮されているの
で、そのままでは表示することができず、必ず復元する
処理が必要となる。従って、画像を圧縮する処理と、圧
縮されたデータを復元する処理が対で必要となり、係る
処理をするための処理装置を小型・安価に実現すること
が困難で、携帯性を必要とする装置に実装することはで
きない。

【０００５】本発明は、上記した背景に鑑みてなされた
もので、その目的とするところは、上記した問題を解決
し、撮像した画像等を少ないデータ量でもって表示装置
に伝送しても表示装置では画像を簡単に識別・認識等す
ることができ、また撮像した画像をリアルタイムで伝送
することができ、しかも、所定の処理（画像記憶，画像
検索等）をする場合には詳細な画像（カラー画像等）に
基づいて精度よく行える表示装置及び画像処理システム
を提供することにある。

【０００６】

【課題を解決するための手段】上記した目的を達成する
ために、本発明に係る表示装置では、少ない情報量で画
像を表現する非詳細モードで伝送されてきた非詳細画像
と、その非詳細画像中の所定領域について詳細モードで
伝送されてきた詳細画像を受け取り、それら両画像を合
成した合成画像をモニター表示するように構成した（請
求項１）。

【０００７】そして、前記非詳細モードの非詳細画像と
詳細モードの詳細画像は、各種の構成をとることができ
るが、例えば前記非詳細画像は白黒画像であり、前記詳
細画像はカラー画像とすることができる（請求項２）。
ここで白黒画像は、濃淡画像でも二値画像でもよい。ま
た、これに限ることはなく、例えば解像度を異ならせる
ようにしてもよく（解像度が高い方が詳細モード）、或
いは詳細モードは通常のカラー画像で非詳細画像は例え
ばＲＧＢデータの内の任意の１または２の色データの解
像度を低下させるようにするなどの他、各種の方式をと
ることができる。

【０００８】上記のように構成すると、非詳細モードで
伝送することにより、ある画像を表わすデータ量が少な
くて済むので、高速に伝送できる。つまり、無線通信路
などの伝送速度の遅い伝送路を利用した場合であっても
リアルタイムで画像の伝送が可能となる。また、非詳細
画像の一部に詳細モードを合成して表示することによ
り、非詳細画像に基づいて形状等を把握し、詳細画像で
細部の状態を特定できる。つまり、撮像した画像等を少
ないデータ量でもって表示装置に伝送しても表示装置で
は画像を簡単に識別・認識等することができる。そし
て、請求項２のように構成すると、詳細画像により色を
特定できるので、表示されている対象物をより認識等し
やすくなる。

【０００９】一方、本発明に係る画像処理システムで
は、撮像装置（実施の形態では、カメラ端末２０に対
応）と表示装置（実施の形態では本体１０に対応）が分
離可能となり、分離状態の前記撮像装置で撮像した画像
データは、伝送速度の低い伝送路を介して前記表示装置
に伝送されそこにおいて表示されるようにしたシステム
を前提とし、前記表示装置が、請求項１または２に記載
の表示装置としたり（請求項３）、前記撮像装置は、前
記撮像した画像データを少ない情報量で画像を表現する
非詳細モードに変換して得た非詳細画像を前記表示装置
に伝送するとともに、前記表示装置で係る非詳細画像を
表示し、所定のタイミングで前記撮像装置から前記表示
装置に対して、その撮像装置で撮像した画像データを詳
細モードで伝送するとともに、前記表示装置では取得し
た前記詳細画像に対し所定の処理（例えば表示したり、
記憶手段に記憶させたり、請求項５のように検索に使用
する等）を行うように構成したりする（請求項４）こと
ができる。

【００１０】また、上記した請求項３，４を前提とし、
画像データベースをさらに備え、前記表示装置に表示し
た非詳細画像で特定される画像に対応する入力画像に基
づいて前記画像データベースに対し検索を行う機能を備
えるようにすることもできる（請求項５）。

【００１１】ここで、伝送速度が遅い伝送路とは、実施
の形態で使用した赤外線通信などの無線通信はもちろん
のこと、有線であっても伝送速度が遅い場合には本発明
に含む。そして、伝送速度が遅いとは、撮像した画像デ
ータをそのまま伝送した場合に、情報量が多すぎてリア
ルタイムでの伝送ができない（間欠表示になる）程度の
遅さをいう。

【００１２】上記のように構成すると、非詳細モードで
伝送することにより、撮像した画像を構成・表現するデ
ータ量が少なくて済むので、撮像から伝送をリアルタイ
ムで行える。その結果、例えば撮像装置を移動しながら
対象物を撮像した場合に、表示装置上に表示される撮像
している対象物も撮像装置の移動に追従して移動するの
で急に表示画面から無くなる（表示領域以外に位置す
る）こともなく、確実に対象物をとらえることができ
る。さらに、請求項３のようにその一部を詳細画像で表
示するようにすると、より確実に対象物を特定できる。

【００１３】さらに、上記のように非詳細画像で表示さ
れた画像に基づいて処理対象物を特定した後は、前記詳
細画像を伝送し、それに基づいて表示したり、記憶手段
に記憶させたり、画像検索（請求項５）に使用する等の
所定の処理を行えば、係る処理は精度よく行える。つま
り、高速伝送を行いつつ、最終的な処理は高精度に行え
るようになる。

【００１４】

【発明の実施の形態】図１は本発明の画像処理システム
の一実施の形態を示している。同図に示すように、本形
態では、表示部１１を備えた本体１０と、撮像手段とし
てのカメラ端末２０とが分離可能となっており、分離し
た状態では、カメラ端末２０で撮像した画像データは、
無線通信を利用して本体１０側に伝送し、表示部１１に
て表示される。そして、本体１０の表示部１１に、撮像
した画像を表示するようになっている。もちろん、カメ
ラ端末２０を本体１０に機械的に接続して一体化するこ
ともでき、係る場合には、その接続部分で結線されて有
線により画像が伝送できるようにしている。

【００１５】具体的な構成は以下の通りである。まず、
カメラ端末２０は、複数のレンズ群と絞り並びにＣＣＤ
から構成されるＣＣＤカメラ部２１を有し、そのＣＣＤ
カメラ部２１で撮像して得られた画像データ（カラー画
像データ）は、制御部２２を介して画像メモリ２３に一
時的に格納する。そして、制御部２２は、上記のような
画像データの転送・伝送や、各部に対する制御を行うよ
うになっている。

【００１６】また、画像メモリ２３上の画像データに対
して、画像処理部２４により各種の画像処理を行えるよ
うになっている。この画像処理は、カラー画像の全部ま
たは一部を白黒画像（濃淡画像）に変換したり、さらに
そのように変換した白黒画像に対して、一部の領域にカ
ラー画像を合成したりする処理などがある。

【００１７】より具体的には、本形態では、ＣＣＤカメ
ラ部２１で撮像して画像メモリ２２に一時格納される画
像は、高解像度のカラー画像データであり、係る高解像
度の画像データを画像処理部２４により低解像度の白黒
濃淡画像データに変換するようにしている。このように
カラー画像から白黒の濃淡値に変換することにより、１
枚の画像を表現するために必要なデータ量は可及的に減
少され、しかも、本形態では解像度も低解像度に変換す
るためさらにデータ量は削減される。

【００１８】そして、そのようにして変換された画像デ
ータは、送信部２５を介して赤外線通信により本体１０
に伝送するようにしている。また、この送信部２５は、
画像メモリ２３に格納されたカラー画像データも送信可
能となっている。

【００１９】さらに、カメラ端末２０には、カメラ部電
源２６を備えており、カメラ端末２０を構成する機器が
動作するための電源を供給するようになっている。より
具体的には、カメラ端末２０を本体１０から分離する
と、自動的にカメラ部電源２６から電力供給がなされ、
カメラ端末２０での撮像が可能となる。もちろん、分離
する前には本体１０側から電力供給がなされるようにな
っている。

【００２０】さらに、カメラ端末２０には、その外表面
に露出状態でシャッターボタン２６とズームボタン２７
が取り付けられている。そして、ズームボタン２７を操
作することにより、ＣＣＤカメラ部２１に組み込まれた
レンズが動作して撮像する倍率を変更・調整されるよう
にしている。そして、シャッターボタン２６を押下する
と、その時に撮像したカラー画像データを本体２０側に
伝送するようになっている。

【００２１】一方、本体１０側には、受信部１２を有
し、カメラ端末２０から送られてくる画像データを受け
取り、本体内の所定の処理部に与え、表示部１１に表示
するようにしている。

【００２２】次に本実施の形態に用いられるカメラ端末
２０の動作を図２に示すフローチャートに基づいて説明
する。この動作は、制御部２２により実行されるため、
係る動作を行わさせるのが制御部２２の機能となる。

【００２３】まず、カメラ端末２０を本体１０から分離
して、対象の撮影を行う（ＳＴ１）。すなわち、分離す
ることによってカメラ部電源２６からカメラ部各部に電
力が供給され、撮影が可能となる。そして、カメラ端末
２０を対象物Ａに向けてＣＣＤカメラ部２１にてその対
象物Ａを撮像し、カラー画像として取り込む（ＳＴ
２）。この時、カメラ端末２０は本体１０から分離され
ているので、本体１０の姿勢とは関係なく任意の方向を
向けることができるため、対象物Ａに対して例えば正面
等の所望の方向から撮像することができる。しかも、カ
メラ端末２０で撮像したデータは、赤外線通信により本
体１０に送られるので、本体１０は例えば表示部１１を
使用者と製袋させた状態にしておくことが可能で、カメ
ラ端末２０の方向に関係なく伝送されてきた画像データ
を容易に見て確認できる。しかも、本形態では画像デー
タの電送を赤外線通信などの無線で行っているので、本
体１０とカメラ端末２０との間に接続コードなどもな
く、各装置１０，２０の向きの自由度が遙かに向上す
る。

【００２４】そして、係る取り込んだカラー画像データ
（高解像度）はＣＣＤカメラ部２１から出力されるの
で、それを画像メモリ２３に一時的に記憶する（ＳＴ
３）。次いで、画像メモリ２３に記憶した画像データを
画像処理部２４によって、解像度の低い白黒画像データ
に変換し（ＳＴ４）、その後、送信部２５を用いて本体
１０の受信部１２に送る。伝送には赤外線通信プロトコ
ルを用いた赤外線通信を行う。

【００２５】そして、上記したステップ１〜５に示すＣ
ＣＤカメラ部２１が対象を撮影（カラー画像）してか
ら、濃淡の白黒画像に変換後本体１０側に伝送する処理
は、シャッターボタン２６が押下されるまで繰り返し行
われる。この時、使用者は例えばカメラ端末２０の向き
などを変更したり、ズームボタン２７を操作して、撮像
エリアに所望の大きさ・向きで対象物Ａが位置するよう
に調整する。

【００２６】一方、使用者は所望の状態で対象物Ａは、
表示部１１に表示される画像を見ながらカメラ位置及び
ズームボタン２７によりズーム倍率を調整し、適当なタ
イミングでカメラ端末２０に設けたシャッターボタン２
６を押す。

【００２７】シャッターボタン２６が押されると、ＣＣ
Ｄカメラ部２１による画像の取り込みは中断し、画像メ
モリ上にある画像データを更新せずに保持する（ＳＴ
６，ＳＴ７）。それにともない画像処理部２４における
白黒画像への変換も停止し、画像メモリ２３上の画像デ
ータを送信部２５によって送信・伝送する。つまり、高
解像度のカラー画像データを本体１０に向けて送信する
（ＳＴ８）。

【００２８】また、本体側の処理は、図３に示すフロー
チャートのように機能する。すなわち、受信部１２にて
カメラ端末１０から伝送されてくる画像データを受信し
たならば（ＳＴ２１）、それが白黒画像データならば、
その受信した白黒画像を表示部１１に表示し、次の画像
データの取得に備える（ＳＴ２２，２３）。一方、受信
した画像データがカラー画像の場合には、係るカラー画
像を表示部２１に表示し（ＳＴ２４）、さらに所定の処
理を行う（ＳＴ２４）。

【００２９】この所定の処理とは、例えば受信した高解
像度のカラー画像データを、例えば所定の記憶媒体に格
納することがある（特に、画像処理システムとしてデジ
タルスチールカメラ等に適用した場合）。また、本体内
に画像検索機能を組み込んでいる場合には、その取得し
たカラー画像に基づいて本体１０内の画像データベース
にアクセスし、対応する情報を検索したならば、その情
報を表示部１１に表示するような処理である。

【００３０】後者の場合には、より具体的には、画像デ
ータベースとしては、例えば図鑑などの情報が格納され
ているものとすると、対象物Ａが動植物とした場合に、
その動植物の名前などを知りたい場合には、カメラ端末
２０にてその動植物を撮像し、撮像した動植物の画像と
一致するものをデータベースから検索し、その名前やそ
れに関連する情報を表示部１１に表示するようなシステ
ムである。そして、係る処理を実現するための本体１０
の内部構造としては、例えば図４に示すような構造をと
ることができる。

【００３１】すなわち、受信部１２を介してカラー画像
データが送られてくると、その画像データを制御部１３
を介して画像メモリ１４に格納する。また、この時、こ
の画像メモリ１４に格納された画像データを表示部１１
に表示するようにしてもよい。一方、データベース（Ｄ
／Ｂ）１５には、図鑑情報として、動植物の画像と、個
々の動植物についての説明文章が関連づけられて登録さ
れている。さらに、与えられた画像データがどの動植物
と一致するかを検索するために必要な特徴量データ（基
準パターンなど）も併せて格納されている。そこで、制
御部１３は画像メモリ１４に格納された画像データをマ
ッチング部１６に送り、マッチング部１６では与えられ
た画像データに基づいて（必要に応じて所定部分の画像
を切り出したり、各種の特徴量抽出を行うことはある）
データベース１５にアクセスし、その画像と類似度の高
いものがあるか否かを検索する。そして、最も高いもの
を該当データと判断し、制御部１３にその検出結果（該
当データの有無及び、有る場合には検出したデータを特
定する情報）を制御部１３に送る。すると制御部１３で
は、該当するデータ（図鑑情報：絵，説明文）を読み出
すとともに表示部１１に出力表示する。また、該当する
ものがない場合には、その旨表示する。なお、マッチン
グ部１６におけるマッチング処理は、通常の画像認識ア
ルゴリズムなど従来公知の各種のものを用いることがで
きるので、詳細な説明を省略する。

【００３２】本形態では、シャッターボタン２６が押下
されるまでの間は、低解像度の白黒画像を伝送している
ため、画像１枚当たりのデータ量は極めて少なくてす
み、伝送時間を短縮することができる。しかも、画像デ
ータを受け取った本体１０側では、受信した白黒画像を
そのまま（圧縮された画像の復元処理などすることな
く）表示するだけであるので、処理は簡単である。

【００３３】その結果、リアルタイムでの画像の伝送が
実現でき、例えばカメラ端末２０の向きを変えていった
場合には、表示部１１に表示される画像もカメラ端末２
０の移動に追従して移動する。よって、現在カメラ端末
２０で撮像されている画像がそのまま表示部１１に表示
されるため、シャッターボタン２６を押下するタイミン
グをとりやすくなる。

【００３４】また、そのように白黒画像データであって
も、最終的に画像を取り込むエリアを特定するために
は、その形状や大きさなどがわかれば足りる。つまり、
使用者はこの白黒画像を確認することでカメラ部がどの
位置を撮影しているかを知ることができ、表示する画像
は低解像度の白黒画像であっても、フレーム内の対象物
の位置を確認する程度では支障はない。

【００３５】なお上記した実施の形態では、カメラ端末
２０から本体１０への画像データの伝送は赤外線通信を
使用しているが、電波などの他の通信手段を使用しても
よい。また、無線ではなく有線で接続し画像データを伝
送してもよい。この場合は線が繋がっていることでカメ
ラ端末の自由度が少なくなるが、情報伝送速度の点で無
線方式に比べて非常に有利である。

【００３６】また、情報伝送速度に余裕があれば、カメ
ラ部から本体に低解像度の白黒画像でなく、高解像度の
白黒画像や低解像度のカラー画像のように、最終的に使
用（記録・検索等）する高解像度のカラー画像データよ
りも情報量の少ないデータ形式で伝送するようにすれば
よい。

【００３７】なお、本形態では、対象物が所定のエリア
に存在しているか否かを知ることができればよいので、
例えば、画像処理部２４における画像処理を白黒の濃淡
画像に変換するのではなく、対象物Ａと背景とを分離す
るしきい値を求め、２値化処理することにより、白黒２
値画像に変換するようにしてもよい。

【００３８】また、本実施の形態では低解像度の白黒画
像を表示するため、シャッターボタン２６を押すまで対
象の色に関する情報を得ることができないが、例えば図
５に示すように、対象物Ａのうち比較的高い確率で対象
があると思われる中央部Ａ′のみ色情報を伝達して表示
するようにしてもよい。

【００３９】また、このように色情報を伝達するに際
し、一定の領域（複数画素分）の色情報を取得し、それ
を転送してもよいが、伝送速度に係る複数画素分のカラ
ー情報を伝送するだけの余裕がない場合には、例えば図
６に示すように所定の１画素分（ａ１）のカラー情報を
伝送し、表示部１１で表示する際に、対象画素ａ１とそ
の周囲の複数画素ａ２の領域に対して係るカラーで表示
するようにしてもよい。このようにすると、送るデータ
は１画素分のカラー情報が増えるだけであるので、リア
ルタイムでの伝送が確保できる。この場合には、本体側
で画像の大部分を構成する白黒画像と、そのうちの一部
（本形態では中央）のカラー画像を合成することにな
る。

【００４０】そして、係る１画素分のカラー情報として
は、例えば予め定めた座標上に位置する画素のカラー情
報をそのまま伝送するようにしてもよく、或いは、係る
所定の座標に存在する対象画素ａ１と、周囲の画素（例
えば上下左右に２画素分で斜め方向に１画素分）ａ２の
ＲＧＢの平均を求め、係る平均値を対象画素ａ１の色情
報と決定するようにしてもよく、種々の方式をとること
ができる。そして、係る色情報の抽出も、画像処理部２
４で行うようになる。

【００４１】なお、色情報を表示する図形は、図示した
ように円に限ることはなく、四角形や三角形でもよく、
どんな形状でもよい。また、表示する大きさや数に関し
ても全体の画像を確認するために支障なければどのよう
な組み合わせを用いても構わない。つまり、図７に示す
ように、複数箇所Ａ′をカラー画像で表示するようにし
てもよい。そして、その場合であっても、例えば図６を
用いて説明したように、各領域の中央の１画素分のカラ
ー情報をそれぞれ伝送し、本体側でそれを拡大・膨張し
た領域に設定して合成するようにすれば、カラー表示す
る面積ほどデータ量は増加しない。

【００４２】

【発明の効果】以上のように、本発明に係る表示装置及
び画像処理システムでは、小型のカメラ端末を本体から
分離して使用することで、より自由度の高い撮影が可能
となる。そして、その場合であっても本体とのデータの
やり取りを工夫することで、伝送速度が遅い伝送路であ
ってもリアルタイムで表示することが可能となり、シャ
ッターチャンスを逃さずに撮影等が行える。

【図面の簡単な説明】

【図１】本発明に係る画像処理システムの好適な一実施
の形態を示す図である。

【図２】カメラ端末側の動作・機能を説明するフローチ
ャートである。

【図３】本体側の動作・機能を説明するフローチャート
である。

【図４】画像検索機能を付加した実施の形態を示す図で
ある。

【図５】画像の一部をカラー画像で送る実施の形態を説
明する図である。

【図６】画像の一部をカラー画像で送る実施の形態を説
明する図である。

【図７】画像の一部をカラー画像で送る実施の形態を説
明する図である。

【符号の説明】

１０本体１１表示部２０カメラ端末Ａ対象物Ａ′ カラーで表示する領域（詳細画像）

Claims

【特許請求の範囲】

【請求項１】少ない情報量で画像を表現する非詳細モ
ードで伝送されてきた非詳細画像と、その非詳細画像中
の所定領域について詳細モードで伝送されてきた詳細画
像を受け取り、それら両画像を合成した合成画像をモニター表示するこ
とを特徴とする表示装置。
【請求項２】前記非詳細画像は白黒画像であり、前記
詳細画像はカラー画像であることを特徴とする請求項１
に記載の表示装置。
【請求項３】撮像装置と表示装置が分離可能となり、
分離状態の前記撮像装置で撮像した画像データは、伝送
速度の低い伝送路を介して前記表示装置に伝送されそこ
において表示されるようにしたシステムであって、前記表示装置が、請求項１または２に記載の表示装置で
あることを特徴とする画像処理システム。
【請求項４】撮像装置と表示装置が分離可能となり、
分離状態の前記撮像装置で撮像した画像データは、伝送
速度の低い伝送路を介して前記表示装置に伝送されそこ
において表示されるようにしたシステムであって、前記撮像装置は、前記撮像した画像データを少ない情報
量で画像を表現する非詳細モードに変換して得た非詳細
画像を前記表示装置に伝送するとともに、前記表示装置
で係る非詳細画像を表示し、所定のタイミングで前記撮像装置から前記表示装置に対
して、その撮像装置で撮像した画像データを詳細モード
で伝送するとともに、前記表示装置では取得した前記詳
細画像に対し所定の処理を行うようにしたことを特徴と
する画像処理システム。
【請求項５】画像データベースをさらに備え、前記表
示装置に表示した非詳細画像で特定される画像に対応す
る入力画像に基づいて前記画像データベースに対し検索
を行う機能を備えたことを特徴とする請求項３または４
に記載の画像処理システム。