JPH11218410A

JPH11218410A - レンジファインダ装置及び画像伝送装置

Info

Publication number: JPH11218410A
Application number: JP10035468A
Authority: JP
Inventors: Takeo Azuma; 健夫吾妻; Kazuo Nobori; 一生登; Kenya Uomori; 謙也魚森; Atsushi Morimura; 森村　　淳
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1998-02-02
Filing date: 1998-02-02
Publication date: 1999-08-10
Anticipated expiration: 2018-02-02
Also published as: JP3732643B2

Abstract

(57)【要約】【課題】計測可能距離を減少させずに水平方向の
計測点数を増加させることができ、ビデオレートで動作
すること。【解決手段】各カメラの光軸が基準点に集中するよう
に複数のカメラを配置し、各カメラによる距離データを
仮想的なカメラ位置における距離データに視点変換処理
した後に距離データを統合することより、基準点付近で
距離データを密に計測する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体の３次元形状
の計測を行うレンジファインダ装置及びこれにより得ら
れた画像データを伝送する画像伝送装置に関する。

【０００２】

【従来の技術】投影光から三角測量を用いて観察画像を
得る装置としては、例えば、図１５に示すようなものが
提案されている。図１５において、光源２０１と、光源
２０１の前方に配置され、複数のスリットを有するスリ
ット板２０２と、スリット光２０３が照射される計測物
体２０４と、計測物体２０４による投射光の反射光を分
割するハーフミラー２０５と、反射光を撮像する２０６
ａ，２０６ｂと、投射された画像から３次元座標を求め
る座標値計算手段２０７とから主に構成されている。以
下に上記構成の装置の動作について説明する。

【０００３】光源２０１からの光は、スリット板２０２
を通過することにより複数のスリット光２０３となり、
計測物体２０４に投射される。スリット板２０２は、図
示しない駆動手段によって移動するようになっている。
なお、移動の詳細については後述する。計測物体２０４
からの投影光の反射光は、ハーフミラー２０５により２
つに分割される。ハーフミラー２０５で分割された計測
物体２０４からの反射光は、カメラ２０６ａ，２０６ｂ
により撮像される。カメラ２０６ａ，２０６ｂによって
撮像された画像からスリット光の投射パタンは、座標値
変換手段２０７で検出され、３次元座標値が計算され
る。

【０００４】ここで、まず、理解を容易にするために、
単一のスリット光による３次元形状計測の原理について
説明する。図１６は単一のスリット光による３次元形状
計測の原理の説明図である。図１６（ａ）において、光
源４０１からの光は、スリット板４０２によってスリッ
ト光４０３となり、対象物体４０４に投影される。該ス
リット光の対象物体からの反射光をカメラ４０５で撮像
することにより、図１６（ｂ）に示すスリットパタンが
得られる。図１６（ａ），（ｃ）において、カメラ４０
５の光学中心を原点Ｏとし、Ｚ軸とスリット光のなす角
をφとし、カメラからの水平及び垂直方向の角度をそれ
ぞれθ，ζとすると、計測対象の３次元座標値は以下の
式（１）によって計算できる。

【０００５】

【数１】Ｘ＝Ｚｔａｎθ＝Ｌｔａｎθ／（ｔａｎθ＋ｔａｎφ）Ｙ＝Ｚｔａｎζ＝ｄｔａｎζ／（ｔａｎθ＋ｔａｎφ）Ｚ＝ｄ／（ｔａｎθ＋ｔａｎφ） …（１）

【０００６】式（１）において、φはスリットと光源の
位置から決まる。また、θ及びζは、画像中の画素の座
標値（ｘ，ｙ）、撮像素子の画素数（縦ｎh，横ｎw）及
びサイズ（縦Ｈ，横Ｗ）、並びにカメラの光学系の焦点
距離Ｆから、以下の式（２）によって計算できる。

【０００７】

【数２】 θ＝ｔａｎ-1（ｘＷ／（ｎwＦ）） ζ＝ｔａｎ-1（ｙＨ／（ｎhＦ）） …（２）

【０００８】単一のスリット光により３次元形状計測を
行う場合、１回の撮像で得られる３次元座標値は水平方
向に１点である。一方、垂直方向には、走査線の数だけ
得られる。

【０００９】次に、複数のスリット光による３次元形状
計測の原理を説明する。図１７は複数のスリット光によ
る３次元形状計測の原理の説明図である。図１７（ａ）
において、光源２０１からの光がスリット板２０２を通
過することによりスリット光となり、そのスリット光が
計測物体２０４に照射され、その反射光がカメラ２０６
で撮像される。この場合、スリット板２０２を光路に対
して垂直方向に移動させる。

【００１０】複数のスリット光で計測を行う場合には、
図１７（ｂ）に示すように、画像上で各スリット光が撮
像されるべき範囲（存在範囲）を制限して、それぞれの
スリット光を（すなわち光源からの角度別に）判別す
る。図１７（ａ）では、上記制限は、カメラ２０６から
見た角度の範囲を各スリット光について限定することに
なる。なお、各スリット光についての３次元座標値の計
算は、単一のスリット光の場合と同一である。

【００１１】複数のスリットを用いた３次元形状計測で
は、１回の撮像において水平方向に得られる３次元座標
値はスリット数と同じになる。したがって、水平方向に
３次元座標値を多数計測するためには、スリットを駆動
してスリット光を偏向し、計測を行う。

【００１２】図１８は、スリット板の駆動と２台のカメ
ラによる撮像の様子を示す説明図である。図１８（ａ）
において、光源２０１からの光がスリット板２０２を経
てスリット光となり、計測物体２０４で反射して、ハー
フミラー２０５で分割され、カメラ２０６ａ，２０６ｂ
で撮像される。この場合、図１８（ｂ）及び（ｃ）にそ
れぞれ示すように、カメラ２０６ａではスリット光３
Ａ，３Ｂ，３Ｃが撮像され、カメラ２０６ｂでは、スリ
ット光３ａ，３ｂ，３ｃが撮像される。

【００１３】図１８では、説明を簡単にするためにスリ
ット数を３としている。まず、図示しない駆動部により
スリット板２０２を駆動することにより、スリット光を
走査する。カメラ２０６ａは、スリット光が計測物体の
Ａ，Ｂ，Ｃの点に当たっている時に反射光を撮像し、カ
メラ２０６ｂはスリット光が計測物体のａ，ｂ，ｃの点
に当たっている時に反射光を撮像する。図１８（ｂ），
（ｃ）において、各スリット像の存在範囲は、スリット
光の移動（光源に対する角度の変化量）に応じて移動さ
せる。なお、存在範囲の移動量は、スリットの光源に対
する角度の変化量とほぼ同一の角度に相当する画素数と
すればよい。

【００１４】図１９は、スリットの駆動とカメラ６ａ、
カメラ６ｂによる撮像のタイミング図である。スリット
の駆動は、１／１２０秒ずつカメラ２０６ａ用の位置と
カメラ２０６ｂ用の位置となるように行う。カメラ２０
６ａ、２０６ｂは、それぞれスリット板が対応する位置
にある時にスリット像を撮像する。撮像時間の制御は電
子シャッタを用いることにより制御できる。

【００１５】図１５ににおける座標値計算部２０７は、
カメラ２０６ａ、２０６ｂが撮像した画像からスリット
像を検出し、検出した画素における３次元座標値を計算
する。スリット像の検出は、各スリット光の存在範囲内
で、各ラインにおけるピーク画素を検出して行う。スリ
ット像の３次元座標は、上記式（１），式（２）を計算
して得ることができる。式（１），式（２）の計算は、
３角関数の値を予めテーブルとして記憶しておくことに
より高速化できる。

【００１６】次いで、座標値計算部２０７は、カメラ２
０６ａ，２０６ｂについてそれぞれ計算した３次元座標
値を統合し、最終的な３次元形状の計測結果を得る。な
お、スリット像の検出、３次元座標値の計算、及び統合
の各処理は、大小比較やテーブル参照等の簡単な演算で
実現でき、ビデオレートでの計算が十分に可能である。

【００１７】また、ここでは説明を簡単にするために、
スリット数３、カメラ２台での構成について説明した
が、スリット数とカメラ台数を増やすことにより水平方
向の解像度（計測点数）を増加させることができる。例
えば、スリット数を１０、カメラ台数８とし、ＮＴＳＣ
用ＣＣＤ素子を用いたカメラで撮像すると、水平８０点
の計測を奥行き７２階調で行うことができる。

【００１８】ここで、奥行きの階調は、存在範囲の水平
画素数によって決まる。例えば、ＣＣＤの水平画素数を
７２０とすると、存在範囲の水平画素数は７２０／１０
＝７２となる。図２０は、カメラ台数を８としたときの
スリット駆動と撮像のタイミング図である。

【００１９】このように、スリット光による３次元形状
計測を、奥行きの計測可能範囲を限定することにより複
数のスリット光について同時に行い、また、スリット光
を走査してこれを複数のカメラで時分割で撮像すること
により、実時間で解像度の高い３次元距離計測を行うこ
とができる。

【００２０】

【発明が解決しようとする課題】しかしながら、上記構
成を有する装置では、ハーフミラーによって光を複数の
カメラに分配しているため、使用するカメラ台数が多く
なると、各カメラについての光量が減少してしまう。そ
の結果、水平方向の計測点数を増加させるために、使用
するカメラ台数を増やすと、ライン光の検出できる距離
（すなわち、計測可能な距離）が減少してしまうという
問題がある。

【００２１】本発明はかかる点に鑑みてなされたもので
あり、計測可能距離を減少させずに水平方向の計測点数
を増加させることができ、ビデオレートで動作するレン
ジファインダ装置及びそれを用いた画像伝送装置を提供
することを目的とする。

【００２２】

【課題を解決するための手段】上記課題を解決するため
に、本発明は以下の手段を講じた。請求項１に記載のレ
ンジファインダ装置に関する発明は、複数のライン光を
発する光源と、前記複数のライン光を走査する走査手段
と、前記複数のライン光が照射された被写体を撮像する
複数のカメラと、前記複数のカメラの露光タイミングを
制御するタイミング制御手段と、撮像された画像から前
記被写体に投射されたライン光を検出するライン検出手
段と、検出されたライン光の位置から距離を計算する距
離計算手段と、計算された距離データを統合する距離デ
ータ統合手段と、を具備する構成を採る。

【００２３】この構成によれば、複数台のカメラを用い
て複数のライン光について距離計測を行うので、計測可
能距離を減少させずに水平方向の計測点数を増加させた
距離計測を行うことができ、ビデオレートで動作するこ
とができる。

【００２４】請求項２に記載の発明は、請求項１に記載
のレンジファインダ装置において、複数のカメラが、各
カメラの光軸が基準となる点に集中するように配置され
ている構成を採る。

【００２５】この構成によれば、カメラの光軸が一定距
離の基準点（輻輳点）で交差するので、輻輳点付近で密
度の高い距離計測が可能となる。

【００２６】請求項３に記載の発明は、請求項１又は請
求項２に記載のレンジファインダ装置において、距離デ
ータ統合手段が、距離データについて、各カメラのレン
ズ中心を原点とする座標系からワールド座標系に変換処
理を行った後に、前記距離データを統合する構成を採
る。これにより、この構成によれば、各カメラの視点の
ずれを修正することができる。

【００２７】請求項４に記載の発明は、請求項１乃至請
求項３のいずれかに記載のレンジファインダ装置におい
て、ライン検出手段が、被写体の凹凸に起因するオクル
ージョンを防止するためにライン光の隠れ検出を行い、
距離データ統合手段は、前記隠れ検出により検出された
ライン光を距離データの統合に用いない構成を採る。

【００２８】この構成によれば、被写体の凹凸に起因す
るオクルージョンを除去した状態で、視点の異なるカメ
ラによる距離データを統合することができる。

【００２９】請求項５に記載の発明は、請求項１乃至請
求項４のいずれかに記載のレンジファインダ装置におい
て、ライン光検出手段が、各ライン光について、規定範
囲の画像中でしきい値以上の輝度に基づいてライン光の
位置を特定する構成を採る。

【００３０】請求項５に記載のレンジファインダ装置に
おいては、請求項６に記載の発明に示すように、ライン
光検出手段が、規定範囲の画像中の輝度分布におけるし
きい値以上の輝度値の総和を求め、輝度分布において前
記しきい値以上の輝度値の累積値が前記輝度値の総和の
２分の１を越える点をライン光位置として検出すること
が好ましい。

【００３１】上記のライン光検出により、ノイズやライ
ン光の白飛びの影響を受けずに、安定してライン光位置
を精度良く検出することができる。

【００３２】請求項７に記載の発明は、請求項１乃至請
求項６のいずれかに記載のレンジファインダ装置におい
て、距離計算手段が、基準面に対するライン光の画像上
での位置と計測時のライン光の画像上での位置との差か
ら視差を求め、この視差を用いて距離を計算する構成を
採る。

【００３３】この構成によれば、図形的な相似関係によ
り視差を距離差に変換して距離を計算する、すなわち基
準面走査時のライン光位置との間の水平視差から被写体
の距離を計算するので、より精度の良い距離計算を行う
ことができる。

【００３４】請求項８に記載の発明は、請求項１乃至請
求項７のいずれかに記載のレンジファインダ装置におい
て、統合された距離データ間の距離を補間計算する補間
手段を具備する構成を採る。これにより、距離データを
より密に計測することが可能となる。

【００３５】請求項１乃至請求項８のいずれかに記載の
レンジファインダ装置においては、請求項９に記載の発
明のように、距離データ統合手段で統合された距離デー
タに基づく奥行き画像とテキスチャ画像を併せて撮像す
ることが好ましい。

【００３６】また、請求項１１に記載の画像伝送装置に
関する発明は、請求項１乃至請求項９のいずれかに記載
のレンズファインダ装置と、このレンズファインダ装置
により得られた画像データを送信する送信手段と、を具
備する構成を採る。これにより、精度の良いビデオレー
トの奥行き画像及びカラー画像を伝送することができ
る。

【００３７】請求項１０に記載の画像伝送装置に関する
発明は、距離データに基づく奥行き画像とカラー画像と
を撮影するレンジファインダ装置と、距離データに基づ
く奥行き画像を複数の領域に分割し、この複数の領域に
対応するカラー画像を切換える画像切換え手段と、前記
複数の領域のそれぞれの領域における距離データ及びカ
ラー画像データを符号化する複数の符号化手段と、符号
化したデータを送信する送信手段と、を具備し、前記複
数の符号化手段に個別にパラメータを設定し、特定の領
域に優先的に情報量を割り当てる構成を採る。

【００３８】請求項１２に記載の画像伝送方法に関する
発明は、距離データに基づく奥行き画像とカラー画像と
を撮影する工程と、距離データに基づく画像を複数の領
域に分割する工程と、前記複数の領域のそれぞれの領域
における距離データ及びカラー画像データを符号化する
工程と、前記複数の符号化手段に個別にパラメータを設
定し、特定の領域に優先的に情報量を割り当てる工程
と、符号化したデータを送信する工程と、を具備する構
成を採る。

【００３９】これらの構成によれば、送信側で各圧縮符
号化部の符号化パラメータをそれぞれ個別に設定して、
画像内の所望の領域や、予め設定した距離の領域に優先
的に情報量を割り当てる。これにより、伝送路の状況に
応じて送信側で画質を制御したり、画像内で重要な領域
の画質を良くする等の制御をすることが可能となる。

【００４０】

【発明の実施の形態】本発明の骨子は、複数のライン光
を用い、光軸が基準点に集中した複数のカメラでライン
光をタイミングをずらしながら撮像することにより、計
測可能距離を減少させずに水平方向の計測点数を増加さ
せるものである。

【００４１】以下、本発明の実施の形態について添付図
面を参照して詳細に説明する。（第１の実施の形態）図１は、本発明の第１の実施の形
態に係るレンジファインダ装置の構成を示す概略図であ
る。このレンジファインダ装置は、複数本のライン光を
発生するレーザー光源１と、レーザー光源１を駆動する
レーザー駆動部２と、レーザー光源１からのレーザー光
を光学系（図示せず）でライン化したライン光を被写体
１３に対して走査する回転ミラー３と、この回転ミラー
３の向きを変える回転ミラー駆動部４と、ライン光を投
射した被写体を撮影する赤外カメラ５ａ〜５ｈと、テキ
スチャ画像を撮影するカラーカメラ６と、撮影された画
像からライン光を検出するライン光検出部７ａ〜７ｈ
と、検出されたライン光から距離を算出する距離計算部
８ａ〜８ｈと、計算された距離を統合する距離統合部９
と、レーザー駆動や回転ミラー駆動のタイミングをとる
ための同期制御部１０と、全体の処理を制御する制御部
１１と、カラーカメラの撮影のタイミングをずらす遅延
部１２と、から主に構成されている。

【００４２】次に、上記構成を有するレンジファインダ
装置の動作について説明する。レーザー光源１から出射
されたレーザ光は、光学系を介して複数本のライン光
（垂直方向のライン光）となる。このライン光は、回転
ミラー３により反射され被写体に投射される。レーザー
駆動部２は、回転ミラー３の駆動に同期してレーザー光
源１の発光をオン・オフする。すなわち、垂直帰線期間
中はレーザーの発光を停止し、それ以外の期間にレーザ
ーを発光させる。図２は、同期制御部１０からの垂直同
期信号とレーザー発光との間の関係を示すタイミング図
である。図２において（ａ）は垂直同期信号を示し、
（ｂ）はレーザー発光のオン・オフを制御するレーザー
駆動信号を示す。

【００４３】回転ミラー３は、ステップ状に駆動される
ことにより回転して、ライン光を走査して被写体１３に
投射する。その回転角の範囲は、ライン間角度を越えな
い範囲に設定する（すなわち、各ライン光の走査範囲は
互いに重ならない）。図３は、同期制御部１０からの同
期信号、回転ミラーの駆動、及び各カメラにおける撮像
の間のタイミングの関係を示すタイミング図である。図
３において、（ａ）は同期制御部１０からの同期信号を
示し、（ｂ）は回転ミラーの駆動信号を示し、（ｃ）は
各カメラにおける撮像タイミング（電子シャッタによる
露光タイミング）を示す。本実施の形態では、被写体１
３に投射したライン光を８台のカメラ５ａ〜５ｈを用い
て撮像する。各カメラ５ａ〜５ｈよる撮像は、回転ミラ
ー３をステップ状に駆動する毎に行う。

【００４４】図４及び図５は、本実施の形態におけるカ
メラ５ａ〜５ｈの配置を示す図である。本実施の形態で
は、４台のカメラを縦に配置したものを２組用い、光源
を挟んで左右に配置する。図４は、縦に配置したカメラ
５ａ〜５ｄ及び５ｅ〜５ｈの光軸が一定の距離の基準点
で交差している様子を示す図である。また、図５は、左
右に配置したカメラ群５ａ〜５ｄ及び５ｅ〜５ｈの光軸
が一定距離の基準点で交差する様子を示す図である。本
実施の形態では、８台のカメラを、それらの光軸が一定
距離の基準点（輻輳点）で交差するように配置にするこ
とにより、輻輳点付近で密度の高い距離計測が可能とな
る。

【００４５】ライン光検出部７ａ〜７ｈは、カメラ５ａ
〜５ｈにより撮影された画像からライン光を検出する。
ライン光の検出について以下に説明する。図６は、複数
のライン光による距離計測の原理を説明するための図で
ある。図６（ａ）において、光源１からのレーザー光が
ライン化され、回転ミラー３で反射して、被写体１３に
投射され、その画像をカメラ５で撮像する。複数のライ
ン光で計測を行う場合には、図６（ｂ）に示すように、
画像上において各ライン光が撮像されるべき範囲（存在
範囲）を制限して、それぞれのライン光を判別する。上
記制限は、図６（ａ）では、カメラ５から見た角度の範
囲を各ライン光について限定することになる。

【００４６】図７は、ライン光検出を説明するための図
である。本実施の形態においては、ライン光を検出する
場合、輝度を用いて行う。図７（ａ）における着目水平
ラインａｂ間での輝度分布は、レーザーライン光が空間
的に拡がりを持つため、図７（ｂ）のようになる。各ラ
イン光位置Ａ，Ｂ，Ｃは、理想的には輝度最大の画素と
して検出できる。しかしながら、実際には、ノイズの影
響を受けて他の画素において輝度が最大になったり、ま
た、輝度値が大きすぎる場合には、撮像時に白飛びを起
こし、複数の画素が最大輝度をとることがある。

【００４７】本実施の形態では、そのような場合にも、
ライン光の位置を安定して検出するために、まず、各ラ
イン光についての存在範囲内でしきい値以上の輝度につ
いて水平方向に累積輝度を計算する。そして、該存在範
囲内で累積輝度が存在範囲内の最大値（すなわち、存在
範囲右端における累積輝度）の所定値、例えば２分の１
の値を超える画素をライン光の位置として検出する。上
記のライン光検出により、ノイズやライン光の白飛びの
影響を受けずに、安定してライン光位置を精度良く検出
することができる。

【００４８】ライン光検出部７ａ〜７ｈは、検出したラ
イン光の水平位置及び垂直位置（画像内のｘ座標とｙ座
標）と、ライン光番号とを検出結果として出力する。ラ
イン光番号は、ｉ番目のカメラのｊ番目のライン光につ
いて、以下の式（３）に示す値とする。

【００４９】

【数３】ｎ・ｉ＋ｊ（カメラ８台使用時ｎ＝８） …（３）ここで、カメラの番号ｉを露光タイミングの早い方から
順番に増加させ、ライン光の番号ｊを画像内で左から順
に付け、回転ミラー３によるライン光の走査を左から右
にするようにすると、計測範囲内では、左から順番にラ
イン光の番号が増加することになる。

【００５０】次に、距離計算部８ａ〜８ｈにおける距離
計算について説明する。距離計算は、ライン光として検
出された画素について、各カメラのレンズ中心を原点と
したカメラ座標系を用いて行う。図８は、カメラ座標系
における距離計測を説明するための図である。図８にお
いて、参照符号１はレーザー光源を示し、３は回転ミラ
ーを示し、５は赤外カメラを示す。カメラ座標系は、カ
メラ５のレンズ中心を原点とし、カメラの光軸をＺｎ軸
とし、水平面内でＺｎ軸に垂直な方向にＸｎ軸をとり、
ＸｎＺｎ平面に垂直にＹｎ軸をとる。そして、ライン光
検出部において、ライン光として検出された画素のカメ
ラから見た方向ベクトルをｐnベクトルとすると、図９
に示す角度η，ξを用いて以下の式（４）により、

【００５１】

【数４】となる。

【００５２】一方、ライン光については、回転ミラー３
の中心のカメラ座標系での位置ベクトルをＤｎベクト
ル、ライン光のカメラ座標系での放線ベクトルをｎｎベ
クトルとすると、ｐｎベクトルの延長がライン光と交差
する点が計測点（位置ベクトルＰ）となる。よって、以
下の式（５）〜式（８）により、計測点の３次元座標値
が計算される。

【００５３】

【数５】

【数６】

【数７】

【数８】

【００５４】式（６）〜式（８）において、Ｄｎベクト
ルは、ワールド座標系における回転ミラー中心の位置ベ
クトルから座標変換（各カメラによる距離データからの
仮想的なカメラ位置における距離データへの視点変換処
理）によって得られる。また、ｎｎベクトルの値は、ワ
ールド座標系におけるライン光の放線ベクトルから回転
変換によって得られる。なお、ワールド座標系は、カラ
ーカメラ６のレンズ中心を原点とし、光軸をＺ軸とし、
水平垂直面内にＸ軸、Ｙ軸をとる。カメラ座標系とワー
ルド座標系の関係は、ワールド座標系におけるカメラの
レンズ中心の座標値を（ｔｘ，ｔｙ，ｔｚ）とすると、
以下の式（９）として表される。

【００５５】

【数９】ここで、Ｒは回転変換行列であり、その要素の値は、各
カメラの姿勢によって決まる。

【００５６】距離統合部９は、距離計算部８ａ〜８ｈに
おいて各カメラについて計算した３次元座標値を視点変
換し、カラーカメラ６の視点における距離データに統合
する。以下に距離統合部９の動作について説明する。

【００５７】距離計算部８ａ〜８ｈによる３次元座標値
は、カラーカメラ６に対する各カメラの姿勢と位置とに
よって決まる回転変換マトリックスＲと位置ベクトルと
を用いて、式（９）によりワールド座標に変換される。
そして、以下の式（１０）によりカラーカメラ６の視点
における奥行き画像にマッピングされる。

【００５８】

【数１０】式（１０）において、Ａ，ＢはＣＣＤの画素サイズ、カ
メラのフォーカス、及びズーム倍率によって決まる定数
である。上記マッピング時には、視点の異なる赤外カメ
ラによる距離データを統合するため、隠れ検出を行う必
要がある。

【００５９】図１０は、隠れ検出を説明するための図で
ある。図１０において、参照符号１はレーザー光源を示
し、３は回転ミラーを示し、６はカラーカメラを示し、
５Ｌはカラーカメラ６より左に配置された赤外カメラを
示し、５Ｒはカラーカメラ６よりも右に配置された赤外
カメラを示す。前述のように、ライン光検出部７によっ
て、回転ミラー３から被写体１３に走査されるライン光
には、左から昇順に番号が付けられる。被写体１３の凹
凸と、回転ミラー３、赤外カメラ５、及びカラーカメラ
６との間の位置関係により、オクルージョンが生じる。

【００６０】カラーカメラの視点でオクルージョンが生
じるところでは、ライン光の番号が水平方向左から右に
単調に増加せず、番号の逆転が起こる（式（１０）によ
るマッピングによって、図１０のｉ＋１番目のライン光
がｉ番目のライン光よりも左にマッピングされる）。し
たがって、マッピングによってライン光の番号が逆転す
るデータ（図１０のｉ＋１番目のライン光のデータ）を
統合時に削除することにより、隠れ検出をする。これに
より、オクルージョンが除去された状態で距離データを
統合することができ、良好にカラーカメラ６の視点にお
ける奥行き画像にマッピングすることができる。

【００６１】距離統合部９による距離データの統合によ
り、各水平ライン毎に数十点の距離データが得られる。
補間部１４は、距離統合部９によって統合されたライン
光の距離データを補間し、奥行き画像内の全画素につい
て距離データを決定し出力する。距離データを補間する
ことにより、結果として距離データを密に計測すること
が可能となる。

【００６２】遅延部１２は、カラーカメラ６によって撮
影されたカラー画像（テキスチャ画像）を遅延させ、補
間部１４の奥行き画像とを同期させてカラー画像を出力
する。また、制御部１１は、計測の開始、終了、ライン
光検出時のしきい値設定等の装置全体の制御を行う。

【００６３】以上のように本実施の形態によれば、ハー
フミラー等を用いずに複数台のカメラを用いて複数のラ
イン光について距離計測を行うことができるため、計測
可能距離を減少させずに水平方向の計測点数を増加させ
た距離計測が行える。また、視点の等しいカラー画像と
奥行き画像を同時に得ることができる。

【００６４】（第２の実施の形態）距離計算部８ａ〜８
ｈにおける距離計算は、式（８）に示すベクトルの内積
を用いる方式に限らず、図形的な関係を用いてもよい。
本実施の形態においては、図形的な関係を用いた距離計
算を用いる場合について説明する。なお、レーザー光を
被写体１３に投射してカメラで撮像し、ライン光を検出
するまでの処理は、第１の実施の形態と同様であるの
で、その詳細な説明を省略する。したがって、本実施の
形態に係るレンジファインダ装置における距離計算部８
以外の構成は、第１の実施の形態に係るレンジファイン
ダ装置と同一であり、距離計算部８の動作のみが異な
る。

【００６５】図１１は、本発明の第２の実施の形態にお
ける距離計算を説明するための図である。図１１（ａ）
において、レーザー光源１から出射された光を複数のラ
イン光とし、回転ミラー３により光路を走査して被写体
１３に照射する。被写体１３で反射された光は、赤外カ
メラ５で撮像される。図中２０は、基準距離に置かれた
基準面を示す。

【００６６】本実施の形態における距離計算では、予め
距離が判っている基準面２０についてライン光を投射
し、これを赤外カメラ５により撮影する。基準面２０を
取り除いた後、被写体１３についてライン光を走査し、
基準面走査時のライン光位置との間の水平視差から被写
体の距離を計算する。

【００６７】図１１（ｂ）は、赤外カメラ５によって撮
像されるライン光の位置関係を説明する図である。図に
おいて、基準面２０に投射されたライン光は実線の直線
であり、被写体に投射されたライン光は実線の曲線であ
り、破線で区切られた領域はライン光の存在範囲を示
す。

【００６８】図１２は、本発明の第２の実施の形態にお
ける距離計測部８による距離計算の方法を説明するため
の図である。図１２において、５は赤外カメラを示し、
Ｘｎ，Ｚｎはカメラ座標系の座標軸であり、Ｌｎは基準
距離であり、ｐｎは計測点をカメラ５から見た時の単位
方向ベクトルであり、ＤＸｎはＸｎ軸とライン光の交点
とレンズ中心との間の距離であり、ｄｘｎは基準距離時
のライン光位置及び計測時のライン光位置のＣＣＤ上で
の視差であり、ｄＸｎは前記視差ｄｘｎの実寸であり、
ｄＬｎは視差ｄＸｎに相当する距離差であり、ｆは赤外
カメラ５の焦点距離である。

【００６９】図１２において、ライン光は鉛直面であ
り、Ｘｎ軸は水平であるとする。また、Ｚｎ軸は図４に
示すように水平面に対して傾いている。この図１２にお
ける図形的な関係から、以下の式（１１）〜式（１３）
により、基準距離との距離差ｄＬｎを計算することがで
きる。そして、Ｌｎ−ｄＬｎと単位方向ベクトルｐｎの
定数倍のＺｎ成分とが等しいという条件から、カメラ座
標系での３次元座標を得ることができる。

【００７０】

【数１１】

【数１２】

【数１３】

【００７１】本実施の形態における距離計測では、ライ
ン光の作る面の法線ベクトルを用いず、図形的な相似関
係により視差を距離差に変換して距離を計算するため、
第１の実施の形態における距離計算よりも精度のよい距
離計算を行うことができる。その理由は、第１の実施の
形態における距離計算では、ライン光が作る面と単位方
向ベクトルｐｎ（カメラ５のレンズ中心から見た画素の
方向ベクトル）との交点を求めるために、ライン光が作
る面の方向に関する誤差（法線ベクトルｎｎの誤差）が
計測値に影響するのに対し、本実施の形態では、基準距
離に被写体がある時とのライン光位置の差から距離差を
計算するので、誤差の影響が少なくなるためである。

【００７２】（第３の実施の形態）図１３は、本発明の
レンジファインダ装置を備えた画像伝送装置の送信部の
構成を示す概略図である。この画像伝送装置は、カラー
画像と奥行き画像（距離データに基づく画像）を同時に
撮像するレンジファインダ装置１５と、奥行き画像を複
数の領域に分割する画像切換え部１６と、複数の領域に
分割された画像をそれぞれ圧縮符号化する圧縮符号化部
１７ａ〜１７ｃと、から主に構成されている。なお、こ
の画像伝送装置には、符号化されたデータを送信する送
信手段（図示せず）が備えられている。

【００７３】上記構成を有する画像伝送装置において
は、レンジファインダ装置１５は、視点の等しいカラー
画像と奥行き画像とをビデオレートで撮像する。画像切
換え部１６は、奥行き画像を複数の領域に分割する。図
１４は、奥行き画像の分割を説明するための図である。
距離のしきい値を設定することにより、距離の異なる前
景１８ａ及び前景１８ｂと背景１９とを分離することが
できる。分離した結果は、２値画像（例えば、符号化す
べき画素を１、それ以外の画素を０）としてそれぞれの
圧縮符号化部１７ａ〜１７ｃに出力される。

【００７４】圧縮符号化部１７ａ〜１７ｃは、画像切換
え部１６の出力とカラー画像とから、それぞれの圧縮符
号化部で処理すべき画素のデータを圧縮符号化する。各
圧縮符号化部の符号化パラメータをそれぞれ設定するこ
とにより、画像内の所望の領域や、予め設定した距離の
領域に優先的に情報量を割り当てることが可能となる。
その結果、伝送路の状況に応じて送信側で画質を制御し
たり、画像内で重要な領域の画質を良くする等の制御を
することが可能となる。

【００７５】また、本実施の形態の受信側（図示してい
ない）では、３つの復号化伸張部の出力を重畳すること
によりカラー画像を再構成する。

【００７６】このように、本実施の形態に係る画像伝送
装置よれば、奥行き画像の領域分割結果からカラー画像
を分割し、分割した画像をそれぞれ圧縮符号化して伝送
する際に、送信側で符号化パラメータをそれぞれの画像
について設定することにより、画像内の所望の領域や、
予め設定した距離の領域に優先的に情報量を割り当てる
ことが可能となる。その結果、伝送路の状況に応じて送
信側で画質を制御したり、画像内で重要な領域の画質を
良くする等の制御をすることが可能となる。

【００７７】本発明は上記実施の形態に限定されること
はない。例えば、上記実施の形態においては、レーザー
光を用いた場合について説明しているが、本発明におい
ては、レーザー光以外の光を用いても良い。また、使用
する光は、テキスチャ画像としてカラー画像を同時に撮
影するので、カラー画像上にライン光が現れないよう
に、可視光の波長領域を外れる光であることが好まし
い。

【００７８】また、上記実施形態においては、カメラが
８台である場合について説明しているが、本発明におい
ては、カメラ数は８台に限定せず、その他の台数である
場合にも適用することができる。

【００７９】

【発明の効果】以上説明したように、本発明のレンジフ
ァインダ装置によれば、ハーフミラー等を用いずに複数
台のカメラを用いて距離計測を行うことができるため、
計測可能距離を減少させずに水平方向の計測点数を増加
させた距離計測が行える。また、視点の等しいカラー画
像と奥行き画像を同時に得ることができる。

【００８０】また、本発明の画像伝送装置によれば、奥
行き画像の領域分割結果からカラー画像を分割し、分割
した画像をそれぞれ圧縮符号化して伝送する際に、送信
側で符号化パラメータをそれぞれの画像について設定す
ることにより、画像内の所望の領域や、予め設定した距
離の領域に優先的に情報量を割り当てることが可能とな
る。その結果、伝送路の状況に応じて送信側で画質を制
御したり、画像内で重要な領域の画質を良くする等の制
御をすることができ、その実用的効果は大きい。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係るレンジファイ
ンダ装置の構成を示す概略図

【図２】上記実施の形態における同期制御部からの垂直
同期信号とレーザー発光との間の関係を示すタイミング
図

【図３】上記実施の形態における同期制御部からの同期
信号、回転ミラーの駆動、及び各カメラにおける撮像の
間のタイミングの関係を示すタイミング図

【図４】上記実施の形態におけるカメラの配置を示す図

【図５】上記実施の形態におけるカメラの配置を示す図

【図６】上記実施の形態における複数のライン光による
距離計測の原理を説明するための図

【図７】上記実施の形態におけるライン光検出を説明す
るための図

【図８】上記実施の形態におけるカメラ座標系の距離計
測を説明するための図

【図９】図８に示す座標系において角度η，ξを説明す
るための図

【図１０】上記実施の形態における隠れ検出を説明する
ための図

【図１１】本発明の第２の実施の形態における距離計算
を説明するための図

【図１２】上記実施の形態における距離計測部８による
距離計算の方法を説明するための図

【図１３】本発明の第３の実施の形態に係る画像伝送装
置の送信部の構成を示す概略図

【図１４】上記実施の形態における奥行き画像の分割を
説明するための図

【図１５】従来の観察画像を得る装置を示す概略図

【図１６】単一のスリット光による３次元形状計測の原
理の説明図

【図１７】複数のスリット光による３次元形状計測の原
理の説明図

【図１８】スリット板の駆動と２台のカメラによる撮像
の様子を示す説明図

【図１９】スリットの駆動とカメラによる撮像のタイミ
ング図

【図２０】カメラ台数を８としたときのスリット駆動と
撮像のタイミング図

【符号の説明】

１レーザー光源２レーザー駆動部３回転ミラー４回転ミラー駆動部５ａ〜５ｈ赤外カメラ６カラーカメラ７ａ〜７ｈライン光検出部８ａ〜８ｈ距離計算部９距離統合部１０同期制御部１１制御部１２遅延部１３被写体１５レンジファインダ装置１６画像切り換え部１７ａ〜１７ｃ圧縮符号化部１８前景１９背景２０基準面

───────────────────────────────────────────────────── フロントページの続き (72)発明者森村淳大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】複数のライン光を発する光源と、前記複
数のライン光を走査する走査手段と、前記複数のライン
光が照射された被写体を撮像する複数のカメラと、前記
複数のカメラの露光タイミングを制御するタイミング制
御手段と、撮像された画像から前記被写体に投射された
ライン光を検出するライン検出手段と、検出されたライ
ン光の位置から距離を計算する距離計算手段と、計算さ
れた距離データを統合する距離データ統合手段と、を具
備することを特徴とするレンジファインダ装置。
【請求項２】複数のカメラは、各カメラの光軸が基準
となる点に集中するように配置されていることを特徴と
する請求項１に記載のレンジファインダ装置。
【請求項３】距離データ統合手段は、距離データにつ
いて、各カメラのレンズ中心を原点とする座標系からワ
ールド座標系に変換処理を行った後に、前記距離データ
を統合することを特徴とする請求項１又は請求項２に記
載のレンジファインダ装置。
【請求項４】ライン検出手段は、被写体の凹凸に起因
するオクルージョンを防止するためにライン光の隠れ検
出を行い、距離データ統合手段は、前記隠れ検出により
検出されたライン光を距離データの統合に用いないこと
を特徴とする請求項１乃至請求項３のいずれかに記載の
レンジファインダ装置。
【請求項５】ライン光検出手段は、各ライン光につい
て、規定範囲の画像中でしきい値以上の輝度に基づいて
ライン光の位置を特定することを特徴とする請求項１乃
至請求項４のいずれかに記載のレンジファインダ装置。
【請求項６】ライン光検出手段は、規定範囲の画像中
の輝度分布におけるしきい値以上の輝度値の総和を求
め、輝度分布において前記しきい値以上の輝度値の累積
値が前記輝度値の総和の２分の１を越える点をライン光
位置として検出することを特徴とする請求項５に記載の
レンジファインダ装置。
【請求項７】距離計算手段は、基準面に対するライン
光の画像上での位置と計測時のライン光の画像上での位
置との差から視差を求め、この視差を用いて距離を計算
することを特徴とする請求項１乃至請求項６のいずれか
に記載のレンジファインダ装置。
【請求項８】統合された距離データ間の距離を補間計
算する補間手段を具備することを特徴とする請求項１乃
至請求項７のいずれかに記載のレンジファインダ装置。
【請求項９】距離データ統合手段で統合された距離デー
タに基づく奥行き画像とテキスチャ画像を併せて撮像す
ることを特徴とする請求項１乃至請求項８のいずれかに
記載のレンジファインダ装置。
【請求項１０】距離データに基づく奥行き画像とカラ
ー画像とを撮影するレンジファインダ装置と、距離デー
タに基づく奥行き画像を複数の領域に分割し、この複数
の領域に対応するカラー画像を切換える画像切換え手段
と、前記複数の領域のそれぞれの領域における距離デー
タ及びカラー画像データを符号化する複数の符号化手段
と、符号化したデータを送信する送信手段と、を具備
し、前記複数の符号化手段に個別にパラメータを設定
し、特定の領域に優先的に情報量を割り当てることを特
徴とする画像伝送装置。
【請求項１１】請求項１乃至請求項９のいずれかに記載
のレンズファインダ装置と、このレンズファインダ装置
により得られた画像データを送信する送信手段と、を具
備することを特徴とする画像伝送装置。
【請求項１２】距離データに基づく奥行き画像とカラ
ー画像とを撮影する工程と、距離データに基づく画像を
複数の領域に分割する工程と、前記複数の領域のそれぞ
れの領域における距離データ及びカラー画像データを符
号化する工程と、前記複数の符号化手段に個別にパラメ
ータを設定し、特定の領域に優先的に情報量を割り当て
る工程と、符号化したデータを送信する工程と、を具備
することを特徴とする画像伝送方法。