JP3109580B2

JP3109580B2 - 画像入力装置および画像入力装置の画像処理プログラムを記録したコンピュータが読み取り可能な記録媒体

Info

Publication number: JP3109580B2
Application number: JP09254734A
Authority: JP
Inventors: 敏康中尾
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1997-09-19
Filing date: 1997-09-19
Publication date: 2000-11-20
Anticipated expiration: 2017-09-19
Also published as: JPH1198485A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はＴＶ会議装置やパー
ソナルコンピュータなどで利用される画像入力装置であ
り、更に詳しくは、画像入力装置の撮像装置の撮像範囲
不足を補うために、複数の画像を合成して入力する機能
を備えた画像入力装置およびこの画像入力装置の画像処
理プログラムを記録したコンピュータが読み取り可能な
記録媒体に関するものである。

【０００２】

【従来の技術】従来、ＴＶ会議装置やパーソナルコンピ
ュータなどで利用される画像入力装置は、ＣＣＤ（Char
ge Coupled Device ）等の固体撮像素子を用いたビデオ
カメラ等の撮像装置を利用するのが一般的である。この
種の画像入力装置は、ＣＣＤのエリアセンサの画素数に
応じて解像度および撮像範囲が決まってしまい、広範囲
な画像を入力する必要がある場合には、必要な解像度と
撮像範囲を両立させて読み取ることができない問題があ
った。また、得られる画像の形状が固定であることか
ら、例えば水平方向、鉛直方向や斜め方向に長い範囲を
収めた画像を取得することは難しいという問題があっ
た。

【０００３】この従来の画像入力装置の問題を解消する
ために１台のカメラで撮像した複数の画像を合成する手
法が提案されている。特に書画を対象とした従来技術と
して、特開平８−６５４５７号公報に記載されている発
明が知られている。この従来技術は、原稿の必要な部分
だけを、必要な解像度で複数の分割像により取得し、取
得した画像に合成処理を適用することで所望の画像を入
力するというものである。原稿の必要な部分だけを選択
的に、高い解像度で入力できるという長所があるが、広
範囲の書画の画像を生成するためにはカメラを対象上で
平行に保ったまま移動する必要があり、画像の合成位置
を決定するためにあらかじめ全体像を撮像するという手
間が必要であった。

【０００４】また、同一のビデオカメラにおいて撮像す
る対象は様々であり、ユーザは用途毎に異なる画像入力
装置を、煩雑な手続きにより切り替えて利用する必要が
あった。カメラの姿勢に応じて人物、書画モードの切り
替えを考慮した従来技術の手法として、特開平８−１６
８０２９号公報に記載されている発明が知られている。
この従来技術は、カメラの向きにより低解像度モードと
高解像度モードを切り替えることを目的になされたもの
であるが、画像取得範囲が常に一定であり、広範囲の画
像取得は考慮されていなかった。

【０００５】

【発明が解決しようとする課題】本発明は、上記の従来
技術において解決されていない課題を解決することを目
的としてなされたものである。さらに詳しくは、撮像装
置（以下、カメラと記載する。）を撮像対象に対して平
行に移動することなく、広範囲に渡って撮像した画像を
入力可能な画像入力装置を提供することであり、さら
に、ユーザが撮像対象や操作方法の切り替えを意識せず
に、カメラを撮像対象に向けるという単純な操作を行う
だけで自動的に撮像対象に応じた表示、合成処理を行う
画像入力装置を提供することである。

【０００６】

【課題を解決するための手段】本発明では、上記の課題
を解決するために、画像入力装置を、撮像対象を撮像す
るカメラと、前記カメラの方向を検出するカメラ方向検
出装置と、少なくとも前記カメラと前記カメラ方向検出
装置を一体化し、前記カメラの撮像方向をユーザが自由
に変更可能なように点もしくは軸を前記カメラの回転中
心として保持し、前記カメラの位置を一定の高さに保持
するカメラ固定機構と、画像を記憶するための画像メモ
リと、前記カメラ方向検出装置のカメラの方向に関する
情報から、前記カメラが撮像する対象を識別するための
撮像対象種別を決定する対象決定装置と、ユーザの指示
または前記カメラ方向検出装置のカメラの方向に関する
情報により前記カメラによって撮像される画像に対する
処理種別を決定するモード決定装置と、前記対象決定装
置により決定された撮像対象種別に応じて、前記カメラ
方向検出装置のカメラの方向に関する情報から、前記カ
メラが撮像した画像に含まれる撮像対象の幾何形状が正
しくなるように幾何変換を適用し、前記幾何変換を適用
した画像を前記画像メモリに記憶する画像変換装置と、
前記画像メモリに記憶されている画像の合成処理を行
い、合成した画像を前記画像メモリに記憶する画像合成
装置と、から構成する。

【０００７】

【発明の実施の形態】次に本発明の実施の形態を図面を
参照して詳細に説明する。

【０００８】図１は、本発明の実施の形態の構成例を示
すブロック図である。

【０００９】図１において、本発明による画像入力装置
１００は、撮像対象を撮像するカメラ１２と、ユーザが
画像入力装置１００に対して画像処理内容を指示するた
めの指示装置１３と、カメラ１２が撮像できる方向やカ
メラの姿勢（以下、カメラの方向と記載する。）を検出
するカメラ方向検出装置１４と、カメラ１２の撮像方向
をユーザが自由に変更可能なように、カメラ１２、指示
装置１３およびカメラ方向検出装置１４を一体化し、あ
る点もしくはある軸を回転中心として保持できるととも
に、カメラ１２の位置を一定の高さに保持するカメラ固
定機構１１と、カメラ方向検出装置１４のカメラの方向
を表す情報から撮像対象がどのような種別のものかを特
定し、この特定した情報（以下、撮像対象種別と記載す
る。）を出力する対象決定装置２０と、指示装置１３か
ら得られるユーザの指示の情報および対象決定装置２０
の撮像対象種別とから、撮像画像に対する画像処理の種
類を決定するモード決定装置２１と、対象決定装置２０
の撮像対象種別およびカメラ方向検出装置１４のカメラ
の方向を表す情報から、カメラ１２により撮像した画像
に含まれる撮像対象の幾何形状が正しくなるように幾何
変換を適用し、画像メモリ１７に記憶する画像変換装置
１８と、モード決定装置２１からの画像処理の種類を決
定した情報と、対象決定装置２０からの撮像対象種別
と、カメラ方向検出装置１４からのカメラ１２の方向を
表す情報とからカメラ１２により撮像した画像、画像メ
モリ１７に記憶されている画像を表示に適した形状に変
換する表示画像変換装置１９と、表示画像変換装置１９
により変換された画像を表示する表示装置１６と、モー
ド決定装置２１からの画像処理の種類を決定した情報
と、対象決定装置２０からの撮像対象種別とから、画像
メモリ１７に記憶されている画像を合成し、画像メモリ
１７に記憶する画像合成装置１５と、画像変換装置１８
により変換された画像、画像合成装置１５により合成さ
れた合成画像を記憶する画像メモリ１７と、から構成さ
れている。

【００１０】次に、本発明の実施の形態の動作の概略を
説明する。

【００１１】カメラ固定機構１１は、カメラ１２を一定
の高さに保持すると共に、ある点もしくはある軸を中心
にカメラを自由に回転できるように保持し、カメラ１
２、指示装置１３、カメラ方向検出装置１４を一体化し
ている。

【００１２】カメラ固定機構１１によって回転できるよ
うに支持されているカメラの方向はカメラ方向検出装置
１４により検出される。

【００１３】指示装置１３は、ユーザの意図を制御装置
１０に伝えるものであり、ユーザは、この指示装置１３
を用いてカメラ１２により撮像する画像に対する処理種
別を指示する。

【００１４】またユーザは、カメラ１２を撮像対象に向
けることで撮像対象を撮像させる。

【００１５】対象決定装置２０は、カメラ方向検出装置
１４からのカメラの方向の情報および指示装置１３から
の撮像する画像に対する処理種別の情報により撮像対象
種別を特定する。この撮像対象種別とは、カメラ１２の
撮像対象がどのような種類のものかを特定したものであ
る。例えば、原稿を撮像する場合と、ＴＶ会議などにお
いて会議に参加している人を撮像する場合とでは、それ
ぞれの撮像対象の特性が異なるものであり、この対象決
定装置２０によって決定された画像対象情報は、それぞ
れの撮像対象の特性に合わせた画像処理を行うために使
用される。

【００１６】モード決定装置２１は、カメラ方向検出装
置１４からのカメラの方向の情報および指示装置１３か
らの撮像する画像に対する処理種別の情報により撮像す
る画像に対する処理種別を決定する。例えば、利用者が
カメラ１２によって撮像された複数の画像を合成したい
場合の処理種別は、“合成”であり、利用者は指示装置
１３を用いて合成処理を行いたい旨を入力する。また、
カメラ方向検出装置１４のカメラの方向等を示す情報か
ら、撮像する画像に対する処理種別を決定することも考
えられ、同様に、指示装置１３、カメラ方向検出装置１
４の両方を用いて撮像する画像に対する処理種別を決定
しても良い。

【００１７】制御装置１０は、対象決定装置２０により
撮像対象種別を、また、モード決定装置２１により撮像
画像に対する処理種別をそれぞれ決定するように指示す
る。また、制御装置１０は、カメラ１２より撮像された
画像を撮像対象種別に応じて変換して表示装置１６に表
示するように、表示画像変換装置１９に指示する。

【００１８】表示画像変換装置１９は、制御装置１０の
指示に従って、カメラ方向検出装置１４のカメラの方向
や姿勢を表す情報と、対象決定装置２０の撮像対象種別
と、モード決定装置２１で決定された処理種別とから、
カメラ１２が撮像した画像の形状および方向が正しく表
示装置１６に表示されるように変換を行う。

【００１９】また、表示装置１６は、表示画像変換装置
１９により変換された画像を表示する。

【００２０】制御装置１０は、カメラ方向検出装置１
４、対象決定装置２０、モード決定装置２１の各装置よ
り得られた情報により、画像変換装置１８、表示画像変
換装置１９、画像合成装置１５を制御する。また、制御
装置１０は、モード決定装置２１で決定された処理種別
から、合成処理を実行する必要があると判断した場合、
まず、撮像対象に応じてカメラ１２が撮像した画像に含
まれる幾何歪を補正するように、画像変換装置１８に指
示する。

【００２１】画像変換装置１８は、制御装置１０からの
指示に従い、カメラ方向検出装置１４からのカメラの方
向を表す情報と、対象決定装置２０からの撮像対象種別
とから、カメラ１２が撮像した画像の幾何形状が正しく
なるように変換し、変換後の画像を画像メモリ１７に記
憶する。同時に制御装置１０は、合成処理を行うよう画
像合成装置１５に指示する。

【００２２】画像合成装置１５は、制御装置１０からの
指示に従って、画像メモリ１７に記憶されている幾何形
状が正しく復元された複数の画像を合成し、画像メモリ
１７に記憶する。制御装置１０は、合成された画像を表
示装置１６に表示するように、表示画像変換装置１９に
指示する。

【００２３】表示画像変換装置１９は、制御装置１０か
らの指示に従って、画像メモリ１７に記憶されている合
成画像を、形状および方向を表示装置に適するように変
換する。表示装置１６は、表示画像変換装置１９により
変換された合成画像を表示する。

【００２４】また、画像メモリ１７に記憶された合成画
像は外部装置５０により利用するこができる。

【００２５】

【実施例】上記した本願発明の実施の形態における画像
入力装置を、具体的な実施例を挙げて各構成の処理内容
を図面を参照しながら詳しく説明する。

【００２６】図２は、本実施例の構成を説明するための
図であり、この図を用いて原稿１０２などを撮像対象と
して画像を入力する際の各構成の説明を行う。

【００２７】図２において、筐体１０１には、上記した
実施の形態における制御装置１０、対象決定装置２０、
モード決定装置２１、画像合成装置１５、画像メモリ１
７、画像変換装置１８、表示画像変換装置１９が収納さ
れており、他の構成要素とケーブルにより接続されてい
る。

【００２８】指示装置１３はカメラ１２と一体化されて
おり、指示装置１３、カメラ１２およびカメラ方向検出
装置１４は、カメラ固定機構１１に一体化されている。

【００２９】３次元座標系３００は説明を簡単にするた
めに仮に設定する座標系であり、カメラ１２が取り付け
られた軸のカメラ固定機構１１への取付部を原点とす
る、前方をＹ軸、右方向をＸ軸、上方をＺ軸とする座標
系である。

【００３０】カメラ１２は、Ｘ軸周りに自由に回転する
ように、かつ、Ｙ軸方向を向いた時に画像の上下左右が
物理的な上下左右と一致するように保持されている。カ
メラ１２が撮像できる方向はカメラ方向検出装置１４に
より検出される。また、カメラ固定機構１１は表示装置
１６に取り付けられており、カメラの回転中心は原稿面
上方の一定位置にある。

【００３１】なお、以下の説明では簡単のため、カメラ
１２の回転中心と視点が一致するものとする。撮像対象
までの距離が、カメラ１２の視点と回転中心間の距離に
比べて十分長い場合には、両者の多少のずれは無視でき
る程度の影響しか与えない。また、当然のことながら、
回転中心と視点が一致しないという前提の元で本発明を
適用することも可能である。

【００３２】図９は、本実施例におけるカメラのモデル
を説明するための図である。

【００３３】図９において、カメラ１２の水平・鉛直方
向それぞれの視野角の半分の角度をα、β（α，β＞
０）、焦点距離をｆ（ｆ＞０）、撮像される画像を画像
中心（０，０）を中心とする（±Ｕ,±Ｖ）の範囲の矩
形領域とする。いずれの値も、カメラ設計時に決定す
る、または、実際のカメラ特性を測定することで求めら
れ、処理の前後で特性も変化しないため既知とみなすこ
とができる。そのため、あらかじめ装置内部に記憶され
ているものとする。カメラ特性の測定技術については、
「出口『カメラキャリブレーション手法の最近の動
向』、情処研報Vol.93、No.２５、ＣＶ８２１、１９９
３」に詳しく紹介されているため、ここでは割愛する。

【００３４】図８は、本実施例におけるカメラ１２によ
る原稿の撮像時の座標系を説明するためのモデルを示し
た図である。

【００３５】図８の３次元座標系３００において、カメ
ラ１２の回転中心、すなわち、視点Ｒ３０１は（ｒ，
０，０）にあるものとする。３次元座標系３００におい
て、原稿はＺ＝−Ｈ（Ｈ＞０）の原稿面３０５上の領域
（±Ｌ＋ｒ，±Ｍ，−Ｈ）（Ｌ，Ｍ＞０）に存在してい
るものとする。また、カメラ方向検出装置１４により検
出されたカメラ１２の光軸３０３の方向をθとする。θ
は、Ｘ軸を正の方向に見た場合に反時計方向に回転した
場合には正、時計方向に回転した場合には負の値をと
り、カメラ１２がＹ軸と同じ方向を向いている場合を０
度として、−１８０度＜θ≦１８０度の範囲内にてカメ
ラの方向θを検出する。また、カメラ１２の画像平面上
の四隅の点ａ４１０、ｂ４１１、ｃ４１２、ｄ４１３、
および画像中心ｅ４１４はそれぞれ、原稿面３０５上の
点Ａ３１０、Ｂ３１１、Ｃ３１２、Ｄ３１３、Ｅ３１４
に対応するものとする。

【００３６】ここで、原稿面３０５から回転中心３０１
までの高さはカメラ固定機構１１および表示装置１６に
より決定される値であり本発明における画像入力装置に
おいては定数である。また、原稿の存在範囲は対象とす
る原稿の最大サイズにより決定されるものであり、両者
ともあらかじめ装置内部に記憶されているものとする。
これらの値は本発明による画像入力装置の利用時にユー
ザが設定するように構成することも可能である。

【００３７】本実施例におけるカメラ方向検出装置１４
は小型ロータリエンコーダにより構成されており、カメ
ラ１２の向きを角度単位で返すものとする。本実施例に
おいては、この小型ロータリエンコーダを利用したカメ
ラ方向検出装置１４について説明するが、これは本発明
の適用をこれに限定するものではない。図５のように一
定角度毎に接点スイッチが設けられており通電したスイ
ッチの番号により角度を識別する構造など、他の機構を
利用することが可能である。

【００３８】以下、本実施例における処理の流れを、図
面を利用して詳しく説明する。

【００３９】図７は、制御装置１０における処理の流れ
を説明するための図である。

【００４０】ユーザは、カメラ１２を直接操作し、カメ
ラ１２を撮像対象に向ける。この時、モード決定装置２
１により、指示装置１３が押されているか否かの情報を
参照して、合成モードであるか表示モードであるかを決
定する（ステップＡ１）。すなわち、ユーザが指示装置
１３を押しながらカメラ１２の方向を変化させた場合は
合成モードとみなし、単にカメラ１２の方向を変化させ
ただけの時は表示モードであるとみなす。この構成によ
り、ユーザが広範囲の画像を取得したいと思った場合
は、カメラ１２を撮像したい対象に向けて、指示装置１
３を押しながら、対象物を舐めるようにカメラ１２の向
きを変更するという直感的な操作だけで、所望の合成画
像を得ることが可能となる。

【００４１】制御装置１０は、表示モードの場合ステッ
プＡ２〜Ａ５の処理により、カメラ１２により撮像した
画像を表示装置１６に表示する。

【００４２】制御装置１０は、対象決定装置２０によ
り、撮像対象を特定する（ステップＡ２）。

【００４３】対象決定装置２０は、カメラ方向検出装置
１４の情報から、カメラ１２が原稿面３０５上の原稿に
対応する範囲を撮像している場合には撮像対象種別が原
稿であると決定し、それ以外の範囲を撮像している場合
には撮像対象種別が風景または人物などの一般風景であ
ると決定する。すなわち、撮像画像の４隅の頂点ａ４１
０〜ｄ４１３に対応する原稿面３０５上の撮像領域１０
３を形成する点Ａ３１０〜Ｄ３１３のＹ座標が原稿領域
内に収まっている場合は撮像対象種別が原稿であり、そ
うでない場合は一般風景であると決定する。ただし、こ
の撮像対象種別はあくまで例であり、本願発明はこの例
だけに限定されるものではない。

【００４４】点ａ４１０〜４１３は、３次元座標系３０
０において、θ＝０の時、ａ（−Ｕ＋ｒ，ｆ，Ｖ）（式１−１）ｂ（−Ｕ＋ｒ，ｆ，−Ｖ）（式１−２）ｃ（Ｕ＋ｒ，ｆ，−Ｖ）（式１−３）ｄ（Ｕ＋ｒ，ｆ，Ｖ）（式１−４）にあると考えることができる。これをＸ軸周りにθ回転
させ、平面Ｚ＝−Ｈに投影した点が、点Ａ３１０〜Ｄ３
１３に相当する。Ｘ軸周りのθ回転により点ａ４１０〜
ｄ４１３は、３次元座標系３００上の点ａｒ、ｂｒ、ｃ
ｒ、ｄｒ、ａｒ＝（ａｘ，ａｙ，ａｚ）＝（−Ｕ＋ｒ，ｆ・ｃｏｓθ＋Ｖｓｉｎθ，− ｆ・ｓｉｎθ＋Ｖ・ｃｏｓθ）（式２−１）ｂｒ＝（ｂｘ，ｂｙ，ｂｚ）＝（−Ｕ＋ｒ，ｆ・ｃｏｓθ−Ｖｓｉｎθ，− ｆ・ｓｉｎθ−Ｖ・ｃｏｓθ）（式２−２）ｃｒ＝（ｃｘ，ｃｙ，ｃｚ）＝（Ｕ＋ｒ，ｆ・ｃｏｓθ−Ｖｓｉｎθ，− ｆ・ｓｉｎθ−Ｖ・ｃｏｓθ）（式２−３）ｄｒ＝（ｄｘ，ｄｙ，ｄｚ）＝（Ｕ＋ｒ，ｆ・ｃｏｓθ＋Ｖｓｉｎθ，− ｆ・ｓｉｎθ＋Ｖ・ｃｏｓθ）（式２−４）に移り、この点から点Ａ３１０〜Ｄ３１３の座標は、Ａ（ａｘ・（−Ｈ／ａｚ），ａｙ・（−Ｈ／ａｚ），−Ｈ）（式３−１）Ｂ（ｂｘ・（−Ｈ／ｂｚ），ｂｙ・（−Ｈ／ｂｚ），−Ｈ）（式３−２）Ｃ（ｃｘ・（−Ｈ／ｃｚ），ｃｙ・（−Ｈ／ｃｚ），−Ｈ）（式３−３）Ｄ（ｄｘ・（−Ｈ／ｄｚ），ｄｙ・（−Ｈ／ｄｚ），−Ｈ）（式３−４）となる。ただし、点Ａ３１０〜点Ｄ３１３が定義される
のは、それぞれ、（−Ｈ／ａｚ）＞０（式４−１）（−Ｈ／ｂｚ）＞０（式４−２）（−Ｈ／ｃｚ）＞０（式４−３）（−Ｈ／ｄｚ）＞０（式４−４）の時である。制御装置１０３は、撮像領域１０３を形成
する点Ａ３１０〜Ｄ３１３のＹ座標が原稿領域内に収ま
っている場合、すなわち、式４−１〜４−４がすべて成
立し、かつ、ａｙ・（−Ｈ／ａｚ）≦Ｍ（式５−１）ｂｙ・（−Ｈ／ｂｚ）≧−Ｍ（式５−２）ｃｙ・（−Ｈ／ｃｚ）≧−Ｍ（式５−３）ｄｙ・（−Ｈ／ｄｚ）≦Ｍ（式５−４）がすべて成立するときに、撮像対象種別が原稿であると
みなし、成立しないときには一般風景を撮像していると
みなす。先に述べたようにＵ、Ｖ、ｒ、Ｈ、Ｍ、ｆは既
知であり、装置内部にあらかじめ記憶されている値を利
用できることから、上記の条件を満たすか否かはθのみ
に依存する。すなわち、対象決定装置２０は、カメラ方
向検出装置１４より得られる情報θのみにより撮像対象
を決定するのである。

【００４５】なお、ここで説明した撮像対象種別の識別
方法は本発明の適用範囲を限定するものではない。決定
基準は原稿のサイズや形状、カメラの特性に応じて変更
可能である。上記した例では、Ｙ座標のみを利用して撮
像対象を判別したが、Ｘ座標をも含めて撮像対象を限定
することが可能である。また、原稿の有無を机上の光セ
ンサ等で読み取り、原稿が存在し、かつ、上記の条件を
満たす場合のみ撮像対象種別が原稿であるとみなすよう
に構成することも可能である。この場合は、より正確な
処理対象決定が可能となる。

【００４６】次に、制御装置１０は、カメラ１２により
画像を撮像し（ステップＡ３）、ステップＡ２における
撮像対象種別の識別結果にしたがって、撮像した画像を
表示に適した形態に変換するため、表示画像変換装置１
９を用いて表示画像変換処理を施すように指示する（ス
テップＡ４）。

【００４７】図３は、撮像対象種別が一般風景の場合の
表示画像変換処理を説明するための図である。

【００４８】図３（ａ）はカメラがＹ軸正の方向を向い
ている時に一般風景を撮像している様子を図示したもの
である。この時はカメラ１２により撮像された画像と、
視点から見た物理的な上下、左右の関係が一致してい
る。しかしながら、カメラ１２が手前、すなわち、Ｙ軸
の負の方向に向いている場合（図３（ｂ））は、カメラ
１２より得られた画像の上下、左右の関係が、視点から
見た物理的な関係と一致せず、上下、左右それぞれが逆
になる。そこで制御装置１０は、対象が一般風景であ
り、かつ、手前を撮像している場合には、表示画像変換
装置１９により、カメラ１２により撮像された画像の上
下、左右をそれぞれ反転し、表示装置１６に物理的な位
置関係が正しい状態で画像が表示されるように表示画像
変換装置１９を制御する。具体的には、撮像対象が一般
風景であり、かつ、光軸３０２がＹ軸の負の方向を向い
た時に画像の上下、左右をそれぞれ反転する。ここで、
画像中心ｅ４１４はθ＝０の時、ｅ（ｒ，ｆ，０）（式６）に存在し、Ｘ軸周りのθ回転により、ｅｒ＝（ｅｘ，ｅｙ，ｅｚ）＝（ｒ，ｆ・ｃｏｓθ，−ｆ・ｓｉｎθ）（式７）に移動する。この時ｅｙ＜０であれば、光軸がＹ軸の負
の方向を向いていることに対応するので、対応する条件
は、ｃｏｓθ＜０（式８）となる。すなわち、表示画像変換装置１９は、撮像対象
種別が一般風景であり、かつ、式８が成立するときには
カメラ画像の上下、左右をそれぞれ反転し、条件を満た
さないときは撮像画像をそのまま利用する。なお、ＴＶ
会議におけるユーザ自身の姿を撮像する場合など、画像
の左右の方向がユーザから見た左右と一致した方が好ま
しい場合は、上下の反転のみを適用するように構成する
ことも可能である。この場合は、モード決定装置２１に
おいて、カメラの方向からユーザ自身の姿を撮像すると
判断した場合に、例えば“ＴＶ会議モード”とし、表示
画像変換装置１９によって、上下の反転のみ適用するよ
うに構成しても良く、また、指示装置１３によって、ユ
ーザから“ＴＶ会議モード”である旨を入力してもら
い、この入力があった場合に表示画像変換装置１９によ
って、上下の反転のみ適用するように構成しても良い。

【００４９】ステップＡ４により変換された画像は、表
示装置１６に表示される（ステップＡ５）。そして、制
御装置１０は、再びステップＡ１以降の処理を繰り返
す。

【００５０】ステップＡ１において、合成モードと判断
された場合は、ステップＢ１〜Ｂ１０の処理により撮像
画像の合成処理を行う。

【００５１】制御装置１０は、合成モードが解除され
る、すなわち、指示装置１３が離されるまで、ステップ
Ｂ２〜Ｂ７の処理を繰り返す（ステップＢ１）。

【００５２】まず、制御装置１０は、ステップＡ２にお
ける処理と同様に、対象決定装置２０により、カメラ方
向検出装置１４の情報に基づいて現在の撮像対象を特定
する（ステップＢ２）。撮像対象種別が、それまでの撮
像対象種別から変化した場合、すなわち、撮像対象種別
が原稿から一般風景、一般風景から原稿に変化し、異な
る幾何変換を適用する必要が発生した場合には処理を中
断し、ステップＢ８に移行する（ステップＢ３）。

【００５３】制御装置１０は、合成モードが解除され
ず、かつ、同一の撮像対象種別を撮像している間、ステ
ップＢ４〜Ｂ７の処理を繰り返す。

【００５４】まずカメラ１２により、対象の分割像を取
得する（ステップＢ４）。撮像は、カメラの方向が、直
前に撮像した時の角度から、閾値Ｔｈ以上変化したとき
に自動的に行われる。閾値Ｔｈを鉛直方向の視野角２×
βよりも小さくすることで、撮像対象をすべて含んだ画
像を取得可能となる。図５のような、より単純な構造で
検出角度が大きいカメラ方向検出装置１４を利用した場
合には、新しく接点スイッチがＯＮになる毎に画像を撮
像するように構成することも可能である。また、角度を
閾値として撮像を行う方法以外にも、一定の時間間隔を
利用して撮像することも可能である。この時は、ユーザ
がカメラ１２の方向を移動させる時の最大の角速度と時
間間隔の積が鉛直方向の視野角２×βよりも小さくなる
ようにすることで、撮像対象をすべて含んだ画像を取得
可能となる。

【００５５】次に、カメラ方向検出装置１４の情報によ
り、撮像対象種別に応じた幾何変換を適用し、変換され
た画像を画像メモリ１７に記憶する（ステップＢ５）。

【００５６】図４は、本実施例における幾何変換を説明
するための図である。

【００５７】画像変換装置１８は、撮像対象種別が一般
風景である場合には特に幾何変換は適用せず、カメラ方
向検出装置１４の情報とともに画像を画像メモリ１７に
記憶する。以下、原稿に対する幾何変換処理について説
明する。

【００５８】図４（ｂ）において、撮像範囲１０３は原
稿１０２をカメラ１２が撮像する範囲である。点Ａ３１
０〜Ｄ３１３で囲まれる領域が画像上の点ａ４１０〜ｄ
４１３に投影され、図４（ａ）に示すような画像が生成
される。この投影過程により生成した画像には幾何的な
歪が発生しており、画像では原稿１０２上の幾何形状が
正しく保たれない。画像変換装置１８は、この投影過程
による歪をカメラ方向検出装置１４の情報により補正す
る。

【００５９】図６は、画像変換装置１８における原稿１
０２に対する幾何変換処理の流れを説明するための図で
ある。

【００６０】画像変換装置１８は、まず、ステップＡ
２、および、ステップＢ２における撮像対象決定手法と
同様に、式１〜３に従って、点Ａ３１０〜Ｄ３１３の３
次元座標系３００における座標を求める（ステップＣ
１）。この点Ａ３１０〜Ｄ３１３により囲まれた領域が
正しい幾何形状に相当する。この領域内に画像を逆に投
影することで、投影仮定により生じた歪みを取り除く。
そのためにまず、点Ａ３１０〜Ｄ３１３により囲まれる
領域内の要素Ｉを重複なく選択する（ステップＣ２）。
要素Ｉは、原稿面３０５上の点であり、Ｉ（ｘ，ｙ，−Ｈ）（式９）で表現される。次に画像変換装置１８は、要素Ｉに対応
する画素値を求めるため、要素Ｉに対応する画像平面上
の座標を求める（ステップＣ３）。そのために原稿面３
０５上の点Ｉを、Ｘ軸周りに−θ回転し、Ｙ＝ｆの画像
平面上への投影点を求める。要素ＩをＸ軸周りに−θ回
転した、回転中心を基準とする座標Ｉｒを考えると、Ｉ
は、Ｉｒ（Ｉｘ，Ｉｙ，Ｉｚ）＝（ｘ−ｒ，ｙ・ｃｏｓθ＋Ｈ・ｓｉｎθ，−ｙ・ｓｉｎθ−Ｈ・ｃｏｓθ）（式１０）に移動する。ＩｒをＹ＝ｆ平面へ投影した座標、（Ｉｘ・（ｆ／Ｉｙ），ｆ，Ｉｚ・（ｆ／Ｉｙ））（式１１）により、画像面での座標ｉは、ｉ（Ｉｘ・（ｆ／Ｉｙ），Ｉｚ・（ｆ／Ｉｙ））（式１２）となる。この時、座標ｉは必ずしも整数になるとは限ら
ないため共一次内挿法により画像上の値から要素Ｉの画
素値を決定する（ステップＣ４）。すべての要素Ｉにつ
いて画素値を求めたら、点Ａ３１０〜Ｄ３１３により囲
まれる領域を新たな画像として、画像中心ｅ４１４の投
影点である点Ｅ３１４の座標とともに画像メモリ１７に
記憶し（ステップＣ５）、画像変換装置１８における処
理を終了する。

【００６１】なお、本実施例における画像変換装置１８
における処理は、本発明の適用例を限定するものではな
い。画像変換装置１８によって行われる幾何変換は、射
影変換に伴う処理として使われている手法を適用可能で
ある。このような処理は、「出口『画像と空間』、ｐ
ｐ．１０４〜１１８、昭晃堂、１９９１」や「高木他
『画像解析ハンドブック』、ｐｐ．５８２〜５９１、東
京大学出版会、１９９２」に詳しく紹介されているた
め、ここでは割愛する。

【００６２】制御装置１０は、画像変換装置１８におけ
る幾何変換処理と同時に、撮像された画像にステップＡ
４と同様の表示画像変換装置１９による画像変換処理を
適用し（ステップＢ６）、表示装置１６により、撮像し
た画像の物理的な上下関係が正しく保たれるように表示
した後（ステップＢ７）、ステップＢ１に戻る。

【００６３】ステップＢ１またはステップＢ３において
合成モードが解除された時、制御装置１０は、画像メモ
リ１７に記憶された幾何変換済みの画像群から、画像合
成装置１５により合成画像を生成する（ステップＢ
８）。

【００６４】図１０（ａ）は撮像対象が一般風景の場合
の合成を説明するための図であり、画像メモリ１７中の
各画像には撮像された順番に、番号ｊ（ｊ≧１）、およ
び、撮像時のカメラ方向検出装置１４から得られた角度
情報θｊが付加されている。画像合成装置１５は、各画
像の角度情報θｊに従って画像を配置し、円筒面５０１
にそれぞれの画像を投影することで合成画像を生成す
る。

【００６５】すなわち、画像ｊ上の点ｐ（ｕ，ｖ）を考
えるとき、式１〜３と同様に、ＰのＸ軸周りにθ回転し
た時の３次元座標系３００上の座標ｐｒは、ｐｒ＝（ｐｘ，ｐｙ，ｐｚ）＝（ｕ，ｆ・ｃｏｓθ＋ｖ・ｓｉｎθ，−ｆ・ｓｉｎθ＋ｖ・ｃｏｓθ）（式１３）となり、これを、Ｙ＝Ｑ・ｃｏｓρ、Ｚ＝Ｑ・ｓｉｎρ、−１８０度＜ρ≦１８０度、Ｑ＞０（式１４）で表される円筒面５０１に投影することで、合成画像を
生成し画像メモリ１７に記憶する。このような投影処理
は「高木他『画像解析ハンドブック』、ｐｐ．２７６〜
２９２、東京大学出版会、１９９２」に紹介されている
ため、詳細は割愛する。本実施例における説明による手
法以外にも、参考文献にて紹介されている手法を適用可
能である。

【００６６】図１０（ｂ）は撮像対象が書画原稿の場合
の合成画像を生成する処理を説明するための図であり、
画像メモリ１７中の各画像には撮像された順番に、番号
ｊ（ｊ≧１）、および、幾何変換処理時（ステップＢ
５）に付加された画像面３０５上における画像中心の投
影点Ｅ４１４の位置（ｘｉ，ｙｉ，ｚｉ）が付加されて
いる。画像合成装置１５は、この位置情報に従って各画
像を同一平面上に順に投影することで合成画像を生成
し、画像メモリ１７に記憶する。

【００６７】画像合成装置１８による画像合成処理が終
了した後、表示画像変換装置１９により、画像メモリ１
７内の合成画像を、表示装置１６に適した大きさに拡大
または縮小し（ステップＢ９）、表示装置１６に表示す
る（ステップＢ１０）。また、画像メモリ１７に記憶さ
れた合成画像は、外部装置５０により取り出され、利用
される。

【００６８】以上、説明したように、本発明による画像
入力装置は、ユーザがカメラ１２を撮像対象に向けるだ
けで、撮像対象を自動的に判別し、撮像対象および撮像
方向に応じた変換を施し適切な画像を表示装置１６に表
示する。また同時に、指示装置１３を押下しながら、撮
像対象をカメラ１２でスキャンすることで、複数の画像
を自動的に取得し、撮像対象に応じた幾何変換を適用
し、広範囲を写しながら、正しい幾何形状を持った合成
画像を生成する。すなわち、ユーザは、カメラ１２を撮
像対象に向ける、指示装置１３を押しながら撮像対象を
スキャンするという極めて直感的な操作だけで、幾何形
状が正しい、広範囲を映し出した画像を簡単に入力する
ことが可能となる。

【００６９】次に本発明における、第２の実施例を、図
を用いて説明する。

【００７０】図１１は、第２の実施例を説明するための
図である。

【００７１】本発明の第２の実施例における画像入力装
置は、以下の点において、第１の実施例における画像入
力装置と異なる。

【００７２】カメラ１２がＹ軸周りにも回転するように
カメラ固定機構１１により保持されており、カメラ方向
検出装置１４はＸ軸周りの回転量θだけではなく、Ｙ軸
周りの回転量φをも検出可能となっている。カメラ１２
の位置は、まずＸ軸周りにθ回転した後、Ｙ軸周りにφ
回転したとみなすことで表現される。制御装置１０は、
カメラ方向検出装置１４より得られたＸ軸周りの回転量
θ、および、Ｙ軸周りの回転量φを利用して撮像対象を
識別する。また、制御装置１０は、各構成装置を制御す
る際、カメラ方向検出装置１４の情報、すなわち、Ｘ軸
周りの回転量θ、および、Ｙ軸周りの回転量φを指示と
ともに送付する。各装置は、Ｘ軸周りの回転量θ、およ
び、Ｙ軸周りの回転量φを利用して表示画像変換、幾何
変換、合成処理を行うように構成されている。

【００７３】なお、以下の説明では、第１の実施例と同
様に、カメラ１２のＸ軸周りの回転中心と視点が一致す
るものとする。カメラモデル、カメラ１２による原稿の
撮像時の座標系も第１の実施例と同様とする。ただし、
カメラ方向検出装置１４により検出されたＹ軸周りの傾
きをφとする。φは、Ｙ軸を正の方向に向かって反時計
方向に回転した場合には正、時計方向に回転した場合に
は負の値をとり、カメラ１２がＸ軸の正の方向を向いて
いる場合を０度として、−１８０度＜φ≦１８０度の範
囲内にてカメラの傾きφを検出する。また、原稿面３０
５から回転中心３０１までの高さを既知とみなすこと、
原稿の存在範囲の設定方法については第１の実施例と同
様である。

【００７４】第２の実施例におけるカメラ方向検出装置
１４は、第１の実施例におけるカメラ方向検出装置１４
にＹ軸周りの回転量を検出するための小型ロータリエン
コーダが追加されたものであり、Ｘ軸周りの回転量θお
よびＹ軸周りの回転量φを角度単位で返すものとする。
本実施例においては、この小型ロータリエンコーダを２
つ利用したカメラ方向検出装置１４について説明する
が、これは本発明の適用をこれに限定するものではない
のは第１の実施例と同様である。図５のように一定角度
毎に接点スイッチが設けられており通電したスイッチに
より角度を識別する構造を、Ｙ軸周りの回転量検出に利
用可能なことは言うまでもない。

【００７５】なお、第２の実施例における処理の流れ
は、第１の実施例における処理の流れと同様である。以
下、図７における処理の流れに基づいて、第２の実施例
の動作を、第１の実施例と異なる点を中心に説明する。

【００７６】第２の実施例において、ステップＡ１は第
１の実施例と同様であるが、ユーザは、Ｘ軸周りの回転
量φを決めた後、θのみを変化させることで対象の画像
を入力するものとする。

【００７７】ステップＡ２における撮像対象特定処理で
は、カメラ１２が原稿面３０５上の原稿に対応する範囲
を撮像している場合には撮像対象が原稿であると決定
し、それ以外の範囲を撮像している場合には撮像対象が
風景または人物などの一般風景であると決定する点は同
様であるが、撮像画像の４隅の頂点ａ４１０〜ｄ４１３
に対応する原稿面３０５上の撮像領域１０３を形成する
点Ａ３１０〜Ｄ３１３の座標が異なる。

【００７８】点ａ４１０〜４１３は、θ＝０、φ＝０の
時、式１で表現される座標を持つ。これをＸ軸周りにθ
回転させ、さらにＹ軸周りにφ回転させた点ａ４１０〜
ｄ４１３を３次元座標系３００上の点ａｒ〜ｄｒに移動
する変換は、

【００７９】

【数１】

【００８０】となる。ａｒ〜ｄｒから、平面Ｚ＝−Ｈ上
の点Ａ３１０〜Ｄ３１３を求める手続き、および、撮像
対象の決定条件などはすべて第１の実施例と同様であ
る。また、ステップＡ３における撮像処理も、第１の実
施例と同様である。

【００８１】ステップＡ４においても、表示画像変換装
置１９は、Ｙ軸周りの回転量φを加味した表示画像変換
処理を行う。すなわち、カメラ１２により得られる画像
のｕ軸は、Ｘ軸に対してφ傾いているため、カメラ１２
より得られた画像を、画像平面の中心を原点としてφ回
転させる。また、同時に、第１の実施例におけるステッ
プＡ４と同様に、カメラ１２が手前、すなわち、対象が
一般風景であり、かつ、手前を撮像している場合には、
表示画像変換装置１９により、カメラ１２により撮像さ
れた画像をφ回転した上で、画像の左右を反転し、表示
装置１６に物理的な位置関係が正しい状態で画像が表示
されるように表示画像変換装置１９を制御する。なお、
ＴＶ会議などでユーザ自身の姿を撮像する場合など、画
像の左右の方向がユーザから見た左右と一致した方が好
ましい場合は、回転処理のみを適用するように構成する
ことも可能なことは第１の実施例と同様である。ここで
光軸の方向を考えると、画像中心ｅ４１４はＸ軸周りの
θ回転、Ｙ軸周りのφ回転により、ｅｒ＝（ｅｘ，ｅｙ，ｅｚ）＝（ｒ・ｃｏｓφ＋ｆ・ｓｉｎφ・ｓｉｎθ，ｆ・ｃｏｓθ，ｒ・ｓｉｎφ−ｆ・ｃｏｓφ・ｓｉｎθ）（式１６）に移動しており、光軸がＹ軸の負の方向を向いている場
合を決定する条件は、式８と同様に、ｃｏｓθ＜０（式１７）となる。変換された画像は、ステップＡ５により表示装
置１６に表示される。

【００８２】ステップＢ１〜Ｂ７は、第１の実施例と同
様である。ただし、ステップＢ５の幾何変換において
は、ステップＣ１は数式３および数式１５に基づいて、
画像面上の点ａ４１０〜点ｄ４１３に対応する点Ａ３１
０〜Ｄ３１３を求める。また、ステップＣ３において
は、式１０の変わりに、

【００８３】

【数２】

【００８４】に基づいて座標Ｉｒを求め、式１１、式１
２に基づいて画像平面上の座標（ｕ，ｖ）を求める。

【００８５】ステップＢ８の合成処理では、撮像対象が
一般風景の場合は、まずカメラ１２の回転量のうちφ＝
０とみなして、θだけに基づいて、第１の実施例と同様
に円筒面に合成座標を形成する。その後、得られた合成
画像をＹ軸周りにφだけ回転することにより物理的な上
下関係と画像中の上下関係が一致した合成画像を生成す
る。撮像対象が書画原稿の場合は、第１の実施例と同様
に、各画像の画像中心Ｅ３１４に基づいて各画像を平面
に配置することで合成画像を生成する。

【００８６】以上、本発明における第２の実施例として
説明したように、本発明による画像入力装置は、ユーザ
がカメラ１２を撮像対象に向けるだけで、撮像対象を自
動的に判別し、撮像対象および撮像方向に応じた変換を
施し適切な画像を表示装置１６に表示する。この時、カ
メラをＹ軸周りに回転可能に構成されていることから、
水平方向および垂直方向のパン操作を容易に実現でき
る。また同時に、第１の実施例と同様に、ユーザは、カ
メラ１２を撮像対象に向ける、指示装置１３を押しなが
ら撮像対象をスキャンするという極めて直感的な操作だ
けで、幾何形状が正しく、水平、垂直、斜め方向を撮像
したパノラマ画像を簡単に入力することが可能となる。

【００８７】上記第２の実施例の説明においては、Ｙ軸
周りの回転量φを可変としたが、ある一定の角度で固定
しても良い。例えばφ＝１０度で固定するように構成し
た時は、カメラ１２による撮像範囲がφ＝０度の時より
も、Ｘ軸方向に移動するため、カメラ１２を表示装置１
６や筐体のより近くに設置可能となり、機器全体をより
小型化できる。

【００８８】また、φ＝０、θ＝０の時に、カメラによ
り撮像される画像の上下左右が３次元空間の上下左右と
一致するものとして説明したが、第２の実施例において
は、これに限定するものではない。例えば、画像の上下
左右が、それぞれ、物理的な右左上下に一致する、すな
わちφ＝９０度の時に画像と３次元空間の上下左右が一
致するように構成することも可能である。

【００８９】また、上記、第１および第２の実施例の説
明においては、専用装置として構成した例について説明
したが、表示装置１６、表示画像変換装置１９、画像メ
モリ１７、画像合成装置１５、画像変換装置１８、対象
決定装置２０、モード決定装置２１、制御装置１０を通
常のパーソナルコンピュータにより実現可能である。こ
の時、カメラ固定機構１１を、パーソナルコンピュータ
のディスプレイ上部に固定するように構成してもよい。
特に、携帯型パーソナルコンピュータの液晶表示部上部
にカメラ固定機構１１を固定する構成をとれば、ＴＶ会
議などの人物撮像用途と書画原稿入力用途を１台のカメ
ラで構成可能なことから、携帯性が非常に高められる。

【００９０】また、上記、第１および第２の実施例の説
明においては、カメラ方向検出装置１４からの角度情報
に誤差が含まれないと仮定して処理を行ったが、実際に
は、誤差が含まれる場合があるが、このような場合に
は、画像間に位置合わせ処理を適用することで誤差を解
消するように構成することも可能である。例えば、各画
像に付加されるθおよびφを誤差を解消可能な範囲内で
変動させて、各画像に画像変換装置１８により幾何変換
を適用し、画像合成装置１５による合成時に、画像間の
重複部の類似性を相互相関係数や残差を利用して評価
し、類似性が最も高くなる状態のθ、φを探索するよう
に構成することで、角度情報に含まれる誤差を解消した
高精度の合成画像を生成可能となる。

【００９１】さらに、本願発明の画像入力装置は、図２
に示しているように、一般にパーソナルコンピュータと
呼ばれる計算機に、カメラ１２、カメラ方向検出装置１
４とを少なくとも一体化することができるカメラ固定機
構１１によって取り付け、パーソナルコンピュータ上
に、本願発明の制御装置１０、画像合成装置１５、画像
メモリ１７、画像変換装置１８、表示画像変換装置１
９、対象決定装置２０、モード決定装置２１に対応する
機構を備えればよい。この場合は、パーソナルコンピュ
ータ上に上記機構を実現するコンピュータが読み取り可
能なプログラムを作成し、該プログラムをＣＤ−ＲＯＭ
やフロッピーディスクなどに代表される記録媒体に記録
しておき、パーソナルコンピュータ上で、該記録媒体か
ら該プログラムを読み込むことによって容易に実現する
ことが可能である。

【００９２】また、指示装置１３については、先の実施
例の通りカメラ１２に取り付けられる構成でも良いし、
一般にパーソナルコンピュータの入力装置として広く使
われているキーボードやマウス等によって代替してもか
まわない。

【００９３】

【発明の効果】以上説明したように本発明によれば以下
のような効果を得ることができる。

【００９４】第１の効果は、ユーザがカメラを撮像対象
に向けるだけで、撮像対象を自動的に判別し、撮像対象
および撮像方向に応じた変換を施し適切な画像を表示装
置に表示することである。ユーザが撮像対象を装置に指
示するなどの煩雑な処理無しに、適切な画像を表示する
ことが可能となる。

【００９５】第２の効果は、ユーザの合成処理における
操作量を軽減することである。ユーザは、カメラを撮像
対象に向け、指示装置を押しながら撮像対象をスキャン
するという極めて直感的な操作だけで、幾何形状が正し
く、水平、垂直、斜め方向を撮像したパノラマ画像を簡
単に入力することが可能となる。

【００９６】第３の効果は、携帯型パーソナルコンピュ
ータの液晶表示部上部にカメラ固定機構を固定する構成
により本発明を実現すれば、ＴＶ会議などの人物撮像用
途と書画原稿入力用途を１台のカメラで構成可能なこと
から、携帯性が非常に高められることである。これは、
第１、第２の効果から派生的に得られる効果である。

【００９７】第４の効果は、第２の実施例において説明
したように、カメラの回転軸をある一定の角度で固定す
ることで、機器全体をより小型化できることである。カ
メラによる撮像範囲が水平方向に移動するため、カメラ
を表示装置や筐体のより近くに設置可能となることによ
る効果である。

【図面の簡単な説明】

【図１】本発明の画像入力装置の構成の一実施の形態例
を示すブロック図である。

【図２】本発明の画像入力装置の第１の実施例におい
て、原稿を入力する状況を説明するための図である。

【図３】本発明の画像入力装置の第１の実施例におい
て、風景を入力する状況を説明するための図である。

【図４】本発明の画像入力装置の第１の実施例におい
て、書画画像における幾何歪補正を説明するための図で
ある。

【図５】本発明のカメラ方向検出装置の構成例を説明す
るための図である。

【図６】本発明の処理の流れの一実施例を説明するため
のフローチャートである。

【図７】本発明の処理の流れの一実施例を説明するため
のフローチャートである。

【図８】本発明の実施例において、座標系を説明するた
めの図である。

【図９】本発明の実施例において、カメラモデルを説明
するための図である。

【図１０】本発明の実施例において、合成処理を説明す
るための図である。

【図１１】本発明の第２の実施例の実施例において、装
置の構成を説明するための図である。

【符号の説明】

１０制御装置１１カメラ固定機構１２カメラ１３指示装置１４カメラ方向検出装置１５画像合成装置１６表示装置１７画像メモリ１８画像変換装置１９表示画像変換装置２０対象決定装置２１モード決定装置５０外部装置１０１筐体１０２原稿１０３撮像範囲３００３次元座標系３０１回転中心Ｒ３０５原稿面３１０原稿面上の点Ａ３１１原稿面上の点Ｂ３１２原稿面上の点Ｃ３１３原稿面上の点Ｄ３１４原稿面上の点Ｅ３１０原稿面上の点Ａ４１０画像平面上の点ａ４１１画像平面上の点ｂ４１２画像平面上の点ｃ４１３画像平面上の点ｄ４１４画像平面上の点ｅ５０１円筒面

Claims

(57)【特許請求の範囲】

【請求項１】撮像対象を撮像するカメラと、前記カメラの方向を検出するカメラ方向検出装置と、少なくとも前記カメラと前記カメラ方向検出装置を一体
化し、前記カメラの撮像方向をユーザが自由に変更可能
なように点もしくは軸を前記カメラの回転中心として保
持し、前記カメラの位置を一定の高さに保持するカメラ
固定機構と、画像を記憶するための画像メモリと、前記カメラ方向検出装置のカメラの方向に関する情報か
ら、前記カメラが撮像する対象を識別するための撮像対
象種別を決定する対象決定装置と、ユーザの指示または前記カメラ方向検出装置のカメラの
方向に関する情報により前記カメラによって撮像される
画像に対する処理種別を決定するモード決定装置と、前記対象決定装置により決定された撮像対象種別に応じ
て、前記カメラ方向検出装置のカメラの方向に関する情
報から、前記カメラが撮像した画像に含まれる撮像対象
の幾何形状が正しくなるように幾何変換を適用し、前記
幾何変換を適用した画像を前記画像メモリに記憶する画
像変換装置と、前記画像メモリに記憶されている画像の合成処理を行
い、合成した画像を前記画像メモリに記憶する画像合成
装置とを備えることを特徴とする画像入力装置。
【請求項２】前記カメラ固定機構が、前記カメラの回転
中心として保持している軸を水平方向に固定し、前記カ
メラの撮像方向を当該軸と鉛直な平面上でユーザが自由
に変更可能であり、かつ、当該軸の水平に対する角度を
もユーザが自由に設定できるように構成されていること
を特徴とする請求項１に記載の画像入力装置。
【請求項３】前記カメラ固定機構によって一体化された
前記カメラに、前記モード決定装置に指示するための指
示装置を取り付けることを特徴とするを特徴とする請求
項１または２に記載の画像入力装置。
【請求項４】前記カメラにより撮像した画像、又は前記
画像変換装置により前記画像メモリに記憶された画像を
表示する表示装置と、前記対象決定装置により決定された撮像対象種別に応じ
て、前記カメラ方向検出装置のカメラの方向に関する情
報から前記表示装置に適した表示を行うために前記表示
装置に表示する画像の変換を行う表示画像変換装置とを
備えることを特徴とする請求項１、２または３に記載の
画像入力装置。
【請求項５】前記表示画像変換装置が、前記モード決定
装置により決定された処理種別を参照して、前記表示装
置に適した表示を行うために前記表示装置に表示する画
像の変換を行うことを特徴とする請求項４に記載の画像
入力装置。
【請求項６】撮像対象を撮像するカメラと、前記カメラの方向を検出するカメラ方向検出装置と、ユーザが画像処理内容の指示を入力する指示装置と、少なくとも前記カメラと前記カメラ方向検出装置を一体
化し、前記カメラの撮像方向をユーザが自由に変更可能
なように点もしくは軸を前記カメラの回転中心として保
持し、前記カメラの位置を一定の高さに保持するカメラ
固定機構とを少なくとも備えた画像入力装置の画像処理
プログラムを記録したコンピュータが読み取り可能な記
録媒体であって、前記カメラ方向検出装置のカメラの方向に関する情報か
ら、前記カメラが撮像する対象を識別するための撮像対
象種別を決定する対象決定機能と、ユーザの指示または前記カメラ方向検出装置のカメラの
方向に関する情報により前記カメラによって撮像される
画像に対する処理種別を決定するモード決定機能と、前記対象決定機能により決定された撮像対象種別に応じ
て、前記カメラ方向検出装置のカメラの方向に関する情
報から、前記カメラが撮像した画像に含まれる撮像対象
の幾何形状が正しくなるように幾何変換を適用し、前記
幾何変換を適用した画像をコンピュータが備え持つ記憶
装置に記憶させる画像変換機能と、前記記憶装置に記憶されている画像の合成処理を行い、
合成した画像を前記記憶装置に記憶させる画像合成機能
と、前記カメラ方向検出装置のカメラの方向に関する情報と
前記対象決定機能が決定した撮像対象種別に応じて、表
示装置に適した表示を行うために前記表示装置に表示す
る画像の変換を行う表示画像変換機能とを前記画像入力
装置に実行させための画像処理プログラムを記録したこ
とを特徴とするコンピュータが読み取り可能な記録媒
体。
【請求項７】前記カメラ固定機構が、前記カメラの回転
中心として保持している軸を水平方向に固定し、前記カ
メラの撮像方向を当該軸と鉛直な平面上でユーザが自由
に変更可能であり、かつ、当該軸の水平に対する角度を
もユーザが自由に設定できるように構成されていること
を特徴とする請求項７に記載のコンピュータが読み取り
可能な記録媒体。
【請求項８】撮像対象を撮像するカメラと、前記カメラの方向を検出するカメラ方向検出装置と、ユーザが画像処理内容の指示を入力する指示装置と、少なくとも前記カメラと前記カメラ方向検出装置を一体
化し、前記カメラの撮像方向をユーザが自由に変更可能
なように点もしくは軸を前記カメラの回転中心として保
持し、前記カメラの位置を一定の高さに保持するカメラ
固定機構がディスプレイ上部に設置されたコンピュータ
に、前記カメラ方向検出装置のカメラの方向に関する情報か
ら、前記カメラが撮像する対象を識別するための撮像対
象種別を決定する対象決定機能と、ユーザの指示または前記カメラ方向検出装置のカメラの
方向に関する情報により前記カメラによって撮像される
画像に対する処理種別を決定するモード決定機能と、前記対象決定機能により決定された撮像対象種別に応じ
て、前記カメラ方向検出装置のカメラの方向に関する情
報から、前記カメラが撮像した画像に含まれる撮像対象
の幾何形状が正しくなるように幾何変換を適用し、前記
幾何変換を適用した画像をコンピュータが備え持つ記憶
装置に記憶させる画像変換機能と、前記記憶装置に記憶されている画像の合成処理を行い、
合成した画像を前記記憶装置に記憶させる画像合成機能
と、前記カメラ方向検出装置のカメラの方向に関する情報と
前記対象決定機能が決定した撮像対象種別に応じて、表
示装置に適した表示を行うために前記表示装置に表示す
る画像の変換を行う表示画像変換機能とを実行させため
の画像処理プログラムを記録したことを特徴とするコン
ピュータが読み取り可能な記録媒体。