JP2023546037A - 画像記録装置 - Google Patents
画像記録装置 Download PDFInfo
- Publication number
- JP2023546037A JP2023546037A JP2023521704A JP2023521704A JP2023546037A JP 2023546037 A JP2023546037 A JP 2023546037A JP 2023521704 A JP2023521704 A JP 2023521704A JP 2023521704 A JP2023521704 A JP 2023521704A JP 2023546037 A JP2023546037 A JP 2023546037A
- Authority
- JP
- Japan
- Prior art keywords
- image
- recording device
- projection plane
- area
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 claims abstract description 69
- 230000009466 transformation Effects 0.000 claims abstract description 60
- 230000005693 optoelectronics Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 61
- 230000003287 optical effect Effects 0.000 claims description 55
- 238000003384 imaging method Methods 0.000 claims description 25
- 238000005259 measurement Methods 0.000 claims description 25
- 238000010586 diagram Methods 0.000 abstract 1
- 238000011161 development Methods 0.000 description 25
- 230000018109 developmental process Effects 0.000 description 25
- 230000001133 acceleration Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
画像記録装置は、光電子画像センサー、位置センサー、グラフィックユーザー出力インターフェース、および評価装置を有する。上記画像センサーは、画像センサーの前に位置する場面を画像センサーの画像領域に撮像したものを表す画像データセットを取得する。上記位置センサーは、基準方向に対する画像領域の空間位置を検出し、画像センサーの回転角と傾斜角の両方を特定する位置データを提供する。上記評価装置は、回転と傾斜の両方に応じて画像データセットを画像領域に対して傾斜している投影面にマップする射影変換を位置データから決定する。上記評価装置は、射影変換により投影面にマップされた画像データセットについて投影面において画像部分を決定し、グラフィックユーザー出力インターフェースにおいて上記画像部分を、少なくとも、画像部分内にある撮像された場面の領域とともに表示する。【選択図】図6
Description
本発明は、光電子画像センサーを含む画像記録装置、および光電子画像センサーを含む画像記録装置を動作させる方法に関する。
光電子画像センサーを含む画像記録装置、例えば写真用カメラまたはビデオカメラは、画像記録装置の前に位置する場面を画像センサーの画像領域に撮像し、その画像領域に撮像された場面を表す画像データを生成する。場面の撮像時、その場面の基準領域、例えば家の正面の垂直面に対して画像領域が傾斜する際に、場面の基準領域と画像センサーの画像領域が平行に配置されないことが起こり得る。これにより、場面の基準領域内の異なる各領域は、画像センサーの画像領域からの間隔が異なってしまい、サイズの増加量が異なった各領域が画像領域に撮像される。これが、画像領域に撮像された場面の射影歪みとなる。その結果、基準面内で互いに平行に延びる直線は、例えば、所謂プランジングラインとして撮像され得る。これは、特に、低い視点から高い建物を撮像した場合に起こり得る。
画像記録装置の傾斜によって生じる射影歪みは、その後の画像データの処理時に、画像データの記録時に起こる射影歪みを補償する逆変換により元に戻すことができる。この点に関して、典型的には、元の場面で互いに平行に延びる直線が画像データ内で同定され、次いで、画像データが、同定された直線が記録された場面においても平行に配列するように逆変換により補正される。
しかしながら、この逆変換では画像データのマージンも歪んでいるので、変換された画像データを切り取って歪んだマージンを回避しなければならない。これにより、使用可能な画像部分は減少する。このため、既に記録された画像データのその後の処理において、元の記録にあった、画像の構成に重要な画像領域を切り取らなければならず、もはや利用できなくなるという結果になる。
本発明の目的は、画像記録装置のユーザーが、記録時に起こる射影歪みを補正した後でも記録の構成に関与するすべての画像領域を含んだままである画像データを容易に生成することを可能にすることである。
この目的は、独立請求項に係る画像記録装置および画像記録装置を動作させる方法により満たされる。さらなる展開はそれぞれ従属請求項で規定される。
画像記録装置は、光電子画像センサー、位置センサー、グラフィックユーザー出力インターフェース、および評価装置を有する。上記画像センサーは、上記画像センサーの前に位置する場面を上記画像センサーの画像領域に撮像したものを表す画像データセットを取得するように構成される。さらに、上記位置センサーは、基準方向に対する上記画像領域の空間位置を検出し、上記画像データセットの取得時に、特に上記画像領域への上記基準方向の直投影に対して、上記画像センサーの光学軸を中心として上記画像領域が回転した回転角と、上記画像データセットの取得時に、特に上記基準方向に対して、水平軸を中心として上記画像領域が傾斜した傾斜角の両方を特定する位置データを提供するように構成される。この点に関して、上記水平軸は、上記光学軸と垂直にかつ上記基準方向と垂直に配向している。上記評価装置は、上記画像領域からの上記回転と上記傾斜の両方に応じて上記画像データセットを投影面にマップする射影変換を上記位置データから決定するように構成される。この点に関して、上記投影面は、上記傾斜角に応じて上記画像領域に対して傾斜しており、上記回転角に応じて上記画像領域の中心軸に対して上記画像領域において回転した交線に沿って上記画像領域と交差している。さらに、上記評価装置は、上記射影変換により上記投影面にマップされた上記画像データセットについて上記投影面において画像部分を決定し、上記グラフィックユーザー出力インターフェースにおいて上記画像部分を、少なくとも、上記画像部分内にある上記画像領域に撮像された上記場面の領域とともに表示するように構成される。
本発明のフレームワーク内では、記録された場面に対する画像センサーの位置が位置センサーにより自動的に検出され、射影歪みを補償する射影変換が位置センサーの位置データから算出されるという点で、射影歪みに対する簡単でなによりも遠近の正しい補正が可能になることが確認された。水平軸を中心とした画像センサーの傾斜、すなわち基準方向と平行に配列した場面の基準面に対する画像センサーの画像面の傾斜だけでなく、光学軸を中心とした画像センサーの回転も射影変換において考慮されるため、撮像された場面の遠近の正しい補正が、特に画像センサーが回転した場合でも行われる。
そして、画像記録装置のユーザー出力インターフェースにおいて画像領域に撮像された場面とともに評価装置により決定された画像部分を表示することによって、その後に画像データを切り取る場合でも記録の構成に必須のすべての画像領域が画像部分内にあるように、ユーザーは場面の記録時に既に画像センサーを配向させることができる。この点に関して、画像記録装置のユーザーは、射影歪みの補正後も使用することができる画像部分について記録時に既に直接フィードバックを受けるので、ユーザーは後で利用可能となる画像部分を考慮しつつすべての関連記録パラメーターを既に選択することができる。
射影変換を決定するために用いられる基準方向は、特に、位置センサーにより決定される画像センサーの回転と傾斜から独立させることができる。これにより、投影面の絶対的な空間位置もまた、光学軸を中心とした画像センサーの回転と水平軸を中心とした画像センサーの傾斜から独立している。水平軸は光学軸および基準方向と垂直に配向しているので、光学軸もまた、射影変換の適用後に、水平軸と垂直に配向した、基準方向と光学軸とがなす垂直面に配置される。この点に関して、撮像された場面への視線方向もまた、射影変換の適用後に垂直面からシフトしないため、例えば、光学軸を中心とした画像センサーの回転にかかわらず、投影面が常に画像センサーに対して同じ向きであるような変換に比べて、場面の記録時に画像部分の構成が容易になる。
画像領域に対する投影面の傾斜は、特に、画像領域に対する投影面の傾斜が傾斜角または傾斜角マイナス残留角度に相当するように傾斜角に依存し得る。画像領域に対する投影面の傾斜は、特に、投影面が、ゼロに等しくない傾斜角では画像領域に対して傾斜し、ゼロに等しい傾斜角では画像領域と平行に配列するように傾斜角に依存し得る。
同様に、画像領域の中心軸に対する画像領域と投影面との交線の回転は、中心軸に対する交線の回転が回転角に相当するように回転角に依存し得る。中心軸に対する交線の回転は、特に、交線が、ゼロに等しくない回転角では中心軸と平行に延びておらず、ゼロに等しい回転角では画像領域の中心軸と平行に延びるように回転角に依存し得る。そして、長方形の画像領域では、交線は、ゼロとは異なる回転角では画像領域のマージンとも平行に延びていない。
位置センサーは、画像センサーの相互に直交する3本の軸の空間位置を決定する三軸センサーとして構成することができる。位置センサーは、共通の筺体内に画像センサーとともに動かないように配置することができる。例えば、位置センサーは、重力センサーまたはジャイロセンサーとして構成することができる。あるいは、基準方向はまた、ユーザー入力により、例えば、所望の基準方向に沿った画像センサーの中心軸の向きと、例えばユーザー入力への反応として、対応する空間位置への位置決定の較正とにより、予め規定可能とすることもできる。
画像センサーの空間位置を決定する際に用いられる基準方向は、重力加速度の方向など、固定された予め規定された方向であり得る。重力加速度である場合、水平軸は特に記録された場面の水平線と平行に配列されて、傾斜角が画像領域のその垂直配向からの傾斜を特定する。
基準方向が光学軸と平行に配列する場合に水平軸の位置の一義的な定義を確保するためにも、評価装置は、傾斜角が最大で予め規定された限界値に相当する場合のみに基準方向と垂直にかつ光学軸と垂直に配向した方向として水平軸を決定するように構成することができる。この点に関して、限界値は90°未満、例えば45°未満であり得る。限界値は、例えば、1°、3°、5°、または10°、90°未満、または45°未満であり得る。さらに、評価装置は、最大で予め規定された限界値に相当する傾斜角についてのみ射影変換および画像部分を決定するように構成することができる。あるいは、評価装置は、予め規定された限界値を超えた場合に画像領域の予め規定された中心軸と平行に水平軸を配列させるように構成することもできる。
画像記録装置は、写真用カメラまたはビデオカメラとして構成することができる。画像記録装置は特に、ミラーレスカメラとして構成することができる。場面を画像センサーの画像領域に撮像するために、画像記録装置は、撮像時に画像センサーおよび位置センサー(例えば、画像センサーおよび位置センサーを含む筺体)に動かないように接続された結像光学系(レンズなど)を有することができる。結像光学系は特に交換可能なレンズであり得る。結像光学系の光学軸は画像センサーの光学軸と一致し得る。
ユーザー出力インターフェースは、画像記録装置またはスクリーンの電子ファインダーまたは光学ファインダーであり得る。光学ファインダーである場合、画像部分は、ファインダー内に示された撮像された場面の領域に重ねて表示されて、ファインダーとして構成されたユーザー出力インターフェースにおいて画像部分と、少なくとも、画像部分内にある撮像された場面の領域とを同時に表示することができる。スクリーンおよび/またはファインダーは同様に、画像センサーおよび位置センサーを含む筺体に配置することができる。あるいは、少なくともスクリーンは、そのような筺体とは離れて、例えば、データリンクを介して画像センサーおよび位置センサーと接続されたモバイル機器(例えば、スマートフォンやタブレットコンピューター)に配置することができる。
評価装置は、少なくとも1つのプログラム可能な論理装置(例えば、ASIC、FPGA、マイクロチップなど)を含むことができる。画像センサーおよび位置センサーと同じ筺体に配置することができる。あるいは、少なくとも評価装置の構成要素は、この筺体の外に、例えば、データリンクを介して筺体に接続された画像記録装置の外部処理装置(例えば、スマートフォンやタブレットコンピューター)に配置することができる。
画像センサーは例えば、CCDセンサーまたはCMOSセンサーとして構成することができる。入射電磁放射を検出し、それを電子信号に変換して画像データセットを生成する画像センサーの領域により画像センサーの画像領域が形成される。画像領域は特に長方形であり得る。
画像部分は、例えば、長方形の画像部分として決定することができる。画像部分を決定するために、評価装置は、射影変換により投影面に、少なくとも、画像領域のすべてのコーナー点を撮像することができる。評価装置は特に、画像センサーの個々のピクセルではなく、画像領域のコーナー点を投影面にマップするだけで、画像部分を決定することができる。投影面内で画像部分の座標を決定した後、評価装置は、射影変換と逆の変換により画像部分の座標を画像センサーの画像領域に撮像し戻すことができる。これにより、グラフィックユーザー出力インターフェースにおいて未変換の場面内の画像部分を表示することが可能になる。この点に関して、特に、画像部分と画像センサーの画像領域により取得されたすべての画像データとを同時に表示することができる。
あるいは、未変換の画像部分は、同様に投影面にマップされ、かつ画像部分内にある撮像された場面の領域とともに、ユーザー出力インターフェースにおいて直接表示することもできる。これにより、射影歪みの補正後に得られる画像部分をユーザー出力インターフェース内の全領域にわたって、したがって高倍率で表示することが可能になる。
さらなる展開では、基準方向は重力加速度の方向に相当する。これにより、画像センサーの空間位置を容易に自動的に決定することができる。典型的には、撮像された場面が、低いまたは高い視点から記録した高さのある垂直の物体(例えば、建物)を含む場合に射影歪みが起こる。そして、特に、そのような射影歪みの場合、ユーザー入力なしに射影変換を決定することができる。そのようなさらなる展開では、位置センサーは、例えば、地球の重力場を検出するための加速度センサーとして構成することができる。
さらなる展開では、投影面は水平軸と平行にかつ/または基準方向と平行に配列している。投影面が水平軸と平行である場合、光学軸を中心とした画像領域の回転は完全に補正される。投影面が基準方向と平行である場合、基準方向、例えば、重力加速度から決定される垂直配向に対する画像領域の傾斜は完全に補償される。
あるいは、投影面は、光学軸を中心とした回転が完全には補償されないように、ゼロとは異なりかつ回転角より小さい水平軸との残留角度を囲むことができる。これに替えてまたは加えて、投影面は、ゼロとは異なりかつ傾斜角より小さい基準方向とのさらなる残留角度を囲むことができる。これにより、水平軸を中心とした画像領域の傾斜は完全には補償されない。特に、補正不足、すなわち、水平軸を中心とした画像領域の傾斜の補償が不完全な場合、傾斜を完全に補正した場合よりも、遠近の補正を適用した後の撮像された場面はより自然に見え得る。
さらなる展開では、水平軸は画像領域の中心で光学軸と交差している。よって、投影面もまた、画像領域の中心で水平軸に沿って画像領域と交差している。
さらなる展開では、射影変換の投影中心は光学軸上に配置される。これにより、撮像時に起こる射影歪みに対して遠近の正しい補償が可能になる。
さらなる展開では、画像領域からの投影中心の間隔は、場面を画像センサーに撮像する画像記録装置の結像光学系の、画像領域の対角線に対して正規化された焦点距離に相当する。これにより、撮像時に起こる射影歪みを完全に補正することができる。画像記録装置が各種の結像光学系(例えば交換可能なレンズ)を収容するように構成される場合、評価装置は、記録時に用いられる結像光学系の与えられた焦点距離に基づいて投影中心の間隔を決定するように構成することができる。この点に関して、焦点距離は、例えば、結像光学系(例えば、結像光学系の電子装置)により与えることができ、評価装置により検出することができる。結像光学系が調節可能な焦点距離で記録された場面を撮像するように構成される場合、例えば、ズームレンズとして構成された結像光学系である場合、評価装置は、それぞれの場合で設定された焦点距離を検出するように構成することができる。
さらなる展開では、評価装置は、画像部分の決定に関して投影面に投影された画像領域のコーナー点のみを用いるように構成される。これにより、画像部分を特に素早く簡単に決定することができるようになる。画像記録装置のこのようなさらなる展開において、特に、画像部分の決定は、画像センサーのさらなるピクセルの投影なしに、特に画像センサーのすべてのピクセルの投影面への投影なしに行うことができる。これにより、画像部分はほとんど計算労力なく特に素早く決定することができる。
さらなる展開では、評価装置は、予め規定されたアスペクト比に基づいて画像部分を決定するように構成される。アスペクト比を予め規定することによって、その後、画像部分は自動的に決定することができる。例えば、予め規定されたアスペクト比は、画像領域のアスペクト比および/またはユーザー出力インターフェースのアスペクト比に相当する。例えば、アスペクト比は、評価装置に変更できないように保存することもできるし、あるいはユーザー入力インターフェースを介して画像記録装置のユーザーにより予め規定可能とすることもできる。
さらなる展開では、例えば、予め規定されたアスペクト比は、画像領域のアスペクト比および/またはユーザー出力インターフェースのアスペクト比とは異なり、評価装置は、ユーザー入力インターフェースを介して予め規定されたアスペクト比を特定するためのユーザー入力を受けるように構成される。これにより、画像部分は特に柔軟に自動化することができる。
さらなる展開では、評価装置は、投影面において、画像部分の第一の中心軸が水平軸と平行に延び、第一の中心軸と垂直に配向した画像部分の第二の中心軸が基準方向と平行に延びるように、例えば長方形部分として、画像部分を決定するように構成される。これにより、投影面で決定された画像部分は、画像センサーの光学軸を中心とした回転を完全に補正するように配向する。
さらなる展開では、評価装置は、予め規定されたアスペクト比が維持される場合に画像部分の少なくとも2つのコーナーが射影変換により投影面にマップされた画像領域のマージン上にあるように画像部分を決定するように構成される。これにより、画像部分は、予め規定されたアスペクト比を維持しつつ特に大きく、特に使用可能な最大の画像部分として決定することができる。
さらなる展開では、評価装置は、射影変換により投影面に投影された画像領域の中心が画像部分の中心軸上にあるように画像センサーの位置とは独立して画像部分を決定するように構成される。これにより、場面の対称な撮像が容易になる。さらに、画像部分内にある撮像された場面の領域は、このような画像部分の決定において画像誤差(例えば、歪み)が特に少ない。なぜなら、光学軸からの間隔が大きくなるほど、したがって画像領域の中心からの間隔が大きくなるほど、通常、結像光学系により生じる画像誤差は増加するからである。
さらなる展開では、評価装置は、正の傾斜角と負の傾斜角の両方に画像部分を決定するための同じアルゴリズムを用い、正の傾斜角が存在する場合のみ、あるいは負の傾斜角が存在する場合のみ、そのアルゴリズムを、投影面に投影された画像領域ではなく、基準方向に沿って反転させた投影された画像領域に適用するように構成される。これにより、正の傾斜角の補正と負の傾斜角の補正をいずれも可能にするのにほんの僅かな数の場合しか区別が必要でない。
アルゴリズムが反転された投影画像領域に適用される際の傾斜角、すなわち、すべての正の傾斜角またはすべての負の傾斜角のいずれかについて、画像領域の関連点(例えば、そのコーナー点)はまず、投影面にマップすることができ、次いで反転させることができる。その後、アルゴリズムが適用された後、決定された画像部分も同様に基準方向に沿って反転させて、元の反転させていない投影画像領域内に画像部分の位置を得ることができる。
さらなる展開では、評価装置は、少なくとも傾斜角がゼロに等しい場合に、投影面の画像部分のコーナーを、アスペクト比により予め規定された画像部分の対角線と投影面に投影された画像領域のマージンとの交点として決定するように構成される。画像部分のこのような図形的な決定により、低い計算力で特に容易に画像部分を決定することができる。傾斜角がゼロに等しい場合、このように決定された画像部分はまた、アスペクト比を維持しつつ可能な最大の画像部分に相当する。この点に関して、画像部分の中心から始まり、画像部分の対角線が決定され得るが、特にその中心は投影面に変換された画像領域の中心に相当し得る。
さらなる展開では、評価装置は、少なくとも傾斜角が少なくとも閾値だけゼロと異なり、回転角がゼロに等しい場合に、投影面の画像部分のコーナーを、アスペクト比により予め規定された画像部分の半分の対角線と投影面に投影された画像領域のマージンとの交点として決定するように構成されるが、ここで、投影面において、対角線は水平軸と平行に配列した画像部分のさらなるマージンの中心を通って延びる。同様に、これにより、低い計算力で簡単に画像部分を図形的に決定することができる。
水平軸と平行に配列した画像部分のさらなるマージンの中心は、特に、基準方向と平行に配列し、かつ投影面に変換された画像領域の中心を通って延びる画像部分の中心軸上に配置することができる。画像部分は、水平軸と平行に配列した画像部分のさらなるマージンに隣接させることができる。さらなるマージンは、特に、水平軸と平行に配列した画像部分の最も長いマージンであり得る。
評価装置は、傾斜角がゼロに等しいか、あるいは閾値未満である場合のみ、アスペクト比により予め規定された画像部分の対角線と画像領域の投影されたマージンとの交点として画像部分を決定し、傾斜角がゼロに等しくないか、あるいは少なくとも閾値だけゼロと異なり、回転角がゼロに等しいか、あるいは最大でさらなる1つの閾値だけゼロと異なる場合のみ、アスペクト比により予め規定された画像部分の半分の対角線と画像領域の投影されたマージンとの交点として画像部分を決定するように構成することができる。
さらなる展開では、評価装置は、グラフィックユーザー出力インターフェースにおいて画像部分内にある画像領域に撮像された場面の領域を、射影変換により投影面に変換した画像データセットの領域として表示し、変換された画像データセットを切り取ること、例えば、ユーザー出力インターフェースのマージンにより変換された画像データセットを切り取ることによって、画像部分を表示するように構成される。これにより、撮像場面の切り取られて遠近が調整された領域が直接ユーザーに表示される。
さらなる展開では、評価装置は、グラフィックユーザー出力インターフェースにおいて射影変換を適用せずに完全に画像領域に撮像された場面を表示するように構成されるが、ここで、評価装置は、撮像された場面に重ねられたフレームにより画像部分を表示するように構成される。これにより、画像センサーの画像領域に撮像された場面は、画像記録装置のユーザーに完全に表示することができる。記録を準備する際、ユーザーは特に、画像部分の外にある場面の領域も考慮することができる。
画像面に撮像された場面を未変換のまま、すなわち射影変換を適用せずにグラフィックユーザー出力インターフェースにおいて表示する場合、投影面で決定された画像部分は、射影変換の逆の変換を適用することによってユーザー出力インターフェースにおいて表示することができる。画像部分を囲むフレームは、特に逆変換を適用することによって表示することができる。例えば、逆変換は、さらなる射影変換として、光学軸上にある投影中心を有する投影面から画像領域を含む画像面に画像部分を投影することができる。
フレームは、個々の線によりユーザー出力インターフェースにおいて表示することができる。さらなる視覚的表示の変形は、フレームを囲む灰色表示の領域、またはフレームの中の色表示とは異なるフレームの外にある領域の色表示を含むことができる。さらに、フレームは一般に、フレームのマージンと平行にかつ/または直交するように配列させることができる重ねられたグリッド線で表示することもできる。
このようなグリッド線は、特に投影面において、フレームのマージンと平行にかつ/または直交するように配列させることができる。そして、ユーザー出力インターフェースにおいて撮像した場面を未変換のまま表示する場合、フレームとグリッド線の両方を逆変換により画像面に変換して表示することができる。
さらなる展開では、評価装置は、ユーザー出力インターフェースにおいて画像記録装置の記録パラメーターを決定するための測定点の位置を表示するように構成されるが、ここで、測定点の位置は、画像領域に撮像された完全な未変換の場面に対して表示される。これにより、特に、画像部分の外に配置された測定点を表示し、記録パラメーターを決定するのに用いることもできる。特に、画像記録装置は、測定点が画像部分の外に配置されても測定点の測定データを考慮するように構成することができる。
例えば、測定点は、焦点測定点、露出測定点、画像データセットのホワイトバランスについて色温度を決定するための測定点などであり得る。例えば、測定点はユーザー入力により設定することができる。例えば、ユーザー入力は、画像記録装置の機械的操作要素(例えば、ボタン、スイッチ、または操作棒)により検出することができる。これに替えてまたは加えて、ユーザー入力は、電子的制御要素(例えば、タッチパネルまたはタッチスクリーン)により検出することもできる。
さらなる展開では、画像記録装置は、ユーザー出力インターフェースと、未変換の場面に対して測定点の位置を規定するための重ねられた位置入力インターフェースとを含む組合せユーザーインターフェースを含むが、ここで、組合せユーザーインターフェースは、例えば、重ねられた位置入力インターフェースの作動が検出される未変換の場面内の位置として測定点の位置を検出するように構成される。このようにして、測定点の位置は特に容易に直感的に決定することができる。例えば、組合せユーザーインターフェースは、タッチスクリーンであり得るが、ここで、未変換の場面は特にスクリーンに表示することができる。
さらなる展開では、基準方向は投影面にある。あるいは、投影面は、残留角度だけ基準方向に対して傾斜し得るが、ここで、残留角度はゼロとは異なり、傾斜角よりも小さい。例えば、残留角度は、傾斜角の最大で10%、例えば、最大で5%、最大で2%、または最大で1%とすることができる。残留角度は、特に傾斜角の2%とすることができる。同時に、投影面は水平軸と平行に配列し得る。傾斜は、ゼロとは異なる残留角度までしか補正されないので、傾斜の補正不足が生じるが、これは特に、傾斜が大きい場合、補正された画像データセットが完全な補正よりも自然に見えることになり得る。
さらなる展開では、画像センサーは、連続する各時点で画像領域に撮像された場面を表す一連の画像データセットを取得するように構成され、位置センサーは、各画像データセットについて画像センサーのそれぞれの空間位置を検出し、それぞれの位置データを提供するように構成される。さらに、評価装置は、それぞれの位置データから決定された射影変換によりそれぞれの投影面に投影された各画像データセットについてそれぞれの画像部分を決定し、グラフィックユーザー出力インターフェースにおいてそれぞれの画像部分を、少なくとも、それぞれの画像部分内にある画像領域に撮像された場面の領域とともに連続して表示するように構成される。
これにより、画像記録装置のユーザーは、ユーザー出力インターフェースの表示に基づいて画像センサーに撮像された場面を規定することができる。特に、そのようなさらなる展開では、ユーザー出力インターフェースは、電子ファインダーとして、または画像記録装置の筺体に配置されたスクリーンとして構成することができる。例えば、画像記録装置は、それぞれの画像データセットの取得とそれぞれの画像部分の決定および/または表示とを1秒あたり少なくとも5画像、例えば、1秒あたり少なくとも5、10、20、40、50、60、または120画像の繰り返し速度で行うように構成することができる。この点に関して、位置データは、繰り返し速度とは異なる頻度、例えばより低い頻度で位置センサーにより提供することもできる。この場合、画像部分は、同じ位置データに基づいて次々と複数回決定および/または表示することができる。
画像記録装置を動作させる方法であって、
上記画像記録装置の画像センサーを用いて画像データセットを取得することであって、上記画像データセットは、上記画像センサーの前に位置する場面を上記画像センサーの画像領域に撮像したものを表すことと、
基準方向に対する上記画像領域の空間位置を検出することと、
上記画像データセットの取得時に、特に上記画像領域への上記基準方向の直投影に対して、上記画像センサーの光学軸を中心として上記画像領域が回転した回転角と、上記画像データセットの取得時に、特に上記基準方向に対して、水平軸を中心として上記画像領域が傾斜した傾斜角の両方を特定する位置データを提供することであって、上記水平軸は、上記光学軸と垂直にかつ上記基準方向と垂直に配向していることと、
上記位置データから射影変換を決定することであって、上記射影変換は、上記画像領域からの上記回転と上記傾斜の両方に応じて上記画像データセットを投影面にマップし、上記投影面は、上記傾斜角に応じて上記水平軸を中心として上記画像領域に対して傾斜しており、上記回転角に応じて上記画像領域の中心軸に対して上記画像領域において回転した交線に沿って上記画像領域と交差していることと、
上記射影変換により上記投影面にマップされた上記画像データセットについて上記投影面において画像部分を決定することと、
上記画像記録装置のグラフィックユーザー出力インターフェースにおいて上記画像部分を、少なくとも、上記画像部分内にある上記画像領域に撮像された上記場面の領域と同時に表示することを含む方法がさらに特定される。
上記画像記録装置の画像センサーを用いて画像データセットを取得することであって、上記画像データセットは、上記画像センサーの前に位置する場面を上記画像センサーの画像領域に撮像したものを表すことと、
基準方向に対する上記画像領域の空間位置を検出することと、
上記画像データセットの取得時に、特に上記画像領域への上記基準方向の直投影に対して、上記画像センサーの光学軸を中心として上記画像領域が回転した回転角と、上記画像データセットの取得時に、特に上記基準方向に対して、水平軸を中心として上記画像領域が傾斜した傾斜角の両方を特定する位置データを提供することであって、上記水平軸は、上記光学軸と垂直にかつ上記基準方向と垂直に配向していることと、
上記位置データから射影変換を決定することであって、上記射影変換は、上記画像領域からの上記回転と上記傾斜の両方に応じて上記画像データセットを投影面にマップし、上記投影面は、上記傾斜角に応じて上記水平軸を中心として上記画像領域に対して傾斜しており、上記回転角に応じて上記画像領域の中心軸に対して上記画像領域において回転した交線に沿って上記画像領域と交差していることと、
上記射影変換により上記投影面にマップされた上記画像データセットについて上記投影面において画像部分を決定することと、
上記画像記録装置のグラフィックユーザー出力インターフェースにおいて上記画像部分を、少なくとも、上記画像部分内にある上記画像領域に撮像された上記場面の領域と同時に表示することを含む方法がさらに特定される。
上記方法は、特に、上述の画像記録装置により実行することができる。この点に関して、上記画像記録装置に関連して開示されるすべてのさらなる展開および技術的効果は、上述の方法にも関し、その逆も当てはまる。
以下、図面を参照して本発明を説明する。以下を概略図で示す。
図1は、ミラーレスシステムカメラとして構成された画像記録装置10を、画像記録装置10の前に位置する場面1とともに示す。画像記録装置10は、光電子画像センサー12と結像光学系18とを含む。結像光学系18は、交換可能なレンズとして構成されており、場面1(場面1内に配置された建物2を含む)を、結像光学系18に対向する画像センサー12の画像領域30に撮像する。この点に関して、画像センサー30の光学軸43は、結像光学系18の光学軸と一致する。
画像記録装置10は、画像センサー12に接続された評価装置20、画像記録装置10の位置センサー14、電子ファインダーとして構成された画像記録装置10の第一のユーザーインターフェース16、後部スクリーンとして構成された画像記録装置の第二のユーザーインターフェース17、および電子メモリ装置22をさらに含む。この点に関して、画像記録装置10の個々の構成要素は、共通の筺体11に配置される。
光電子画像センサー12および位置センサー14は、特に、筺体11内で互いに対して動かないように配置されている。位置センサー14は、重力加速度15により与えられる基準方向50に対して位置センサー14および位置センサー14に対して動かないように接続された画像センサー12の空間位置を決定し、評価装置20に空間位置を表す位置データを送信する三軸加速度センサーとして構成される。
図1に示された画像記録装置10の空間位置において、画像センサー30は、基準方向50と垂直にかつ光学軸43と垂直に配向している水平軸121を中心として傾斜角54だけ傾斜しているので、光学軸43が直角とは異なる角度で建物2と交差している。これにより、光学軸43は、水平軸121と垂直にかつ基準方向50と垂直に配向した縦方向軸123からずれる。
さらに、図1に示された画像記録装置10の空間位置において、画像領域30は、光学軸43を中心として基準方向50に対して回転していない。よって、画像領域30の第一の中心軸41は水平軸121と一致し、第一の中心軸41と垂直に配向した画像領域30の第二の中心軸42は、基準方向50と光学軸43とがなす垂直面に配置される。この点に関して、第一および第二の中心軸41、42はそれぞれ、光学軸43と垂直に配向している。中心軸41、42と光学軸43は、全体としてデカルトセンサー座標系を形成している。同様に、水平軸121と、基準方向50と平行に延びる垂直軸122と、縦方向軸123とはデカルト座標系を形成している。
図2は、第一の空間位置115、第二の空間位置116、第三の空間位置117、および第四の空間位置118における画像記録装置10を示す。センサー座標系の向きは、異なる位置115、116、117、118においていずれの場合も第二の中心軸42が第一の中心軸41よりも基準方向50と小さい角度を囲むように選択される。さらに、センサー座標系の方向は、基準方向50を規定する基準ベクトルを第二の中心軸42に投影した結果、正の座標値となるように選択される。
この結果、画像記録装置10の下側111が基準方向50に向かって配向した第一の位置115では、第一の中心軸41が右側113に向かって配向し、第二の中心軸が画像記録装置10の下側111に向かって配向している。画像記録装置10の上側112が基準方向50に向かって配向した第二の位置116では、第一の中心軸41が画像記録装置10の左側114に向かって配向し、第二の中心軸42が上側112に向かって配向している。第三の位置117では、画像記録装置10の左側114が基準方向50に向かって配向し、その結果、第一の中心軸41が下側111に向かって配向し、第二の中心軸42が画像記録装置10の左側114に向かって配向している。第四の位置118では、画像記録装置10の右側113が基準方向50に向かって配向し、それにより第一の中心軸41が上側112に向かって配向し、第二の中心軸42が画像記録装置10の右側113に向かって配向している。
図1に示された場面1の記録時に、画像センサー12は、連続する各時点で画像領域30に撮像された場面をそれぞれ表す一連の画像データセットを取得する。同時に、その個々の画像データセットはそれぞれ、ユーザー出力インターフェース16、17において少なくとも局部的に表示されて、画像記録装置10のユーザーが記録される場面1の領域を選択することができる。
図3は、例として、そのような画像データセット100を有するスクリーン17を示す。画像データセット100は、スクリーン17に未変換のまま表示されているので、水平軸121を中心とした画像センサー12の傾斜により建物2の平行端105はプランジングラインとして再生されている。
評価装置20は、傾斜角54と光学軸43を中心とした画像センサー12の回転角とを考慮しつつ、いずれの場合でも射影変換により画像データセット100の遠近を補正するように構成されるが、ここで、回転角は水平軸121と第一の中心軸41の間の角度に相当する。この点に関して、傾斜角54と回転角の両方が、位置センサー14により提供される位置データから決定される。
図4は、図3に示された画像データセット100のそのような射影変換の結果を示す。射影変換を適用した後、建物2の両端105は互いに平行に延び、かつ垂直軸122と平行に、したがって基準方向50と平行に延びている。図4から分かるように、画像領域30のマージンに相当する画像データセット100のマージンは射影変換により歪んでいるので、画像データセット100はもはや長方形のマージンを有さない。
射影変換を適用した際の画像領域30のマージンの歪みを補正するために、評価装置20は、図5に示された長方形の画像部分60を決定するように構成される。この点に関して、図5に示された画像部分60は完全に画像データセット100内で決定される。代替の実施形態では、画像部分60は、画像データセット100の外側の領域を含むこともできる。評価装置20はさらに、ユーザー出力インターフェース16、17において画像部分60と、少なくとも、画像部分60内に位置する場面1の領域とを表示するように構成される。
図6は、第二のユーザー出力インターフェース17における画像部分60および画像部分60内に位置する場面1の領域の第一の表示を示す。この点に関して、画像部分60内にある領域は未変換まま表示されている。画像部分60内の場面1の領域に加えて、画像領域30に撮像された場面1の残りの部分もまた、未変換のまま表示されている。画像部分60は、示されてた場面1に重ねられたフレームとして再生されている。
図6では、さらに第一の測定点91が示されており、第一の測定点91は、ユーザー出力インターフェース17において画像データセット100に重ねられて表示され、結像光学系18の自動焦点機能のための焦点測定点を規定している。この点に関して、焦点測定点は、自動焦点機能が画像部分60の外側にある場面1の領域に焦点を合わせるように画像部分60の外側に配置される。さらに、露出測定点を規定する第二の測定点92が、同様に画像データセット100に重ねられて表示される。第二の測定点92は、画像部分60内にある場面1の領域が露出されるように画像部分60内にある。
第二のユーザー出力インターフェース17は、タッチスクリーンとして構成され、かつユーザー出力インターフェース17に加えて重ねられたタッチセンサー式位置入力インターフェースを含む組合せユーザーインターフェースの一部である。測定点91、92の位置は、位置入力インターフェースにより規定することができる。この点に関して、第一の測定点はまた、特に画像部分60内に置くことができ、かつ/または第二の測定点92は画像部分60の外に置くことができる。
図7は、画像部分60および画像部分60内に位置する画像センサー12に撮像された場面1の領域の第二の表示を示す。この点に関して、画像部分60内にある場面1の領域は、図4および図5に示されるように変換されて再生されており、ユーザー出力インターフェース17のマージンにより境界されている。この点に関して、画像部分60は、画像部分60内にある、画像センサー12に撮像された場面1の領域のみを示すことによって表示される。
代替の実施形態では、画像部分60内に位置する場面1の領域は、射影変換を適用することによって表示することもでき、画像部分60はフレームとして表示することができる。この点に関して、さらに、画像部分60の外に位置する撮像された場面1の領域はすべて、例えば図5に示されるように、変換して再生することもできる。そのような表示では、同様に、測定点91、92を画像部分の外および内の両方に設定することが可能である。
図8は、図1に示された画像記録装置10の空間位置について画像部分60を決定するために評価装置20により行われる射影変換を示す。射影変換では、画像センサー12の画像領域30が、光学軸43に配置された投影中心125により投影面120に投影される。この点に関して、投影面120は、画像領域30により規定された画像面40と傾斜角54を囲む。
投影面120は、光学軸43と基準方向50とがなす垂直面と垂直に配向し、画像領域30の中心39を通って延びている。さらに、基準方向50は投影面120にある。よって、図1に示された水平軸121および同様に示された垂直軸122も投影面120にある。投影面120は水平軸121に沿って画像領域30と交差しているので、水平軸121は投影面120と画像領域30との交線を形成している。
図1に示された画像領域30の空間位置では、光学軸43を中心とする画像領域30の回転はない。これにより、水平軸121と画像領域30の第一の中心軸41は一致しており、画像領域30の第二の中心軸42は傾斜角54だけ垂直軸122に対して傾斜している。
図9は、ゼロとは異なる回転角52の場合の画像領域30の位置と投影面120を示す。投影面120は水平軸121に沿って画像領域30と交差しているが、ここで、水平軸121は、画像領域30の第一の中心軸41に対して光学軸43を中心として回転角52だけ回転している。さらに、画像領域30の中心軸41は、画像領域30または画像面40への基準方向50の直投影51に対して光学軸43を中心として回転角52だけ回転している。
同様に図9に示すように、投影中心125は、画像領域30の中心39からの間隔126を有する。間隔126は結像光学系18の焦点距離により与えられる。焦点距離は画像領域30の対角線に対して正規化され、以下に相当する。
ここで、f35mmは、結像光学系18の35mm相当焦点距離を指す。
傾斜角54は、水平軸121を中心とした投影面120からの画像領域30の傾斜を特定するが、ここで、傾斜角54は投影面120から始まるものであり、水平軸121を中心として右回りを正とし、水平軸121を中心として左回りを負として規定される。図9に示された傾斜では、傾斜角54は負である。
回転角52は、光学軸43を中心とした垂直面(基準方向50と光学軸43とがなす)からの画像領域30の法平面(画像領域30の第二の中心軸42と光学軸43とにより規定される)の回転を特定するが、ここで、回転角52は垂直面から始まるものであり、光学軸43を中心として右回りを正とし、光学軸43を中心として左回りを負として規定される。図9に示された回転では、回転角52は正である。
図10は、ユーザー出力インターフェース16、17において画像部分60を表示するための評価装置20により行われる方法300を示す。方法300は、まず、画像センサー12により画像データセット100を取得すること305を含む。その後、方法300は、位置センサー14により画像センサー12の空間位置を検出し、次いで位置センサー14により位置データを提供すること315を含む。そして、提供された位置データは評価装置12に送信される。
次いで、評価装置12は、図8に示された投影面120に画像領域30を変換する射影変換を決定する(320)。評価装置12は特に、傾斜角54および回転角52に基づいて投影面120の空間位置を決定する。
以下の記載では、X軸が第一の中心軸41に相当し、Y軸が第二の中心軸42に相当し、Z軸が光学軸43に相当するセンサー座標系が用いられる。さらに、X軸が水平軸121に相当し、Y軸が垂直軸122に相当し、Z軸が縦方向軸123に相当する基準座標系が用いられる。さらに、同次座標が用いられる。
特に、画像領域30のコーナー点は以下の式により与えられる。
ここで、xTL、yTLは、負のX座標およびY座標を有し、かつセンサー座標系のX-Y面の第三象限に位置する第一のコーナー点の座標を指し、xTR、yTRは、正のX座標および負のY座標を有し、かつセンサー座標系のX-Y面の第二象限に位置する第二のコーナー点の座標を指し、xBR、yBRは、正のX座標およびY座標を有し、かつセンサー座標系のX-Y面の第一象限に位置する第三のコーナー点の座標を指し、xBL、yBLは、負のX座標および正のY座標を有し、かつセンサー座標系のX-Y面の第四象限に位置する第四のコーナー点の座標を指す。
第一の回転行列は光学軸43を中心とした画像領域30の回転を表し、θは回転角52に相当する。第二の回転行列は水平軸121を中心とした画像領域30の傾斜を表し、φは傾斜角54に相当する。
その後、図8に示された投影面120への画像領域30のコーナー点の射影変換330が行われるが、これは、基準座標系のX-Y面により与えられ、この点に関して傾斜角54を中心とした傾斜と回転角52を中心とした回転の両方を考慮する。各座標系のX-Y面への射影変換は、行列記法において以下の式で表すことができる。
ここで、dは光学軸43上にある投影中心125を指す。センサー座標系では、dは
により与えられ、基準座標系では、dは
により与えられる。
その後、画像部分60の4つのコーナーを規定することによって、投影面120において画像部分60の決定340が行われる。
画像部分60が画像領域30に撮像された未変換の場面1とともに表示される場合、その後、画像面40(センサー座標系のX-Y面に相当)への投影中心125によるコーナー点の射影変換350がセンサー座標系で行われる。次いで、このように変換された画像部分60のコーナー点は、画像領域30に撮像された未変換の場面1とともに表示される(390)。
図11は、基準座標系の第三象限に第一のコーナー点35を有し、基準座標系の第二象限に第二のコーナー点36を有し、基準座標系の第一象限に第三のコーナー点37を有し、基準座標系の第四象限に第四のコーナー点38を有する投影面120に投影された画像領域30を示す。この点に関して、投影された画像領域30は正の傾斜角54および正の回転角52として示される。
画像領域30に加えて、図11は第一の画像部分81、第二の画像部分82、および第三の画像部分83を示すが、ここで、各画像部分81、82、83は完全に画像領域30内にあり、評価装置20により画像部分60として決定することができる画像部分を形成している。それぞれの画像部分81、82、83は長方形で、それぞれの第一のマージン61、それぞれの第二のマージン62、それぞれの第三のマージン63、およびそれぞれの第四のマージン64を有する。それぞれの第一のマージン61およびそれぞれの第三のマージン63は水平軸121と平行に延びており、それぞれの第二および第四のマージン62、64は垂直軸122と平行に延びている。さらに、画像部分81、82、83は水平軸121と平行に配列したそれぞれの第一の中心軸75と、垂直軸122と平行に配列したそれぞれの第二の中心軸76とを有する。
画像部分81、82、83はそれぞれ、予め規定されたアスペクト比を維持しつつ決定される。さらに、それぞれの画像部分81、82、83は、それらのそれぞれの第二の中心軸76が投影面120に投影された画像領域30の中心39を通って延びるように決定される。
また、第一の画像部分81は、第一の画像部分81の中心85が画像領域30の中心39に相当するように決定される。第二の画像部分82は、水平軸121と平行に延びる第二の画像部分82のマージン61、63の1つが、画像領域30のコーナー点35、36、37、38の1つと水平軸121から同じ間隔を有するように決定される。正の傾斜角54の場合、これは、水平軸121に最も近く配置され、かつ負のY座標を持つコーナー点、すなわち、図11に示された投影における第二のコーナー点36である。負の傾斜角54の場合、これは、水平軸121に最も近く配置され、かつ正のY座標を有するコーナー点である。最後に、第三の画像部分83は、そのコーナーの少なくとも2つが画像領域30のマージン上にあり、同時に第三の画像部分83の面積が最大化されるように決定される。
図12および図13は、画像部分60が第一の画像部分81として決定される場合、画像部分60の決定340時に行われる方法400を示す。この点に関して、画像領域30の中心39から始まり、第一の画像部分81の第一の対角線77および第二の対角線78が決定される(405)。第一の対角線77は基準座標系のX-Y面において負の勾配を有し、上記負の勾配の大きさは画像部分60を決定するために予め規定されたアスペクト比の逆数に相当する。第二の対角線78はX-Y面において正の勾配を有し、上記正の勾配の大きさは同様に予め規定されたアスペクト比の逆数に相当する。この点に関して、予め規定されたアスペクト比は、垂直軸122に沿った画像部分60の範囲に対する水平軸121に沿った画像部分60の範囲として常に規定される。
その後、それぞれ、第一および第二のコーナー点35、36と画像領域30の第一のマージン31とを通って延びる直線、第二および第三のコーナー点36、37と画像領域30の第二のマージン32とを通って延びる直線、第三および第四のコーナー点37、38と画像領域30の第三のマージン33とを通って延びる直線、並びに第四および第一のコーナー点38、35と画像領域30の第四のマージン34とを通って延びる直線と、対角線77、78との8つの交点46の算出410が行われる。図13では、第二の対角線78と第一のマージン31を通って延びる直線との交点は図示されていない。
次いで、方法400は第一の画像部分81を規定すること415を含む。ここで、画像領域30の中心39から最小の間隔47を有する交点46が決定される。その後、第一の画像部分81の規定415時に、第一の画像部分81のコーナーが対角線77、78上にあり、画像領域30の中心39からのそれらのそれぞれの間隔が最小の間隔47に相当するように第一の画像部分81のコーナーが決定される。
図14に示されるように、傾斜角54がゼロの場合、方法400により決定された第一の画像部分81は、第三の画像部分83に相当する。これは、傾斜角54がゼロの場合、第一の画像部分81の第二の中心軸76が画像領域30の中心39を通って延びるように、かつ予め規定されたアスペクト比が維持される場合に第一の画像部分81が画像領域30内に最大面積を有するように、第一の画像部分81もまた方法400により決定されることを意味する。この点に関して、第一の画像部分81の2つのコーナーは画像領域30のマージン31、32、33、34上にある。
図15および図16に第二の画像部分82を決定する方法500を示す。この点に関して、まず、負の傾斜角54の有無についての確認505が行われる。負の傾斜角54が存在する場合、まず、垂直軸122に沿った投影面120に投影された画像領域30の反転510が行われる。これにより、第一のコーナー点35は第四のコーナー点38と入れ替えられ、第二のコーナー点36は第三のコーナー点37と入れ替えられるので、基準座標系の第二および第三象限を通って延びる画像領域30のマージン31、33が、第一および第四象限を通って延びる画像領域30のマージン31、33よりも中心軸121に沿った範囲が確実に大きくなる。
その後、中心軸121に最も近く配置された基準座標系の第二のおよび第三象限における画像領域30のコーナー点35、36と同じ高さで垂直軸122に沿って存在するように、水平軸121と平行に配列した第二の画像部分82の第一のマージン61の中心74が決定される(515)。図16に示された画像センサー12の空間位置において、これは第二のコーナー点36である。
その後、方法500は、第一の対角線72と画像領域30の第二、第三、および第四のマージン32、33、34を通って延びる直線との交点46、並びに第二の対角線73と画像領域30の第二、第三、および第四のマージン32、33、34を通って延びる直線との交点46を決定すること520を含む。代替の実施形態では、第一の対角線72と画像領域30の第三および第四のマージン33、34を通って延びる直線との交点46のみ、並びに/または第二の対角線73と画像領域30の第二および第三のマージン32、33を通って延びる直線との交点46のみを決定することもできる。
それぞれの対角線72、73は、第二の画像部分82の第二の中心軸76により分離された第二の画像部分82の半分70の対角線であり、それぞれの対角線72、73は、それぞれ中心74を通って延びる。第一の対角線72は負の勾配を有し、第二の対角線73は正の勾配を有しており、ここで、それぞれの勾配の大きさは予め規定されたアスペクト比の逆数の2倍に相当する。
その後、中心74からの最小の間隔47を有する交点46を決定し、最小の間隔47および予め規定されたアスペクト比から第二の画像部分82のコーナーの位置を算出することによって第二の画像部分82の規定525が行われる。その後、負の傾斜角54が決定された場合、垂直軸122に沿った規定された画像部分82の反転590が行われて、方法500の開始時に行われた投影された画像領域30の反転510を補償する。
したがって、方法600では、第二の画像部分82を決定するための同じアルゴリズムが正および負の傾斜角54の両方に用いられるが、このアルゴリズムは、最初と最後の反転510、590の間に行われる方法工程515、520、525を含む。代替の実施形態では、反転510、590は、正の傾斜角54が決定された場合に行うこともでき、そして、方法工程515、520、525は、中心74が基準座標系の第一および第四象限を通って延びる第二の画像部分82の第三のマージン63上にあるように適合される。
図17に示すように、回転角52がゼロの場合、方法500により決定された第二の画像部分82は第三の画像部分83に相当する。これは、回転角52がゼロの場合、方法500により決定された第二の画像部分82が、第三の画像部分83と同様に、その第二の中心軸76が画像領域30の中心39を通って延びるように、かつ予め規定されたアスペクト比が維持される場合に画像領域30内に最大面積を有するように決定されることを意味する。この点に関して、第二の画像部分82の2つのコーナーは画像領域30のマージン31、32、33、34上にある。しかしながら、第一の画像部分81とは異なり、第二の画像部分82の中心85は画像領域30の中心39には相当しない。
図18は、第三の画像部分83を決定する方法の図形表示を示す。該方法はまず、投影面120に投影された画像領域30の第一のマージン31と垂直軸122との交点Aを算出することと、投影された画像領域30の第三のマージン33と垂直軸122との交点Eを算出することとを含む。その後、第三の画像部分83を決定するための評価範囲を交点Aと交点Eの間のY座標値へと狭める。
その後、マージン関数f上(y)、f右(y)、f下(y)、およびf左(y)が規定されるが、ここで、f上(y)はY座標への画像領域30の第一のマージン31のX座標の依存性を特定し、f右(y)は第二のマージン32のX座標の依存性を特定し、f下(y)は第三のマージン33のX座標の依存性を特定し、f左(y)は第四のマージン34のX座標の依存性を特定する。さらなる算出のために、次いで、関数f上(y)、f右(y)、f下(y)、およびf左(y)の絶対値を用いるが、これは、垂直軸122での基準座標系の第三および第四象限において延びる画像領域30のマージン31、32、33、34の部分のミラーリングに相当し、部分的に規定された関数h(y)=min(|f上(y)|,|f右(y)|,|f下(y)|,|f左(y)|)が用いられる。
次に、間隔]0,xmax]におけるX軸に沿った評価範囲(ここで、xmax=max(h(y)))では、以下を適用して垂直軸122と平行に延びる直線のX座標値xが決定される。
ここで、SVは予め規定されたアスペクト比を指し、Lは関数h(y)のもとで垂直軸122と平行に延びる線分の長さを指す。
図19は、第三の画像部分83を決定するためのさらなる方法600を示す。方法600では、まず、負の傾斜角54が存在するかどうかが確認される(605)。もしそうである場合、まず、図15に関連して記載された垂直軸122に沿った投影された画像領域30の反転510が行われる。次いで、交点Aおよび交点Eが上記のように決定される(615)。負の傾斜角54が存在しない場合、方法600は、直接交点Aおよび交点Eの決定615から始まる。
次いで、図18に示されたさらなる交点B、C、およびDが決定される(620)。図20に示された方法がこの目的で用いられる。この点に関して、まず、画像領域30の第一のコーナー点35のY座標が第二のコーナー点36のY座標よりも小さいかどうかが確認される(626)。もしそうである場合、交点Bは、図18に示すように、垂直軸122でミラーリングされた投影された画像領域30の第一のマージン31と第四のマージン34との交点として決定される(628)。そうでない場合、交点Bは、垂直軸122でミラーリングされた第一のマージン31と投影された画像領域30の第二のマージン32との交点として決定される(629)。
その後、方法620は、垂直軸122でミラーリングされた第二のマージン32または第四のマージン34と水平軸121との交点として交点Cを決定すること(630)を含む。その後、投影された画像領域30の第四のコーナー点38のY座標が投影された画像領域30の第三のコーナー点37のY座標よりも小さいかどうかが確認される(632)。もしそうである場合、交点Dは、図18に示すように、垂直軸122でミラーリングされた第三のマージン33と投影された画像領域30の第二のマージン32との交点として決定される(634)。そうでない場合、交点Dは、垂直軸122でミラーリングされた投影された画像領域30の第三のマージン33と第四のマージン34との交点として決定される(635)。
次いで、図19に示された第三の画像部分83を決定するさらなる方法600は、図21に示された第一の交点P1と図21に同様に示された第二の交点P2とを規定すること650を含み、これら交点は、決定される第三の画像部分83の第三のコーナー67と交差する投影された画像領域30のマージン31、32、33、34の線分の境界を定める。
規定650は図22に示されており、まず、投影された画像領域30の第一のマージン31と交点Cを通って垂直軸122と平行に延びる直線との交点F(図21に示す)を決定すること652を含む。その後、規定650は、第一のマージン31と交点Dを通って垂直軸122と平行に延びる直線との交点G(同様に図21に示す)を規定すること654を含む。
次いで、接続線CFと予め規定されたアスペクト比を比較する(656)。交点FのX座標値の2倍と接続線CFの長さとの比が予め規定されたアスペクト比以下である場合、第一の交点P1は交点Bとして規定され、第二の交点P2は交点Cとして規定される(657)。そうでない場合、接続線DGが予め規定されたアスペクト比と比較される(658)。交点GのX座標値の2倍と接続線DGの長さとの比が予め規定されたアスペクト比より大きい場合、第一の交点P1は交点Cとして規定され、第二の交点P2は交点Dとして規定される(660)(図21に示す)。そうでない場合、第一の交点P1は交点Dとして規定され、第二の交点P2は交点Eとして規定される(661)。
その後、図23に示すように、交点Aおよび交点Bを通って延びる直線と交点P1および交点P2を通って延びる直線との交点K、並びに交点P1および交点P2を通って延びる直線と垂直軸122との交点Lが決定される(662)。この点に関して、図23の表示の相対的長さの比は、図18および図21に示された長さの比とは異なっている。
規定650は、次いで、交点A、K、およびLにより規定された三角形の寸法を決定すること664を含む。ここで、図23に示された長さa、b、およびcは、交点A、K、およびLの座標から決定される。この点に関して、長さaは点Aおよび点KのY座標値の差に相当し、長さbは点Kおよび点LのY座標値の差に相当し、長さcはY軸を形成する垂直軸122からの点Kの間隔に相当する。
次いで、方法600は、第三の画像部分83の位置および寸法を決定すること666を含む。この点に関して、まず、第三の画像部分83の第二のマージン62のX座標値gが算出される。予め規定されたアスペクト比が下記式
(式中、d=f・tan(γ)、e=f・tan(δ)、およびf=c-gがさらに適用される)で与えられるので、X座標値gは以下として算出することができる。
そして、水平軸121に沿った第三の画像部分83の幅wはw=2・gとなり、垂直軸122に沿った高さhはh=d+eとなる。さらに、第三の画像部分83の中心85のY座標は、交点KのY座標K.yとするとK.y+(e-d)/2となり、一方、第三の画像部分83の中心85のX座標はゼロに等しい。
図19に示すように、次いで、図18に示された第三の画像部分83のコーナー65、66、67、68は第三の画像部分83の位置および寸法から算出される(685)。最後に、負の傾斜角54が存在する場合、決定された画像部分83のコーナー65、66、67、68の位置は垂直軸122に沿って反転されて(590)、方法600の開始時に行われた画像領域30のコーナー点35、36、37、38の反転510を補償する。
したがって、方法600では、第三の画像部分83を決定するための同じアルゴリズムが同様に、正および負の傾斜角54の両方に用いられるが、このアルゴリズムは、最初と最後の反転510、590の間に行われる方法工程615、620、650、685を含む。代替の実施形態では、反転510、590は、正の傾斜角54が決定された場合に行うこともでき、そして、方法工程615、620、650、685はそれに応じて適合されなければならない。
図24は、画像部分60の決定340を行うことができるさらなる方法700を示す。この点に関して、方法600と同様に、画像部分60が予め規定されたアスペクト比を有し、その第二の中心軸76が画像領域30の投影された中心39を通って延び、かつ画像部分60が投影面120に投影された画像領域30内で最大面積を有するように画像部分60が決定される。方法700では、また、画像部分60は特に、そのコーナー65、66、67、68の少なくとも2つが投影された画像領域30のマージン31、32、33、34上にあるように決定される。
さらなる方法700はまず、傾斜角54を確認すること705を含む。傾斜角54が最大で閾値だけゼロからずれている場合、特に、傾斜角54がゼロに等しい場合、画像部分60は図12~図14に関連して記載された方法400により決定される。これにより、予め規定されたアスペクト比と画像領域30の中心39を通って延びる第二の中心軸76とを有する最大画像部分として画像部分60が同様に決定される他の方法500、600に比べて特に少ない労力で画像部分60を決定することができる(図14を参照)。そうではなく、負の傾斜角54が存在する場合、垂直軸122に沿った投影された画像領域30の反転510が行われる。正の傾斜角54の場合は、反転510は省略される。
次いで、回転角52の確認710が行われる。回転角52が最大でさらなる閾値だけゼロと異なる場合、特に、回転角52がゼロに等しい場合、画像部分60は、図15~図17に関連して記載された方法500の方法工程515、520、525により算出される。画像部分60を決定するための計算労力は、同様に方法600よりも小さい。図17に示すように、この場合、決定された画像部分60はまた、方法600により決定することができる最大面積の第三の画像部分83に相当する。
回転角52の確認710により、回転角52がさらなる閾値よりも大きくゼロからずれていることが判明した場合、画像部分60は方法600の方法工程620、650、685により算出される。最後に、傾斜角54が閾値よりも大きくゼロからずれており、負の傾斜角52が存在する場合、決定された画像部分60の反転590が行われる。
画像記録装置10の代替の実施形態では、画像記録装置10のユーザーにより予め規定することができる画像部分60の中心85に基づいて画像部分60を半自動的に決定することもできる。これに替えてまたは加えて、所定のアスペクト比も、ユーザー入力により予め規定可能にすることができる。さらに、画像記録装置10の代替の実施形態では、画像部分60が投影面120において投影された画像領域30の外に配置された領域を含むように画像部分60を決定することもできる。これらの場合、評価装置20は、補間された画像情報などの算出された画像情報で投影された画像領域30の外に配置された領域を埋めるように構成することができる。
さらに、評価装置20は、メモリ装置22において記録された画像データセット100の遠近の補正のための基準データを保存するように構成される。この点に関して、基準データは、画像データセット100とは別に異なるファイルに保存することも、メタデータなどとして共通のファイルに画像データセット100とともに保存することもできる。例えば、基準データは、傾斜角54および/または回転角52および/または結像光学系18の焦点距離、例えば正規化された焦点距離(例えば、35mmフォーマットに正規化された焦点距離)を含むことができる。これに替えてまたは加えて、基準データは、画像部分60の位置およびサイズを規定する画像部分データを含むことができる。
このような画像部分データは、とりわけ、画像部分60のコーナー65、66、67、68の位置、および/または予め規定されたアスペクト比、および/または画像データセット100に対する補正された画像の相対的サイズを含むことができる。この点に関して、例えば、コーナー65、66、67、68の位置は、0と1の間の数値として正規化された形態で保存することができ、予め規定されたアスペクト比は、高さに対する幅の比として保存することができ、相対的サイズは、補正された画像の高さに対する画像データセット100の高さの比として保存することができる。さらに、基準データは、保存された画像データセット100が射影変換により既に補正されているか否かを特定する情報を含むことができる。
1 場面
2 建物
10 画像記録装置
11 筺体
12 画像センサー
14 位置センサー
15 重力加速度
16 第一のユーザー出力インターフェース
17 第二のユーザー出力インターフェース
18 結像光学系
20 評価装置
22 メモリ装置
30 画像領域
31 第一のマージン
32 第二のマージン
33 第三のマージン
34 第四のマージン
35 第一のコーナー点
36 第二のコーナー点
37 第三のコーナー点
38 第四のコーナー点
39 中心
40 画像面
41 第一の中心軸
42 第二の中心軸
43 光学軸
46 交点
47 間隔
50 基準方向
51 投影
52 回転角
54 傾斜角
60 画像部分
61 第一のマージン
62 第二のマージン
63 第三のマージン
64 第四のマージン
65 第一のコーナー
66 第二のコーナー
67 第三のコーナー
68 第四のコーナー
69 対角線
70 半分
72 第一の対角線
73 第二の対角線
74 中心
75 第一の中心軸
76 第二の中心軸
77 第一の対角線
78 第二の対角線
81 第一の画像部分
82 第二の画像部分
83 第三の画像部分
85 中心
86 第一の交点
87 第二の交点
91 第一の測定点
92 第二の測定点
100 画像データセット
105 端
111 上側
112 下側
113 右側
114 左側
115 第一の位置
116 第二の位置
117 第三の位置
118 第四の位置
120 投影面
121 水平軸
122 垂直軸
123 縦方向軸
125 投影中心
126 間隔
127 垂直面
130 ミラーリングされた画像領域
300 方法
305 画像データセットを取得
310 空間位置を検出
315 位置データを提供
320 射影変換を決定
325 基準座標への画像コーナーの座標変換
330 投影面への画像コーナーの投影
340 画像部分を決定
345 センサー座標への画像部分のコーナーの戻し変換
350 画像面への部分コーナーの戻し投影
390 画像データセットおよび画像部分を表示
400 第一の画像部分を決定する方法
405 対角線を決定
410 交点を算出
415 第一の画像部分を規定
500 第二の画像部分を決定する方法
505 負の傾斜角を確認
510 投影された画像領域を反転
515 中心を決定
520 交点を決定
525 第二の画像部分を規定
590 画像部分を反転
600 第三の画像部分を決定する方法
605 負の傾斜角を確認
615 中心を決定
620 交点B、C、Dを決定
626 第一および第二のコーナー点のY座標を比較
628 交点Bを決定
629 交点Bを決定
630 交点Cを決定
632 第三および第四のコーナー点のY座標を比較
634 交点Dを決定
635 交点Dを決定
650 交点P1およびP2を規定
652 交点Fを決定
654 交点Gを決定
656 接続線CFを予め規定されたアスペクト比と比較
657 交点P1を交点Bとして、交点P2を交点Cとして規定
658 接続線DGを予め規定されたアスペクト比と比較
660 交点P1を交点Cとして、交点P2を交点Dとして規定
661 交点P1を交点Dとして、交点P2を交点Eとして規定
662 交点KおよびLを決定
664 三角形の寸法を決定
666 第三の画像部分の位置および寸法を決定
685 画像部分のコーナーを算出
700 画像部分を決定する方法
705 傾斜角を確認
710 回転角を確認
2 建物
10 画像記録装置
11 筺体
12 画像センサー
14 位置センサー
15 重力加速度
16 第一のユーザー出力インターフェース
17 第二のユーザー出力インターフェース
18 結像光学系
20 評価装置
22 メモリ装置
30 画像領域
31 第一のマージン
32 第二のマージン
33 第三のマージン
34 第四のマージン
35 第一のコーナー点
36 第二のコーナー点
37 第三のコーナー点
38 第四のコーナー点
39 中心
40 画像面
41 第一の中心軸
42 第二の中心軸
43 光学軸
46 交点
47 間隔
50 基準方向
51 投影
52 回転角
54 傾斜角
60 画像部分
61 第一のマージン
62 第二のマージン
63 第三のマージン
64 第四のマージン
65 第一のコーナー
66 第二のコーナー
67 第三のコーナー
68 第四のコーナー
69 対角線
70 半分
72 第一の対角線
73 第二の対角線
74 中心
75 第一の中心軸
76 第二の中心軸
77 第一の対角線
78 第二の対角線
81 第一の画像部分
82 第二の画像部分
83 第三の画像部分
85 中心
86 第一の交点
87 第二の交点
91 第一の測定点
92 第二の測定点
100 画像データセット
105 端
111 上側
112 下側
113 右側
114 左側
115 第一の位置
116 第二の位置
117 第三の位置
118 第四の位置
120 投影面
121 水平軸
122 垂直軸
123 縦方向軸
125 投影中心
126 間隔
127 垂直面
130 ミラーリングされた画像領域
300 方法
305 画像データセットを取得
310 空間位置を検出
315 位置データを提供
320 射影変換を決定
325 基準座標への画像コーナーの座標変換
330 投影面への画像コーナーの投影
340 画像部分を決定
345 センサー座標への画像部分のコーナーの戻し変換
350 画像面への部分コーナーの戻し投影
390 画像データセットおよび画像部分を表示
400 第一の画像部分を決定する方法
405 対角線を決定
410 交点を算出
415 第一の画像部分を規定
500 第二の画像部分を決定する方法
505 負の傾斜角を確認
510 投影された画像領域を反転
515 中心を決定
520 交点を決定
525 第二の画像部分を規定
590 画像部分を反転
600 第三の画像部分を決定する方法
605 負の傾斜角を確認
615 中心を決定
620 交点B、C、Dを決定
626 第一および第二のコーナー点のY座標を比較
628 交点Bを決定
629 交点Bを決定
630 交点Cを決定
632 第三および第四のコーナー点のY座標を比較
634 交点Dを決定
635 交点Dを決定
650 交点P1およびP2を規定
652 交点Fを決定
654 交点Gを決定
656 接続線CFを予め規定されたアスペクト比と比較
657 交点P1を交点Bとして、交点P2を交点Cとして規定
658 接続線DGを予め規定されたアスペクト比と比較
660 交点P1を交点Cとして、交点P2を交点Dとして規定
661 交点P1を交点Dとして、交点P2を交点Eとして規定
662 交点KおよびLを決定
664 三角形の寸法を決定
666 第三の画像部分の位置および寸法を決定
685 画像部分のコーナーを算出
700 画像部分を決定する方法
705 傾斜角を確認
710 回転角を確認
Claims (15)
- 光電子画像センサー(12)、位置センサー(14)、グラフィックユーザー出力インターフェース(16、17)、および評価装置(20)を含む画像記録装置(10)であって、
上記画像センサー(12)は、上記画像センサー(12)の前に位置する場面(1)を上記画像センサー(12)の画像領域(30)に撮像したものを表す画像データセット(100)を取得するように構成され、
上記位置センサー(14)は、基準方向(50)に対する上記画像領域(30)の空間位置を検出し、上記画像データセット(100)の取得時に上記画像センサー(12)の光学軸(43)を中心として上記画像領域(30)が回転した回転角(52)と、上記画像データセット(100)の取得時に水平軸(121)を中心として上記画像領域(30)が傾斜した傾斜角(54)の両方を特定する位置データを提供するように構成され、
上記水平軸(121)は、上記光学軸(43)と垂直にかつ上記基準方向(50)と垂直に配向しており、
上記評価装置(20)は、上記画像領域(30)からの上記回転と上記傾斜の両方に応じて上記画像データセット(100)を投影面(120)にマップする射影変換を上記位置データから決定するように構成され、
上記投影面(120)は、上記傾斜角(54)に応じて上記画像領域(30)に対して傾斜しており、上記回転角(52)に応じて上記画像領域(30)の中心軸(41、42)に対して上記画像領域(30)において回転した交線に沿って上記画像領域(30)と交差しており、
上記評価装置(20)は、上記射影変換により上記投影面(120)にマップされた上記画像データセット(100)について上記投影面(120)において画像部分(60、81、82、83)を決定するように構成され、
上記評価装置(20)は、上記グラフィックユーザー出力インターフェース(16、17)において上記画像部分(60、81、82、83)を、少なくとも、上記画像部分(60、81、82、83)内にある上記画像領域(30)に撮像された上記場面(1)の領域と同時に表示するように構成される、画像記録装置(10)。 - 上記評価装置(20)は、上記投影面(120)において、上記画像部分(60、81、82、83)の第一の中心軸(75)が上記水平軸(121)と平行に延び、上記第一の中心軸(75)と垂直に配向した上記画像部分(60、81、82、83)の第二の中心軸(76)が上記基準方向(50)と平行に延びるように、上記画像部分(60、81、82、83)を例えば長方形部分として決定するように構成される、請求項1に記載の画像記録装置(10)。
- 上記評価装置(20)は、予め規定されたアスペクト比が維持される場合に、上記画像部分(60、81、82、83)の少なくとも2つのコーナー(65、66、67、68)が上記射影変換により上記投影面(120)にマップされた上記画像領域(30)のマージン(31、32、33、34)上にあるように、上記画像部分(60、81、82、83)を決定するように構成される、請求項1~2の何れか一項に記載の画像記録装置(10)。
- 上記評価装置(20)は、上記射影変換により上記投影面(120)に投影された上記画像領域(30)の中心(39)が上記画像部分(60、81、82、83)の中心軸(76)上にあるように、上記画像センサー(12)の位置とは独立して上記画像部分(60、81、82、83)を決定するように構成される、請求項1~3の何れか一項に記載の画像記録装置(10)。
- 上記評価装置(20)は、少なくとも上記傾斜角(54)がゼロに等しい場合、上記投影面(120)における上記画像部分(60、81、82、83)のコーナー(65、66、67、68)を、上記アスペクト比により予め規定された上記画像部分(60、81、82、83)の対角線(69)と上記投影面(120)に投影された上記画像領域(30)のマージン(31、32、33、34)との交点として決定するように構成される、請求項1~4の何れか一項に記載の画像記録装置(10)。
- 上記評価装置(20)は、少なくとも上記傾斜角(54)が少なくとも閾値だけゼロと異なり、かつ上記回転角(52)がゼロに等しい場合、上記投影面(120)における上記画像部分(60、81、82、83)のコーナー(65、66、67、68)を、上記アスペクト比により予め規定された上記画像部分(60、81、82、83)の半分(70)の対角線(72、73)と上記投影面(120)に投影された上記画像領域(30)のマージン(31、32、33、34)との交点として決定するように構成され、
上記投影面(120)において、上記対角線(72、73)は、上記水平軸(121)と平行に配列した上記画像部分(60、81、82、83)のさらなるマージン(61、62、63、64)の中心(74)を通って延びる、請求項1~5の何れか一項に記載の画像記録装置(10)。 - 上記射影変換の投影中心(125)は上記光学軸(43)上に配置されており、
上記画像領域(30)からの上記投影中心(125)の間隔(126)は、例えば、上記場面(1)を上記画像センサー(12)に撮像する上記画像記録装置(10)の結像光学系(18)の、上記画像領域(30)の対角線に対して正規化された焦点距離に相当する、請求項1~6の何れか一項に記載の画像記録装置(10)。 - 上記評価装置(20)は、上記画像部分(60、81、82、83)の決定に関して上記投影面(120)に投影された上記画像領域(30)のコーナー点(35、36、37、38)のみを用いるように構成される、請求項1~7の何れか一項に記載の画像記録装置(10)。
- 上記評価装置(20)は、予め規定されたアスペクト比に基づいて上記画像部分(60、81、82、83)を決定するように構成され、
上記予め規定されたアスペクト比は、例えば、上記画像センサー(12)および/または上記ユーザー出力インターフェース(16、17)のアスペクト比とは異なり、上記評価装置(20)は、例えば、ユーザー入力インターフェース(17)を介して上記予め規定されたアスペクト比を特定するためのユーザー入力を受けるように構成される、請求項1~8の何れか一項に記載の画像記録装置(10)。 - 上記評価装置(20)は、上記グラフィックユーザー出力インターフェース(16、17)において上記画像部分内にある上記画像領域(30)に撮像された上記場面の上記領域を、上記射影変換により上記投影面(120)に変換された上記画像データセット(100)の領域として表示するように構成され、
上記評価装置(20)は、上記変換された画像データセット(100)を切り取ること、例えば、上記ユーザー出力インターフェース(16、17)のマージンにより上記変換された画像データセット(100)を切り取ることによって、上記画像部分(60、81、82、83)を表示するように構成される、請求項1~9の何れか一項に記載の画像記録装置(10)。 - 上記評価装置(20)は、上記グラフィックユーザー出力インターフェース(16、17)において上記射影変換を用いずに完全に上記画像領域(30)に撮像された上記場面(1)を表示するように構成され、
上記評価装置(20)は、上記撮像された場面(1)上に重ねられたフレームにより上記画像部分(60、81、82、83)を表示するように構成される、請求項1~9の何れか一項に記載の画像記録装置(10)。 - 上記評価装置(20)は、上記ユーザー出力インターフェース(16、17)において上記画像記録装置(10)の記録パラメーターを決定するための測定点(91、92)の位置を表示するように構成され、
上記測定点(91、92)の位置は、上記画像領域(30)に撮像された完全で未変換の上記場面(1)に対して表示され、
上記画像記録装置(10)は、例えば、上記ユーザー出力インターフェースと上記未変換の場面(1)に対して上記測定点(91、92)の位置を規定するための重ねられた位置入力インターフェースとを含む組合せユーザーインターフェース(17)を含み、上記組合せユーザーインターフェース(17)は、例えば、上記重ねられた位置入力インターフェースの作動が検出された上記未変換の場面(1)内の位置として上記測定点(91、92)の位置を検出するように構成される、請求項11に記載の画像記録装置(10)。 - 上記基準方向(50)は上記投影面(120)にあるか、あるいは
上記投影面(120)は、残留角度だけ上記基準方向(50)に対して傾斜しており、上記残留角度はゼロとは異なり、上記傾斜角(54)よりも小さい、請求項1~12の何れか一項に記載の画像記録装置(10)。 - 上記画像センサー(12)は、連続する各時点で上記画像領域(30)に撮像された上記場面(1)を表す一連の画像データセットを取得するように構成され、
上記位置センサー(14)は、各画像データセット(100)について上記画像センサー(12)のそれぞれの空間位置を検出し、それぞれの位置データを提供するように構成され、
上記評価装置(20)は、上記それぞれの位置データから決定された射影変換によりそれぞれの投影面(120)に投影された各画像データセット(100)についてそれぞれの画像部分(60、81、82、83)を決定するように構成され、
上記評価装置(20)は、上記グラフィックユーザー出力インターフェース(16、17)において上記それぞれの画像部分(60、81、82、83)を、少なくとも、上記それぞれの画像部分(60、81、82、83)内にある上記画像領域(30)に撮像された上記場面(1)の上記領域とともに連続して表示するように構成される、請求項1~13の何れか一項に記載の画像記録装置(10)。 - 画像記録装置(10)を動作させる方法(300)であって、
上記画像記録装置の画像センサーを用いて画像データセット(100)を取得すること(305)であって、
上記画像データセット(100)は、上記画像センサー(12)の前に位置する場面(1)を上記画像センサー(12)の画像領域(30)に撮像したものを表すことと、
基準方向(50)に対する上記画像領域(30)の空間位置を検出すること(310)と、
上記画像データセット(100)の取得(305)時に上記画像センサー(12)の光学軸(43)を中心として上記画像領域(30)が回転した回転角(52)と、上記画像データセット(100)の取得時に水平軸(121)を中心として上記画像領域(30)が傾斜した傾斜角(54)の両方を特定する位置データを提供すること(315)であって、
上記水平軸(121)は、上記光学軸(43)と垂直にかつ上記基準方向(50)と垂直に配向していることと、
上記位置データから射影変換を決定すること(320)であって、
上記射影変換は、上記画像領域(30)からの上記回転と上記傾斜の両方に応じて上記画像データセット(100)を投影面(120)にマップし、
上記投影面(120)は、上記傾斜角(54)に応じて上記水平軸(121)を中心として上記画像領域(30)に対して傾斜しており、上記回転角(52)に応じて上記画像領域(30)の中心軸(41、42)に対して上記画像領域(30)において回転した交線に沿って上記画像領域(30)と交差していることと、
上記射影変換により上記投影面(120)にマップされた上記画像データセット(100)について上記投影面(120)において画像部分(60、81、82、83)を決定すること(340)と、
上記画像記録装置(10)のグラフィックユーザー出力インターフェース(16、17)において上記画像部分(60、81、82、83)と、少なくとも、上記画像部分(60、81、82、83)内にある上記画像領域(30)に撮像された上記場面(1)の領域とを表示すること(390)を含む方法(300)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020126407.0A DE102020126407A1 (de) | 2020-10-08 | 2020-10-08 | Bildaufnahmegerät |
DE102020126407.0 | 2020-10-08 | ||
PCT/EP2021/077842 WO2022074186A1 (de) | 2020-10-08 | 2021-10-08 | Bildaufnahmegerät |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023546037A true JP2023546037A (ja) | 2023-11-01 |
Family
ID=78085941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023521704A Pending JP2023546037A (ja) | 2020-10-08 | 2021-10-08 | 画像記録装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230370562A1 (ja) |
EP (1) | EP4193588A1 (ja) |
JP (1) | JP2023546037A (ja) |
CN (1) | CN116324883A (ja) |
DE (1) | DE102020126407A1 (ja) |
WO (1) | WO2022074186A1 (ja) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU6006501A (en) | 2000-04-25 | 2001-11-07 | Rainer Mockler | Digital camera or digital video camera and method for acquiring images |
DE10359415A1 (de) * | 2003-12-16 | 2005-07-14 | Trimble Jena Gmbh | Verfahren zur Kalibrierung eines Vermessungsgeräts |
DE102006018591A1 (de) | 2006-04-21 | 2007-10-25 | Braun, Jörg, Dipl.-Ök. | Verfahren zur perspektivischen Entzerrung eines Bildes |
JP5370398B2 (ja) | 2011-03-15 | 2013-12-18 | オムロン株式会社 | 画像処理装置および画像処理プログラム |
EP3017590B1 (en) * | 2013-07-04 | 2021-03-31 | Sony Corporation | A method, apparatus and system for image processing |
US9177362B2 (en) | 2013-08-02 | 2015-11-03 | Facebook, Inc. | Systems and methods for transforming an image |
JP6146293B2 (ja) * | 2013-12-25 | 2017-06-14 | ソニー株式会社 | 制御装置、制御方法および制御システム |
US20150244938A1 (en) * | 2014-02-25 | 2015-08-27 | Stelios Petrakis | Techniques for electronically adjusting video recording orientation |
US9955057B2 (en) * | 2015-12-21 | 2018-04-24 | Qualcomm Incorporated | Method and apparatus for computational scheimpflug camera |
CN106991649A (zh) * | 2016-01-20 | 2017-07-28 | 富士通株式会社 | 对摄像装置所捕获的文档图像进行校正的方法和装置 |
JP6632434B2 (ja) | 2016-03-10 | 2020-01-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2020
- 2020-10-08 DE DE102020126407.0A patent/DE102020126407A1/de active Pending
-
2021
- 2021-10-08 WO PCT/EP2021/077842 patent/WO2022074186A1/de unknown
- 2021-10-08 EP EP21789730.5A patent/EP4193588A1/de active Pending
- 2021-10-08 US US18/029,420 patent/US20230370562A1/en active Pending
- 2021-10-08 JP JP2023521704A patent/JP2023546037A/ja active Pending
- 2021-10-08 CN CN202180067530.6A patent/CN116324883A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230370562A1 (en) | 2023-11-16 |
EP4193588A1 (de) | 2023-06-14 |
WO2022074186A1 (de) | 2022-04-14 |
DE102020126407A1 (de) | 2022-04-14 |
CN116324883A (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4435145B2 (ja) | 幾何情報を校正してパノラマ映像を提供する方法および装置 | |
CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
JP4832878B2 (ja) | 画像合成処理装置及び方法 | |
KR100796849B1 (ko) | 휴대 단말기용 파노라마 모자이크 사진 촬영 방법 | |
JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
JP5491235B2 (ja) | カメラキャリブレーション装置 | |
US20060078215A1 (en) | Image processing based on direction of gravity | |
US20060078214A1 (en) | Image processing based on direction of gravity | |
WO2013038656A1 (ja) | 投影像自動補正システム、投影像自動補正方法およびプログラム | |
JP4010754B2 (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
KR20060031685A (ko) | 이미지 프로젝터, 경사각 검출방법, 및 투사 이미지정정방법 | |
US7409152B2 (en) | Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method | |
JPH10221072A (ja) | 写真測量システムおよび写真測量方法 | |
JP2007036482A (ja) | 情報投影表示装置およびプログラム | |
JP5187480B2 (ja) | プロジェクタ、プログラム、情報記憶媒体および画像生成方法 | |
KR101489468B1 (ko) | 호모그래피 기반 카메라 영상 보정 장치 및 방법 | |
JP2007033087A (ja) | キャリブレーション装置及び方法 | |
JP4776983B2 (ja) | 画像合成装置及び画像合成方法 | |
JP2004212142A (ja) | 画像寸法の測定方法 | |
JP3924576B2 (ja) | 写真測量による3次元計測方法及び装置 | |
TWI662694B (zh) | 三維影像攝取方法及系統 | |
CN114339179B (zh) | 投影校正方法、装置、存储介质以及投影设备 | |
JP2023546037A (ja) | 画像記録装置 | |
JP4282361B2 (ja) | 写真測量方法および写真測量プログラム | |
JP4135934B2 (ja) | 電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240909 |