JP6983651B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP6983651B2
JP6983651B2 JP2017254647A JP2017254647A JP6983651B2 JP 6983651 B2 JP6983651 B2 JP 6983651B2 JP 2017254647 A JP2017254647 A JP 2017254647A JP 2017254647 A JP2017254647 A JP 2017254647A JP 6983651 B2 JP6983651 B2 JP 6983651B2
Authority
JP
Japan
Prior art keywords
image
images
image processing
difference
panoramic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017254647A
Other languages
English (en)
Other versions
JP2019121090A (ja
Inventor
達也 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017254647A priority Critical patent/JP6983651B2/ja
Publication of JP2019121090A publication Critical patent/JP2019121090A/ja
Application granted granted Critical
Publication of JP6983651B2 publication Critical patent/JP6983651B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。
従来、監視用途において、広範囲を高解像度で撮像したいという要望がある。高解像度のパノラマ画像を生成する方法の1つとして、撮像範囲を複数の撮像装置が分担して撮像した複数の画像を合成する方法がある。ところが、複数の画像を合成する方法では、撮像装置の物理的なずれ等によって、画像間のつなぎ目にずれが生じてしまうという課題がある。より自然なパノラマ画像とするためは、複数画像のつなぎ目の連続性は重要な要素である。
特許文献1には、複数の撮像装置により撮像された画像をもとに、360°どの位置においてもつなぎ目が目立たない360°繋ぎ合わせ全周囲画像(以下、単に「全周囲画像」という。)を生成する技術が開示されている。この技術は、隣り合う画像の色調情報に注目してパノラマ画像の両端となる画像を選択し、0°と360°との接続部分が完全につなぎ合わされるよう、色調補正や幾何補正を行う技術である。
特開2004−145680号公報
しかしながら、上記特許文献1に記載の技術では、全周囲画像を生成する際に、全周囲画像の0°と360°の位置に配置される画像には、つなぎ合わせたときに一番変化の少ない画像が選択される。しかし、監視用途でパノラマ画像をビューワに表示させる場合には好ましくないことがある。
そこで、本発明は、複数の画像を配列させてパノラマ画像を表示させる場合に、よりユーザにとって違和感の少ない表示を可能とすることを課題としている。
上記課題を解決するために、本発明に係る画像処理装置は、全周囲の撮像範囲を分担して撮像する複数の撮像装置から、複数の撮像画像を取得する取得手段と、前記取得手段により取得された複数の撮像画像を前記撮像範囲に対応するように配列させてパノラマ画像とする際に、隣り合う画像の隣接する端部同士の差が、前記パノラマ画像の端部同士の差よりも小さくなるように、前記複数の画像を配置させて前記パノラマ画像として出力する出力手段と、を備えることを特徴とする。
本発明によれば、複数の画像を配列させてパノラマ画像を表示させる場合に、よりユーザにとって違和感の少ない表示を可能とすることができる。
(a)画像処理システムの構成例を示すブロック図である。(b)画像処理システムの構成例を示すブロック図である。 パノラマ画像と表示領域との関係を示す模式図である。 画像処理装置のハードウェア構成の一例を示すブロック図である。 パノラマ画像出力処理を示すフローチャートである。 評価値の算出方法を説明するための模式図である。 (a)生成されるパノラマ画像の一例を示す模式図である。(b)生成されるパノラマ画像の一例を示す模式図である。 パノラマ画像出力処理を示すフローチャートである。 生成されるパノラマ画像の一例を示す模式図である。
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
(第一の実施形態)
図1(a)は、本実施形態における画像処理システム1000の構成例の概略を示すブロックである。
画像処理システム1000は、360度(全周囲)の撮像範囲を分担して撮像する複数の撮像装置を備え、複数の撮像装置によってそれぞれ撮像された複数の画像を繋ぎ合わせたパノラマ画像として出力し、ユーザに提示する。つまり、画像処理システム1000は、広範囲な監視領域を監視するユーザに全周囲画像を提供する監視システムとすることができる。
本実施形態では、画像処理システム1000は、複数の画像を並べて表示することで、パノラマ画像として出力する。画像処理システム1000は、複数の画像を配列させてパノラマ画像として出力する際に、隣り合う画像の隣接する端部同士の差が、パノラマ画像の端部同士の差よりも小さくなるように、パノラマ画像の両端に配置する画像を決定する。具体的には、画像処理システム1000は、複数の画像のそれぞれについて、画像の端部の輝度情報に基づいて評価値を算出し、評価値の差分が最も大きくなる境界が、パノラマ画像の両端になるように、複数の画像の並べ方を決定する。
図1(a)に示すように、画像処理システム1000は、360度(全周囲)の撮像範囲を分担して撮像する複数の撮像装置101〜103と、画像処理装置200と、表示装置300と、を備える。画像処理装置200と表示装置300とは、ネットワーク400によって相互に通信可能に接続されている。本実施形態において表示装置300はクライアント装置に対応する。ネットワーク400は、LAN(Local Area Network)やインターネット、WAN(Wide Area Network)などとすることができる。なお、ネットワーク400への物理的な接続形態は、有線であってもよいし、無線であってもよい。
撮像装置101〜103は、それぞれ撮像光学系を構成するレンズ部、撮像素子、画像処理部、通信部(すべて図示なし)を備え、360度の撮像範囲を分担して撮像し、画像処理装置200に各撮像画像を提供するように配置されている。撮像装置101〜103において撮像された光景は、レンズ部に入射し、撮像素子の受光面上に結像する。撮像素子は、CCDセンサやCMOSセンサなどを備え、その受光面上に形成された像を電気信号に変換する。撮像素子から出力された電気信号としての撮像信号は、画像処理部に入力される。画像処理部は、撮像信号に対して画素補間処理や色変換処理などの画像処理を行って画像データを生成し、通信部が画像処理装置200へ送信する。通信部は、標準化団体であるMIPI(Mobile Industry Processor Interface)で規定されているカメラ・シリアル・インタフェース2(CSI-2)や、PCIe、USB、イーサネット(登録商標)などの通信方式に従って画像処理装置200と通信し画像データを送信する。通信部がイーサネットを利用する場合は、撮像装置101〜103は、PoE(Power Over Ethernet(登録商標))に対応し、LANケーブルを介して電力が供給される構成にしてもよい。
撮像装置101〜103は、1枚の画像(静止画)を撮像するカメラであってもよいし、1枚以上の画像を含む映像を撮像するカメラであってもよい。さらに、図1(a)では、画像処理システム1000は、3台の撮像装置101〜103を備えているが、撮像装置の台数は2台以上であればよい。また、図1(b)のように画像処理装置200と複数の撮像装置とが一体的に構成されるようにしてもよい。撮像装置101〜104によって全周囲を撮像し、撮像装置105はPTZ(パン・チルト・ズーム)制御によって回動可能となっている。表示装置300は、表示部301と入力部302を備えている。以降の説明では図1(a)の構成に従って説明する。
画像処理装置200は、撮像装置101〜103によって撮像された画像を取得し、取得された複数の画像を配列させてパノラマ画像として出力するよう制御する。画像処理装置200は、パノラマ画像の両端に配置する画像を、他の隣り合う画像の隣接する端部同士の差が、パノラマ画像の端部同士の差よりも小さくなるように決定し、パノラマ画像として表示されるよう制御する。
この画像処理装置200は、撮像装置101〜103にそれぞれ対応した評価値算出部201〜203と、配信部204と、を備える。
評価値算出部201〜203は、撮像装置101〜103によって撮像された画像のエッジの評価値を算出する。ここで、エッジとは、画像の端部であり、パノラマ画像を生成する際につなぎ目となる境界部分を示す。なお、境界部分を画像端の何画素分とするかは、撮像装置101〜103が撮像する範囲の重複分に応じて決定することができる。例えば、重複する画素分+αを画像端として設定してもよい。
評価値算出部201〜203は、画像のエッジの輝度情報に基づいて、画像のエッジの評価値を算出する。本実施形態では、評価値として、画像のエッジを構成する各画素の平均輝度値、もしくは、画像のエッジに存在する特徴点の画像内位置を用いる。ここで、当該特徴点は、画像のエッジにおいて隣接する画素との輝度差分値が所定の閾値以上である画素である。なお、評価値は、上記に限定されるものではなく、撮像シーンに応じた値を用いることができる。評価値の算出方法の詳細は後述する。評価値算出部201〜203は、算出した評価値を画像と紐付けた状態で配信部204へ送信する。
配信部204は、評価値算出部201〜203から受け取った画像と評価値とに基づいて、画像の並べ方を決定し、ネットワーク400を介して画像を表示装置300へ配信する。配信部204は、撮像装置101〜103によってそれぞれ撮像された複数の画像を表示装置300に並べて表示させる表示制御を行うことで、パノラマ画像を出力するよう制御する。
図2は、表示装置300の表示画面の一例を示す図である。表示画面には、表示領域A、BおよびCがある。表示領域A、B、Cは、撮像装置101、102、103によって撮像された画像のいずれかが表示される領域である。表示領域A、B、Cに撮像装置101〜103により撮像したそれぞれの画像が現実空間における位置関係に対応する順で表示されることで、点線枠で示すパノラマ画像Pのように表示される。つまり、撮像装置101〜103は、パノラマ画像Pの3分の1ずつを分担して撮像している。また、画像処理装置200は、撮像装置101〜103によって撮像された画像を表示装置300に並べて表示させる表示制御を行うことで、パノラマ画像Pを表示することができる。
本実施形態では、配信部204は、画像に紐付けされた評価値に基づいて、表示装置300における表示領域A〜Cにセットする画像を決定する。そして、配信部204は、表示領域A、B、Cの順にセットする画像を配信する。つまり、配信部204は、評価値に基づいて画像の配列順序を決定し、決定した配列順序に対応した順序で画像を配信する。このとき、表示装置300は、画像処理装置200から受信した画像を、表示領域Aから順にセットしていく。
このように、本実施形態では、複数の撮像装置101〜103によってそれぞれ独立して生成された画像は、配信部204から順にネットワーク400を介して表示装置300に配信され、表示装置300において並べて表示される。そのため、撮像装置間の物理的な配置のずれや、それぞれの画像処理パラメータや撮像素子の特性の違い、撮像方向の違いによる撮像環境の違いなどの複数の要因により、最終的な画像のつなぎ目にずれが生じるといった現象が起こり得る。
そこで、本実施形態では、配信部204は、画像間のつなぎ目の少ない、より自然なパノラマ画像を提供するべく、後述する評価値に基づいてパノラマ画像の両端の画像を決定する。
表示装置300は、例えば、パーソナルコンピュータ(PC)やモバイル端末などの汎用コンピュータと、パノラマ画像を表示可能なモニタを備える。表示装置300は、ネットワーク400を介して受け取った画像を、図2に示す表示領域A〜Cにセットし、表示する。
画像処理装置200および表示装置300は、外部機器との間の無線または有線の通信インタフェースを提供する通信部をそれぞれ備える。例えば、無線通信は、Bluetooth(登録商標)、Z−Wave(登録商標)、ZigBee(登録商標)、UWB(Ultra Wide Band)等の無線PAN(Personal Area Network)を含む。また、Wi−Fi(Wireless Fidelity)(登録商標)等の無線LAN(Local Area Network)や、WiMAX(登録商標)等の無線MAN(Metropolitan Area Network)を含む。さらに、LTE/3G等の無線WAN(Wide Area Network)を含む。
また、当該通信部は、有線LANにより外部機器と通信してもよい。有線LANとしては、例えば、Ethernet(登録商標)等の通信規格を満足する複数のルータ、スイッチ、ケーブル等の構成が挙げられる。なお、通信部は、外部機器と通信が可能であればよく、通信の規格、規模、構成は上記に限定されない。
図3は、画像処理装置200のハードウェア構成例である。
図3に示すように、画像処理装置200は、CPU21と、ROM22と、RAM23と、外部メモリ24と、通信I/F25と、システムバス26とを備える。CPU21は、画像処理装置200における動作を統括的に制御するものであり、システムバス26を介して、各構成部(22〜25)を制御する。ROM22は、CPU21が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ24や着脱可能な記憶媒体(不図示)に記憶されていてもよい。RAM23は、CPU21の主メモリ、ワークエリア等として機能する。すなわち、CPU21は、処理の実行に際してROM22から必要なプログラム等をRAM23にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
外部メモリ24は、例えば、CPU21がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ24には、例えば、CPU21がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。通信I/F25は、上述した通信部に対応する。図1に示す画像処理装置200の各要素の一部または全部の機能は、CPU21がプログラムを実行することで実現することができる。ただし、図1に示す画像処理装置200の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、CPU21の制御に基づいて動作する。
なお、撮像装置101〜103の場合は、図3の構成に加えて撮像部のハードウェア構成をさらに具備する。ここで、撮像部は、被写体の撮像を行うための構成であり、上述したレンズ部や撮像素子を有する。
また、表示装置300の場合は、図3の構成に加えて表示部や入力部のハードウェア構成をさらに具備する。ここで、表示部は、液晶ディスプレイ(LCD)等のモニタを備えている。入力部は、キーボードやマウス等のポインティングデバイスを備えている。
次に、本実施形態における画像処理装置200の動作について説明する。
図4は、画像処理装置200が実行するパノラマ画像出力処理の一例を示すフローチャートである。この図4の処理は、例えば、撮像装置101〜103から画像を取得したタイミングで開始される。ただし、図4の処理の開始タイミングは、上記のタイミングに限らない。
画像処理装置200は、CPU21が必要なプログラムを読み出して実行することにより、図4に示す処理を実現することができる。ただし、図1に示す画像処理装置200の各要素のうち少なくとも一部が専用のハードウェアとして動作することで図4の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、CPU21の制御に基づいて動作する。以降、アルファベットSはフローチャートにおけるステップを意味するものとする。
本実施形態では、画像処理装置200は、2つのモードによりパノラマ画像出力処理を実行する場合について説明する。
まずS1において、画像処理装置200は、撮像装置101〜103から画像を取得し、撮像開始モードに移行する。この撮像開始モードは、撮像装置101〜103による撮像が開始された時点でのパノラマ画像出力に関する設定をするためのモードである。具体的には、撮像開始モードは、撮像開始時に、撮像装置101〜103から取得した画像を表示領域A、B、Cのどこにセットするかを決定する表示設定を行うモードである。
S2では、評価値算出部201〜203は、撮像装置101〜103から取得された画像について、それぞれ各エッジの評価値を算出する。各エッジから評価値を算出する方法について、図5を参照しながら説明する。
図5において、画像aは、撮像装置101により撮像された画像、画像bは、撮像装置102により撮像された画像、画像cは、撮像装置103により撮像された画像である。また、各画像の両側のグラフは、各画像のエッジの輝度差分値を示すグラフであり、縦軸が輝度差分値、横軸が画像内における位置である。ここで、輝度差分値は、エッジにおいて隣り合う画素の輝度値の差分を示しており、撮像する風景の変化が大きい、つまり、特徴量が大きいほど大きな値となる。また、画像内における位置は、画像の上端から何画素目なのかを示している。
このS2において、評価値算出部201〜203は、各エッジ内に輝度差分値が所定の閾値Thを超える画素があるか否かを判定し、所定の閾値Thを超える画素がある場合は、その画素を特徴点とし、特徴点の画像内位置を評価値として画像に紐付ける。一方、評価値算出部201〜203は、所定の閾値Thを超える画素(特徴点)が無いと判定した場合には、エッジを構成する各画素の平均輝度値を評価値として画像に紐付ける。ここで、上記所定の閾値Thは、例えばユーザが任意に設定することのできる値である。
このように、特徴量の大きな位置のみをピックアップすることで、画像に紐付けるデータ量を低減することができ、後述する処理の負荷を低減することができる。閾値Thが大きいほどピックアップされる位置が減り、紐付けるデータ量も減少するが、一方で、表示装置300の表示領域A〜Cにどの画像をセットするかの表示設定の判断に用いる情報量も減少してしまう。そのため、ユーザは、上記の点を加味したうえで、使用環境に応じた閾値Thを設定する必要がある。なお、閾値Thは、予め設定された固定値であってもよい。
図4に戻って、S3では、配信部204は、評価値が紐付けされた画像をもとに、表示装置300の表示設定を行う。具体的には、配信部204は、それぞれ隣り合うエッジについて評価値の差分を算出し、当該差分が最も大きい組み合わせがパノラマ画像の両端となるように、表示領域と画像とのセットを決定する。つまり、配信部204は、エッジに存在する特徴点の鉛直方向(チルト方向)における位置ずれが最も大きくなる組み合わせがパノラマ画像の両端になるように、表示領域と画像とのセットを決定する。
図5に示す評価値を比較する場合、配信部204は、画像aの右エッジと画像bの左エッジ、画像bの右エッジと画像cの左エッジ、画像cの右エッジと画像aの左エッジにおける特徴点の画像内位置を比較する。図5の点線矢印に示すように、上記の組み合わせの中で最も位置のずれが大きくなる組み合わせは、画像aと画像bとが隣り合う組み合わせである。図6(a)に示すように、表示装置300の表示領域Aに画像a、表示領域Bに画像b、表示領域Cに画像cをセットした場合、画像aの右エッジと画像bの左エッジとの隣接部分で、大きく画像がずれてしまう。
そこで、配信部204は、画像aの右エッジと画像bの左エッジとが、パノラマ画像の両端となるように表示領域と画像とのセットを決定する。つまり、配信部204は、図6(b)に示すように、表示装置300の表示領域Aに画像b、表示領域Bに画像c、表示領域Cに画像aをセットするように、画像の並べ方を決定する。そして、配信部204は、表示装置300への画像の配信順序を、画像b、画像c、画像aの順とする。これにより、表示装置300は、画像b、c、aの順に受信した画像を表示領域AからCへ順にセットして表示する。その結果、ずれの存在しない自然なパノラマ画像を表示することができる。
S4では、画像処理装置200は、ユーザが予め設定した条件(設定条件)を満たすか否かを判定する。ここで、設定条件としては、例えば、前回の表示設定から撮像時間が一定時間経過したことや、評価値が一定以上変化したことが挙げられる。もしくは、ユーザが表示設定の更新を指示したことであってもよい。上記のいずれかの条件を満たしている場合、画像処理装置200はS4からS5に移行する。一方、いずれの条件も満たさない場合は、表示設定の更新をせず、設定条件を満たすまで撮像を継続する。
S5では、画像処理装置200は、マニュアルモードに移行する。ここで、マニュアルモードは、表示装置300の表示領域と画像とのセットを更新するモードである。このとき、ユーザの指示によらずにマニュアルモードに移行する場合には、ユーザに対して表示設定を更新する旨を通知するよう制御してもよい。
S6では、評価値算出部201〜203は、S2と同様に、撮像装置101〜103から取得された画像について、それぞれ各エッジの評価値を算出する。その際、閾値ThはS2において用いられた値と同じでもよいし異なっていてもよい。閾値Thは、S4における設定条件に応じた値に設定する。
S7では、配信部204は、S3と同様に、評価値が紐付けされた画像をもとに、表示装置300の表示設定を行い、複数の画像の並べ方を更新する。
なお、本実施形態では、撮像装置101〜103および表示装置300とは異なる画像処理装置200が、複数の画像について評価値を算出し、パノラマ画像の出力を制御する画像処理装置として動作する場合について説明した。しかしながら、撮像装置101〜103や表示装置300が、画像処理装置200の一部の機能を備えていてもよい。つまり、画像処理装置は、必ずしも1台の装置として構成されている必要はない。これは、後述する第二の実施形態についても同様である。
例えば、図1の画像処理装置200は、評価値を紐付けした複数の画像を一定の順序で表示装置300へ配信し、表示装置300が評価値に基づいてパノラマ画像の表示設定を行い、パノラマ画像を表示するようにしてもよい。また、表示装置300が、複数の画像について評価値を算出し、評価値に基づいて複数の画像を並べて表示することでパノラマ画像を出力する画像処理装置として動作してもよい。
さらに、本実施形態では、表示領域を固定して、そこにセットする画像を決定する表示設定を行う場合について説明したが、要旨の範囲内で他の方法を選択することもできる。例えば、表示領域と画像とのセットは変えずに、表示領域の位置関係を入れ替える方法を用いてもよい。
また、本実施形態では、複数の撮像装置によって撮像された複数の画像を並べて表示することでパノラマ画像を出力する場合について説明した。しかしながら、画像処理装置200は、複数の撮像装置によって撮像された複数の画像をつなぎ合わせるように合成することで1枚のパノラマ画像として生成し、生成したパノラマ画像を表示装置300に表示させるようにしてもよい。なお、合成する場合には、複数の画像の内容がズレ難いように、隣り合う画像の隣接する端部の特徴点が一致するように、位置をシフトさせたり部分的に拡大させたりした上で、隣接する端部の平均輝度が互いに近づくように輝度を補正するようにしてもよい。
さらに、本実施形態では、画像処理装置200は、表示装置300にパノラマ画像を表示させるよう制御する場合について説明したが、パノラマ画像を生成し、生成したパノラマ画像を外部機器に出力したり保存したりするようにしてもよい。
以上説明したように、本実施形態における画像処理装置200は、360度の撮像範囲を分担して撮像する複数の撮像装置から、それぞれ撮像された画像を取得する。画像処理装置200は、上記複数の画像を配列させてパノラマ画像を出力する際に、隣り合う画像の隣接する端部同士の差が、パノラマ画像の端部同士の差よりも小さくなるように、パノラマ画像の両端に配置する画像を決定する。そして、画像処理装置200は、決定された画像の並べ方に従って複数の撮像装置から取得された複数の画像を配列させ、パノラマ画像を出力するよう制御する。
これにより、画像間のずれが大きい境界をパノラマ画像の端に配置することができる。したがって、複数の撮像装置が分担して撮像した画像を繋ぎ合わせてパノラマ画像を出力する場合に、画像間のつなぎ目のずれが少ない、自然なパノラマ画像を出力することが可能となる。
また、画像処理装置200は、複数の画像を表示装置300に並べて表示させる表示制御を行うことで、パノラマ画像を出力するよう制御する。このとき、画像処理装置200は、表示制御として、決定された画像の配列順序に対応した順序で、複数の画像を順に表示装置300へ配信する制御を行う。
このように、複数の画像を並べて表示させることでパノラマ画像を出力するので、複雑な合成処理等を必要とすることなく、容易にパノラマ画像を出力することができる。また、画像処理装置200は、複数の画像の配列順序と画像の配信順序とを関連付けるので、画像の配列順序を示す情報を別途付加することなく、表示装置300に対して画像の配列順序を通知することが可能となる。表示装置300は、画像処理装置200が配信する画像を、受信順に表示領域にセットするだけでよく、画像を並べて表示するための処理に関する付加を軽減することができる。
また、画像処理装置200は、画像の配列順序の決定に際し、複数の画像のそれぞれについて、画像の端部の輝度情報に基づいて、画像の端部の評価値を算出する。そして、画像処理装置200は、算出された評価値に基づいて、パノラマ画像の両端に配置する画像を決定する。具体的には、上記評価値として、画像の端部を構成する各画素の平均輝度値、もしくは、画像の端部に存在する特徴点の画像内位置を用いることができる。そして、画像処理装置200は、隣り合う画像の隣接する端部同士の評価値の差が、パノラマ画像の端部同士の評価値の差よりも小さくなるように、パノラマ画像の両端に配置する画像を決定する。
このように、撮像シーンに応じた評価値を用いてパノラマ画像の両端に配置する画像を決定することで、より自然なパノラマ画像を出力することが可能となる。本実施形態のように、エッジに特徴点が存在しない場合には、エッジ領域の平均輝度値を評価値として用いることで、パノラマ画像を構成する複数の画像を、輝度差が小さくなるような並びにすることができる。したがって、撮像環境に違いなど、外光等による輝度ずれに対して適切に対応して自然なパノラマ画像を出力することができる。また、エッジに特徴点が存在する場合には、特徴点の画像内位置を評価値として用いることで、画像のつなぎ目において被写体の上下の位置ずれが目立たないパノラマ画像とすることができる。
さらに、上記特徴点は、画像の端部において隣接する画素との輝度差分値が所定の閾値以上である画素とすることができる。このように、特徴量の大きな位置のみをピックアップすることで、評価値のデータ量を削減し、表示設定や表示制御の処理負荷を軽減することができる。
(第二の実施形態)
次に、本発明における第二の実施形態について説明する。
上述した第一の実施形態では、評価値の差分が最も大きくなる端部がパノラマ画像の両端に持ってくる場合について説明した。この第二の実施形態では、上述した第一の実施形態における評価値に対して、撮像モードに応じた重み付け処理を行い、その結果に基づいてパノラマ画像の両端に配置する画像を決定する場合について説明する。
ここで、上記の撮像モードは、パノラマ画像から人物や車両などの特定の被写体(オブジェクト)を検知するオブジェクト検知処理や、パノラマ画像の特定の領域について持ち去りや置き去り、侵入や通過、滞留などのイベントを検知するイベント検知処理などの映像解析を実施する映像解析モードである。画像処理システム1000が映像解析を使用する場合、解析内容に応じた表示設定を行う。
本実施形態における画像処理システムの構成は、図1に示す画像処理システム1000と同様である。
本実施形態では、画像処理装置200の配信部204が、パノラマ画像に対する映像解析を行う場合について説明する。この場合、配信部204は、評価値算出部201〜203から受信した画像それぞれに対して映像解析を行い、その結果を画像に紐付けてネットワーク400を介して表示装置300へ配信する。なお、パノラマ画像に対する映像解析は、表示装置300において行われてもよい。この場合、表示装置300は、画像処理装置200から提供されるパノラマ画像に対して映像解析処理を行う。
図7は、画像処理装置200が実行するパノラマ画像出力処理の一例を示すフローチャートである。ここでは、画像処理装置200は、3つのモードによりパノラマ画像出力処理を実行する場合について説明する。この図7の処理は、S21〜S26の処理が追加されていることを除いては、図4に示すパノラマ画像出力処理と同様である。したがって、以下、図4のフローチャートと異なる部分を中心に説明する。
S21では、画像処理装置200は、映像解析処理の開始や終了を含めた設定変更が行われたか否かを判定し、映像解析処理を使用しているか否かをする。そして、画像処理装置200は、映像解析処理を使用していると判定した場合、S22へ移行し、映像解析処理を使用していないと判定した場合にはS4に移行する。
S22では、画像処理装置200は、映像解析モードに移行する。ここで、映像解析モードは、表示装置300の表示領域と画像とのセットを映像解析処理の内容を加味して更新するモードである。映像解析処理の内容に応じて加味する点としては、例えば、輝度値が一定値以下では映像解析処理を行いにくい点、注視している領域を確認しやすいパノラマ画像の生成を優先する点、などが挙げられる。
S23では、画像処理装置200は、映像解析モードにおいてユーザが予め設定した条件(設定条件)を満たすか否かを判定する。ここで、設定条件は、映像解析処理の内容を加味した上でユーザが新たに設定してもよいし、S4の設定条件を映像解析処理の内容を加味して調整したものであってもよい。上記のいずれかの条件を満たしている場合、画像処理装置200はS23からS24に移行する。一方、いずれの条件も満たさない場合は、表示設定の更新をせず、設定条件を満たすまで撮像を継続する。
S24では、評価値算出部201〜203は、S2と同様に、撮像装置101〜103から取得された画像について、それぞれ各エッジの評価値を算出する。その際、閾値ThはS2において用いられた値と同じでもよいし異なっていてもよい。閾値Thは、S23における設定条件に応じた値に設定する。
S25では、配信部204は、S24において算出された評価値に対して、実行している映像解析処理に基づいた重み付け処理を行う。
図8は、映像解析処理として、パノラマ画像の特定の領域に注視する映像解析処理を実行している場合の重み付け処理について説明する図である。図8(a)および図8(b)における実線枠は、それぞれ表示装置300に設けられた表示領域D、E、F、G、Hを示しており、5つの表示領域にセットされた画像をつなげることによってパノラマ画像が生成されることを示している。ここでは、画像処理システムが、360度の撮像範囲を分担して撮像する5台の撮像装置を有し、各撮像装置により撮像された5枚の画像d、e、f、g、hを、表示領域D、E、F、G、Hのいずれかにセットする場合について説明する。
画像d〜hの濃淡は、撮像している風景の明暗を示しており、濃いほど暗く、淡いほど明るいことを示している。また、点線枠Mは、ユーザの注視したい領域(以下、「注視領域」という。)を示している。
図8(a)は、撮像開始モードにおける表示設定により生成されるパノラマ画像である。図8(a)に示す画像d〜hには、各エッジ内に輝度差分値が閾値Thを超える画素ないため、撮像開始モードでは、エッジの平均輝度値を評価値として表示設定が行われる。これにより、平均輝度値の差分が最も大きくなる画像dと画像hとがパノラマ画像の両端にセットされる。しかしながら、この場合、図8(a)に示すように、注視領域Mがパノラマ画像の両端にかかってしまい、ユーザが本来注視したい領域が見にくいパノラマ画像となってしまう。
そこで、図7のS25における重み付け処理では、注視領域Mがパノラマ画像の両端にかからないように、画像dの左エッジと画像hの右エッジの評価値の差を小さくする方向に重み付けする。
なお、映像解析処理として特定の被写体を検知する処理を実行する場合には、当該特定の被写体を含む領域を上記注視領域Mとし、重み付け処理を行うことができる。また、輝度値が一定値以下では映像解析処理を行いにくい点を加味し、輝度値が一定値以下の領域はパノラマ画像の端に配置されてもよいとして、画像の端部同士の評価値の差が大きくなる方向に重み付けしてもよい。
そして、S26では、配信部204は、S25における重み付け処理後の評価値に基づいて、S3と同様に、表示装置300の表示設定を行い、複数の画像の並べ方を更新する。
図8(a)に示す例では、S25における重み付け処理により、画像dの左エッジと画像hの右エッジの評価値の差を小さくする処理が行われる。重み付け処理を行う前において、画像dと画像hとの次に評価値の差が大きい境界が、画像gと画像fとの隣接部分である場合、このS26では、配信部204は、画像gと画像fとをパノラマ画像の両端にセットすべきと判断する。その結果、表示領域と画像とのセットは、図8(b)に示すように更新される。
以上説明したように、本実施形態における画像処理装置200は、撮像モードに応じて、評価値の重み付け処理を行う。例えば、画像内の特定の物体や特定の領域に注視する映像解析処理を用いる撮像モードの場合には、注視領域がパノラマ画像の端に配置されないように評価値に対して重み付けを行う。つまり、隣り合う画像の境界に跨って注視領域が存在する場合、当該境界に対応する画像の端部同士の評価値の差を小さくする方向に重み付け処理を行う。これにより、注視領域がパノラマ画像の中心寄りに配置され、ユーザは注視領域を確認しやすくなる。
このように、パノラマ画像の端に配置されてほしくない画像をパノラマ画像の中心寄りに配置するなど、映像解析処理の内容を加味した適切なパノラマ画像の生成が可能となる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101〜103…撮像装置、200…画像処理装置、201〜203…評価値算出部、204…配信部、300…表示装置、400…ネットワーク

Claims (13)

  1. 全周囲の撮像範囲を分担して撮像する複数の撮像装置から、複数の撮像画像を取得する取得手段と、
    前記取得手段により取得された複数の撮像画像を前記撮像範囲に対応するように配列させてパノラマ画像とする際に、隣り合う画像の隣接する端部同士の差が、前記パノラマ画像の端部同士の差よりも小さくなるように、前記複数の画像を配置させて前記パノラマ画像として出力する出力手段と、を備えることを特徴とする画像処理装置。
  2. 前記出力手段は、前記取得手段により取得された複数の画像を表示装置に並べて表示させるように制御することで、前記パノラマ画像を出力することを特徴とする請求項1に記載の画像処理装置。
  3. 前記出力手段は、前記複数の画像の配列順序に対応した順序で、前記複数の画像を順に前記表示装置へ配信することを特徴とする請求項2に記載の画像処理装置。
  4. 前記出力手段は、前記取得手段により取得した複数の画像を合成することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
  5. 前記取得手段により取得された複数の画像のそれぞれについて、前記画像の端部の輝度情報に基づいて、前記画像の端部の評価値を算出する算出手段をさらに備え、
    前記出力手段は、前記算出手段により算出された評価値に基づいて、前記パノラマ画像の両端に配置する画像を決定することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
  6. 前記出力手段は、隣り合う前記画像の隣接する端部同士の前記評価値の差が、前記パノラマ画像の端部同士の前記評価値の差よりも小さくなるように、前記パノラマ画像の両端に配置する画像を決定することを特徴とする請求項5に記載の画像処理装置。
  7. 前記算出手段は、前記評価値として、前記画像の端部を構成する各画素の平均輝度値を算出することを特徴とする請求項5または6に記載の画像処理装置。
  8. 前記算出手段は、前記評価値として、前記画像の端部に存在する特徴点の画像内位置を算出することを特徴とする請求項5から7のいずれか1項に記載の画像処理装置。
  9. 前記特徴点は、前記画像の端部において隣接する画素との輝度差分値が所定の閾値以上である画素であることを特徴とする請求項8に記載の画像処理装置。
  10. 前記算出手段は、撮像モードに基づいて、前記評価値の重み付け処理を行うことを特徴とする請求項5から9のいずれか1項に記載の画像処理装置。
  11. 前記撮像モードは、前記パノラマ画像の特定の領域に注視するモードであり、
    前記算出手段は、隣り合う前記画像の境界に跨って前記注視する領域が存在する場合、当該境界に対応する前記画像の端部同士の評価値の差を小さくする方向に重み付け処理を行うことを特徴とする請求項10に記載の画像処理装置。
  12. 全周囲の撮像範囲を分担して撮像する複数の撮像装置から、複数の撮像画像を取得する取得ステップと、
    前記取得ステップにおいて取得された複数の撮像画像を前記撮像範囲に対応するように配列させてパノラマ画像とする際に、隣り合う画像の隣接する端部同士の差が、前記パノラマ画像の端部同士の差よりも小さくなるように、前記複数の画像を配置させて前記パノラマ画像として出力する出力ステップと、を含むことを特徴とする画像処理方法。
  13. コンピュータを、請求項1から11のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2017254647A 2017-12-28 2017-12-28 画像処理装置、画像処理方法およびプログラム Active JP6983651B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017254647A JP6983651B2 (ja) 2017-12-28 2017-12-28 画像処理装置、画像処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017254647A JP6983651B2 (ja) 2017-12-28 2017-12-28 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019121090A JP2019121090A (ja) 2019-07-22
JP6983651B2 true JP6983651B2 (ja) 2021-12-17

Family

ID=67307300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017254647A Active JP6983651B2 (ja) 2017-12-28 2017-12-28 画像処理装置、画像処理方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6983651B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5573349B2 (ja) * 2010-05-17 2014-08-20 パナソニック株式会社 パノラマ展開画像撮影システムおよび方法
JP5870636B2 (ja) * 2011-11-09 2016-03-01 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP6361931B2 (ja) * 2015-04-23 2018-07-25 パナソニックIpマネジメント株式会社 画像処理装置及びこれを備えた撮像システムならびに画像処理方法

Also Published As

Publication number Publication date
JP2019121090A (ja) 2019-07-22

Similar Documents

Publication Publication Date Title
US9706264B2 (en) Multiple field-of-view video streaming
US20170018217A1 (en) Video display system, video display device, and video display method
JP2016208307A (ja) 画像処理装置、その制御方法及びプログラム
JP6361931B2 (ja) 画像処理装置及びこれを備えた撮像システムならびに画像処理方法
US9172870B2 (en) Real-time image processing method and device enhancing the resolution of successive images
JP2019080243A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP2008028521A (ja) 画像表示システム
JP2004272578A (ja) 撮像装置及び歪み補正方法
JP2015032910A (ja) 遠隔操作装置およびその制御方法、撮像装置およびその制御方法、システム、並びにプログラム
JP6678313B2 (ja) 映像表示システム、映像表示装置及び映像表示方法
US20170084018A1 (en) Posture estimating apparatus for estimating posture, posture estimating method and recording medium
US10721432B2 (en) Image capturing apparatus connectable to display apparatus, display apparatus connectable to external apparatus, and image processing apparatus performing image processing
US9263001B2 (en) Display control device
JP5771767B1 (ja) 画像処理装置、表示装置、撮像装置、画像処理方法およびプログラム
US9438808B2 (en) Image capture control apparatus, method of limiting control range of image capture direction, and storage medium
JP6983651B2 (ja) 画像処理装置、画像処理方法およびプログラム
US9438822B2 (en) Image processing device, display device, image processing method, and computer-readable recording medium
JP2018067851A (ja) 撮像制御プログラム、撮像制御方法および情報処理装置
US9571720B2 (en) Image processing device, display device, imaging apparatus, image processing method, and program
CN108476290B (zh) 用于提供全景图像的电子装置及其控制方法
US10645282B2 (en) Electronic apparatus for providing panorama image and control method thereof
JP4508043B2 (ja) 映像監視装置及び映像監視用プログラム
JP2004282163A (ja) カメラ、監視画像生成方法、プログラム、監視システム
JP2020053960A (ja) 撮像装置、該撮像装置の制御方法、及びプログラム
JP2019075621A (ja) 撮像装置、撮像装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211124

R151 Written notification of patent or utility model registration

Ref document number: 6983651

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03