JP6239959B2 - 画像処理装置及びその制御方法、プログラム - Google Patents

Description

本発明は、入力した画像を処理する画像処理技術に関するものである。

従来、画像から任意の領域を指定して切り出して表示する装置がある。例えば、特許文献１では、撮影画角の表示エリアから領域を複数指定して切り出した画像を用いて動画を作成する動画作成装置が開示されている。また、特許文献２では、画像から表示エリアを切り出して表示するとともに、表示エリアの切り出し位置の変更の指示を受け付け、その変更量と閾値との比較に基づいて、外部装置の制御を効率的に行う一例が開示されている。

特開２０１１−９１５７１号公報 特開２００９−６０４１７号公報

しかしながら、上述の特許文献に開示された従来技術では、撮影画角が変化していく状況を考慮していない。つまり、撮影画角が変更されても、撮影画像に対する切出領域を変更せずに切出を行っているため、撮影画角の変化に応じて、切出領域の対象が変化してしまい、撮影画像から意図する指定の領域を出力し続けられないという課題がある。

本発明は上記の課題を解決するためになされたものであり、撮影環境の変化に影響を受けることなく、画像中の関心領域を出力することができる画像処理技術を提供することを目的とする。

上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
撮影画像において切出領域を指定する指定手段と、
撮影画像の撮影画角値を取得する取得手段と、
前記切出領域に対応する切出画像を出力する出力手段と、
を備え、
前記出力手段は、前記撮影画角値が変化し、撮影画像において前記切出領域の一部が含まれなくなった場合、前記一部に対応する領域に所定画像を出力する。

本発明によれば、撮影環境の変化に影響を受けることなく、画像中の関心領域を出力することができる。

画像処理装置の構成を示すブロック図である。 領域切出処理を示すフローチャートである。 切出画面の一例を示す図である。 切出画面の一例を示す図である。 領域切出処理を示すフローチャートである。 パノラマ画像球面と撮影画像平面の対応図である。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

図１は画像処理装置の構成を示す図である。

操作入力部１１０は、マウスやキーボード、タッチパネル等の入力装置によって実現され、画像から所望の領域を指定して切り出すための領域指定等の各種入力を行う。操作入力部１１０は、ユーザの操作入力に応じて、画像から所望の切出領域を指定し、その切出領域を示す領域情報を領域指定部１４０に送信する。

画像入力部１２０は、首振りカメラや雲台カメラである撮影機器、あるいはストレージデバイス、フラッシュメモリ等の記憶装置である外部機器から入力される画像を撮影画角取得部１５０に入力する。ここで、画像入力部１２０は、時間的に連続する画像を入力したり、入力した画像の画角変更を受け付けて、その入力した画像の画角変更を行うこともできる。

画像出力部１３０は、領域切出部１７０から出力された画像を、表示装置へ出力するあるいは記憶装置へ出力（保存）する。また、画像出力部１３０は、切出領域が指定されていない場合、撮影画像全体を表示装置へ出力する。

領域指定部１４０の動作について、図６を併用して説明する。図６において、撮影装置であるカメラの中心をＱとすると、カメラのパン角、チルト角の回転で表されるパノラマ画像球面に外接した撮影画像平面Ｓが定義される。撮影画像平面Ｓは、撮影時のカメラのパン角ｐ、チルト角ｔ、水平画角であるズーム値ｚ、及び画像のアスペクト比によって、水平画角から算出される垂直画角によって決まる。指定された領域Ｓ１は、撮影画像平面Ｓの左上端を原点とした場合の領域Ｓ１の左上端の位置（ｘ，ｙ）と、その位置からの高さ（縦）と幅（横）を示す情報を有し、ユーザが指定した領域（切出領域）を示している。

領域指定部１４０は、操作入力部１１０から領域指定値１４１をＳ１として取得する。さらに、ユーザが画像（指定元画像）から領域を指定した時の撮影画角である指定元画角値１４２をＳとして取得する。そして、領域指定値１４１を、パン角ｐ１、チルト角ｔ１、及びズーム値ｚ１で表される指定画角値１４３に変換し、切出調整部１６０に送信する。

撮影画角取得部１５０は、画像入力部１２０より入力された画像から、その画像の撮影画角値１５１を取得し、切出調整部１６０に送信する。

切出調整部１６０は、指定元画角値１４２と撮影画角値１５１の差分によって、指定画角値１４３が示す一部画角または全画角が切り出されるように、切出領域値１６１を算出する。つまり、切出調整部１６０は、指定画角値１４３の少なくとも一部の画角が維持されるような領域を規定する切出領域値１６１（例えば、切出領域の位置、幅及び高さ、高さ）を算出する。そして、切出調整部１６０は、算出した切出領域値１６１を領域切出部１７０に送信する。但し、指定画角値１４３示す画角が切り出せない場合は、切出調整部１６０は、切出領域値１６１を算出しないように制御する、つまり、切出領域値１６１の算出を禁止する。

領域切出部１７０は、切出領域値１６１によって指定された領域を、撮影画像から切り出し、画像出力部１３０に出力を行う。

尚、領域指定部１４０、撮影画角取得部１５０、切出調整部１６０、及び領域切出部１７０は、例えば、専用のハードウェア、あるいはコンピュータ等の情報処理装置上で実行されるソフトウェアとして実現される。このコンピュータは、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。特に、ソフトウェアで実現される場合、ＣＰＵが、メモリ（ＲＡＭ、ＲＯＭ等）に記憶されているプログラムを実行することで、領域指定部１４０、撮影画角取得部１５０、切出調整部１６０、及び領域切出部１７０を実現する。

図１に示す構成により、撮影画角が変化する画像の中から、ユーザが指定する領域（切出領域）を適応的に表示することができる。

次に、図２を用いて、図１の画像処理装置が実行する処理として、ユーザ操作によって指定した領域を調整して、切出領域として切り出して出力する領域切出処理について説明する。

領域指定部１４０は、ユーザ操作に応じて、処理対象の画像から指定された領域の指定画角値１４３を取得する（ステップＳ２０１）。撮影画角取得部１５０は、画像の撮影画角値１５１を取得する（ステップＳ２０２）。

切出調整部１６０は、撮影画角値１５１が指定画角値１４３を含有しているか否かを判定する（ステップＳ２０３）。撮影画角値１５１が指定画角値１４３を含有していない場合（ステップＳ２０３でＮＯ）、切出画像の有無やユーザの判断等により処理を続けるか否かを判定するために、ステップＳ２０９へ進む。尚、撮影画角値１５１が指定画角値１４３を含有しているとは、撮影画角値が指定画角値との間で少なくとも一部重複する画角があることを意味する。

一方、撮影画角値１５１が指定画角値１４３を含有している場合（ステップＳ２０３でＹＥＳ）、領域指定部１４０は、ユーザが画像に対して領域指定した際のその画像の指定元画角値１４２を取得する（ステップＳ２０４）。

切出調整部１６０は、撮影時画角が変化しているか否か、つまり、撮影画角値１５１が指定元画角値１４２から変化しているか否かを判定する（ステップＳ２０５）。撮影画角値１５１が指定元画角値１４２から変化していない場合（ステップＳ２０５でＮＯ）、領域切出部１７０は、指定された領域の切出を実行する（ステップＳ２０７）。そして、画像出力部１３０は、その切出によって切出された画像を出力する（ステップＳ２０８）。

一方、撮影画角値１５１が指定元画角値１４２から変化している場合（ステップＳ２０６でＹＥＳ）、切出調整部１６０は、切出画角の調整として、切出領域値１６１を算出する（ステップＳ２０６）。領域切出部１７０は、算出された切出領域値１６１に従って領域の切出を実行する（ステップＳ２０７）。そして、画像出力部１３０は、その領域切出によって切り出された画像を出力する（ステップＳ２０８）。

そして、画像処理装置は、次の処理対象の画像の有無を判定する。次の処理対象の画像がある場合（ステップＳ２０９でＹＥＳ）、ステップＳ２０１へ戻る。一方、次の処理対象の画像がない場合（ステップＳ２０９でＮＯ）、処理を終了する。

図２の処理によって切り出される画像の具体例を図３と図４を用いて説明する。

図３に示すパノラマ画像３００は、カメラを上下左右に首振りして撮影した画像を合成し、つなぎ合わせた撮影可能範囲全体の画像である。画像３１０、３２０、及び３３０は、画像入力部１２０から取得される画像であり、それぞれ撮影時の画角が異なる。例えば、カメラの撮影方向を変更することにより、画像３１０、３２０、３３０を撮影することが可能である。カメラの撮影方向は、カメラに対し、パン方向移動コマンド、チルト方向移動コマンドを送信することにより、変更可能である。

ユーザが領域を指定した時の指定元画像３１１（画像３１０と同じ）において、破線で囲まれた領域は、ユーザが指定した領域であり、その領域を切り出した画像が指定画角切出画像３１２である。カメラが撮影した指定元画像３１１は、画像出力部１３０から表示装置に出力され、ユーザは表示装置に出力された指定元画像上で、破線の領域を指定する。

撮影画像３２１（画像３２０と同じ）の画角は、ユーザが指定した指定元画像３１１の指定画角を含有しているが、指定元画像３１１の画角から変化している。そのため、撮影画像３２１から切り出す画像の切出画角（破線の領域）が調整され、指定元画像３１１の指定画角を保持した画角調整切出画像３２２が出力される。

同様に、撮影画像３３１（画像３３０と同じ）のように画角が変化しても、指定元画像３１１の指定画角を含有しているため、その指定画角を保持した切出画角調整画像３３２が出力される。

続いて、図４について説明する。パノラマ画像４００は、図３パノラマ画像と同様の撮影可能範囲全体の画像である。画像４１０、４２０、及び４３０も、画像入力部１２０から取得される画像であり、それぞれ撮影時の画角が異なる。

ユーザが領域を指定した時の指定元画像４１１（画像４１０と同じ）において、破線で囲まれた領域は、ユーザが指定した領域であり、その領域を切り出した画像が指定画角切出画像４１２である。

撮影画像４２１の画角（画像４２０と同じ）は、ユーザが指定した指定元画像４１１の指定画角の一部画角を含有した上で、指定元画像４１１の画角から変化している。そのため、撮影画像４２１から切り出す画像の切出画角が調整され、指定元画像４１１の指定画角の一部画角（撮影画像４２１内の破線の領域）を保持した画角調整切出画像４２２が出力される。

一方、撮影画像４３１のように画角が変化した場合、指定元画像４１１の指定画角を含有していない。つまり、撮影画像４３１から指定画角の画像を切り出すことができないため、切出画角の調整もなされず、撮影画像４３１は出力されない、あるいは、ベタ画像として画角調整切出画像４３２が出力される。この場合は、次に所望の領域を含む入力画像にスキップして、新たに領域の切出を再度実行するか、もしくは処理を終了する。

次に、図５を用いて、画像処理装置が、指定画角の全領域を切り出す領域切出処理について説明する。

領域指定部１４０は、ユーザ操作に応じて、画像中で指定された領域の指定画角値１４３を取得する（ステップＳ５０１）。撮影画角取得部１５０は、画像の撮影画角値１５１を取得する（ステップＳ５０２）。

切出調整部１６０は、撮影画角値１５１が指定画角値１４３を含有しているか否かを判定する（ステップＳ５０３）。撮影画角値１５１が指定画角値１４３を含有していない場合（ステップＳ５０３でＮＯ）、切出画像の有無やユーザの判断等により処理を続けるか否かを判定するために、ステップＳ５０６へ進む。

一方、撮影画角値１５１が指定画角値１４３を含有している場合（ステップＳ５０３でＹＥＳ）、領域切出部１７０は、全領域を切り出す（ステップＳ５０４）。そして、画像出力部１３０は、その切出によって切り出された画像を出力する（ステップＳ５０５）。

そして、画像処理装置は、次の処理対象の画像の有無を判定する。次の処理対象の画像がある場合（ステップＳ５０６でＹＥＳ）、ステップＳ５０１へ戻る。一方、次の処理対象の画像がない場合（ステップＳ５０６でＮＯ）、処理を終了する。

図５の処理によって出力される画像の一例を図４を用いて説明する。

ユーザが領域を指定した時の指定元画像４１１において、指定画角の範囲は、破線で囲まれた領域であり、指定元画像４１１はその領域を含有しているため、指定元画像４１１が出力される。

撮影画像４２１の画角は、指定元画像４１１の画角から変化しているが、指定画角の範囲（破線で囲まれた領域）の一部画角を保持しているため、撮影画像４２１が出力される。

また、撮影画像４３１は、破線で囲まれた領域を含有していない、指定元画像４１１の指定画角を含有していないため、撮影画像４３１は出力されない。この場合は、次に所望の領域を含む入力画像にスキップして、新たに領域の切出を再度実行するか、もしくは処理を終了する。

以上説明したように、本実施形態によれば、撮影画角が変化する画像の中から、ユーザが指定する関心領域を撮影画角が変化しても出力することができる。

画像の画角が変更されても、ユーザが指定した領域の画角を調整して固定することができるため、定期的に画角が変化する監視カメラ等の機器の膨大な画像の整理や、調査を行う際に好適である
尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (6)

1. 撮影画像において切出領域を指定する指定手段と、
   撮影画像の撮影画角値を取得する取得手段と、
   前記切出領域に対応する切出画像を出力する出力手段と、
   を備え、
   前記出力手段は、前記撮影画角値が変化し、撮影画像において前記切出領域の一部が含まれなくなった場合、前記一部に対応する領域に所定画像を出力することを特徴とする画像処理装置。
2. 前記所定画像は、ベタ画像であることを特徴とする、請求項１に記載の画像処理装置。
3. 撮影画像において切出領域を指定する指定工程と、
   撮影画像の撮影画角値を取得する取得工程と、
   前記切出領域に対応する切出画像を出力する出力工程と
   を備え、
   前記出力工程では、前記撮影画角値が変化し、撮影画像において前記切出領域の一部が含まれなくなった場合、前記一部に対応する領域に所定画像を出力することを特徴とする画像処理装置の制御方法。
4. 前記所定画像は、ベタ画像であることを特徴とする、請求項３に記載の画像処理装置の制御方法。
5. 撮影画像において切出領域を指定する指定手段と、
   撮影画像の撮影画角値を取得する取得手段と、
   撮影画像を出力する出力手段と
   してコンピュータを機能させるプログラムであって、
   前記出力手段は、前記撮影画角値が変化し、撮影画像において前記切出領域の一部が含まれなくなった場合、前記一部に対応する領域に所定画像を出力するプログラム。
6. 前記所定画像は、ベタ画像であることを特徴とする、請求項５に記載のプログラム。

Images