KR20080095194A - 화상 처리 장치, 화상 처리 방법, 및 프로그램 - Google Patents

화상 처리 장치, 화상 처리 방법, 및 프로그램 Download PDF

Info

Publication number
KR20080095194A
KR20080095194A KR1020080037029A KR20080037029A KR20080095194A KR 20080095194 A KR20080095194 A KR 20080095194A KR 1020080037029 A KR1020080037029 A KR 1020080037029A KR 20080037029 A KR20080037029 A KR 20080037029A KR 20080095194 A KR20080095194 A KR 20080095194A
Authority
KR
South Korea
Prior art keywords
zoom
important object
pixel
image
area
Prior art date
Application number
KR1020080037029A
Other languages
English (en)
Other versions
KR101449033B1 (ko
Inventor
데쯔지로 곤도
요시노리 와따나베
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20080095194A publication Critical patent/KR20080095194A/ko
Application granted granted Critical
Publication of KR101449033B1 publication Critical patent/KR101449033B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

화상 처리 장치는, 원화상의 소정 영역을 줌 영역으로 확대한 줌 화상을 표시하는 표시 수단; 줌 영역의 최외주인 경계선 상의 화소와, 경계선에 대하여 수직 방향의 외측에 인접하는 화소와의 화소치의 차분 절대치가, 소정의 임계치 이하인지를 판정함으로써, 경계선 상에 중요한 오브젝트가 있는지를 판정하는 중요 오브젝트 판정 수단; 중요 오브젝트가 경계선 상에 있다고 판정된 경우에, 줌 영역을 결정하는데 사용된 줌 파라미터를 변경하는 수단을 포함한다.
원화상, 줌 영역, 줌 경계선, 중요 오브젝트, 차분 절대치

Description

화상 처리 장치, 화상 처리 방법, 및 프로그램{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM}
<관련 출원의 상호 참조>
본 발명은 2007년 4월 23일 일본특허청에 제출된 일본특허출원 제2007-112905호의 기술 내용을 포함하며, 그 전체 내용은 참조로서 본 명세서에 포함된다.
본 발명은 화상 처리 장치, 화상 처리 방법, 및 프로그램에 관한 것이다. 특히, 유저에게 간편한 줌 화상 표시를 행할 수 있도록 하는 화상 처리 장치, 화상 처리 방법, 및 프로그램에 관한 것이다.
입력된 화상 신호로부터 생성된 원래의 사이즈대로 소정 화상을 표시하는 대신, 모니터 등의 표시 화면에 소정 화상의 일부 영역을 표시한다. 원래의 사이즈의 화상은 이후 원화상으로 지칭된다.
예를 들면, 일부 화상 처리 장치는 4:3의 어스펙트비의 원화상의 상하의 일부 영역을 삭제하여 16:9의 어스펙트비의 화상으로서 표시 화면에 표시한다. 일부 화상 처리 장치는 표시 화면에 원화상의 일부(소정 영역)를 확대하여 줌 화상을 표 시한다.
이러한 화상 처리 장치에 의한 화상의 표시에서는, 원화상에 나타나는 오브젝트 중, 중요 컨텐츠를 갖는 오브젝트가 표시 화면에 다 나타나지 않을 수 있다. 즉, 중요한 오브젝트의 일부가 표시 화면에서 사라질 수 있다.
상기 문제점들을 해결하기 위해서, 예를 들면, 4:3의 어스펙트비의 원화상의 상하의 일부 영역을 삭제하여 16:9의 어스펙트비의 화상으로서 표시 화면에 표시했을 때에, 표시 화면에 표시되어 있는 화상을 상하 방향으로 스크롤시킬 수 있도록 하여, 표시 화면에 표시되지 않는 4:3의 어스펙트비의 원화상의 상하의 영역을 확인할 수 있도록 한 것이 있다(예를 들면, 일본 특허 공개 공보 제4-266280호 참조).
그러나, 표시된 각 화상을 스크롤하거나 각 확대 화상의 배율을 변경하는 것은 번거롭다. 더욱이, 모든 중요한 정보가 표시 화면에 표시되지 않으므로, 유저가 종종 불편함을 느낄 수 있다.
줌 화상의 유저 친화적 디스플레이(user-friendly display)를 실현시키는 것이 바람직하다.
본 발명의 일 실시예에 따르면, 화상 처리 장치는 원화상의 소정 영역을 줌 영역으로 확대한 줌 화상을 표시하는 표시 수단; 줌 영역의 최외주인 경계선 상의 화소와, 경계선에 대하여 수직 방향의 외측에 인접하는 화소와의 화소치의 차분 절대치가, 소정의 임계치 이하인지를 판정함으로써, 경계선 상에 중요한 오브젝트가 있는지를 판정하는 중요 오브젝트 판정 수단; 및 중요 오브젝트 판정 수단이, 중요 오브젝트가 경계선 상에 있다고 판정한 경우에, 줌 영역을 결정하는데 사용된 줌 파라미터를 변경하는 변경 수단을 포함한다.
중요 오브젝트 판정 수단은, 경계선에 대하여 수직 방향의 인접하는 화소끼리의 화소치의 차분 절대치가 소정의 임계치 이하인지의 여부를, 경계선 상의 화소로부터 외측으로 순차로 판정하여, 소정의 임계치 이하라고 판정된 횟수를 출력한다. 변경 수단은 횟수의 기초하여 줌 파라미터를 변경할 수 있다.
본 발명의 다른 실시예에 따르면, 원화상 내의 소정 영역을 줌 영역으로 확 대하여 줌 화상을 소정 표시 수단에 표시하는 화상 처리 방법은, 줌 영역의 최외주인 경계선 상의 화소와, 경계선에 대하여 수직 방향의 외측에 인접하는 화소와의 화소치의 차분 절대치가, 소정의 임계치 이하인지를 판정하여, 경계선 상에 중요한 오브젝트가 있는지를 판정하는 단계와, 중요 오브젝트가 경계선 상에 있다고 판정된 경우에, 줌 영역을 결정하는데 사용되는 줌 파라미터를 변경하는 단계를 포함한다.
본 발명의 다른 실시예에 따르면, 원화상의 소정 영역을 줌 영역으로서 확대한 줌 화상을 소정 표시 수단에 표시시키는 화상 처리를 컴퓨터에 실행시키는 프로그램은, 줌 영역의 최외주인 경계선 상의 화소와, 경계선에 대하여 수직 방향의 외측에 인접하는 화소와의 화소치의 차분 절대치가 소정의 임계치 이하인지를 판정하여, 경계선 상에 중요한 오브젝트가 있는지를 판정하는 단계와, 중요 오브젝트가 경계선 상에 있다고 판정된 경우에, 줌 영역을 결정하는데 사용된 줌 파라미터를 변경하는 단계를 포함한다.
본 발명의 상기 실시예에 따르면, 줌 영역의 최외주인 경계선 상의 화소와, 경계선에 대하여 수직 방향의 외측에 인접하는 화소와의 화소치의 차분 절대치가 소정의 임계치 이하인지 판정하여, 경계선 상에 중요한 오브젝트가 있는지를 판정한다. 경계선 상에 중요한 오브젝트가 있다고 판정되는 경우, 줌 영역을 결정하는데 사용되는 줌 파라미터는 변경된다.
본 발명에 따르면, 줌 화상의 유저 친화적 디스플레이가 실현될 수 있다.
본 발명의 실시예를 설명하기 전에, 본 발명의 실시예에 기술된 특허청구범위의 특징과 특정 구성요소 사이의 대응 관계가 이하에서 논의된다. 이 설명은 본 발명을 서포트하는 실시 형태가 명세서 또는 도면에 기재되어 있음을 확인하기 위한 것이다. 따라서, 명세서 또는 도면 중에는 기재되어 있지만, 본 발명의 구성 요건에 대응하는 실시 형태로서, 여기에는 기재되어 있지 않은 실시 형태가 있다고 하더라도, 그것은 그 실시 형태가 특허청구범위의 그 특징에 관련되지 않음을 의미하지는 않는다. 반대로, 구성요소가 특허청구범위의 특정한 특징과 관련하여 본 명세서에 기술되더라도, 그것이 구성요소가 특허청구범위의 다른 특징에 관련되지 않음을 의미하지는 않는다.
본 발명의 일 실시예에 따른 화상 처리 장치(예를 들면, 도 4의 화상 처리 장치)는, 원화상의 소정 영역을 줌 영역으로 확대하는 줌 화상을 표시하는 표시 수단; 줌 영역의 최외주인 경계선 상의 화소와, 경계선에 대하여 수직 방향의 외측에 인접하는 화소와의 화소치의 차분 절대치가 소정의 임계치 이하인지를 판정함으로써, 경계선 상에 중요한 오브젝트가 있는지를 판정하는 중요 오브젝트 판정 수단(예를 들면, 도 4의 중요 오브젝트 검출부(13)); 중요 오브젝트 판정 수단이, 중요 오브젝트가 경계선 상에 있다고 판정한 경우에, 줌 영역을 결정하는 줌 파라미터를 변경하는 변경 수단(예를 들면, 도 4의 줌 영역 변경부(14))을 포함한다.
본 발명의 다른 실시예에 따르는, 원화상 내의 소정 영역을 줌 영역으로 확대하는 줌 화상을 소정 표시 수단에 표시하는 화상 처리 방법, 또는 컴퓨터에 상기 처리를 실행시키는 프로그램은, 줌 영역의 최외주인 경계선 상의 화소와, 경계선에 대하여 수직 방향의 외측에 인접하는 화소와의 화소치의 차분 적대치가 소정의 임계치 이하인지를 판정하여, 경계선 상에 중요한 오브젝트가 있는지 판정하는 단계(예를 들면, 도 7의 단계 S15)와, 중요 오브젝트가 경계선 상에 있다고 판정된 경우에, 줌 영역을 결정하는 줌 파라미터를 변경하는 단계(예를 들면, 도 7의 단계 S19)를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예가 설명될 것이다.
도 1 내지 도 3을 참조하여, 본 발명이 적용될 화상 처리 장치(도 4를 참조하여 후술하는 화상 처리 장치(1))가 실행하는 처리의 개요에 대하여 설명한다.
도 1은 화상 처리 장치(1)에 의한 줌 처리를 도시한다.
화상 처리 장치(1)는, 입력되는 화상 신호로부터 생성되는 원화상 P1의 일부 영역 Q1을, 소정의 배율(줌 배율)로 표시 장치의 표시 화면과 동일 사이즈로 확대하고, 그 결과 얻어지는 줌 화상 R1을, 표시 화면에 표시시킨다. 원화상 P1의 사이즈는 표시 화면의 사이즈와 동일 사이즈이다.
소정한 타이밍에서 표시되어 있는 화상의 씬(scene)이 변하여, 도 2에 도시되는 원화상 P2가 화상 처리 장치에 공급되었다고 가정한다. 원화상 P2에는 오브젝트 OBJ가 나타난다. 오브젝트 OBJ는, 예를 들면 특정 인물이며, 오브젝트 OBJ의 그물 영역(meshed area)이 사람의 머리 부분을 나타내고 있다. 도 2에 있어서, 일점쇄선으로 나타내는 영역 Q1은 도 1에서 도시한 영역 Q1과 동일한 영역이지만, 후술하는 영역 Q2와 구별될 수 있도록, 약간 확대하여 도시되어 있다.
도 2에 도시한 원화상 P2가 화상 처리 장치(1)에 공급된 경우, 영역 Q1의 화상을 그대로 확대하여 표시 화면에 표시시키는 것은, 오브젝트 OBJ가 어중간하게 도중에 끊어진 상태이므로, 유저가 알아보기 힘든 화상이 될 수 있다. 그 결과, 줌이 역효과로 된다.
따라서, 원화상 P2가 화상 신호로서 공급된 경우, 화상 처리 장치(1)는 줌 영역을, 영역 Q1으로부터 영역 Q2로 변경하여, 도 2에 도시된 바와 같이 줌 화상 R2가 표시 화면의 영역 Q2를 확대한다. 영역 Q2는 영역 Q1을 수직으로(도 2의 상하 방향) 소정량만큼 이동하여 주어진다.
또는, 도 3에 도시된 바와 같이, 화상 처리 장치(1)는 줌 배율을 변경(확대)하여, 영역 Q1을 오브젝트 OBJ가 들어가는 영역 Q3으로 변경하고, 도 3 우측에 도시된 바와 같이, 영역 Q3을 확대한 줌 화상 R3을 표시 화면에 표시시킨다.
도 4는 본 발명의 일 실시예에 따른 화상 처리 장치(1)의 구성예를 도시하는 블록도이다.
화상 처리 장치(1)는 조작부(11), 화상 입력부(12), 중요 오브젝트 검출부(13), 줌 영역 변경부(14), 프레임 메모리(15), 줌 처리부(16), 및 화상 출력부(17)를 포함한다. 화상 처리 장치(1)는, 예를 들면 텔레비전 수상기, 하드디스크나 DVD(Digital Versatile Disc) 등의 기록 매체에 화상을 기록 및 재생하는 기록 재생 장치 등이다. 화상 처리 장치(1)는 외부 장치로부터 수신한 화상 신호 또는 소정 표시 장치 내의 화상 처리 장치(1)에 기록된 화상 신호에 기초하여 화상을 표시할 수 있다.
조작부(11)는, 예를 들면 화상 처리 장치(1)에 제공되고 유저의 조작을 수신하는 리모트 커맨더 또는 조작 버튼에 대응한다. 리모트 커맨더는, 예를 들어 적외선 데이터 통신에 의해서 화상 처리 장치(1)로부터 떨어진 위치로부터 화상 처리 장치(1)의 동작을 명령한다. 조작부(11)는 유저의 조작에 대응하는 조작 신호를 중요 오브젝트 검출부(13)와 줌 처리부(16)에 공급한다. 예를 들면, 줌을 실행하는 조작 버튼이 조작되면, 조작부(11)는 줌 배율을 나타내는 파라미터의 줌 신호 또는 줌 영역을 특정하는데 사용되는 위치 지정 파라미터를 중요 오브젝트 검출부(13)와 줌 처리부(16)에 공급한다. 위치 지정 파라미터는, 줌 영역의 중심 위치와 길이, 또는 줌 영역의 대각 좌표치를 나타낸다.
화상 입력부(12)는, 예를 들어 지상파 또는 위성파와 같은 텔레비전 방송 신호를 수신하는 튜너, 또는 화상 신호가 외부 장치로부터 입력되는 외부 입력 단자에 대응한다. 화상 입력부(12)는 수신 또는 입력된 화상 신호를 중요 오브젝트 검출부(13) 및 프레임 메모리(15)에 공급한다. 이하에서, 화상 입력부(12)로부터 출력된 화상 신호로부터 바로 생성된 화상은, 원화상으로 지칭된다.
중요 오브젝트 검출부(13)는, 조작부(11)로부터 공급되는 줌 신호에 기초하여, 화상 입력부(12)로부터 공급되는 원화상에 대하여 줌 영역을 결정한다. 결정된 줌 영역의 최외주가, 소정의 표시 장치의 표시 화면에 표시되는 줌 화상과 다른 부분을 구별하는 경계선으로 된다.
중요 오브젝트 검출부(13)는, 경계선 상에 중요한 오브젝트가 있는지를 판정한다. 구체적으로는, 중요 오브젝트 검출부(13)는, 경계선 상의 각 화소를 주목 화소로 설정하고, 주목 화소에 대하여 오브젝트 연속성 검출 처리를 실행함으로써, 경계선 상에 놓이는 중요 오브젝트를 검출한다. 오브젝트 연속성 검출에서, 도 6을 참조하여 후술하는 바와 같이, 경계선에 대하여 수직 방향의 인접하는 화소끼리의 화소치의 차분 절대치가 소정의 임계치 ε1 이하인지의 여부를, 경계선 상의 화소(즉, 주목 화소)로부터 순차적으로 판정된다.
중요 오브젝트는, 예를 들면 원화상 중의, 인물이 나타내는 인물 화상 영역; 원화상에 겹쳐진 긴급 뉴스나 응모 수신처 등을 알리는 텔롭(telop)(슈퍼임포지션(superimposition))에 대응하는 인공 화상 영역; 또는 전경, 배경 등으로 구성된 원화상 내의 배경 영역 이외의 영역에 대응한다.
줌 영역 변경부(14)는, 중요 오브젝트 검출부(13)로부터의 검출 결과에 기초하여 줌 영역의 변경이 필요하다고 판정된 경우, 조작부(11)로부터 줌 처리부(16)에 공급되어 있는 줌 신호를 대신하는, 줌 영역을 변경하기 위한 줌 신호를 줌 처리부(16)에 공급한다.
줌 영역의 변경이 필요하다고 판정되는 경우란, 도 5a에 도시된 바와 같이, 중요 오브젝트가 줌 영역을 넘어가는 경우이다. 도 5b에 도시된 바와 같이, 예를 들어 중요 오브젝터가 줌 영역 내에 들어가는 경우(중요 오브젝터가 줌 영역을 넘어가지 않는 경우), 줌 영역의 변경이 필요하지 않다고 판정된다. 중요 오브젝트가 줌 영역에 들어가는 경우, 줌 신호는 줌 영역 변경부(14)로부터 줌 처리부(16)에 공급되지 않는다. 따라서, 유저의 조작에 대응하는 줌 영역은 표시 화면에 계속 표시된다.
도 4로 되돌아가, 프레임 메모리(15)는, 화상 입력부(12)로부터 공급되는 원화상을 일시적으로 유지하고, 후단의 줌 처리부(16)에의 원화상의 공급을 소정 시간만큼 지연시킨다. 구체적으로는, 프레임 메모리(15)는, 중요 오브젝트 검출부(13)에서 중요 오브젝트의 판정 결과에 기초하여 줌 영역의 변경이 필요하다고 판정되는 경우, 변경 후 줌 영역에 대응하는 줌 신호가 줌 영역 변경부(14)로부터 줌 처리부(16)에 공급되는 시간 기간동안 화상 입력부(12)로부터 공급된 원화상을 지연시킨다.
줌 처리부(16)는, 프레임 메모리(15)로부터 공급되는 원화상에 대하여, 조작부(11) 또는 줌 영역 변경부(14)로부터 공급되는 줌 신호에 기초하여 줌 영역을 결정하고, 그 줌 영역을 표시 장치의 표시 화면과 동일 사이즈로 확대한 줌 화상으로서, 화상 출력부(17)에 공급한다.
화상 출력부(17)는, CRT(Cathode Ray Tube), LCD(Liquid Crystal Display) 등의 표시 장치, 또는, 외부의 표시 장치에 화상 신호를 출력하는 외부 출력 단자 등에 대응한다. 화상 출력부(17)는 줌 처리부(16)로부터 공급되는 줌 화상을 표시 또는 출력한다.
이상과 같이 구성되는 화상 처리 장치(1)는, 유저의 조작에 기초하여 줌 영역을 설정한다. 하지만, 입력된 원화상 내의 중요 오브젝트가 줌 영역을 벗어나는 경우, 중요 오브젝트가 줌 영역으로부터 벗어나지 않도록 줌 영역이 변경된다.
도 6을 참조하여, 중요 오브젝트 검출부(13)에 의한 오브젝트 연속성 검출 처리에 대하여 설명한다.
도 6은 3행(a, b, 및 c) × 7열(1 내지 7)의 21 화소로 이루어지는, 원화상 내의 특정 영역을 도시하고 있다.
도 6에 도시된 예시에서, 그림자를 넣은 화소는 중요 오브젝트 영역의 화소를 나타내고 있다. 그림자를 넣어 도시되는 복수의 화소끼리는, 화소치가 거의 동일하며 후술하는 임계치 ε1 이하이고, 그림자를 넣지 않은 화소의 화소치와는 크게 상이하다. 그림자를 넣은 화소와, 그림자를 넣지 않은 화소의 화소치는 크게 다르다. 즉, 그림자를 넣은 화소와 그림자를 넣지 않은 화소의 화소치의 차분 절대치는, 임계치 ε1보다 크다.
줌 영역은 도 6의 하부(도시되지 않음)로부터 c행까지 확장된다. 따라서, 사각형의 줌 영역의 상부 경계선 L은 c행에 대응한다. 즉, 줌 영역의 최외주 상의 화소열은 c행에 대응한다. 경계선 L은 간단하게 도 6의 예로 b행과 c행 사이에 도시된다.
오브젝트 연속성 검출 처리에서는, 중요 오브젝트 검출부(13)는 가장 먼저, 경계선 상의 소정 화소를 처리 대상의 화소로서 주목하는 주목 화소로 설정한다. 예를 들면, c행 및 제2열의 화소(이하 적절히, 예컨대 화소 c2라는 식으로, 열 번호로 화소를 기술함)가 주목 화소로 설정된다. 중요 오브젝트 검출부(13)는 카운터(변수)를 초기화한다. 카운터는 현재의 줌 영역으로부터의 중요 오브젝트의 돌출량을 계산한다.
다음으로, 중요 오브젝트 검출부(13)는, 주목 화소 c2를 기준 화소로 설정하고, 기준 화소 c2와, 경계선에 수직 방향으로 기준 화소 c2에 인접하는 화소로서 줌 영역보다 외측의 화소 b2 사이의 화소치의 차분 절대치를 계산한다. 중요 오브젝트 검출부(13)는 기준 화소 c2와 화소 b2의 화소치의 차분 절대치가 소정의 임계치 ε1보다 작은지 여부를 판정한다. 중요 오브젝트 검출부(13)가 기준 화소 c2와 화소 b2의 화소치의 차분 절대치가 소정의 임계치 ε1보다 크다고 판정한 경우, 중요 오브젝트 검출부(13)는, 주목 화소 c2를 기점으로 하는 오브젝트 연속성의 검출을 종료한다. 중요 오브젝트 검출부(13)가 차분 절대치가 소정의 임계치 ε1 이하라고 판정한 경우, 중요 오브젝트 검출부(13)는 기준 화소 c2와 비교된 화소 b2를 다음 기준 화소로 설정하여 상기 처리를 반복한다.
기준 화소 c2와 화소 b2의 화소치의 차분 절대치는 도 6에 도시된 바와 같이, 임계치 ε1보다 크므로, 현재의 카운터의 값이 주목 화소 c2에 관한 검출 결과로서, 줌 영역 변경부(14)에 공급되고, 주목 화소 c2에 관한 오브젝트 연속성의 검출은 종료된다. 주목 화소 c2에 대하여 줌 영역 변경부(14)에 공급되는 카운터의 값(카운터 출력치)은 0이다.
다음으로, 아직 주목 화소로 되어 있지 않은 경계선 L 상의 화소가 주목 화소로 설정된다. 예를 들면, 화소 c3은 주목 화소로 설정된다. 중요 오브젝트 검출부(13)는, 주목 화소 c3을 기준 화소로 설정하고, 기준 화소 c3과, 경계선 L에 대하여 수직 방향으로 인접하는 화소이며 줌 영역보다 외측의 화소 b3과의, 화소치의 차분 절대치가 소정의 임계치 ε1 이하인지의 여부를 판정한다.
판정한 결과, 기준 화소 c3과, 그 외측의 화소 b3과의 화소치의 차분 절대치가, 소정의 임계치 ε1 이하라고 나타나면, 중요 오브젝트 검출부(13)는, 기준 화 소 c3과 비교된 화소 b3을 다음의 기준 화소로 설정함과 함께, 카운터를 1만큼 증분하여 1로 설정한다. 중요 오브젝트 검출부(13)는, 기준 화소 b3과, 경계선에 대하여 수직 방향으로 기준 화소 b3과 인접하는 화소이며 줌 영역보다 외측의 화소 a3과의, 화소치의 차분 절대치가 소정의 임계치 ε1 이하인지의 여부를 판정한다.
판정한 결과, 기준 화소 b3과, 그 외측의 화소 a3과의 화소치의 차분 절대치가, 소정의 임계치 ε1보다 크다고 나타나면, 중요 오브젝트 검출부(13)는, 카운터의 값을 줌 영역 변경부(14)에 공급하고, 주목 화소 c3을 기점으로 하는 오브젝트 연속성의 검출을 종료한다. 줌 영역 변경부(14)에 공급되는 카운터 출력치는 1로 된다.
화소 c4, c5, c6, c7,…을 포함하는 모든 화소들은 상술한 바와 마찬가지로 설정되고, 오브젝트 연속성 검출은 각 주목 화소에 대해서 실행되어, 오브젝트 연속성 검출의 결과로서 카운터 출력치가 줌 영역 변경부(14)에 공급된다. 카운터 출력치는 화소치의 차분 절대치가 소정의 임계치 ε1 이하라고 판정된 횟수를 나타낸다.
줌 영역 변경부(14)는, 중요 오브젝트 검출부(13)로부터 공급되는 카운터 출력치의 최대치를 체크하여, 줌 경계선을 상하 좌우의 4 방향 각각으로 어느 정도 이동 또는 확대하면 좋을지를 결정할 수 있다.
도 7은, 줌 영역이 줌 영역 내의 중요 오브젝트의 위치에 따라서 변경되는 줌 변경 처리예를 도시하는 플로우차트이다. 줌 영역 변경 처리 전에 유저가 미리 소정 줌 영역을 설정한다고 가정한다.
도 7을 참조하면, 단계 S11에서, 유저가 종료 처리를 실행하는지를 판정한다. 유저가 종료 처리를 실행한 것으로 판정되면, 줌 영역 변경 처리가 종료된다.
유저가 종료 처리를 실행하지 않은 것으로 판정되면, 단계 S12에서 중요 오브젝트 검출부(13)는 경계선 상의 소정 셀을 처리될 주목 화소로서 설정한다.
단계 S13에서, 중요 오브젝트 검출부(13)는, 주목 화소가 중요 오브젝트의 화소인지의 여부를 판정하는 중요 오브젝트 판정 처리를 실행한다. 중요 오브젝트 판정의 상세 내용은, 도 8 내지 도 10을 참조하여 설명된다. 예를 들면, 주목 화소가, 전술한 인물 영역, 인공 화상 영역, 또는 배경 이외 영역의 화소인지의 여부를 판정함으로써, 주목 화소가 중요 오브젝트의 화소인지의 여부를 판정한다.
단계 S14에서, 중요 오브젝트 검출부(13)는, 중요 오브젝트 판정 처리에 있어서 주목 화소가 중요 오브젝트의 화소라고 판정되었는지를 판정한다. 중요 오브젝트의 판정부(13)가 주목 화소가 중요 오브젝트가 아니라고 판정한 경우, 단계 S15의 처리는 스킵된다.
단계 S14에서, 중요 오브젝트 판정 처리에서 주목 화소가 중요 오브젝트의 화소라고 판정되어 있었을 경우, 단계 S15에서, 중요 오브젝트 검출부(13)는, 주목 화소에 대해서 도 6을 참조하여 설명한 오브젝트 연속성 검출 처리를 실행한다. 오브젝트 연속성 검출에서, 주목 화소에서 중요 오브젝트 검출부(13)는 중요 오브젝트가 경계선에 대하여 수직 방향으로 줌 영역으로부터 바깥 방향의 중요 오브젝트의 돌출량을 산출하여(카운터 출력치를 산출하여), 줌 영역 변경부(14)에 산출된 값을 공급한다.
단계 S16에서, 중요 오브젝트 검출부(13)는, 줌 경계선 상의 모든 화소를 주목 화소로 했는지를 판정한다. 경계선 상의 모든 화소를 주목 화소로 설정하고 있지 않은, 즉, 줌 경계선 상의 모든 화소에 관한 카운터 출력치를 아직 구하지 않고 있는 경우, 처리는 단계 S12로 되돌아가, 단계 S12 내지 S16의 처리가 반복 실행된다. 이에 의해, 아직 주목 화소로 되어 있지 않은 경계선 상의 화소가 주목 화소로 설정되고, 그 설정된 주목 화소에 관한 카운터 출력치가 줌 영역 변경부(14)에 공급된다.
단계 S16에서, 경계선 상의 모든 화소를 주목 화소로 했다고 판정된 경우, 단계 S17에서, 줌 영역 변경부(14)는, 중요 오브젝트 검출부(13)로부터 공급된, 경계선 상의 모든 화소의 카운터 출력치가 0인지를 판정한다.
줌 영역 변경부(14)가 경계선 상의 모든 화소의 카운터 출력치를 0으로 판정하면, 처리는 단계 S11로 되돌아가서 이후의 처리가 반복된다. 경계선 상의 모든 화소의 카운터 출력치가 0인 경우는, 중요 오브젝트가 경계선 상에 놓여있지 않은 (중요 오브젝트가 줌 영역을 벗어나지 않는) 경우에 대응한다. 그러한 경우에서, 유저의 조작에 의해서 설정된 줌 영역을 변경할 필요가 없으므로, 처리는 단계 S11로 되돌아간다.
단계 S17에서, 모든 화소의 카운터 출력치가 0이 아니라고 판정된 경우, 단계 S18에서, 줌 영역 변경부(14)는, 중요 오브젝트 검출부(13)로부터 공급된 줌 경계선 상의 모든 화소의 카운터 출력치의 최대치를 구한다.
단계 S19에서, 줌 영역 변경부(14)는, 단계 S18에서 계산된 최대치에 기초하 여, 줌 영역을 변경한다. 특히, 줌 영역 변경부(14)는, 단계 S18에서 계산된 최대치에 기초하여, 중요 오브젝트가 돌출하지 않는 줌 영역에 대응하는 줌 신호를 줌 처리부(16)에 공급한다. 줌 처리부(16)는, 그 줌 신호에 기초하여 줌 영역을 결정하고, 줌 화상으로서 화상 출력부(17)에 공급한다.
보다 구체적으로는, 줌 영역 변경부(14)는, 단계 S18에서 계산된 최대치에 기초하여, 도 2를 참조하여 설명한 바와 같이 중요 오브젝트가 줌 영역으로부터 돌출되어 있는 방향으로 줌 영역을, 그 크기를 변경하지 않고, 중요 오브젝트가 벗어나지 않도록(최대치 분만큼) 이동시킨다. 혹은, 줌 영역 변경부(14)는, 단계 S18에서 계산된 최대치에 기초하여, 중요 오브젝트가 줌 영역을 벗어나지 않도록(최대치 분만큼), 도 3을 참조하여 설명한 바와 같이 줌 배율을 변경한다.
경계선 상의 모든 화소의 카운터 출력치에 기초하여, 도 2를 참조하여 설명한 바와 같이 소정의 방향으로 줌 영역을 이동시킨 경우, 이동 후에, 이동 방향과 반대 방향의 줌 경계선에 중요 오브젝트가 놓일 수 있다. 예를 들면, 도 2에 도시한 예에서는, 중요 오브젝트가 상측의 줌 경계선에 놓여, 중요 오브젝트가 줌 영역을 벗어나므로, 줌 영역을 상방향으로(영역 Q1로부터 영역 Q2로) 이동시킨다. 하지만, 이동 후에, 중요 오브젝트가 하측의 줌 경계선에 놓여, 중요 오브젝트가 줌 영역을 벗어날 수 있다. 이와 같은 일을 방지하기 위해서는, 이동 후에도 재차, 오브젝트 연속성 검출 처리를 줌 경계선 상의 전체 화소, 또는 적어도 이동 방향과 반대 방향의 줌 경계선 상의 화소에 대하여 실행하고, 중요 오브젝트가 줌 영역을 벗어나지 않음을 확인하도록 하게 할 수 있다.
이동 후에 중요 오브젝트가 줌 영역을 벗어나는 경우에는, 줌 배율을 변경함으로써, 중요 오브젝트가 줌 영역을 벗어나지 않도록 다시 줌 영역을 변경하거나, 또는, 줌 영역의 이동을 취소하고, 줌 배율에 의한 줌 영역의 변경으로 절환하는, 등을 행할 수 있다. 줌 영역 변경부(14)는, 필요에 따라서, 중요 오브젝트 검출부(13)로부터, 원화상 또는 줌 영역에 관한 정보를 취득하는 것이 가능하다.
도 7의 줌 영역 변경 처리는, 줌 화상의 표시가 해제될 때까지, 반복 실행된다.
도 8은 인물 영역을 중요 오브젝트로 하는 경우의, 도 7의 단계 S13에서의 중요 오브젝트 판정 처리를 도시하는 플로우차트이다.
단계 S31에서, 중요 오브젝트 검출부(13)는, 주목 화소의 화소치가 피부색을 나타내는 화소치인지를 판정한다.
주목 화소의 화소치가 피부색을 나타내는 화소치라고 판정된 경우, 단계 S32에서, 중요 오브젝트 검출부(13)는, 주목 화소가 중요 오브젝트의 화소라고 판정하여, 도 7의 줌 영역 변경 처리로 되돌아간다.
주목 화소의 화소치가 피부색을 나타내는 화소치가 아니라고 판정된 경우, 처리는 단계 S33에서, 중요 오브젝트 검출부(13)는, 주목 화소는 중요 오브젝트의 화소가 아니라고 판정하여, 도 7의 줌 영역 변경 처리로 되돌아간다.
도 9는 배경 이외 영역을 중요 오브젝트로 하는 경우의, 도 7의 단계 S13에서의 중요 오브젝트 판정 처리를 도시하는 플로우차트이다.
단계 S51에서, 중요 오브젝트 검출부(13)는, 화상 입력부(12)로부터 공급된 원화상과, 내부 메모리(도시되지 않음)에 기억되어 있는 1 프레임전의 원화상의, 화소치의 차분 절대치를 계산한다.
단계 S52에서, 중요 오브젝트 검출부(13)는 계산된 차분 절대치가 소정의 임계치 ε2 이하인지를 판정한다.
단계 S52에서, 차분 절대치가 소정의 임계치 ε2 이하라고 판정된 경우, 처리는 단계 S53에서, 중요 오브젝트 검출부(13)는, 주목 화소는 중요 오브젝트의 화소라고 판정하여, 도 7의 줌 영역 변경 처리로 되돌아간다.
단계 S52에서, 차분 절대치가 소정의 임계치 ε2보다 크다고 판정된 경우, 처리는 단계 S54에서, 중요 오브젝트 검출부(13)는, 주목 화소는 중요 오브젝트의 화소가 아니라고 판정하여, 도 7의 줌 영역 변경 처리로 되돌아간다.
도 10은 인공 화상 영역을 중요 오브젝트로 하는 경우의, 도 7의 단계 S13에서의 중요 오브젝트 판정 처리를 도시하고 있다.
단계 S71에서, 중요 오브젝트 검출부(13)는 주목 화소로부터 수직 방향으로 N-1(N>0)행까지의 화소의 표준편차를 계산한다. 예를 들면, 텔롭이나 플립 등이 화상으로서 표시되고 있는 경우, 그 영역에는 동일 색(예를 들면, 백색)의 화소가 많이 존재할 것이다. 따라서, 주목 화소의 주변 화소의 화소치의 변동(표준편차)이 소정의 임계치 ε3 이하인 경우에, 그 주목 화소는 중요 오브젝트로서의 인공 화상 영역의 화소라고 판정할 수 있다. 주목 화소와 주목 화소 주변의 화소치와의 화소치의 변동을 조사하는 것이 가능한 한, 표준편차의 계산 대상의 화소는, 주목 화소에 수직인 방향에서 주목 화소로부터 N-1행까지의 화소가 아니라, 예를 들면, 주목 화소를 중심으로 하는 m×m 화소의 영역 등이어도 된다.
단계 S72에서, 중요 오브젝트 검출부(13)는 계산된 표준편차가 소정의 임계치 ε3 이하인지를 판정한다.
표준편차가 소정의 임계치 ε3 이하라고 판정된 경우, 이후 단계 S73에서, 중요 오브젝트 검출부(13)는, 주목 화소는 중요 오브젝트의 화소라고 판정하여, 도 7의 줌 영역 변경 처리로 되돌아간다.
한편, 단계 S72에서, 차분 절대치가 소정의 임계치 ε3보다 크다고 판정된 경우, 처리는 단계 S74로 진행하고, 중요 오브젝트 검출부(13)는, 주목 화소는 중요 오브젝트의 화소가 아니라고 판정하여, 도 7의 줌 영역 변경 처리로 되돌아간다.
도 8 내지 도 10의 중요 오브젝트 판정 단계 중의 어느 하나를 채용해도 되고, 또는 복수의 중요 오브젝트 판정 단계가 주목 화소가 중요 오브젝트인지 판정하도록 실행되어도 된다. 주목 화소가 중요 오브젝트 내에 있는지의 판정은 인물 화상 영역, 인공 화상 영역, 및 배경 이외 영역과는 다른 기준에 기초할 수 있다.
도 11은 도 7의 단계 S15에서의 오브젝트 연속성 판정 단계의 일례를 도시하는 플로우차트이다.
단계 S91에서, 중요 오브젝트 검출부(13)는, 주목 화소를 기준 화소로 설정한다. 단계 S92에서, 중요 오브젝트 검출부(13)는 카운터를 0으로 초기화한다. 카운터는 중요 오브젝트가 현재의 줌 영역으로부터의 돌출량을 산출한다.
단계 S93에서, 중요 오브젝트 검출부(13)는, 경계선에 대하여 수직 방향에서 기준 화소보다 외측의 화소와 기준 화소의 화소치의 차분 절대치를 계산한다.
단계 S94에서, 중요 오브젝트 검출부(13)는 계산된 차분 절대치가 소정의 임계치 ε1 이하인지를 판정한다.
중요 오브젝트 검출부(13)가 차분 절대치가 소정의 임계치 ε1보다 크다고 판정한 경우, 처리는 단계 S98로 진행한다.
단계 S94에서, 중요 오브젝트 검출부(13)가 차분 절대치가 소정의 임계치 ε1 이하라고 판정한 경우, 처리는 단계 S95로 진행하고, 중요 오브젝트 검출부(13)는, 카운터를 1만큼 카운트 업한다.
단계 S96에서, 중요 오브젝트 검출부(13)는 기준 화소와 비교된 외측의 화소를 지금까지의 기준 화소를 대신하는 새로운 기준 화소로 설정한다.
단계 S97에서, 중요 오브젝트 검출부(13)는, 원화상의 화상단까지 처리했는지, 즉, 단계 S96에서 설정된 새로운 기준 화소가 원화상의 단(최외측)의 화소인지를 판정한다.
중요 오브젝트 검출부(13)가 원화상의 화상단까지 처리하지 않았다고 판정한 경우, 처리는 단계 S93으로 되돌아가고, 새로운 기준 화소에 대하여 단계 S93 내지 S97의 처리가 실행된다.
단계 S97에서, 중요 오브젝트 검출부(13)가 원화상의 화상단까지 처리했다고 판정한 경우, 처리는 단계 S98로 진행하고, 중요 오브젝트 검출부(13)는, 주목 화소에 대한 오브젝트 연속성의 검출 결과로서, 카운터의 값(카운터 출력치)을 줌 영역 변경부(14)에 공급하고, 도 7의 줌 영역 변경 처리로 되돌아간다.
상술한 바와 같이, 본 실시예에 따른 화상 처리 장치(1)에 의해 실행된 줌 영역 변경 처리에서, 유저의 조작에 따라 원화상의 소정 영역이 확대되어 표시 화면에 줌 화상으로서 표시되는 경우에 중요 오브젝트가 줌 영역을 벗어나면, 중요 오브젝트가 줌 영역을 벗어나지 않도록 표시 화면 내의 줌 영역을 변경하여 화면에 표시되도록 줌 영역은 변경된다. 따라서, 유저가 줌 영역의 변경을 실행할 필요가 없다. 게다가, 유저가 중요한 정보를 놓치거나, 중요한 정보가 줌 영역을 벗어나서 중요한 정보가 보이지 않게 되어서 유저가 불편함을 느끼는 경우가 없다. 즉, 줌 화상의 유저 친화적 디스플레이를 실현시킬 수 있다.
화상 처리 장치(1)가 줌 영역 변경 처리에 의해 줌 영역을 변경하기 전의 줌 영역은, 유저가 조작부(11)를 조작함으로써 설정된 것, 또는 줌 영역 변경 처리에 의해 설정된 것이어도 된다.
도 12는 본 발명의 일 실시예에 따른 화상 처리 장치(1) 내의 중요 오브젝트를 부호화 데이터로부터 검출하도록 한, 줌 영역 변경 처리의 플로우차트이다. 중요 오브젝트는 도 12의 줌 영역 변경 처리 내에서 부호화된 데이터로부터 검출된다.
단계 S111에서, 중요 오브젝트 검출부(13)는 부호화 데이터로부터 오브젝트의 영역에 관한 정보를 취득한다.
단계 S112에서, 중요 오브젝트 검출부(13)는 얻어진 각 오브젝트의 중요도를 추정하여 중요 오브젝트를 판정한다. 중요 오브젝트 검출부(13)는, 예를 들어 화소치가 피부색을 나타내는 값의 화소인지에 기초하여, 중요도를 추정한다.
단계 S113에서, 줌 영역 변경부(14)는, 단계 S112에서 결정된 중요 오브젝트가 줌 경계선 상에 놓여 있는지를 판정한다. 줌 영역 변경부(14)가 중요 오브젝트가 경계선 상에 놓여있지 않다고 판정하면, 줌 영역 변경 처리가 종료된다.
단계 S113에서 중요 오브젝트가 줌 경계선 상에 놓여 있다고 판정된 경우, 단계 S114에서, 줌 영역 변경부(14)는, 중요 오브젝트가 줌 영역을 벗어나지 않도록 줌 영역을 변경한다. 즉, 줌 영역 변경부(14)는, 중요 오브젝트가 줌 영역을 벗어나지 않도록 변경한 줌 영역에 대응하는 줌 신호를 줌 처리부(16)에 공급한다. 줌 처리부(16)는, 그 줌 신호에 기초하여 줌 영역을 결정하고, 줌 화상으로서 화상 출력부(17)에 공급한다. 이후, 줌 영역 변경 처리는 종료한다.
상술한 바와 같이, 부호화 데이터로부터 중요 오브젝트에 관한 정보를 취득할 수 있는 경우에는, 취득된 정보에 기초하여, 중요 오브젝트가 줌 영역을 벗어나지 않도록 줌 영역을 변경할 수 있다.
전술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는, 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.
도 13은 전술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터 하드웨어의 구성예를 도시하는 블록도이다.
도 13의 컴퓨터에 있어서, CPU(Central Processing Unit)(101), ROM(Read Only Memory)(102), RAM(Random Access Memory)(103)는, 버스(104)에 의해 서로 접속되어 있다.
버스(104)에는 또한, 입출력 인터페이스(105)가 접속되어 있다. 입출력 인터페이스(105)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(106), 디스플레이, 스피커 등으로 이루어지는 출력부(107), 기억부(108), 통신부(109), 및 미디어 드라이브(110)가 접속된다. 기억부는, 예를 들면 하드 디스크나 비휘발성 메모리이다. 통신부(109)는, 예를 들면, 네트워크 인터페이스이다. 미디어 드라이브(110)는 자기 디스크, 광 디스크, 광 자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(121)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(101)가, 예를 들면 기억부(108)에 기억되어 있는 프로그램을, 입출력 인터페이스(105) 및 버스(104)를 통해서, RAM(103)에 로드하여 실행함으로써, 전술한 일련의 처리가 행해진다.
컴퓨터(CPU(101))가 실행하는 프로그램은, 예를 들면, 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc) 등), 광 자기 디스크, 혹은 반도체 메모리 등으로 이루어지는 패키지 미디어인 리무버블 미디어(121)에 기록되고, 리무버블 미디어(121)를 통행서 컴퓨터에 공급된다. 혹은, 로컬 에리어 네트워크, 인터넷, 디지 털 위성 방송이라고 하는, 유선 또는 무선의 전송 매체를 통해서 공급된다.
프로그램은 리무버블 미디어(121)를 드라이브(110)에 장착함으로써, 입출력 인터페이스(105)를 통해서 기억부(108)에 인스톨할 수 있다. 프로그램은 유선 또는 무선의 전송 매체를 통해서, 통신부(109)에서 수신될 수 있고, 기억부(108)에 인스톨할 수 있다. 그 밖에, 프로그램은 ROM(102)이나 기억부(108)에 미리 인스톨해 놓을 수 있다.
컴퓨터에 의해 실행되는 프로그램은, 본 명세서에서 설명하는 순서에 따라서 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행하여졌을 때 등의 필요한 타이밍에서 처리가 행해지는 프로그램이어도 된다.
본 발명의 상기 실시예에서의 플로우차트의 단계들은 순서에 따라서 시계열적으로 행해지거나, 병렬 또는 개별로 실행될 수 있다.
당업자라면, 첨부된 특허청구범위 또는 그 균등물의 범위를 벗어나지 않고 설계 요구 및 다른 팩터에 따라서 다양한 변형, 조합, 부조합 및 개조가 가능함을 이해해야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 화상 처리 장치에 의해 실행되는 줌 처리를 도시한다.
도 2는 본 발명의 실시예에 따른 화상 처리 장치에서 줌 영역의 변경 처리를 도시한다.
도 3은 본 발명의 실시예에 따른 화상 처리 장치에서 줌 배율의 변경 처리를 도시한다.
도 4는 본 발명의 실시예에 따르는 화상 처리 장치의 구성예를 나타내는 블록도이다.
도 5a 및 도 5b는 중요 오브젝트가 줌 영역 너머에 있는 상태를 도시한다.
도 6은 오브젝트 연속성 검출 단계를 실행하는 방법을 도시한다.
도 7은 본 발명의 일 실시예에 따른 화상 처리 장치에서 줌 영역의 변경 처리예를 도시하는 플로우차트이다.
도 8은, 인물 화상 영역이 본 발명의 일 실시예에 따라서 중요 오브젝트로서 설정될 때 중요 오브젝트 판정 단계의 일례를 도시하는 플로우차트이다.
도 9는, 배경 이외의 화상 영역이 본 발명의 일 실시예에 따라서 중요 오브젝트로서 설정될 때 중요 오브젝트의 일례를 도시하는 플로우차트이다.
도 10은, 인공 화상 영역이 본 발명의 일 실시예에 따라 설정될 때 중요 오브젝트 판정 단계의 일례를 도시하는 플로우차트이다.
도 11은 본 발명의 일 실시예에 따라서 오브젝트 연속성 검출 단계의 일례를 도시하는 플로우차트이다.
도 12는 본 발명의 일 실시예에 따른 화상 처리 장치에서 다른 줌 영역의 변경 처리의 일례를 도시하는 플로우차트이다.
도 13은 본 발명의 일 실시예에 따른 컴퓨터의 하드웨어 구성예를 도시하는 블록도이다.
<도면의 주요부분에 대한 부호의 설명>
1: 화상 처리 장치
13: 중요 오브젝트 검출부
14: 줌 영역 변경 처리부

Claims (9)

  1. 원화상의 소정 영역을 줌 영역으로 확대한 줌 화상을 표시하는 표시 수단과,
    상기 줌 영역의 최외주인 경계선 상의 화소와, 상기 경계선에 대하여 수직 방향의 외측에 인접하는 화소와의 화소치의 차분 절대치가, 소정의 임계치 이하인지를 판정하여, 상기 경계선 상에 중요 오브젝트가 있는지를 판정하는 중요 오브젝트 판정 수단과,
    상기 중요 오브젝트 판정 수단이, 상기 중요 오브젝트가 상기 경계선 상에 있다고 판정한 경우에, 상기 줌 영역을 결정하는데 사용된 줌 파라미터를 변경하는 변경 수단
    을 포함하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 중요 오브젝트 판정 수단은, 상기 경계선에 대하여 수직 방향의 인접하는 화소끼리의 화소치의 차분 절대치가 상기 소정의 임계치 이하인지의 여부를, 상기 경계선 상의 화소로부터 외측으로 순차로 판정하여, 상기 차분 절대치를 상기 소정의 임계치 이하라고 판정된 횟수를 출력하고,
    상기 변경 수단은, 상기 출력 횟수에 기초하여 상기 줌 파라미터를 변경하는 화상 처리 장치.
  3. 제1항에 있어서,
    상기 중요 오브젝트의 영역은, 인물 화상 영역인 화상 처리 장치.
  4. 제1항에 있어서,
    상기 중요 오브젝트의 영역은, 인공 화상의 영역인 화상 처리 장치.
  5. 제1항에 있어서,
    상기 중요 오브젝트의 영역은 배경 이외의 화상 영역인 화상 처리 장치.
  6. 제1항에 있어서,
    상기 줌 파라미터는, 상기 원화상 내의 상기 줌 영역을 특정하는 위치 파라미터, 또는 줌 배율을 나타내는 파라미터인 화상 처리 장치.
  7. 원화상의 소정 영역을 줌 영역으로서 확대한 줌 화상을 소정 표시 수단에 표시시키는 화상 처리 방법에 있어서,
    상기 줌 영역의 최외주인 경계선 상의 화소와, 상기 경계선에 대하여 수직 방향의 외측에 인접하는 화소와의 화소치의 차분 절대치가, 소정의 임계치 이하인지를 판정하여, 상기 경계선 상에 중요 오브젝트가 있는지를 판정하는 단계와,
    상기 중요 오브젝트가 상기 경계선 상에 있다고 판정된 경우에, 상기 줌 영역을 결정하는데 사용되는 줌 파라미터를 변경하는 단계
    를 포함하는 화상 처리 방법.
  8. 원화상의 소정 영역을 줌 영역으로서 확대한 줌 화상을 소정 표시 수단에 표시시키는 화상 처리를 컴퓨터에 실행시키는 프로그램으로서,
    상기 줌 영역의 최외주인 경계선 상의 화소와, 상기 경계선에 대하여 수직 방향의 외측에 인접하는 화소와의 화소치의 차분 절대치가 소정의 임계치 이하인지를 판정하여, 상기 경계선 상에 중요 오브젝트가 있는지를 판정하는 단계와,
    상기 중요 오브젝트가 상기 경계선 상에 있다고 판정된 경우에, 상기 줌 영역을 결정하는데 사용된 줌 파라미터를 변경하는 단계
    를 포함하는 프로그램.
  9. 원화상의 소정 영역을 줌 영역으로 확대한 줌 화상을 표시하는 표시부와,
    상기 줌 영역의 최외주인 경계선 상의 화소와, 상기 경계선에 대하여 수직 방향의 외측에 인접하는 화소와의 화소치의 차분 절대치가 소정의 임계치 이하인지를 판정하여, 상기 경계선 상에 중요 오브젝트가 있는지를 판정하는 중요 오브젝트 판정부와,
    상기 중요 오브젝트 판정부가, 상기 중요 오브젝트가 상기 경계선 상에 있다고 판정한 경우, 상기 줌 영역을 결정하는데 사용된 줌 파라미터를 변경하는 변경부
    를 포함하는 화상 처리 장치.
KR1020080037029A 2007-04-23 2008-04-22 화상 처리 장치 및 화상 처리 방법 KR101449033B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007112905A JP2008269396A (ja) 2007-04-23 2007-04-23 画像処理装置、画像処理方法、およびプログラム
JPJP-P-2007-00112905 2007-04-23

Publications (2)

Publication Number Publication Date
KR20080095194A true KR20080095194A (ko) 2008-10-28
KR101449033B1 KR101449033B1 (ko) 2014-10-08

Family

ID=39666105

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080037029A KR101449033B1 (ko) 2007-04-23 2008-04-22 화상 처리 장치 및 화상 처리 방법

Country Status (5)

Country Link
US (1) US8116593B2 (ko)
EP (1) EP1986152A3 (ko)
JP (1) JP2008269396A (ko)
KR (1) KR101449033B1 (ko)
CN (1) CN101295398B (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783129B (zh) * 2009-01-04 2012-12-05 虹软(杭州)科技有限公司 影像缩放装置以及影像缩放方法
CN101789235B (zh) * 2009-01-22 2011-12-28 华为终端有限公司 一种图像处理方法及装置
JP5292210B2 (ja) * 2009-07-16 2013-09-18 株式会社エルモ社 資料提示装置
JP5663283B2 (ja) * 2010-12-02 2015-02-04 オリンパス株式会社 内視鏡画像処理装置及びプログラム
EP2551784A1 (en) 2011-07-28 2013-01-30 Roche Diagnostics GmbH Method of controlling the display of a dataset
KR101324250B1 (ko) * 2011-12-29 2013-11-01 삼성테크윈 주식회사 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라
CA2798507C (en) * 2012-01-06 2015-03-17 Microsoft Corporation Input pointer delay and zoom logic
US10296933B2 (en) * 2013-04-12 2019-05-21 Facebook, Inc. Identifying content in electronic images
US10387013B2 (en) * 2013-10-07 2019-08-20 Acist Medical Systems, Inc. Systems and methods for controlled single touch zoom
JP2015106000A (ja) * 2013-11-29 2015-06-08 株式会社東芝 電子機器及び表示制御方法
CN103702217A (zh) * 2013-12-09 2014-04-02 乐视网信息技术（北京）股份有限公司 图像展现方法及装置
US10008046B2 (en) * 2016-06-29 2018-06-26 Here Global B.V. Method, apparatus and computer program product for adaptive venue zooming in a digital map interface
WO2020041930A1 (en) 2018-08-27 2020-03-05 SZ DJI Technology Co., Ltd. Image processing and presentation
FR3109686B1 (fr) * 2020-04-22 2023-05-05 Wildmoka Procédé de transposition d’un flux audiovisuel

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9001514D0 (en) * 1990-01-23 1990-03-21 Crosfield Electronics Ltd Image handling apparatus
JPH04266280A (ja) 1991-02-20 1992-09-22 Sharp Corp ワイドアスペクトテレビジョン受像機
JPH0737115A (ja) 1993-07-20 1995-02-07 Fuji Electric Co Ltd 図形の拡大描画方法
EP0693852A3 (en) * 1994-07-22 1997-05-28 Eastman Kodak Co Method and apparatus for applying a function to a localized domain of a digital image using a window
JP3733161B2 (ja) * 1995-08-01 2006-01-11 キヤノン株式会社 画像処理装置および方法
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
JP2000149026A (ja) 1998-11-16 2000-05-30 Dainippon Printing Co Ltd 画像トリミング装置
JP2000258832A (ja) 1999-03-05 2000-09-22 Toshiba Corp 撮影装置及び撮影方法
JP2001126055A (ja) 1999-10-29 2001-05-11 Dainippon Printing Co Ltd 棚割り用トリミング画像作成装置
JP2001136358A (ja) 1999-11-01 2001-05-18 Dainippon Printing Co Ltd トリミング画像作成装置およびトリミング枠位置情報作成装置
JP2003108979A (ja) * 2001-09-27 2003-04-11 Fuji Photo Film Co Ltd 顔領域抽出方法および装置並びにプログラム
JP2005065265A (ja) 2003-07-31 2005-03-10 Omron Corp フレーム調節装置、撮像装置および印刷装置
JP2005080070A (ja) 2003-09-02 2005-03-24 Seiko Epson Corp 推奨されるトリミングサイズの決定
JP3579418B2 (ja) * 2003-11-17 2004-10-20 オリンパス株式会社 カメラ
JP4489608B2 (ja) * 2004-03-31 2010-06-23 富士フイルム株式会社 ディジタル・スチル・カメラ，画像再生装置および顔画像表示装置ならびにそれらの制御方法
JP4352980B2 (ja) * 2004-04-23 2009-10-28 オムロン株式会社 拡大表示装置及び拡大画像制御装置
JP3905529B2 (ja) * 2004-06-07 2007-04-18 オリンパス株式会社 カメラ
JP4796767B2 (ja) 2004-11-29 2011-10-19 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 携帯端末および動画再生方法

Also Published As

Publication number Publication date
CN101295398A (zh) 2008-10-29
KR101449033B1 (ko) 2014-10-08
EP1986152A3 (en) 2012-01-18
CN101295398B (zh) 2012-09-05
JP2008269396A (ja) 2008-11-06
US20080260248A1 (en) 2008-10-23
EP1986152A2 (en) 2008-10-29
US8116593B2 (en) 2012-02-14

Similar Documents

Publication Publication Date Title
KR20080095194A (ko) 화상 처리 장치, 화상 처리 방법, 및 프로그램
WO2017211250A1 (zh) 图像的叠加显示方法和系统
US8953048B2 (en) Information processing apparatus and control method thereof
CN110446110B (zh) 视频的播放方法、视频播放设备及存储介质
MXPA05009704A (es) Metodo para ver documentos audiovisuales en un receptor y receptor para ver los documentos.
KR101017362B1 (ko) 다이나믹 영상 재생을 위한 자동 줌 장치 및 방법
JP2008199370A (ja) デジタル放送番組表示装置およびデジタル放送番組表示プログラム
JP2007288555A (ja) 画像調整装置および画像調整方法
US20120301030A1 (en) Image processing apparatus, image processing method and recording medium
CN113051432A (zh) 显示设备及媒资播放方法
JP2007271848A (ja) 映像出力装置、及び映像出力方法
KR100828354B1 (ko) 자막 위치 제어 장치 및 방법
CN112616078A (zh) 投屏处理方法、装置、电子设备和存储介质
JP5488624B2 (ja) 映像出力装置、及び映像出力方法
CN106792084B (zh) 电视信号显示参数的调整方法及装置、电视信号显示方法
JP2008167155A (ja) 再生装置および再生方法、並びにプログラム
JP2007515864A (ja) ビデオ画像処理方法
JP2007312183A (ja) 映像表示装置
EP1848203B1 (en) Method and system for video image aspect ratio conversion
KR20030076897A (ko) 디스플레이장치에서 하이라이팅 영역을 하이라이팅시킬 수있는 방법 및 장치
JP4595322B2 (ja) 画像処理システム、リモートコントローラおよび方法、画像処理装置および方法、記録媒体、並びにプログラム
JP2005275765A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体
KR20040093262A (ko) Ｐｉｐ모드를 이용한 화면확대기능을 갖는 영상표시기기및 그방법
KR20100046398A (ko) 영상표시기기 및 그의 영상 확대 방법
US7495706B2 (en) Video signal setting device for performing output setting to a display device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee