Segmentação por quantização cromática baseada em Imagens-J (JSEG)

Visão Geral

JSEG [1][2] é um enfoque totalmente automatizado para segmentação de imagens a cores: Não aceita nenhum tipo de parametrização, tendo sido desenvolvido para segmentação não-supervisdionada, sem feedback de usuário, de objetos em seqüências de video codificado, como por exemplo, MPEG-4.
Assunções do algoritmo:
  1. Cada região da imagem contém um padrão de cores distribuído de forma aproximadamente uniforme;
  2. A informação de cor de uma imagem pode ser representada através de um um pequeno conjunto de faixas de cores;
  3. As cores entre duas regiões vizinhas são distingüíveis.
The JSEG algorithm segments images of natural scenes properly, without manual parameter adjustment for each image and simplifies texture and color. Segmentation with this algorithm passes through two major stages,namely color space quantization (number reduction process of distinct colors in a give nimage), and hit rate regions with similar color regions merging, as secondary stage.

The essential idea of JSEG is to separate the segmentation process into two independently processed stages,:

  • Quantização Cromática.
  • Segmentação Espacial.

Quantização Cromática e Geração da Imagem-J

A distribuição de cores na imagem é analisada e quantificada. Pixels são agrupados em classes de cores customizadas para aquela imagem que objetivam diferenciar regiões na imagem. Isto é realizado exclusivamente no Domínio do Valor, sem considerar as posições dos pixels na imagem ou suas distribuições espaciais.

Para essa quantificação e a geração das classes são usados critérios de  mínima degradação perceptiva (perceptual degradation) utilizando o algortimo de quantização peer group filtering (PGF), na variante  proposta em [3], utilizando um mínimo de cores.

Para uma imagem g, o peer group  P(n, d) associado a um pixel na posição i consiste dos n pixels em uma janela d x d centrada em i que estiverem mais próximos em intensidade a g(i). A vantagem de homogeineizar apenas os pixels de um peer group dentro da janela ao invés de simplesmente calcular a média ou mediana de toda a janela é que não se destroi bordas dentro destas janelas.
PGF é mais conhecido como uma técnica para eliminação de ruído em imagens, como no exemplo abaixo.
SomeImprovementsforImageFilteringusingPeerGroupTechniques.dvi
Figura 1. Imagem original (a) e com ruído (b). Em (d), (e) e (f) resultado da filtragem com três variantes de PGF [5].

Segundo os autores de JSEG, tipicamente serão necessárias 10 a 20 cores para descrever uma cena ao ar livre.

Cada cor é associada a uma classe. Cores de pixels então são substituídas por seus rótulos de classe de cor, criando-se um mapa de classes da imagem.

JSEG3

Figura 2. Exemplos de Mapas de Classes, cada um com 3 classes, {+, o, *}, e seu valor-J associado

Critérios para uma “boa” Segmentação no Contexto de J-SEG

Seja Z o conjunto de todos os pontos em um mapa de classes, tal que: J0 (1)  e seja m a média: J1 (2)

Suponha que Z é classificado em C classes Zi, i = 1,…,C.  Seja mi a média dos Ni pontos de dados da classe Zi: J2 (3)

Sejam:

J3 (4)

e

J4 (5)

ST  é a variância total dos pontos pertencentes a uma mesma classe.

Assim, J é definido como:

J5 (6)

Assim, J passa a representar um critério de qualidade de uma distribuição de classes em uma imagem: Quanto maior J, melhor agrupados os rótulos de classes vão estar, como mostra a figura 2 acima. A motivação para a definição de J vem do discriminante linear multiclasse de Fisher, aqui usado para distribuições não-lineares arbitrárias. Diferentemente do objetivo do modelo de Fisher, porém, em J-SEG a definição de J assume que os rótulos de as classes são conhecidos, enquanto que o discriminante de Fisher objetiva rotular classes.

Recalculando J sobre cada região segmentada ao invés de sobre o mapa de classes da imagem inteira, pode-se definir o J médio como: J6 (7)

onde Jk é o J calculado sobre uma região k, Mk é o número de pontos na região k, Né o número totral de pontos em um mapa de classes e a soma é realizada sobre o total de regiões no mapa de classes.

J-SEG propõe o J médio como o critério a ser minimizado.

Este critério envolve minimizar o custo associado com a partição da imagem em rótulos. O critério é aplicado a pequenas janelas no mapa de classes, usando [4], resultando na Imagem-J, uma imagem topográfica onde valores altos correpondem a prováveis limites entre regiões e valores baixos (“vales”) a prováveis centros de regiões.

Segmentação Espacial

Before performing the hit rate regions, the J-image – a class map for each windowed color region, whose positive and negative values represent the edges and textures of the processing image – must be created with pixel values used as a similarity algorithm for the hit rate region. These values are called „ J-values“ and are calculated from a window placed on the quantized image, where the J-value belongs. Therefore, the two-stage division is justified through the difficult analysis of the colors similarity whit all their distributions.

A region growing method is then used to segment the image based on the multi-scale J-images. For video sequences, a region tracking scheme is embedded into region growing and problems of motion estimation are avoided. The goal is to achieve consistent segmentation and tracking results, even for scenes with arbitrary non-rigid object motion. Experiments show the robustness of the JSEG algorithm on real images and video.

The decoupling of these features (color similarity and spatial distribution) allows tractable algorithms development for each of the two processing stages.
jseg1

Exemplos de JSEG dos Autores

Lizard, color 369×247 (original) segmentation result (image is dimmed to show boundaries)
Flower garden video sequence (frame 0), color 352×240 segmentation result (image is dimmed to show boundaries)
Tennis video sequence (frame 0), color 352×240 segmentation result (image is dimmed to show boundaries)

Links

Referências do Texto

  1. Y.Deng, and B.S.Manjunath, Unsupervised segmentation of color-texture regions in images and video. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI ’01), August 2001.
  2. Y. Deng, B. S.Manjunath and H.Shin,Color image segmentation.IEEE Computer Society Conference on Computer Vision and Pattern Recognition CVPR’99, vol. 2, pp. 446-51, Fort Collins, CO, Jun. 1999.
  3. Yining Deng ; Kenney, C. ; Moore, M.S. ; Manjunath, B.S. Peer group filtering and perceptual color image quantization. ISCAS ’99. Proceedings of the 1999 IEEE International Symposium on Circuits and Systems, 1999 [PDF].
  4. Yining Deng; Manjunath, B.S. An efficient low-dimensional color indexing scheme for region-based image retrieval. ICASSP’99 – Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing, 1999 [PDF].
  5. Joan-Gerard Camarena, Valentín Gregori, Samuel Morillas, Almanzor Sapena, Some improvements for image filtering using peer group techniques, Image and Vision Computing, Volume 28, Issue 1, January 2010, Pages 188-201

Externos

  1. Página oficial do JSEG no Depto. de Engenharia de Computação da Universidade de Santa Barbara
  2. Página de Algorimos de Segmentação do Grupo de Visão no ECE Santa Bárbara
  3. Manual de página de download do JSEG

Sobre o Autor

possui graduação em Ciências da Computação pela Universidade Federal de Santa Catarina (1989) e Doutorado Acadêmico (Dr. rer.nat.) em Ciências da Computação pela Universidade de Kaiserslautern (1996). Atualmente é professor Associado da Universidade Federal de Santa Catarina, onde é professor do Programa de Pós-graduação em Ciência da Computação e dos cursos de graduação em Ciências da Computação e Sistemas de Informação. É também professor e orientador de doutorado do Programa de Pós-Graduação em Ciências da Computação da Universidade Federal do Paraná - UFPR. Tem experiência nas áreas de Produção de Conteúdo para TV Digital Interativa, Informática em Saúde, Processamento e Análise de Imagens e Engenharia Biomédica, com ênfase em Telemedicina, Telerradiologia, Sistemas de Auxílio ao Diagnóstico por Imagem e Processamento de Imagens Médicas, com foco nos seguintes temas: analise inteligente de imagens, DICOM, CBIR, informática médica, visão computacional e PACS. Coordena o Instituto Nacional de Ciência e Tecnologia para Convergência Digital - INCoD. É também Coordenador Técnico do Sistema Integrado Catarinense de Telemedicina e Telessaúde (STT/SC), coordenador do Grupo de Trabalho Normalização em Telessaúde do Comitê Permanente de Telessaúde/Ministério da Saúde e membro fundador e ex-coordenador da Comissão Informática em Saúde da ABNT - ABNT/CEET 00:001.78. Atualmente também é membro da comissão ISO/TC 215 - Health Informatics. Foi coordenador da RFP6 - Conteúdo - do SBTVD - Sistema Brasileiro de TV Digital/Ministério das Comunicações. Foi o criador e primeiro Coordenador do Núcleo de Telessaúde de Santa Catarina no âmbito do Programa Telessaúde Brasil do Ministério da Saúde e da OPAS - Organização Pan-Americana de Saúde e criador do Núcleo Santa Catarina da RUTE - Rede Universitária de Telemedicina.