Resumo e resenha do artigo "C-Meter: A Framework for Performance Analysis of Computing Clouds"

O artigo considera que existe uma deficiência de frameworks para a avaliação de desempenho. Ele comenta que os requisitos para esses frameworks são:

1. Geração e submissão de cargas de trabalhos reais e sintéticas
2. comparação dos resultados com outros ambientes, como clusters e grids
3. Prover funcionalidades básicas de gerenciamento de recursos

O artigo comenta também sobre o Amazon EC2, e sobre o GrenchMark, que é um framework para submissão de cargas de trabalho para grid.
A proposta do artigo é desenvolver o C-Meter, uma extensão do GrenchMark, para submissão de cargas de trabalho para teste para computação em nuvem.
É descrita a arquitetura do C-Meter, que é composto por três subsistemas: núcleo, interação da nuvem e utilitários. O framework foi desenvolvido em Python.
Como experimentos, foram analisadas três situações: overhead de aquisição e liberação de recursos, desempenho de diferentes configurações, e o desempenho de dois algoritmos de escalonamento. Esses testes foram realizados em 20 instâncias no EC2. Como métricas de desempenho foram utilizadas tempo de resposta, o tempo de espera na fila, e o tempo de execução do trabalho.

O artigo é um bom ponto de partida para quem quiser trabalhar métricas sobre um ambiente de computação em nuvem. Além de uma metodologia explicada, há referências bibliográficas que auxiliam no entendimento. Uma boa idéia que o artigo sugere seria a construção de um ambiente de nuvem, a seleção de métricas, o desenvolvimento de um benchmark específico para nuvem, que atenda às três recomendações para um framework desse tipo, e uma bateria de testes, com avaliação dos resultados.

Artigo: "C-Meter: A Framework for Performance Analysis of Computing Clouds"
Autores: Yigitbasi, N., Iosup, A., Epema, D. & Ostermann, S.
Ano: 2009
Journal \ Proceedings: Proceedings of the 2009 9th IEEE/ACM International Symposium on Cluster Computing and the Grid, pp. 472-477