Resenha: CloudGauge: A Dynamic Cloud and Virtualization Benchmarking Suite

Segue a resenha de outro artigo que li. Deixo claro que é apenas minha opinião!

Identificação (título, autores, veículo e data de publicação)

CloudGauge: A Dynamic Cloud and Virtualization Benchmarking Suite

El-Refaey, M. & Rizkaa, M.

Enabling Technologies: Infrastructures for Collaborative Enterprises (WETICE), 2010 19th IEEE International Workshop on, 2010, 66 -75

Problema

Necessidade de aplicação de benchmarks e análise de desempenho para ambientes virtualizados, que possuem uma dinâmica diferente de ambientes que não utilizam virtualização

Trabalhos relacionados

Casazza, J.P., Greenfield, M., Shi, K.: Redefining server performance characterization for virtualization benchmarking. Intel Technology Journal 10(3) (2006)243–251 – descreve requisitos que um benchmark para máquinas virtuais deve atender, como o vConsolidate

Paul Barham, Boris Dragovic, Keir Fraser, Steven Hand, Tim Harris, Alex Ho, Rolf Neugebauer†, Ian Pratt, Andrew Warfield: Xen and the art of virtualization. In: SOSP ’03: Proceedings of the 19th ACM Symposium on Operating Systems Principles, New York, NY, USA, ACM (2003) 164–177 – um estudo sobre o impacto do overhead de máquinas virtuais em uma variedade de cargas

Muli Ben-Yehuda, Amit Shah, Balaji Rao, Todd Deshane, Zachary Shepherd,Jeanna N. Matthews: Quantitative comparison of Xen and KVM. In: Xen Summit 2008 – um estudo sobre o impacto do overhead de máquinas virtuais em uma variedade de cargas

Hai Jin, Wenzhi Cao, Pingpeng Yuan, Xia Xie.:VSCBenchmark: benchmark for dynamic server performance of virtualization technology . In: Proceedings of the 1st international forum on Next-generation multicore/manycore technologies (2008), Cairo, Egypt – apresenta o benchmark VSCBenchmark que analisa o desempenho de servidores e máquinas virtuais com cargas variadas

VMmark: A Scalable Benchmark for Virtualized Systems.Technical Report VMware-TR-2006-002 September 25, 2006 http://www.vmware.com/pdf/vmmark_intro.pdf - apresenta o benchmark VMark, que executa várias cargas de trabalho simultaneamente em máquinas virtuais

Solução proposta (metodologia e resultados)

Cloudgauge – benchmark customizável e configurável para auxiliar na avaliação de desempenho no contexto de ambientes de computação em nuvem

Instalação e configuração do benchmark, utilização de diferentes ferramentas para povoar a base de dados e coletar métricas. Foram realizados testes em três configurações: nativa, virtualizada e host com máquina virtual.

Conclusão

CloudGauge provê um mecanismo de medição um ambiente virtualizado. Foram coletadas informações de utilização da CPU, carga média e utilização da memória. Os sistemas. Pelos resultados é possível investigar como customizar um ambiente virtualizado para uma aplicação.

Pontos fortes

Requisitos para benchmarks para VM

Trabalhos relacionados

Há resultados variados visualizados em gráficos

Uma boa revisão bibliográfica sobre benchmarks

Descrição detalhada da arquitetura

Composto por bibliotecas e frameworks livres.

Pontos fracos

Não foi descrito o testbed para todas as configurações

Não há nenhuma imagem do benchmark, ou dos resultados na forma de relatório

Há referências a figuras que não existem e figuras sem referência

Os resultados das medidas não foram bem explicados, nem comparados

Trabalhos futuros

Medir outros hypervisors (camada que é fornecida para a virtualização de plataforma) e sistemas baseados em computação em nuvem. Aplicar em testbeds de alta escala como OpenCirrus, PlanetLab e Emulab, ou em ambientes de produção. Integrar com o Faban como um gerador de carga.