Resenha: Cloudstone: Multi-platform, multi-language benchmark and measurement tools for web 2.0

Segue a resenha de outro artigo que li. Deixo claro que é apenas minha opinião!

Identificação (título, autores, veículo e data de publicação)

Cloudstone: Multi-platform, multi-language benchmark and measurement tools for web 2.0

Sobel, W.; Subramanyam, S.; Sucharitakul, A.; Nguyen, J.; Wong, H.; Klepchukov, A.; Patil, S.; Fox, O. & Patterson, D.

Cloud Computing and Its Applications (CCA), 2008

Problema

Comparar aplicações da WEB 2.0. Aplicações WEB 2.0 possuem características multimídia, ricas, com influência da ação do usuário, preferências do usuário. Um exemplo são redes sociais.

Trabalhos relacionados

Aplicações semelhantes: AB, HTTPERF e SPECWeb são benchmarks.

Na pesquisa:

D. Krishnamurthy et al., A Synthetic Workload Generation Technique for Stress Testing Session-Based Systems, IEEE Trans. on Software Eng. 32(11), Nov. 2006 – Trabalha técnicas para geradores de carga de dados para sistemas.

Daniel Menascé. Load Testing of Web Sites. IEEE Internet Computing 6(4), July/August 2002 – exibe abordagens de testes de carga na web

W. Sobel et al. Scaling Ruby on Rails in a Cloud Computing Environment. UC Berkeley Technical Report EECS-2008-130 (in preparation) – descreve cenários de testes de ambientes.

Solução proposta (metodologia e resultados)

O CloudStone é um benchmark composto por ferramentas de simulação de redes sociais (OLIO), geradores de carga (FABAN) e medidas de desempenho. Seu objetivo é medir o desempenho de aplicações WEB 2.0. Ele propõe uma métrica relacionada a custos: dólares / usuário por mês.

Conclusão

Criação de um benchmark para avaliar aplicações WEB 2.0, situações como a do experimento podem ser mais fáceis de se prever o comportamento, o banco de dados requer mais instâncias do ambiente, e operações de log, se desligadas, aumentam o throughput em cerca de 20%.

Pontos fortes

Utilização de ferramentas livre para geração do ambiente e carga, e a estratégia da metodologia em responder duas perguntas: quantos usuários em paralelo podem ser servidos por um custo fixo em dólar por mês na Amazon EC2, e quantos usuários podem ser suportados sem a replicação da base de dados?

Pontos fracos

Não foi descrito o motivo pelo qual foi utilizado o Olio e o Faban, pelo Rails e PHP, e por que foi utilizado como ambiente de experimentação o Amazon EC2.

Poderia ter figuras representando a arquitetura, e não uma descrição só em texto.

Poderia ter trabalhado mais métricas.

Poderia ter mais trabalhos futuros.

Poucas referências foram utilizadas.

Trabalhos futuros

Explorar geradores de carga dinâmicos