Mi enamoramiento con el hosting virtual creo que ha llegado a su fin. La idea es interesante, pero al utilizar los sistemas que tanto Amazon como otros ofrecen terminas preguntándote las razones por las que uno se ha metido en esta movida en vez de un hosting de servidor dedicado o co-location.

No inspiran confianza

A ver, te ofrecen por X precio un servicio que se supone que aprovecha mejor los recursos de un sistema, que estas compartiendo una infraestructura sin malgastar recursos. Pero la realidad es otra, estas pagando un dinero por un nivel de servicio hosting (mucha gente en una máquina) a un precio de servidor dedicado. Cuando las cosas van mal (mala velocidad), te preguntas por qué, por ejemplo, una aplicación funciona 4X peor en una imagen Small de EC2 que en una máquina lenta (Pemtium). Lo peor es que no puedes realizar re-ingenería de procesos cuando las “performances” varían tanto.

Amazon debería empezar por hacer que funcionen bien sus servicios virtuales, desde el pequeño hasta el grande. Y luego hablamos de crear más imágenes para escalar. La cuestión es por qué voy a tener que tener 1-5 imagenes pequeñas para hacer lo que un buen servidor dedicado puede hacer. En mi experiencia Amazon debería también cobrar on-demand, pero de verdad, por tiempos de cuellos de botella de sus imágenes, mal I/O, etc…

¿Necesitas potencia o te apañas con poco?

Esta es la gran cuestión, es el “To be or not To Be” de los VPS. Si tienes una infraestructura que puede variar en carga y sabes que no utilizas el 100% de una máquina, Amazon puede valer. También puede valer para ampliar la carga de tu granja de servidores sin tener que pagar servidores “por si acaso”, que solo utilizas cuando hipoteticamente haya más carga.

Pero si no estás en un caso u otro, piénsatelo.

En el caso de Buscaplus, no creo que se use Amazon EC2, ya que los procesos necesitan el 100% de las máquinas la mayoría del tiempo y muy pocos procesos están en variable (quizás las búsquedas). Siempre es preferible montar un VPS donde tu controles todo que ir con el EC2, usando las aplicaciones de Open Source que están saliendo en el mercado.

Ahora, si tu Start-Up tiene menos de 5 millones de páginas vistas y poco “overhead” en tus sistemas, puedes ir mejor con 2 o 3 imágenes (aunque sean menos potente que un servidor dedicado tipo Dell), y tener redundancia, replicación, etc…

Competidores

De los nuevos que he visto hoy:

• vps.net
• bytemark.co.uk

La forma en la que yo veo esto es que un ISP te ofrezca una infraestructura, decidas sobre tipos de discos, ancho de banda, y luego seas tu quien decida como quieres dividir dicha infraestructura. Para sistemas grandes como el de Buscaplus y muchas Startups esto es una necesidad imperiosa.

Tweet This Post Plurk This Post Digg This Post Ping This Post

Today I was doing testing on different Amazon EC2 images with bulk writing activities usually performed in my startup Buscaplus, an Internet search engine framework. Currently I have a set of 4 servers with SATA disks and I am planning to move to Amazon.

We use Berkeley DB as index database engine. It is pretty fast, specially  if you define correctly the memory cache, etc… In Buscaplus we need to write huge amounts of data to disk and bottlenecks are often found due to the high database requirements for a search engine. So this is crucial if we ever move to amazon, speed of writing stuff to disk. A deployment and cloud design for many instances has not been accomplished but with today´s tests seems clear that Amazon EC2 is an option for Buscaplus.

Tests

Berkeley DB writes data in key-> value sets. You can select BTREE as well as other engines. We use BTREE and a cache spool of 128MB for all tests. Also, we write 100 Bytes for each row of data. The keys are simply a counter with zeros on right, like ‘0000000345′.

index-1 shows one of the current servers. I would conclude that the “medium” instance is a great option. At only $0.20 / hour has great performance, better than current infrastructure.

I also found that when dealing with a lot of data, small instance of course are a “no-no”, but also higher instances with local disks. I noticed that when dealing with high I/O even big instances may do bad if load at that time is high. I found that this is not the case when having EBS. With high I/O and EBS I got great results all the time. So I would go for sure with EBS.

The 20 million rows tests were unstable even with a $0.80 High CPU Extra Large instance. This ended up in a DB table of more than 3GB.

EBS

So EBS does a great job at performance and stability (no load bottlenecks found).

Also was found that disks mounted in / had better performance than those in /mnt and EBS volumes.

Conclusion

I think testing in the cloud could lead to wrong conclusions. The testing data will vary as the load in the server hosting your instance increases or decreases so it is a good option to repeat tests in different time period, like morning and night or something similar.

In my particular case where I need lots of writing and reading I would go with medium instances for the database nodes and probably medium instances for processing nodes. I would stay away with small instances since the I/O it is very bad. Would get small instances only for testing purposes, development servers or early stage beta when load is not high.

I prefer to pay for 4 medium instances ($0.80) than for one $0.80 instance.

Tweet This Post Plurk This Post Digg This Post Ping This Post