Archive for June, 2009

Using Amazon EC2 As Infrastructure For An Internet Search Engine

logo_aws

Today I was doing testing on different Amazon EC2 images with bulk writing activities usually performed in my startup Buscaplus, an Internet search engine framework. Currently I have a set of 4 servers with SATA disks and I am planning to move to Amazon.

We use Berkeley DB as index database engine. It is pretty fast, specially  if you define correctly the memory cache, etc… In Buscaplus we need to write huge amounts of data to disk and bottlenecks are often found due to the high database requirements for a search engine. So this is crucial if we ever move to amazon, speed of writing stuff to disk. A deployment and cloud design for many instances has not been accomplished but with today´s tests seems clear that Amazon EC2 is an option for Buscaplus.

Tests

Berkeley DB writes data in key-> value sets. You can select BTREE as well as other engines. We use BTREE and a cache spool of 128MB for all tests. Also, we write 100 Bytes for each row of data. The keys are simply a counter with zeros on right, like ‘0000000345′.

Sample index-1 ec2 small ec2 large ec2 ultra large ec2 medium ec2 high extra large
1.000.000 13.35 18.60 9.50 9.50 9.00 7.99
3.000.000 39.81 44.62 27.47 26.19 26.14 25.90
20.000.000 Unstable

index-1 shows one of the current servers. I would conclude that the “medium” instance is a great option. At only $0.20 / hour has great performance, better than current infrastructure.

I also found that when dealing with a lot of data, small instance of course are a “no-no”, but also higher instances with local disks. I noticed that when dealing with high I/O even big instances may do bad if load at that time is high. I found that this is not the case when having EBS. With high I/O and EBS I got great results all the time. So I would go for sure with EBS.

The 20 million rows tests were unstable even with a $0.80 High CPU Extra Large instance. This ended up in a DB table of more than 3GB. Read the rest of this entry »

Post to Twitter Tweet This Post Post to Plurk Plurk This Post Post to Digg Digg This Post Post to Ping.fm Ping This Post

, ,

View Comments

Conciertos de verano: Jerry Lee Lewis, Kool And The Gang y Anastacia

Vienen los conciertos de verano. Los conciertos de música siempre es una gran opción de ocio, pero quizá en verano son incluso más apetecibles. Entre todos los que vienen este verano he resaltado éstos.

Anastacia

Ver a esta mujer en vivo puede ser bastante explosivo. No he ido a ninguno de sus conciertos pero me gusta mucho esta cantante. ¿Habeis ido a uno de sus conciertos? Su música me gusta mucho y me gusta la forma de ser de esta mujer.

Jerry Lee Lewis

Bueno, esto si que es un lujazo, ver a Jerry en concierto. Cuando tenía mi primer grupo musical (tocaba el piano, claro), siempre me pedían que tocara canciones de piano imitando a Jerry, era muy diver, aunque ciertamente cansado darle a las teclas como él. Muy diver, seguro que se lo pasaba pipa aporreando el piano con tanta pasión.

Kool And The Gang

El otro día en OT uno de los concursantes no sabía quien era Bruce, The Boss. A mi me ha parecido una de las personas influyentes de la música, por lo que era bastante “pasote” que alguien no sepa quien es. Es muy precocupante que alguien que se presenta a un concurso no lo sepa, pero seguro que mucha gente joven tampoco lo sabe, porque los de OT son un poco el espejo de la sociedad (mas o menos). Si es así, parece que la gente joven no le interesa mucho lo que hay a su alrededor, o las realidades musicales de no hace mucho.

¿Quien entonces sabe quien es Kool And The Gang? Pues siguiendo el razonamiento, ya ni cristo de gente joven sabrá quien es este grupo. Tengo buenos momentos de aquella época.

Me acuerdo que era una época cuando las tiendas de Londres tenían más discos que en España y quien iba a Londres de turismo siempre intentaba traer música “fresca”. Pues bien, un amigo me trajo un disco de Londres de esta banda, y fué como que te traigan un tesoro de una isla lejana, era como incluso mejor música que si la hubieras comprado en la gran vía. Ahora como con Internet hay de todo con un simple click, parece que hace siglos de algo así, pero realmente no hace tanto tiempo. Es muy curioso como la sociedad y la vida en general ha cambiado tanto. Pero quiza teniendolo todo tan fácil y al alcance no haga disfrutar las cosas como antes.

Post to Twitter Tweet This Post Post to Plurk Plurk This Post Post to Digg Digg This Post Post to Ping.fm Ping This Post

View Comments

Que desgraciadito soy con las ayudas públicas

Desde luego que nunca doy una con las ayudas públicas de España. Parece que todas las hacen para que yo no encaje en ellas. Lo que me lleva a sentirme como un “Alien”. Ha llegado a mi un calendario de ayudas públicas del año. Entonces vi “Ayudas a patentes en el extranjero”. Y dije: “¡Yupi!, me pueden ayudar”. Pues va a ser que no. Resulta que me gasté bastante dinero en mi patente de software en EE.UU y me salvaría este año poder haber contado con esta ayuda.

Resulta que tiene que ser una patente en Europa o una PCT. Y como en España no se patenta software, pues no lo he llevado a través de la OEPM, requisito imprescindible para captar las ayudas. Claro, es que todo es muy retorcido en el mundo este de las patentes y yo soy muy claro y directo y no me planteo las cosas de forma retorcida. Supongo que hubiera sido interesante haber solicitado una patente de software en OEPM, aunque todo el mundo sabe que me la iban a tirar atras, tendría un año para hacer el registro en EE.UU conservando los derechos, quiza me podrían haber ayudado con los costes de “aqui”, pero tendría que pagar los costes de “alla”. Conslusión, que la gente de Internet y de la “technica” estamos considerados como “Aliens”.

Read the rest of this entry »

Post to Twitter Tweet This Post Post to Plurk Plurk This Post Post to Digg Digg This Post Post to Ping.fm Ping This Post

, , ,

View Comments