Preguntas frecuentes sobre ZIVIS (Blog de Zivis)

¡Tropezon de ultima hora!

20070504231538-cortado155.210.4.17-day.png

[04/May/2007:13:48:15 +0200] es la fecha que marca la ultima conexion apache. A las cinco entro a mi turno de tarde y ¡horror! no hay conexion, y la hora es la sospechosa de que algun operario en algun sitio haya dado "off" a un interruptor y se haya ido de fin de semana.

En media hora ya nos hemos convencido de que el error esta en el sistema que enlaza Zivis con la universidad, y que es un link de fibra optica adelantado por Telefonica para el proyecto (un equipamiento ya previsto para la universidad y que nos ha venido muy bien hasta ahora) y unos switches administrados por el SICUZ. Usease que somos tres entidades. Para mi sorpresa todos han reaccionado bien, pero aun asi no hemos encontrado la averia. Nuestros contactos en telefonica han llamado a un tecnico para que midiera los enlaces de fibra a la busqueda de algun corte, y el operador de guardia del SICUZ ha revisado su parte y ha esperado hasta las nueve de la noche a que Telefonica dictaminara (El mayor retraso ha sido conseguir aparcar la furgoneta de Telefonica en Corona de Aragon a las siete y media de un viernes). Pero no hemos encontrado averia en las lineas y no hemos encontrado ningun fallo de configuracion de los equipos (ni nadie que los estuviera manipulando a las dos menos cinco). Y el cable parecia recibir la señal laser tanto de ida como de vuelta, pero indicaba que la transmision estaba caida.

Asi que al final hemos tenido que admitir derrota y pasar al plan de backup, y esperar al lunes para ver si hay fallo de hardware en alguna parte de la ruta. El plan de emergencia es un link inalambrico en vez de uno de fibra, asi que nos quedamos limitados no se si  a 54 Mbits/s o a 27 Mbits/s de entrada de datos y, para felicidad de los sufridores de ADSL, no nos podemos permitir experimentar mucho mas con nuestros superficheros. Sobre todo si tras el fin de semana hay que repartir ese ancho con los usuarios/investigadores del BIFI, que tambien querran poder navegar y leer el email.

El link de emergencia utiliza diferentes IPs, asi que aunque a las nueve y media habiamos levantado ya el sistema, la propagacion del cambio puede haber tardado hasta un par de horas, dependiendo del proveedor de servicio. Afortunadamente hoy en dia ya muy pocos proveedores mantienen caches de IP demasiado largas (con eso del comercio electronico un envenenamiento de DNS puede salir caro).

No ha sido un alarde de rapidez Embarassed: 3 horas para darnos cuenta (las de la comida) y 4 horas para arreglarlo. Podriamos haber saltado al plan de backup en una hora, claro, pero si hubiera resultado que un click en algun sitio bastaba para arreglarlo habria habido dos cambios consecutivos del registro de DNS, o habriamos tenido que hacer y deshacer rutas provisionales. Asi que hemos alargado lo mas que hemos podido la decision hasta que todo lo que se podia verificar habia sido verificado. Insisto, hay que agradecer la reaccion y paciencia de nuestras contrapartes, tanto Telefonica como Servicio de Comunicaciones de la Universidad.

En la imagen se ve como ha ido el ancho de banda en las ultimas horas hasta el momento del corte. Ayer pausamos por la noche el envio de datos graficos, por si acaso, y lo habiamos vuelto a arrancar por la mañana.

Resumen: en principio, esta todo arriba y funcionando. Las IP de los servidores han cambiado, asi que algunos proveedores tardaran en borrar la cache y encontrar las nuevas IP, o quizas pasa lo mismo en la cache local. En cualquier caso en algun momento de la noche esto caducara y las maquinas volveran a encontrarnos. Algunas ya nos encuentran, asi que por nuestro lado creemos que esta bien.

04/05/2007 23:03 #.

Comentarios » Ir a formulario

gravatar.com
Autor: Arfur

¿Entonces está ya todo arriba y funcionando? Desde las 21.30 hasta ahora ya han pasado el par de horas de margen. ¿Alguno más anda con problemas para conectar?

Fecha: 04/05/2007 23:33.



Autor: Anónimo

Entonces apagamos las maquinas hasta el lunes? o mañana sabado podremos calcular?
Saludos.

Fecha: 04/05/2007 23:33.


gravatar.com
Autor: astarokk

Entonces apagamos las maquinas hasta el lunes? o mañana sabado podremos calcular?

Saludos.

Fecha: 04/05/2007 23:44.


gravatar.com
Autor: Alejandro Rivero

Esta todo arriba y calculando.

Fecha: 04/05/2007 23:57.



Autor: Alejandro Rivero

Lo cierto es que estoy recibiendo poco input, y la mayoria desde el extranjero. Se ve que la propagacion de los cambios de nombre se toma su tiempo en los proveedores de internet españoles.

Fecha: 05/05/2007 00:12.


gravatar.com
Autor: Jose

El servidor DNS de Auna ya esta actualizado 62.81.31.250 y permite conectar a zivis

Fecha: 05/05/2007 00:21.


gravatar.com
Autor: Arfur

Comunicación aplazada (23:59:59), y así cada vez que le doy a actualizar o cierro y abro el BOINC.

Fecha: 05/05/2007 00:23.


gravatar.com
Autor: Arfur

Gracias por el aviso, Jose!

Nada como cambiar las DNS, reiniciar el router para asegurarse que aplica los cambios y ver como empiezas a enviar datos para irte a dormir tranquilo... :)

Fecha: 05/05/2007 01:19.


gravatar.com
Autor: praetorian

Pues ahora mismo son la 1:55 y esto sigue sin conectar con el servidor de zivis.
No me parece justo que sigan calculando unos pocos y otros no podamos colaborar (ni aumentar nuestras puntuaciones); aunque es un proyecto científico, es también una competición y hay gente que sacará ventaja de esta situación, sobre todo si se alarga mucho más. La base de una competición siempre es la justa competencia y que unos puedan seguir sumando puntos mientras otros no pueden no es ni mucho menos justo.
Ya sé que algo ajeno a vosotros ha fallado, pero no me parece una buena solución la que se ha escogido (unos calculan, otros no) en vistas a la competición; si no la hubiera, pues genial, así el proyecto sigue adelante, pero como la hay, lo primero que habría que buscar sería la igualdad de condiciones de todos los participantes.

Fecha: 05/05/2007 02:02.


gravatar.com
Autor: praetorian

praetorian, yo creo que la raya de la igualdad la hemos puesto en que hemos avisado a todos por email de la situacion y en que en el blog ya ves que la gente no esta ocultando datos acerca de como arrancar los DNS. A una malisima, te dire que, como se puede seguramente averiguar desde varias paginas web y comandos de unix y de windows, el nuevo IP de zivis es 155.210.39.33

Eso significa que si tu servidor no se ha actualizado puedes hacerlo a mano en el fichero hosts de Windows o de Linux.


¿Habria sido mejor cambiar las rutas en vez de los DNS? Quizas, si no fuera porque es viernes y exigia una reestructuracion de routers bastante mas fuerte que la que puede hacer el operador de guardia. ¿Habria sido mejor para el servidor durante 24 horas para asegurarse de que incluso el cache DNS mas recalcitrante esta cargado? Cuando discutimos el concurso nos planteamos las tres ramas de individual pensando en variantes de esa igualdad; por ello aparte de la CPU a lo bruto la segunda rama premia dedicacion y la tercera, por sorteo, premia simplemente el interes aunque no tuvieras la habilidad para una dedicacion a prueba de baches. Quizas esta tercera parte estaba menos premiada de lo que deberia, con solo un sorteo.

En cuanto a colaborar, precisamente lo que pasa es que hemos perdido practicamente un dia de calculo y queriamos tener la cuarta parte (D0 y D1) para las presentaciones del viernes, y eso significa que andamos mal con el calendario y no tendremos tanto D como A,B y C.

Fecha: 05/05/2007 02:38.


gravatar.com
Autor: Alejandro Rivero

OJO!!! Si no he dado el IP de Zivis antes, ahora que me acuerdo, es porque alguien puede caer en la tentacion de ponerlo directamente en el boinc manager, lo que probablemente equivaldria a registrar ordenador nuevo partiendo de cero. La IP en todo caso hay que usarla en el fichero de hosts.

Fecha: 05/05/2007 02:41.


gravatar.com
Autor: Alejandro Rivero

(el mensaje anterior que pone autor praetorian es una respuesta mia a praetorian, como es obvio. Mejor me voy ya a la cama)

Por cierto no es para tanto, solo han llegado hasta ahora 350 resultados y la mayoria de las maquinas extranjeras que tienen boinc corriendo todo el santo dia.

Fecha: 05/05/2007 02:44.


gravatar.com
Autor: Alejandro Rivero

Una solucion mas cutre pero posiblemente efectiva (no la he probado) es ir a los paneles de control o al resolv.conf y donde se dan los nameservers poner directamente los de la universidad de zaragoza:

nameserver 155.210.12.9
nameserver 155.210.3.12
nameserver 155.210.33.4

Ahora si, buenas noches.

Fecha: 05/05/2007 02:48.



Autor: Alive since 1932

Los servidores DNS de Ya.com se han actualizado durante la noche :-)

Si a estas alturas todavía queda alguien que no tenga conexión, lo más sencillo es cambiar el fichero de hosts manualmente (/etc/hosts en Linux, C:Windowssystem32driversetcHOSTS en Windows). Añadid una línea tal que así:
155.210.39.33 zivis.bifi.unizar.es

Suerte!

Fecha: 05/05/2007 08:35.


gravatar.com
Autor: praetorian

Muchas gracias por los datos y las aclaraciones. Esto ya marcha.

Fecha: 05/05/2007 09:38.


gravatar.com
Autor: EddieTheWild

Pues yo he actualizado el fichero hosts en windows y sigo sin poder conectarme desde ayer!!!

Debo reiniciar el sistema o algo asi?

Gracias

Fecha: 05/05/2007 09:47.


gravatar.com
Autor: EddieTheWild

Ya tengo conexion, tras volver a lanzar BOINC

Fecha: 05/05/2007 10:16.



Autor: jesus_gascon

Esta ya marcha.

Había probado esta mañana las DNS de la Universidad, y he podido enviar los trabajos pendientes. Pero no me dejaba navegar.

Al volver a poner las que tenia antes (Ya y Telefonica), todo ha vuelto de nuevo a la vida.

Fecha: 05/05/2007 10:21.



Autor: pjrm

Acabo de ver que BOINC no comprime los ficheros para enviarlos.
Sé que esto no hubiera evitado el problema, pero desde luego ayudaría a consumir menos ancho de banda porque este tipo de ficheros de datos no aleatorios se comprimen muchísimo. Lo que querría decir que probablemente la conexion de emergencia se saturaría menos y quizá si el problema se alarga habría más margen de tiempo.

Fecha: 05/05/2007 10:26.


gravatar.com
Autor: J. / Terminal

A mi me sigue sin funcionar, el ping a zivis.bifi.unizar.es se pierde en 155.210.4.17, curiosamente, a bifi.unizar.es, salta a 155.210.39.32 y va perfecto. No estoy en el concurso así que no es grave, solo por comentarlo. salu2

Fecha: 05/05/2007 15:09.


gravatar.com
Autor: Alejandro Rivero

Cuando yo era mas joven y no habia DHCP solia escoger los nameservers de varias entidades. Por ejemplo me ponia primero el de la universidad, luego el de mi proveedor y luego el de rediris.

pjrm, efectivamente no comprimimos los ficheros. Esto es primero porque al principio no se tenia claro como de comprimibles iban a ser (los avances de un punto a otro son genuinamente aleatorios aunque de menos digitos que la coordenada absoluta) y por otro por la cuestion de si ibamos a poder o saber incluir o no la libzip en todos los compiladores que fueramos necesitando.

Fecha: 05/05/2007 22:01.


gravatar.com
Autor: j.

Yo me he quedado con alguno de los gordos para ver como eran y comprimiéndolos se gana solo un 10 porciento... deben ser bastante aleatorios.
Salu2

Fecha: 05/05/2007 22:06.


gravatar.com
Autor: Califa

No entro en concurso, pero aún así me preocupan que hasta el lunes no podré ver las máquinas de la oficina con las unidades pendientes de enviar. Eso significa que llegarán esas unidades a vuestro servidor con la fecha caducada. ¿Se perderán los créditos de esas unidades?.

Gracias.

Fecha: 06/05/2007 12:50.


gravatar.com
Autor: Alejandro Rivero

Califa, puede que en ese tiempo se hayan actualizado las maquinas solas.

En otro caso si no llegan a tiempo se perderan, y me temo que aunque lo altere en la base de datos no puedo alterar la informacion local en el propio cliente boinc o me arriesgo a crear inconsistencias.


Fecha: 06/05/2007 19:47.


gravatar.com
Autor: Califa

Tranquilo, no pasa nada, es un mal menor.

Gracias.

Fecha: 07/05/2007 02:22.



Autor: rodes

pues a mi me fastidia bastante que no me conecte el boinc todavia! esta tarde intento hacer todo lo que he leido por aqui.. pero el caso es que aun no me conecta y estaba rondando el puesto 20 de la clasificacion y esta mañana estaba en el 25 ya!!

Fecha: 07/05/2007 09:26.


gravatar.com
Autor: Razorblade

rodes, si no lo has hecho aún, cierra y vuelve a iniciar BOINC.

Fecha: 07/05/2007 10:26.



Autor: rodes

gracias razorblade, y aver si me dejas ver la pantalla esa de plasma que vas a ganar ;)

Fecha: 07/05/2007 15:28.


gravatar.com
Autor: Razorblade

rodes, la verdad es que sacando más de 2 días de ventaja al puesto 2, todo parecía indicar que iba a quedar el primero. Pero si miras ahora la clasificación, te llevarás una sorpresa.
Debería de sacarle a Bedwyr 2 días de ventaja, y en cambio es él quien me los saca ahora.

El sistema funciona mal, y cuando le da la venada, me quita días de CPU en vez de seguir añadiendo que es lo normal, y en principio lo único posible (ni aun cerrando BOINC tendría sentido que se restasen días).

Hace unos días ya me sucedió. Estaba el primero, y en cuestión de pocas horas me desaparecieron días y bajé al puesto 50!! Pero luego volví a subir al puesto 1 en otras tantas horas.

Lo que pasa que igual ya no da tiempo a que vuelva a subir. Ya sólo queda 1 día de concurso. Hay que ver qué mala leche tiene el sistema. ¿Por qué la tiene tomada conmigo?

Pero vamos, que esto indica que la clasificación a pelo no se puede tomar ya que es errónea, y entonces puede haber más sorpresas.

Fecha: 08/05/2007 10:29.


gravatar.com
Autor: Bedwyr

Yo sólo tengo que decir que mi ordenador ha estado encendido desde el día 5 de Abril 24 horas al día. En las primeras dos semanas era un dolor ir subiendo puestos en la clasificación de días de CPU, y algunos de vosotros tuvistéis ascensos "meteóricos" ;) supongo que ahora se estarán equilibrando más los cálculos de los días.
Lo que quiero decir es que, sin desmerecer tu aportación, mi ordenador ha estado bastante más de lo que ahí refleja. Desde luego, lo que no entiendo es que hayas bajado de días :S a ver que nos dicen...

Fecha: 08/05/2007 12:07.


gravatar.com
Autor: Razorblade

Sí, ascensos meteóricos creo que hemos tenido todos. Algunos antes, otros más tarde, pero todos.

Ya le he dicho a Alejandro que incluso yo estaba preocupado por ti Bedwyr, porque hace días parecía que ni si quiera te ibas a clasificar. Y en cambio últimamente has subido mucho, incluso superando a bashflyng que había estado el primero la mayor parte del tiempo.

Muchos llevamos desde antes del 12 de abril con el PC las 24 horas con esto, por eso nadie puede desmerecer a nadie.

Pero lo que sí está claro es que algo raro pasa. A ver si descubre Alejandro lo que es.

Fecha: 08/05/2007 12:38.


gravatar.com
Autor: UBT - Timbo

Hi,

Despite adding the line:
155.210.39.33 zivis.bifi.unizar.es

to my hsts file, I still cannot upload any results to Zivis.

All other BOINC projects upload fine. But not Zivis. Is there still a DNS issue?

(Google translation to Spanish):

Hi, A pesar de la adición de la línea: 155.210.39.33 zivis.bifi.unizar.es a mis hsts archivar, yo todavía no puede upload cualquier resultado a Zivis. El resto del BOINC proyecta la multa del upload. Pero no Zivis. ¿Todavía hay una edición del DNS?

Ciaou

Tim

Fecha: 08/05/2007 14:12.


gravatar.com
Autor: Califa

Desde luego, lo que mas me está gustando, independientemente de estas alteraciones en la puntuación, es que está provocando que muchisima gente procese mas y mas, y de eso nos beneficiamos todos.

Ojalá que el proyecto continúe... independientemente de concursos.

Por cierto, que a todos aquellos que estéis sin equipo, ya sea en este proyecto o en cualquier otro, os invito a que conozcáis el equipo con el que colaboro: www.canalboinc.com

Saludos.

Fecha: 08/05/2007 14:12.



Autor: bashflyng

Creo que somos unos cuantos los que hemos tenido ordenadores funcionando las 24h. Las diferencias en este caso las marcará la velocidad de respuesta que hemos tenido ante las caidas del sistema xD

El problema actual es que la tabla de uptimes se crea de forma estadística, y después de la caida del viernes, al reiniciarse los BOINC se han desvirtuado las mediciones.

Si se puede calcular el uptime de forma exacta sería buena idea utilizar esa medida para la tabla final.

Fecha: 08/05/2007 14:19.


gravatar.com
Autor: UBT - Timbo

Hi,

Here's an example of the BOINC message, when I try to upload:

08/05/2007 13:15:09

Fecha: 08/05/2007 14:20.


gravatar.com
Autor: UBT - Timbo

Hi, Here's an example of the BOINC message, when I try to upload:
08/05/2007 13:15:09

Fecha: 08/05/2007 14:23.


gravatar.com
Autor: Alejandro Rivero

Respecto al tiempo de CPU, estoy haciendo los scripts de sumas de los logs, creo que al final va a ser lo mas justo. Ahora, estoy poniendo el ordenata por encima de 60 de carga.

Fecha: 08/05/2007 17:26.


gravatar.com
Autor: Alejandro Rivero

Para que os hagais a la idea, estos son los tiempos tal como salen de los logs de SUCCESS a eso del mediodia:

1754 21,6528 bashflyng
561 20,3334 Razorblade
250 19,8690 jmba
848 19,4613 bencer 155.210
303 19,1752 ARA
975 19,0282 Bedwyr
468 19,0052 george
414 18,8747 george
2263 18,7020 Arfur
1325 18,6901 bencer 155.210
2426 18,6006 schamann
1062 18,5867 CarlosLM
2077 18,5736 zoltiuS
550 18,2779 jask
768 18,1688 jmfg
2146 18,1054 bencer 155.210
729 17,9649 chouonrow
1917 17,8113 cesar-r
492 17,7581 EddieTheWild
1909 17,6743 EddieTheWild 155.210
2341 17,6510 carlosglezla
49 17,6356 mmarco
908 17,5565 astarokk
426 17,4840 jesus_gascon
710 17,4140 Zierzo

Fecha: 08/05/2007 18:49.


gravatar.com
Autor: Razorblade

Como véis, en la clasificación real hay cambios demasiado importantes con respecto a la clasificación estadística de BOINC, la cual ya está comprobado que no sirve de mucho de cara al concurso.

Ahora sólo faltaría aplicar justicia con los multi-núcleo.
Está claro que no sería justo no dividir su tiempo y que por ejemplo en 1 mes un 4-núcleos sacase 3 meses y pico, pero tampoco es justo lo contrario, que tenga que sacar menos de 1 mes debido a los problemas que presentan frente a los de 1 sólo núcleo.

Fecha: 08/05/2007 19:39.


gravatar.com
Autor: Alejandro Rivero

Razor, por otro lado los multinucleo tenian alguna posibilidad en la otra clasificacion mientras que los mononucleo era claro que lo tenian crudo alli.

Desde el punto de vista de la organizacion, se queria una opcion que fuera de alguna manera proporcional a la dedicacion al proyecto. Algunos la queriamos por mera cuestion de extension a maquinas mas debiles, otros le veiamos la posibilidad de premiar la atencion durante los "baches". Asi que adoptamos el principio de "tiempo de cpu", con muchas comillas, a sabiendas de que es una cosa jodida de calcular en tiempo real si no se modifica el codigo fuente del servidor (a lo que no nos atrevimos). Me da la impresion, comparando la clasificacion a 24 horas del final con la lista de emailes y comentarios, de que el objetivo de metrizar la dedicacion se esta cumpliendo. En cambio, una lista con los multinucleo a toda caña no habria sido mas que un duplicado de la primera. No veo claro cual habria podido ser la solucion intermedia, y quizas es un punto para tratar en la mañana del sabado.

Fecha: 08/05/2007 20:55.


gravatar.com
Autor: Fran

Aparte debeis de tener en cuenta que se cuenta sólo el tiempo de los WU válidos, asi que alguno puede perder tiempo por el incidente que pasó uno de los primeros días con los WU de 10 trayectorias (en los que mi pc perdío sobre unos 2000seg por cada uno de los fallidos), asi que esa puede ser la causa de que algunos (principalmente los que tengais pcs más viejos ya que seguramente perderían más tiempo con esas trayectorias) no tengais el tiempo correspondiente.

PD:yo seguramente acabaré 5º ya que contra los quad core no tengo nada que hacer y zoltiuS debió ver que me acercaba peligrosamente y overclockearía su pc (aunque no debió de hacer un test de rendimiento desde el manager ya que mi pc aún le saca unos 200mips) ya que ahora nuestas puntuaciones se mantienen. Por cierto algunos usuarios debieron de pasar el test de rendimiento mientras el procesador estaba en uso ya que veo muchos con muy pocos mips que afectan al crédito obtenido ya que se debe de calcular en relación a el tiempo y a la velocidad del procesador, aunque en ese caso tampoco importa mucho ya que le puede tocar como compañero de WU uno de estos pcs a cualquiera y fastidiarle unos cuantos créditos (yo he llegado a ver P4 dualcore que les cuesta procesar 3 veces más algo que el mio y luego piden la mitad de créditos ¬¬).

Fecha: 08/05/2007 21:30.


gravatar.com
Autor: zoltiuS

Pues esta a 2800 Mhz, desde casi el principio del concurso, tampoco lo he subido mucho, y si que pase los benchmarks. Supongo que tu lo tendras bastante mas subido, porque es un e6300. Lo que no se es que pasara con el pending credit, desde el cuelgue general lo tengo bastante alto.

Fecha: 08/05/2007 22:09.


gravatar.com
Autor: Razorblade

Alejandro, pero lo habéis planteado mal. Para potenciar a los ordenadores débiles perjudicáis a los de varios núcleos, sin pensar que entonces para quedar en buena posición, o tienes un Xeon de 4 núcleos para estar en el top de créditos, o tienes un Celeron para estar en el de tiempo.
Si tienes algo intermedio ni aún estando más pendiente de BOINC que los otros puedes superarlos.

Si no perjudicáseis a los de varios núcleos, lo normal es que apareciesen de los primeros en la lista de tiempo también, claro. Pero es que no veo problema en eso, ya que para los premios sólo se cuenta en 1 lista. O sea, que aunque por ejemplo un Xeon estuviese en el puesto 4º de la lista de tiempo, como está el 1º en la de créditos daría igual, no contaría en la de tiempo.
Seguirían teniendo su recompensa en la lista de tiempo los ordenadores débiles.

Fran, los incidentes incluso pueden llegar a perjudicar más a un multi-núcleo que a uno viejo. Piensa en los momentos que por algún incidente un núcleo está trabajando y los otros 3 no. El tiempo de ese trabajo se divide entre 4, frente a dividir entre 1 en uno de un sólo núcleo.

Fecha: 08/05/2007 22:17.


gravatar.com
Autor: Razorblade

Alejandro, pero lo habéis planteado mal. Para potenciar a los ordenadores débiles perjudicáis a los de varios núcleos, sin pensar que entonces para quedar en buena posición, o tienes un Xeon de 4 núcleos para estar en el top de créditos, o tienes un Celeron para estar en el de tiempo.
Si tienes algo intermedio ni aún estando más pendiente de BOINC que los otros puedes superarlos.

Si no perjudicáseis a los de varios núcleos, lo normal es que apareciesen de los primeros en la lista de tiempo también, claro. Pero es que no veo problema en eso, ya que para los premios sólo se cuenta en 1 lista. O sea, que aunque por ejemplo un Xeon estuviese en el puesto 4º de la lista de tiempo, como está el 1º en la de créditos daría igual, no contaría en la de tiempo.
Seguirían teniendo su recompensa en la lista de tiempo los ordenadores débiles.

Fran, los incidentes incluso pueden llegar a perjudicar más a un multi-núcleo que a uno viejo. Piensa en los momentos que por algún incidente un núcleo está trabajando y los otros 3 no. El tiempo de ese trabajo se divide entre 4, frente a dividir entre 1 en uno de un sólo núcleo.

Fecha: 08/05/2007 22:23.


gravatar.com
Autor: Alejandro Rivero

Basicamente, no encontramos nada mejor. Si se hubiera tratado de hacer una competicion igualada habriamos podido poner un handicap sencillo: mandar solo una workunit a cada host. Pero se trataba tambien de obtener CPU para calculo y de demostrar las posibilidades de BOINC.

No se, quizas si lo hubieramos desarrollado en publico, con mas neuronas pensando a la vez, entonces se nos habria ocurrido algo mejor. Pero fijate que ni siquiera hablandolo ahora aqui entre todos se nos ocurren muchas otras metricas.

Lo que dices de haber dejado que el hecho de aparecer en una columna "limpiara" la otra no lo veo claro. El sabado, ya off game, traere a la discusion matinal la lista "sin correccion de cpus" para compararlas, pero me temo que una vez se asignan premios empieza a ser relevante si eres decimooctavo de una o primero de otra.

Fecha: 08/05/2007 22:45.


gravatar.com
Autor: Razorblade

Pero es que el problema está en "la corrección" que aplicáis. No digo que no apliquéis ninguna, porque evidentemente los multinúcleo estarían exageradamente más arriba en la de tiempo que en la de créditos (y por eso me dices que no lo ves claro lo de limpiar una columna con la otra).
Digo de aplicar una corrección justa. Multiplicar el tiempo por un número mayor que 0,5 en los de 2 núcleos, y mayor que 0,25 en los de 4. Pero por supuesto mucho menor que 1 en ambos casos (que sería no aplicar corrección).

Eso no produciría grandes cambios ni les serviría para obtener un mejor puesto a los de 4 núcleos que ya están los primeros en la lista de créditos; sólo se obtendría una clasificación más justa para todos.


Los primeros días, recuerdo perfectamente que con las 2 últimas tareas de cada lote (y eran poquitas tareas por lote, ¿4?), hasta que una de ellas no se había casi enviado por completo, no se recibían más. O sea, que en los multinúcleo se perdían unos cuantos minutos al aplicar la correción de dividir exactamente entre el número de núcleos.

Fecha: 08/05/2007 23:03.


gravatar.com
Autor: Bedwyr

¿Sabéis comparar diferentes ordenadores multinucleo (o mononucleo) entre sí?
¿Repito aquí una pregunta (vieja ya) que hice por mail: los tiempos se calculan mediante los créditos pedidos o los otorgados? (ya que no habéis arreglado lo de los resultados aberrantes de "estoy 5 créditos, me reconocéis 0.x)
Que esto se esté haciendo a menos de 24 horas del fin del concurso me parece una falta de respeto monstruosa hacia los concursantes, tanto para los que lo han estado pasando mal estos días por verse peor, como para los que nos hayamos ido ilusionando por ir mejorando en la lista. Realmente muy mal llevado...

Fecha: 08/05/2007 23:46.


gravatar.com
Autor: Fran

Pensandolo bien lo que dice Razorblade está bien, ya que los de 4 núcleos que lleven bastante tiempo funcionando siempre tendrán mejores posiciones en la primera lista que en la segunda (de todas formas creo que no hay ningún quad core en buena posicion en la lista de tiempo). Los de dos núcleos con bastante potencia seguirían ganando también por créditos y los de doble núcleo de menos potencia podrían competir con los mononucleo en la competición por tiempo (tened en cuenta que como ya ha explicado el un doble núcleo se ve más perjudicado por las caidas del servidor y demás problemas ya que si a ambos se les envia un lote de 4 tareas y se para el servidor el de doble núcleo estará perdiendo más tiempo que el de uno).

Yo creo que sería más justo, aunque seguramente tampoco cambiará mucho la clasificación...

PD: zoltiuS, mi E6300 está a 3.1Ghz aunque lo tube un tiempo a 3.25Ghz para subir más rápido pero luego vi que ya no llegaría y lo bajé un poco.

Fecha: 09/05/2007 00:05.


gravatar.com
Autor: Razorblade

Pero Bedwyr, por eso es mejor que se haga esto ahora que que no lo hubiesen hecho, y después de haber repartido los premios que hubiese habido follón gordo gordo.

El problema ha sido considerar válida la estadística durante casi todo el mes. Es lo que nos ha hecho ilusionarnos y desilusionarnos a todos en varias ocasiones. Personalmente lo pasé fatal cuando me vi en el puesto 50. Y supongo que ahora te habías ilusionado mucho viéndote el primero, y evidentemente te molesta ver que estás en el quinto realmente.

Pero es que la estadística ya dijo Alejandro que era la manera más rápida de mostrar resultados "aproximados". Se ha visto que de aproximados tienen poco, y por tanto se aplicarán los reales aunque cueste tiempo obtenerlos. Más vale tarde que nunca.

Los tiempos he ido viendo que se calculan por los créditos otorgados, ya que se actualizan a partir del pending credit.
Los resultados aberrantes, me temo que todavía no saben por qué ocurren. Linux, Windows, AMD, Intel... muchos factores posibles. Lo que me reconforta es ver que nos acaban pasando a todos.


Y lo de los núcleos, aún se está a tiempo de solucionarlo si se aplican factores de corrección justos para la clasificación final como propongo.

Fecha: 09/05/2007 00:26.


gravatar.com
Autor: Razorblade

Pero Bedwyr, por eso es mejor que se haga esto ahora que que no lo hubiesen hecho, y después de haber repartido los premios que hubiese habido follón gordo gordo.

El problema ha sido considerar válida la estadística durante casi todo el mes. Es lo que nos ha hecho ilusionarnos y desilusionarnos a todos en varias ocasiones. Personalmente lo pasé fatal cuando me vi en el puesto 50. Y supongo que ahora te habías ilusionado mucho viéndote el primero, y evidentemente te molesta ver que estás en el quinto realmente.

Pero es que la estadística ya dijo Alejandro que era la manera más rápida de mostrar resultados "aproximados". Se ha visto que de aproximados tienen poco, y por tanto se aplicarán los reales aunque cueste tiempo obtenerlos. Más vale tarde que nunca.

Los tiempos he ido viendo que se calculan por los créditos otorgados, ya que se actualizan a partir del pending credit.
Los resultados aberrantes, me temo que todavía no saben por qué ocurren. Linux, Windows, AMD, Intel... muchos factores posibles. Lo que me reconforta es ver que nos acaban pasando a todos.


Y lo de los núcleos, aún se está a tiempo de solucionarlo si se aplican factores de corrección justos para la clasificación final como propongo.

Fecha: 09/05/2007 00:34.



Autor: Alejandro Rivero

A ver, que el ultimo intercambio entre Bedwyr y Razonblade puede generar confusiones:

NO SE ESTA APLICANDO NINGUNA NUEVA CORRECCION, ni se va a aplicar, como es obvio.

Razorblade opina que la correccion que se lleva aplicando desde el principio, "totaltiempo/numerodecpus", no es lo suficientemente justa y deberia recalibrarse. Seguramente lleva razon, pero cualquier recalibrado tendria que haberse hecho antes. No se pueden cambiar las reglas al final. Otra cosa es que estemos hablando de como se podria recalibrar, pero no para aplicarlo a esta clasificacion sino a futuras competiciones, y no necesariamente de Zivis.

El que ahora haya dos tablas en "estadisticas" no se corresponde a la correccion que se esta discutiendo aqui, sino a que debido al atascon el metodo rapido de estimar el tiempo de cpu no es lo suficientemente preciso (asume velocidades constantes durante un periodo de cinco o seis dias al menos) y hay que sumar uno a uno todos los resultados aceptados por nuestras maquinas. Eso tarda un rato, entre media hora y dos horas segun lo grandes que sean los logs, y por ello no se muestra en el interactivo.

Fecha: 09/05/2007 09:13.


gravatar.com
Autor: Razorblade

Bedwyr no estaba criticando mi idea de la corrección, que además seguro que está de acuerdo porque tiene un Core2.

Bedwyr critica que en vez de la estadística en la que él aparece el 1º, se aplique el cálculo real en el que aparece mucho más abajo, evidentemente.

Fecha: 09/05/2007 09:38.


gravatar.com
Autor: Razorblade

Lo de que no se puede aplicar ninguna corrección distinta porque no se pueden cambiar las reglas al final no es tan obvio..

A modo de ejemplo, las reglas del sorteo las dijisteis antes de ayer. Y ahora hay que tomar los cálculos reales porque la estadística falla, y habéis hecho que nos guiásemos por la estadística hasta anoche.
Incluso habéis ampliado la lista de premios.
Creo que a eso se le pueden llamar cambios finales...

Pero lo que sí que es cierto y entiendo es que habría que calcular los factores de manera precisa, no se puede poner uno arbitrario. Y eso es lo difícil.
Así que por mi parte ya no veo nada más que se pueda corregir.
Al menos hemos solucionado mucho, y eso demuestra que se ha hecho un buen trabajo.

Para futuras competiciones sí que habrá que tener todo bien en cuenta, porque si no, para quedar de los primeros, o tienes un 4 núcleos, o uno de 1 núcleo. Si tienes un Core2 ya puedes luchar y desvivirte por no quedar muy abajo...

Saludos.

Fecha: 09/05/2007 10:09.


gravatar.com
Autor: Bedwyr

Gracias Razorblade; sólo aclarar que yo no tengo un Core2, sino un Pentium D 930 que, aunque lleve dos procesadores, es bastante peor.
Por supuesto que no estoy criticando tu idea, ni tampoco que se aplique el cálculo real, pues las normas las pone la organización con todo su derecho; lo que realmente me molesta es que hasta 20 horas antes del fin de concurso nos hayan hecho guiarnos por una tabla que resultaba tan defectuosa, siendo que Razorblade avisó de las anomalías el día 2, si no recuerdo mal.
También, como señalas, que para unas cosas puedan decidir el día de antes y para otras, no.
Y, por supuesto, la falta de respuesta tanto por mail como por aquí. Aún estoy esperando una respuesta de la organización por cualquiera de los 2 medios.

Fecha: 09/05/2007 10:21.


gravatar.com
Autor: Razorblade

Sí, perdón Bedwyr. Quería decir que tienes un 2 núcleos, no un Core2 exactamente.

La verdad es que sí, llevaba diciendo lo de que dividir entre el número de núcleos no es muy exacto desde casi el primer día. Pero vamos, que ya da igual, ya son las 11.

Sólo pondré después a modo de ejemplo cómo hubiese quedado la clasificación con un factor más adecuado (aunque arbitario, y por ello no válido, claro).

Fecha: 09/05/2007 11:08.


gravatar.com
Autor: jesus_gascon

Ya se ha montando....

Después de leer algunas contestaciones, se nota un poco que todos estamos barriendo para casa.

Pero me parece recordar que ya se ponia muy claramente que la clasificación en todo momento era provisional y que en algún otro hilo ya se aclaró que el cálculo estadístico tenía errores, que si no se corregían solos obligarían a cambiar de método de cálculo.

Aun recuerdo, los 2 anteriores hilos sobre tiempos de CPU, en los que se explicaba esto (varias veces se lo preguntaba a Alejandro yo, por ejemplo).

Nos puede gustar mas o menos, pero se tiene que decidir un método de contar el uso de la CPU, y esta en mano de la organización decidirlo, no en la nuestra.

Es verdad que han existido saltos durante este tiempo, pero alguien se acuerda que aparte del concurso hay algo mas?

Fecha: 09/05/2007 13:04.


gravatar.com
Autor: Razorblade

¡Claro que a parte de lo del concurso está todo lo demás! Pero precisamente por eso, habrá que premiar a los que más lo merezcan, ¿no? Y estamos hablando de premios que difieren mucho económicamente unos de otros (eso es otro tema a tener en cuenta la próxima vez).

¿Barrer para casa? Está claro que las reglas las pone la organización, pero... ¿qué hay de malo en criticar constructivamente para que sean reglas justas? Personalmente, en ningún momento he pedido nada que "beneficie" injustificadamente a alguien.

Si no llega a ser por las grandes variaciones que descubrimos algunos en el tiempo de CPU, la lista "provisional" se hubiese quedado como definitiva, porque se suponía que sólo era provisional los primeros días, y a la larga era válida. No se hubieran hecho cálculos reales.
¿No es suficiente demostración eso de que si nos nos hubiésemos quejado se habría cometido un gran error?


Bueno, y como había dicho, aquí pongo POR CURIOSIDAD, y evidentemente SIN NINGUNA VALIDEZ, una lista de tiempo de CPU que hubiese sido más REAL:

22,9430 Razorblade
22,5873 bashflyng
21,5607 Bedwyr
21,4464 ARA
21,0542 CarlosLM
21,0533 zoltiuS
20,8067 jmba
20,7100 jask
20,0681 cesar-r
19,9191 george
19,8782 EddieTheWild
19,5963 Arfur
19,5288 schamann
19,0681 jmfg
18,9346 fran
18,7147 rodes
18,5156 2769485
18,4805 mmarco
18,4775 carlosglezla
18,3536 astarokk
18,3189 jesus_gascon
18,0890 pablo
18,0842 chouonrow
18,0557 Zierzo
17,8097 sacona
17,7164 entropia437
17,6456 jatg
17,4915 xavierre
17,3608 toomas
18,7147 rodes

Cada uno que piense lo que quiera, pero se podría demostrar si se tuviese tiempo para ello que esa lista es más acorde con la realidad.

En fin, ya no hay nada que hacer, y sólo falta el sorteo de la ONCE.
Al menos el proyecto sigue :) , y se puede aprender de los errores.

Fecha: 09/05/2007 14:09.


gravatar.com
Autor: Alejandro Rivero

Efectivamente esto se ha explicado ya. La cpu time viene como informacion con cada resultado que se entrega. BOINC lo mete en la base de datos mediante un sistema de promedios que se puede "antipromediar" para recuperar la suma original, pero solo de forma estadistica para tiempos asintoticos. Este es el metodo que se ha mostrado como provisional porque es el que esta contenido en la base de datos de boinc y se puede calcular muy rapido. El cambio, los tiempos de CPU solo estan cuatro dias en la base de datos porque si no se hace inmanejable el mysql, y se pueden consultar bien de los logs iniciales bien de un xml de backup. Los dos metodos son lentisimos. Como podeis ver comparando los ordenamientos, al final casi casi coincidian con el resultado inicial, lo que prueba que no era tan mala idea usarlo como resultados provisionales. Pero no coincidian exactamente, y por ello el definitivo ha sido la suma de los datos que hay en los logs.

La solucion: modificar BOINC para que vaya archivando los tiempos exactos y asi se puedan visualizar con rapidez. Ahora que ya estamos familiarizados con el codigo fuente nos atreveriamos a hacerlo, pero hace dos meses desde luego que no.

(y aun asi eso soluciona el metodo de medir tiempos de cpu, pero no lo de como calibrar los problemas de los diferentes cores).

Fecha: 09/05/2007 14:15.



Autor: Alejandro Rivero

El ultimo comentario de Razor tiene un punto muy interesante: parece muy buena idea hacer el gradiente de los premios mas pequeño, de forma que una fluctuacion en una o dos posiciones no suponga una gran fluctuacion en el premio. De hecho, salvo para las cabezas de lista, el gradiente restante ya es relativamente suave (cosas de 400 euros, 300, 200, 100).

Fecha: 09/05/2007 14:20.


gravatar.com
Autor: Fran

Alejandro, esa es la razón de la gran mayoría de las quejas ya que la diferencia entre quedar primero y segundo de una calificación es bastante grande.

Fecha: 09/05/2007 14:31.



Autor: jesus_gascon

jeje me quedo a las puertas en ambos casos. :-(

Tendré que hablar con Telefonica, de mis problemas de ruidos en el ADSL este mes.. jeje

Lo que voy a echar de menos esta noche es dormir con el ruido del ventilador..

Fecha: 09/05/2007 15:16.


Añadir un comentario




No será mostrado.




BIFI - CIEMAT - Ay. de Zaragoza / © Ayuntamiento de Zaragoza / webmunicipal@zaragoza.es / Mapa Web / Miembro W3c / XHTML 1.0 / CSS 2.0 / Accesibilidad