Trickzter ([info]suic) rakstīja [info]koderi kopienā,
@ 2007-04-29 17:06:00
Previous Entry  Add to memories!  Tell a Friend!  Next Entry
stats for www.folding.lv
Vēlos uztaisīt automātisku statistikas ģenerēšanos jaudu atspoguļošanai dalītās skaitļošanas bioloģijas projektā.


Tātad, dati tiek ņemti no šejienes: http://fah-web.stanford.edu/cgi-bin/main.py?qtype=osstats (html fails).

1) Tiek savākti dati (šobrīd Iopus downloader), gribētos ko labāku, kam var iestādīt timeout (un kas varbūt errorlevels čeko). Windows command line.


2) Vajadzētu no tā html izdabūt laukā comma-separated, formātā:
Windows,179,188414,1673957
Mac OS X/PowerPC,x,y,z
utt.

Kā to izdarīt bat failā (varbūt ņemot talkā kādu command line rīku)?


3) Vajadzētu risinājumu, kas konvertē šos datus grafikos uz laika ass (vai nu kaut kāds kommandrindas rīks, vai arī excel script, kas prot importēt, ģenerēt grafiku [drīkst premade]), galā eksportējot attēlu, kuru tad jau

4) var augšuplādēt FTP, pēc kā tas parādās webā.


Šobrīd: 1. punkts strādā +/- (softs gan nav uzticams); 2.-4. pagaidām tiek veikts manuāli jau Excelī. Īpaši gaidu ieteikumus 3. un 2. punkta sakarā, bet 1. un 4. arī nenāktu par sliktu.

(Lasīt komentārus) - (Ierakstīt jaunu komentāru)


[info]suic
2007-04-29 20:33 (saite)
Tur jau vajag ekspertu programmistu, kamēr es knapi protu relatīvi vienkāršus .bat failus salikt kopā.

PHP uzlikt varētu, taču uzrakstīt skriptus paņemtu krietni padaudz laika, jo būtu jāsāk mācīties kas tāds no pilnīgas 0.


Tad jau varbūt ir veids, kādā var nonākt līdz tam, ka excel automātiski izveido tabulu, balstoties uz failiem, kas atrodas noteiktā folderī (un ir ar noteiktiem nosaukumiem - %date%00.html un %date%12.html konkrētajā gadījumā)?

Vai kāds var VB scriptu (kas manā gadījumā būtu vismaz tikpat sarežģīti, cik PHP) uzcept šādam variantam?

(Atbildēt uz šo) (Iepriekšējais) (Diskusija)


[info]mindbound
2007-04-30 04:06 (saite)
ja tu man atsūtītu konkrētāku specifiku, PHP skriptus es varētu uzcept.

(Atbildēt uz šo) (Iepriekšējais) (Diskusija)


[info]suic
2007-04-30 15:34 (saite)
Ko tu domā ar konkrētāku specifiku?

Pilns process izskatās aptuveni šādi:
1) tiek ievākts http://fah-web.stanford.edu/cgi-bin/main.py?qtype=osstats reizi stundā;

2) tiek izveidoti vairāki datu faili;
2.1) TFLOPS uz laika ass (katrā klienta kategorijā)
2.2) aktīvo CPU daudzums uz laika ass (katrā klienta kategorijā)
2.3) vidējā jauda uz 1 CPU uz laika ass (katrā klienta kategorijā)
2.4) procentuālais TFLOPS sadalījums pa klienta kategorijām (pēdējie dati)

3) tiek ģenerēti vairāki grafiki;
3.1) TFLOPS uz laika ass: (nedēļas, grafiks, gada grafiki un kopējais)
piemēri:


3.2) līdzīgi kā TFLOPS, tikai rāda aktīvo CPU daudzumu - nedēļa, mēnesis, gads, kopā

3.3) pēdējie dati par vidējo jaudu uz 1 cpu klienta klasē; arī uz laika ass.

3.4) pēdējie dati par procentuālo jaudu


3.x) ja ienāk prātā, kādi vēl rādītāji ir dabonami laukā no tām statistikas lapām un kādā veidā attēlojami;

4) iespēja pielikt vertikālos markerus būtiskiem notikumiem Folding@home projektā... kā piemēram attēlots šeit (dzeltenās līnijas):

(kā starp citu to var panākt iekš MS Excel?)

5) grafiku bildes tiek uploadotas uz ftp servera, kur jau stāv sagatavots html fails; iespējams, ka var preģenerēt sava veida arhīva html, kur atspoguļojas pagājušās nedēļas/mēneši/gadi

Kam vēl vajadzētu būt specifikācijā?

(Atbildēt uz šo) (Iepriekšējais) (Diskusija)


[info]mindbound
2007-04-30 15:46 (saite)
Es varu mēģināt kaut ko uzveidot. Cik ilgā laikā būtu optimāli dabūt to gatavu?

(Atbildēt uz šo) (Iepriekšējais) (Diskusija)


[info]suic
2007-04-30 16:18 (saite)
To vispārējo - kur vienkārši ik pa stundai mainās TFLOPS sadalījums uz laika ass (no šībrīža uz priekšu) gribētos pēc iespējas ātrāk.

Pārējos jau var pēc tam pielikt.

Vēl piemirsu 2 aspektus:
1) kaut kā jāprot noprocesēt, ja tā lapa ir lejā un nesatur vēlamos datus
1a) var kaut kur reģistrēt pie iespējas lapas updeita laika (atrodams pašā lapā)
2) vajadzētu, lai jauna klienta pievienošanas tabulai gadījumā viss neaiziet grīstē autopilotā.



Minimālais uzstādījums pašam sākumam, fiksēt kādā .csv failā datus šādā formātā:

TFLOPS / Date,25-Apr 00:00,25-Apr 12:00,26-Apr 00:00
Windows,179,180,180
Mac OS X/PowerPC,8,8,9
Mac OS X/Intel,14,14,15
Linux,46,46,46
GPU,54,54,53
PS3,398,393,387

Lai negaidītu apstākļu gadījumā būtu vismaz iespēja turpināt niekoties ar Excel pie nosacījuma, ka dati jau ir sagatavoti masveida ievadei.

(Atbildēt uz šo) (Iepriekšējais)

stats
[info]suic
2007-05-15 17:41 (saite)
Kā sokas, kaut kas sanāk ar'? :)

(Atbildēt uz šo) (Iepriekšējais)

(Lasīt komentārus) -

Neesi iežurnalējies. Iežurnalēties?