Sviesta Ciba |

Trickzter (

suic) rakstīja

koderi kopienā,
@ 2007-04-29 17:06:00

stats for www.folding.lv
Vēlos uztaisīt automātisku statistikas ģenerēšanos jaudu atspoguļošanai dalītās skaitļošanas bioloģijas projektā.

Tātad, dati tiek ņemti no šejienes: http://fah-web.stanford.edu/cgi-bin/main.py?qtype=osstats (html fails).

1) Tiek savākti dati (šobrīd Iopus downloader), gribētos ko labāku, kam var iestādīt timeout (un kas varbūt errorlevels čeko). Windows command line.

2) Vajadzētu no tā html izdabūt laukā comma-separated, formātā:
Windows,179,188414,1673957
Mac OS X/PowerPC,x,y,z
utt.

Kā to izdarīt bat failā (varbūt ņemot talkā kādu command line rīku)?

3) Vajadzētu risinājumu, kas konvertē šos datus grafikos uz laika ass (vai nu kaut kāds kommandrindas rīks, vai arī excel script, kas prot importēt, ģenerēt grafiku [drīkst premade]), galā eksportējot attēlu, kuru tad jau

4) var augšuplādēt FTP, pēc kā tas parādās webā.

Šobrīd: 1. punkts strādā +/- (softs gan nav uzticams); 2.-4. pagaidām tiek veikts manuāli jau Excelī. Īpaši gaidu ieteikumus 3. un 2. punkta sakarā, bet 1. un 4. arī nenāktu par sliktu.

(Ierakstīt jaunu komentāru)

	cannibalsmith 2007-04-29 17:32 (saite)
	1) cURL 2) Perl ar regular expressions vai GAWK? 3) Excelī grafikus var eksportēt kā attēlus? Nezināju. Nu tad VB skriptu var uzcirst. 4) cURL (Atbildēt uz šo) (Diskusija)

suic
2007-04-29 19:58 (saite)

Par cURL paldies, pamēģināju, viss patīk.

No regular expressions apstrādājošām lietām man šobrīd ir GREP, tas neder? Bet man īsti nesanāk uztaisīt .bat failu, kas izdarītu vēlamo.

Tāpat laikam jau excels tomēr tīrā veidā neeksportē grafikus, es kopēju uz photoshop, vēl ir opcija seivot kā webu, bet tad viņš to .gif iekodē kā base64 iekš .mht faila.

Tas triks būtu iedabūt vajadzīgos datus iekš excel, updeitot grafikus (kas varētu būt man par sarežģītu, ja, piemēram, tiek taisīti ikmēneša grafiki) un tad dabūt laukā bildi.

Varbūt ir kāds command line ģenerators, kurš prot radīt visāda veida grafikus balstoties uz .txt datu failiem?

(Atbildēt uz šo) (Iepriekšējais) (Diskusija)

	cannibalsmith 2007-04-29 20:10 (saite)
	GREP tev atradīs attiecīgās rindas html failā. Tev ar to ir par maz. Viens variants ir, ka tu uzliec sev PHP, un uzraksti php skriptu, kas veic visus četrus punktus. PHP ir viss, ko tev vajag, ieskaitot funkcijas, kas ļauj ģenerēt bildes. PHP skriptus var laist no komandrindas, izsaucot php.exe . (Atbildēt uz šo) (Iepriekšējais) (Diskusija)

suic
2007-04-29 20:33 (saite)

Tur jau vajag ekspertu programmistu, kamēr es knapi protu relatīvi vienkāršus .bat failus salikt kopā.

PHP uzlikt varētu, taču uzrakstīt skriptus paņemtu krietni padaudz laika, jo būtu jāsāk mācīties kas tāds no pilnīgas 0.

Tad jau varbūt ir veids, kādā var nonākt līdz tam, ka excel automātiski izveido tabulu, balstoties uz failiem, kas atrodas noteiktā folderī (un ir ar noteiktiem nosaukumiem - %date%00.html un %date%12.html konkrētajā gadījumā)?

Vai kāds var VB scriptu (kas manā gadījumā būtu vismaz tikpat sarežģīti, cik PHP) uzcept šādam variantam?

(Atbildēt uz šo) (Iepriekšējais) (Diskusija)

	mindbound 2007-04-30 04:06 (saite)
	ja tu man atsūtītu konkrētāku specifiku, PHP skriptus es varētu uzcept. (Atbildēt uz šo) (Iepriekšējais) (Diskusija)

suic
2007-04-30 15:34 (saite)

Ko tu domā ar konkrētāku specifiku?

Pilns process izskatās aptuveni šādi:
1) tiek ievākts http://fah-web.stanford.edu/cgi-bin/main.py?qtype=osstats reizi stundā;

2) tiek izveidoti vairāki datu faili;
2.1) TFLOPS uz laika ass (katrā klienta kategorijā)
2.2) aktīvo CPU daudzums uz laika ass (katrā klienta kategorijā)
2.3) vidējā jauda uz 1 CPU uz laika ass (katrā klienta kategorijā)
2.4) procentuālais TFLOPS sadalījums pa klienta kategorijām (pēdējie dati)

3) tiek ģenerēti vairāki grafiki;
3.1) TFLOPS uz laika ass: (nedēļas, grafiks, gada grafiki un kopējais)
piemēri:

3.2) līdzīgi kā TFLOPS, tikai rāda aktīvo CPU daudzumu - nedēļa, mēnesis, gads, kopā

3.3) pēdējie dati par vidējo jaudu uz 1 cpu klienta klasē; arī uz laika ass.

3.4) pēdējie dati par procentuālo jaudu

3.x) ja ienāk prātā, kādi vēl rādītāji ir dabonami laukā no tām statistikas lapām un kādā veidā attēlojami;

4) iespēja pielikt vertikālos markerus būtiskiem notikumiem Folding@home projektā... kā piemēram attēlots šeit (dzeltenās līnijas):

(kā starp citu to var panākt iekš MS Excel?)

5) grafiku bildes tiek uploadotas uz ftp servera, kur jau stāv sagatavots html fails; iespējams, ka var preģenerēt sava veida arhīva html, kur atspoguļojas pagājušās nedēļas/mēneši/gadi

Kam vēl vajadzētu būt specifikācijā?

(Atbildēt uz šo) (Iepriekšējais) (Diskusija)

	mindbound 2007-04-30 15:46 (saite)
	Es varu mēģināt kaut ko uzveidot. Cik ilgā laikā būtu optimāli dabūt to gatavu? (Atbildēt uz šo) (Iepriekšējais) (Diskusija)

suic
2007-04-30 16:18 (saite)

To vispārējo - kur vienkārši ik pa stundai mainās TFLOPS sadalījums uz laika ass (no šībrīža uz priekšu) gribētos pēc iespējas ātrāk.

Pārējos jau var pēc tam pielikt.

Vēl piemirsu 2 aspektus:
1) kaut kā jāprot noprocesēt, ja tā lapa ir lejā un nesatur vēlamos datus
1a) var kaut kur reģistrēt pie iespējas lapas updeita laika (atrodams pašā lapā)
2) vajadzētu, lai jauna klienta pievienošanas tabulai gadījumā viss neaiziet grīstē autopilotā.

Minimālais uzstādījums pašam sākumam, fiksēt kādā .csv failā datus šādā formātā:

TFLOPS / Date,25-Apr 00:00,25-Apr 12:00,26-Apr 00:00
Windows,179,180,180
Mac OS X/PowerPC,8,8,9
Mac OS X/Intel,14,14,15
Linux,46,46,46
GPU,54,54,53
PS3,398,393,387

Lai negaidītu apstākļu gadījumā būtu vismaz iespēja turpināt niekoties ar Excel pie nosacījuma, ka dati jau ir sagatavoti masveida ievadei.

(Atbildēt uz šo) (Iepriekšējais)

	stats suic 2007-05-15 17:41 (saite)
	Kā sokas, kaut kas sanāk ar'? :) (Atbildēt uz šo) (Iepriekšējais)

	madars 2007-04-29 18:30 (saite)
	1. wget (vai iekļautu 2. punkta risinājumā) 2. pratiski jebkāda programmēšanas valoda, kas atbalsta regexpus. 3. gnuplot 4. ncftp (Atbildēt uz šo) (Diskusija)

	madars 2007-04-29 18:34 (saite)
	nē, īstenībā arī 3. taisītu pats (izmantojot gd bibliotēku) (Atbildēt uz šo) (Iepriekšējais) (Diskusija)

	suic 2007-04-29 20:25 (saite)
	Kā neko daudz no tā visa nesaprotošs, varētu pajautāt - viegli vai grūti ir uztaisīt ko šādu? Grafikā attēlots TFLOPS daudzums katrā F@h klienta kategorijā uz laika ass (dati tiek ņemti 2x dienā pulksten 00 un 12 pēc Latvijas laika). (Atbildēt uz šo) (Iepriekšējais) (Diskusija)

suic
2007-04-30 00:47 (saite)

Varbūt kāds MS Excel speciālists varētu pateikt, kālab tad, kad nomainu diagrammu izkārtojumu (no mazākā uz lielāko), MS Excel pazaudē kaut kur "data series" (kas normāli ir "=Sheet1!$A$1:$L$7"), tā ka vairs nevaru palielināt, nomainot formulā "L" uz burtu, kur beidzas dati?

Ja manuāli ievadu bijušo "data series", tiek pazaudēts izkārtojums un krāsas samainās vietām.

Sekojoši arī jautājums - vai var iestādīt grafikam, lai viņš automātiski ņem tieši tik daudz datu, cik ir atbilstošajās rindās (t.i. ieskaita visas kolonnas)? Tā, lai pieliekot jaunu stabiņu, tas atbilstoši tiktu pievienots grafikam.

(Atbildēt uz šo) (Iepriekšējais)

Navigate: