[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: [linux_var] Consiglio TROPPE QUERY





2010/10/21 Pietro Feltrinelli <pfeltrinelli@finalmenteinvacanza.it>
si ok, ma considera che il DB attualmelmente 'pesa' gia 2.4GB . quindi 10mb non e' niente :-D

lui si riferisce al fatto che tu hai messo il testo della query in un file di testo, non il suo risultato.
Una query la cui lunghezza in byte è uguale o addirittura supera 10Mb... forse non ti è chiaro di quanto è lunga...:

1 carattere è 1 byte nella tua bella macchina a 32 bit.
10 mb sono 10* 1024 * 1024 byte = 10485760 byte = 10485760 caratteri... io una query così lunga non l'ho davvero mai vista e credo proprio che sia sbagliata....
 
script va avanti a scansionare per piu di 24h.. l'ultima volta ci ha messo 33h a finire.. quindi io pensavo che se alposto di eseguire le quey potrei salvare tutto in un file di testo semplice.. guardagno tempo...
perche l'importate e' fare la scansione, poi nel DB posso inserirli con calma a piccole dosi
mi ripeto: non so se questo ragionamento a senso, se suddividere le mansioni del server in questo modo velocizzi o meno.. infatti chiedevo consigli

poi se tu volessi salvare il risultato della query... forse è il caso che ti guardi cosa fa lo script.
credo che intrinsecamente lo spider faccia la query per inserire i dati sul db che gli è stato configurato.
Se così non fosse, allora potresti anche salvare il testo e inserirlo dopo... ma non credo che questo cambi tanto.
Il grosso del lavoro dello spider è proprio fare il lavoro in 'rete'. Inserire i dati su db, che è locale, credo proprio che incida davvero in una misura minima sul lavoro della macchina. 

Così a pelle eh