Saludos amigos soy nuevo trabajando con drupal y tengo el siguiente problema.
quiero importar un archivo csv con un gran volumen de información aproximadamente 8mb, y esto hacerlo periódicamente lo mas seguido posible. A la hora de importar perfecto feeds me introduce los datos de maravilla pero al ser tan grande el volumen de información hay que ejecutar varias veces cron para que termine de importar todos los datos, hablo de un día aproximadamente.
hay alguna opción para que esto no sea tan lento tal ves que no sea por cron o de ser así algo para que se ejecute a mayor velocidad o introduzca los datos de un solo cron aunque demore un poco mas para que me sea mas eficiente. O si tienen otra idea.
espero que alguien me pueda ayudar
saludos y gracias de antemano por la ayuda
Comments
con un CSV de 4MB yo he
con un CSV de 4MB yo he experimentado 45 min. de tiempo total de importacion, con la creacion/actualizacion de unos 8.000 nodos. No se por que esta llevandote tanto a vos, tendrias que poder hacer un profiling a ver si se puede optimizar. La otra alternativa es probar con Migrate module. HTH, salud
cuando le doy importar se
cuando le doy importar se queda en x% y de ahí hay que ejecutar cron nuevamente para que continúe con el proceso hay alguna manera de cuando se active el importar se importe los datos del archivo completamente (no importa que se demore) y no se quede esperando a que se ejecute cron nuevamente para así terminar de importar. no se si me hago entender.
saludos y gracias por la ayuda.
podrias explicarte mejor? Por
podrias explicarte mejor? Por ej., por que necesitas usar cron?
a ver es que en verdad no se
a ver es que en verdad no se mucho del modulo feeds, normalmente cuando importas con feeds como lo haces? luego de configurarlo como haces para que importe ese archivo csv de 4mb
saludos y gracias
utilizo cron para que importe
utilizo cron para que importe cada cierto periodo de tiempo. ademas el proceso de importar se me queda esperando por corn para terminar.
saludos y gracias
utilizo cron para que importe
utilizo cron para que importe cada cierto periodo de tiempo. ademas el proceso de importar se me queda esperando por corn para terminar.
saludos y gracias
un poco parca tu explicacion
un poco parca tu explicacion :-) cada cuanto corre tu cron? Cada hora? Lo necesitas que importe todas las horas o solo que se actualice a diario? Que version de Feeds usas?
No se me ocurre otra cosa que revisar si Feeds no pone un cap a la cantidad de registros que procesa por cron run, tal cual hace Search module (core)... Y hay que ver si ese cap se puede cambiar como en search. No recuerdo haberlo visto, pero no se ni que version de Feeds estas usando, fijate eso como primera cosa. HTH
el Feeds que tengo es el
el Feeds que tengo es el 7.x-2.0-alpha4.
El cron o la tarea de importar necesito que ocurra una ves en el dia. cuando corre a esa hora del dia el importar me pone por ejemplo: Importing - 11 % complete. y ahi se queda hasta q nuevamente se ejecuta el cron. lo que quiero es que una ves al día importe todo de una ves.
saludos...
Tu servidor no estará
Tu servidor no estará limitado en ram o tiempo de ejecución?
Tomás Souto
Skype: tomas.souto
Baireswebdesign.com
Digital Agency - Web Design and Development
baireswebdesign.com
por ahora lo tengo en mi
por ahora lo tengo en mi maquina local. no se si esto tendrá que ver. tiene 2gb de ram y en el php .ini tengo esta config:
max_execution_time = 400000 ; Maximum execution time of each script, in seconds
max_input_time = 150000 ; Maximum amount of time each script may spend parsing request data
;max_input_nesting_level = 64 ; Maximum input variable nesting level
memory_limit = 10248M
saludos..
Mariano tienes alguna
Mariano tienes alguna configuracion del cron para que ejecute mas tiempo me he dado cuenta que mi cron se ejecuta exactamente 1 minuto y creo que es por eso que la tarea de importacion se me queda ahi parada esperando.
saludos y gracias...
Nunca escuche tal cosa de que
Nunca escuche tal cosa de que cron corra por 1 minuto y nada mas. Me suena a que algo esta dando time-out, pero no se me ocurre qué. Sugiero buscar alguna configuracion de tu entorno que salga de lo comun, porque no es comun eso que estas reportando. HTH
a ver deja preguntarte
a ver deja preguntarte nuevamente.
cuando tu importas el archivo csv de 4mb le das al botón importar se te demora 45min aprox y listo importa todo?
yo cuando hago esto se me queda parado en un x prociento 'Importing - 11 % complete.' y si no ejecuto cron para que refresque no aumenta ese porciento es esto lo que me pasa.
saludos y gracias nuevamente...
mira aquí hablan de este
mira aquí hablan de este problema también
http://drupal.org/node/1216018#comment-6003558
saludos...
Gracias por la ayuda Solo hay
Gracias por la ayuda
Solo hay que desmarcar la opción "Process in background" en la configurar del Feeds y listo el proceso se realizara automáticamente sin paros.
saludos...
muy bien (habia respondido
muy bien (habia respondido justamente, si habias podido probar eso de quitar el background, pero no se publicó). Anyway, me alegro que lo hayas solucionado. saludos.
Ahora tengo otro problema.
Ahora tengo otro problema. quiero que se ejecute el importar una ves en la semana eso esta correcto pero cuando cron ejecuta me pasa lo anterior nueva mente se queda en x% nuevamente.
tienes idea de que pueda ser? y tengo todo bien con la opción desmarcada y todo, cuando importo manualmente funciona bien pero al hacerlo cron se queda ahí nuevamente.
saludos...
Aquí hablan de este problema
Aquí hablan de este problema también tiene alguien alguna idea?
http://drupal.org/node/1480902
saludos y gracias...
aqui de nuevo el
aqui de nuevo el problema.
http://drupal.org/node/1231332
si, parece que es un bug. Se
si, parece que es un bug. Se puede probar con una version anterior del modulo, aunque no suele ser algo comun de hacer.
Hay que esperar que lo resuelvan los maintainer (al menos ver si reaccionan con un ETA o algo), o tratar de resolverlo uno mismo, u organizarse para que alguien (el maintainer por ej.) lo resuelva.
si eso parece ok gracias...
si eso parece ok gracias...