Bienvenido a la mayor comunidad de usuarios EXCEL

Regístrate ahora y podrás: / 💪 Hacer preguntas a los expertos / ⬇️ Descargar ejemplos y plantillas / 🏅 Acceder a contenidos premium

Regístrate gratis

Filtrar para varios ficheros y luego analizar con PQ

AKL74

Active member
Buenas noches a [email protected]

No se si es correcto lo que pretendo pero lo expongo por si existe alguna forma de realizarlo.

Actualmente tengo una carpeta con 12 ficheros en formato CSV, cada uno de ellos con más de 50.000 Filas (cada semana se añade 1 fichero nuevo).
Mi forma de proceder actual es aplicar manualmente 1 filtro a cada uno de ellos, los guardo en una carpeta nueva y luego mediante PQ analizo en conjunto toda la información de esos archivos.

Mi intención es intentar automatizar este proceso, es decir, me gustaría saber si existe la posibilidad mediante una macro de realizar el filtrado en la Columna GRUPO de cada uno de los archivos de la carpeta y luego poder analizar esa información filtrada mediante PQ. Espero que quede claro el planteamiento.
Y si no es posible, ¿ qué otra alternativa me plantearíais para no tener que realizar manualmente todo ese proceso (imaginar cuando haya 25 archivos...)?

Os adjunto una carpeta con 4 archivos en modo de ejemplo.

Saludos y gracias por vuestra atención.
 

Adjuntos

  • Prueba PQ en Foro.zip
    2,6 KB · Visitas: 3

Gerson Pineda

Active member
Hola
Mi intención es intentar automatizar este proceso, es decir, me gustaría saber si existe la posibilidad mediante una macro de realizar el filtrado en la Columna GRUPO de cada uno de los archivos de la carpeta y luego poder analizar esa información filtrada mediante PQ
No se a que te refieres con "filtro", pero todo el proceso se puede hacer desde power query

Te dejo una imagen, de lo que hice [cargando todos los archivos de una vez] y filtrando por la columna "grupo"

Sin título.png

¿Algo así necesitas?


Saludos
 

AKL74

Active member
Hola

No se a que te refieres con "filtro", pero todo el proceso se puede hacer desde power query

Te dejo una imagen, de lo que hice [cargando todos los archivos de una vez] y filtrando por la columna "grupo"

Ver archivo adjunto 66993

¿Algo así necesitas?


Saludos
Buenos días Gerson, gracias por tu interés.

Efectivamente eso es lo que necesito, pero el problema surge cuando estos archivos tienen un peso de 50/90Mb (alguno llega hasta 120Mb) cada uno, almacenan muchísima información (los 4 archivos que he subido es algo muy muy muy simple y ligero para que sirviera de muestra).

Actualmente lo que hago es filtrar en el archivo original por 1 ó varios grupos y lo guardo con otro nombre (así consigo un peso sustancialmente menor), y repito con todos los ficheros semanales que tengo. Esos archivos modificados los paso a un PQ y ya si trabajo con esa información, pero con los originales que son tan pesados no se cómo proceder.

Lo que pretendo es, de alguna manera, poder automatizar. Es decir, yo en algún lugar indico que necesito filtrar los Grupos 1, 3 y 7... y que la macro los filtre para cada archivo original y luego me los pase a PQ para poder analizar la información que contenga.

El problema, creo, es la cantidad de información (MBs) y Filas que tendría si partiera de los originales (algún archivo me llega hasta a 150.000 Filas), por eso intento realizar un Filtrado para seleccionar los Grupos que me interesan y desde ahí analizar con ayuda del PQ.

¿Entiendes la idea? (lo mismo es más fácil y simple de lo que yo planteo)

Gerson, nuevamente gracias por tu interés.
Saludos,

Alberto.
 

Gerson Pineda

Active member
Hola

Si en realidad necesitas hacer análisis, entonces debes usar el modelo de datos de Excel, que es básicamente usar Power Pivot, para eso fue creado, precisamente para manejar grandes volúmenes de datos, pero ojo no cometer el error de cargar todos esos datos transformados a una hoja, si no simplemente cargarlos al modelo y a partir de ahí, realizar el análisis correspondiente

Desde luego que si son muchas filas, es normal esperar para que carguen, además siempre recordar que la PC, debe tener las mejores prestaciones, especialmente cuando es sobre miles de registros

Si eso no crees que funciones, entonces esta la opción de Power BI


Saludos!
 
Última edición:

AKL74

Active member
Hola

Si en realidad necesitas hacer análisis, entonces debes usar el modelo de datos de Excel, que es básicamente usar Power Pivot, para eso fue creado, precisamente para manejar grandes volúmenes de datos, pero ojo no cometer el error de cargar todos esos datos transformados a una hoja, si no simplemente cargarlos al modelo y a partir de ahí, realizar el análisis correspondiente

Desde luego que si son muchas filas, es normal esperar para que carguen, además siempre recordar que la PC, debe tener las mejores prestaciones, especialmente cuando es sobre miles de registros

Si eso no te crees que funciones, entonces esta la opción de Power BI


Saludos!
Buenas tardes Gerson.

Gracias por tu interés.
Empecé con algo de miedo en PQ....ya Power Pivot me impone, aunque me pondré a leer sobre ello. ¿Tendrás por casualidad algún documento o web donde poder conocer sobre este complemento? Casi todo lo que acabo de empezar a ver es en inglés.

Y sobre el tema central, aunque no se si dejarlo aquí o pasarlo como nueva pregunta al foro de MACROS, ¿hay forma mediante VBA de filtrar TODOS los archivos originales que haya en la carpeta y conseguir 1 único fichero con sólo esos datos filtrados todos unificados?

Nuevamente muchas gracias por su tiempo.

Saludos,
Alberto.
 

Gerson Pineda

Active member
Empecé con algo de miedo en PQ....ya Power Pivot me impone, aunque me pondré a leer sobre ello.
¿Sabes porque al León se considera el rey de la selva?... sin ser el mas grande, mas fuerte, mas rápido... pues porque no tiene miedo ;-)

Te puedo decir que he desarrollado, proyectos mezclando de todo, es decir power query, power pivot, Vba y tablas dinámicas y sus gráficos, te lo menciono, porque todo es posible en Excel

Pero yo que fuese tu, comenzaría por aprovechar las "nuevas" plataformas como PQ y PP

¿Tendrás por casualidad algún documento o web donde poder conocer sobre este complemento? Casi todo lo que acabo de empezar a ver es en inglés.
Si tienes razón hay mucha información en ingles, mas no tanto en Español

Te puedo sugerir que busques exhaustivamente por la red...

También puedo recomendarte plataformas en español, en las cuales en una de ellas, soy líder en soporte de los cursos, como Acadevor Pro, es una academia enfocada en analítica de datos y desarrollos en Excel [power query / power pivot] y Power BI

Te recomiendo una web Excel Free Blog, ellos tienen cursos y libros en español, tanto en power query como power pivot, y como debes saber siempre es oportuno poder invertir en nuestro conocimiento, nunca esta demás, yo lo he hecho, tengo mucho material que me comparten y otros que he adquirido

Respecto a tu duda de Vba es mejor que la hagas en Macros


Saludos!
 

AKL74

Active member
¿Sabes porque al León se considera el rey de la selva?... sin ser el mas grande, mas fuerte, mas rápido... pues porque no tiene miedo ;-)

Te puedo decir que he desarrollado, proyectos mezclando de todo, es decir power query, power pivot, Vba y tablas dinámicas y sus gráficos, te lo menciono, porque todo es posible en Excel

Pero yo que fuese tu, comenzaría por aprovechar las "nuevas" plataformas como PQ y PP


Si tienes razón hay mucha información en ingles, mas no tanto en Español

Te puedo sugerir que busques exhaustivamente por la red...

También puedo recomendarte plataformas en español, en las cuales en una de ellas, soy líder en soporte de los cursos, como Acadevor Pro, es una academia enfocada en analítica de datos y desarrollos en Excel [power query / power pivot] y Power BI

Te recomiendo una web Excel Free Blog, ellos tienen cursos y libros en español, tanto en power query como power pivot, y como debes saber siempre es oportuno poder invertir en nuestro conocimiento, nunca esta demás, yo lo he hecho, tengo mucho material que me comparten y otros que he adquirido

Respecto a tu duda de Vba es mejor que la hagas en Macros


Saludos!
Buenas noches, Gerson.

Muchas gracias por la información. He visualizado la plataforma que me comentas y a alguno de los instructores lo he seguido en cursos varios, así que analizaré la posibilidad de recibir alguno.
Sobre la web y los libros, también lo he estado visualizando y alguno de los libros ya me los habían referenciado, lo tantearé.
La cultura y el conocimiento en general es una inversión sana y necesaria, así que no suelo escatimar en eso.

Y por lo visto sobre Power Pivot, definitivamente es lo que necesito para realizar este tipo de análisis. (y)(y)
He intentado cargar los diferentes archivos al modelo, como he creído entender, pero me crea una hoja por cada fichero que cargo. Por lo que no puedo realizar una Tabla Dinámica única (con la información de todos ellos junta, o al menos no se cómo hacerlo). ¿Hay forma de tener la información de todos ellos, es decir, todas las Filas, en una sola Hoja? (no se si estoy diciendo una tontería).

Nuevamente gracias por tu tiempo.

Saludos,

Alberto.
 

Gerson Pineda

Active member
Buen dia Alberto

Y por lo visto sobre Power Pivot, definitivamente es lo que necesito para realizar este tipo de análisis. (y)(y)
He intentado cargar los diferentes archivos al modelo, como he creído entender, pero me crea una hoja por cada fichero que cargo. Por lo que no puedo realizar una Tabla Dinámica única (con la información de todos ellos junta, o al menos no se cómo hacerlo). ¿Hay forma de tener la información de todos ellos, es decir, todas las Filas, en una sola Hoja? (no se si estoy diciendo una tontería).
Sin duda alguna, PP es tu aliado puesto que son muchos tus datos, si fuese cantidad muy pequeña pues con una simple tabla dinámica lo podrías hacer, pero tampoco contarías con el poder de las formulas DAX, que se desarrollan en Power Pivot

¿Desde donde intentaste cargar, desde power query?
Se mas explicito y como te respondí en mi primera respuesta, esa tabla se puede cargar directo al modelo [sin necesidad de cargar a una hoja] para luego seguir en power pivot

Te dejo una imagen de referencia, que se carga después de realizar una transformación en PQ y dar Cerrar y cargar en...

Sin título.png

Con estas 2 opciones es suficiente para NO guardar nada en hoja y trabajar con power pivot


Saludos
 

AKL74

Active member
Buenos días Gerson, gracias por tu seguimiento.

Precisamente esto último que me muestras es lo que estuve realizando inicialmente (extraído de un curso de uno de tus instructores (y) (y) ) ....cargo TODOS los ficheros de una carpeta, realizo únicamente la conexión y lo agrego al Modelo de Datos. Hasta ahora me ha ido bien con menos de 1.000.000 de Filas, ¿pero qué sucederá al superar esa cifra?. OJO, lo he estado haciendo TODO con PQ. ¿Lo que me comentas es que una vez cargado el Modelo (con más de 1.000.000 de Filas) puedo realizar la conexión desde PP y olvidarme de PQ?

Ayer estuve probando con PP....lo que hice fue directamente trabajar con PP en mi archivo...Administrar - Modelos de Datos - y ahí ir cargando uno a uno cada fichero Excel (aquí no me da lo opción de cargar todos los ficheros Excel de la carpeta), por lo que se me crearon 12 hojas, una por cada fichero... intenté posteriormente crear una Tabla Dinámica pero ahí me quedé porque sólo podía crear una TD por Hoja (o al menos no se cómo podría hacerlo de otra forma) y yo necesito unificar todas las Hojas y posteriormente crear esa Tabla Dinámica.

Si mediante una imagen me pudieras indicar los pasos a seguir te estaría muy agradecido.

Saludos y gracias por tu tiempo,

Alberto.
 

Gerson Pineda

Active member
¿Lo que me comentas es que una vez cargado el Modelo (con más de 1.000.000 de Filas) puedo realizar la conexión desde PP y olvidarme de PQ?
Si, en otras palabras PQ es nuestro ETL en ingles [extraer, transformar y cargar]

Ayer estuve probando con PP....lo que hice fue directamente trabajar con PP en mi archivo...Administrar - Modelos de Datos - y ahí ir cargando uno a uno cada fichero Excel (aquí no me da lo opción de cargar todos los ficheros Excel de la carpeta), por lo que se me crearon 12 hojas, una por cada fichero... intenté posteriormente crear una Tabla Dinámica pero ahí me quedé porque sólo podía crear una TD por Hoja (o al menos no se cómo podría hacerlo de otra forma) y yo necesito unificar todas las Hojas y posteriormente crear esa Tabla Dinámica.
Como podrás ver PP es limitado respecto a como conectarse a nuestros archivo o BD, por eso apareció PQ, que cuenta con muchos conectores, por ejemplo el que yo utilice es el de carpeta

Como parte de un proceso idóneo y de buena practica nuestros datos se debe cargar siempre con PQ, porque además de importarlo, podemos hacer un sin fin de transformaciones para luego enviar pulido al modelo

Entonces en resumen es cargar con PQ y enviarlo al modelo PP, a partir de ahí, olvídate de los demás y comienza a trabajar con tus TD


Saludos
 

AKL74

Active member
Si, en otras palabras PQ es nuestro ETL en ingles [extraer, transformar y cargar]


Como podrás ver PP es limitado respecto a como conectarse a nuestros archivo o BD, por eso apareció PQ, que cuenta con muchos conectores, por ejemplo el que yo utilice es el de carpeta

Como parte de un proceso idóneo y de buena practica nuestros datos se debe cargar siempre con PQ, porque además de importarlo, podemos hacer un sin fin de transformaciones para luego enviar pulido al modelo

Entonces en resumen es cargar con PQ y enviarlo al modelo PP, a partir de ahí, olvídate de los demás y comienza a trabajar con tus TD


Saludos
Buenas tardes, Gerson.

Me parece muy muy interesante lo que me comentas.
Me pongo a rebuscar e investigar sobre ello.

Muchísimas gracias 👌👌

Saludos,

Alberto.
 

Temas similares

Arriba