Qualsevol formació planificada busca canviar la realitat. Parteix del fet que cal créixer en alguna competència concreta, que cal adquirir habilitats noves i canviar pràctiques en el lloc de treball. Per tant, s’espera que aquestes pràctiques noves aportin resultats diferents, que canviïn, en la mesura que sigui possible, la realitat.
Si preguntem a qualsevol docent com ha canviat la realitat després de fer el curs que imparteix, probablement tindrà una llarga llista de petits o grans canvis possibles. Sabrà dir el que les persones podran fer de nou, explicarà com les unitats obtindran beneficis de l’aplicació dels programes formatius i podrà orientar-los per buscar les dades que ens faran falta per demostrar que els canvis han estat reals. Llavors, on és la dificultat d’avaluar l’impacte de les accions de formació?
Formulada així la pregunta sembla agosarada. Resulta difícil concretar els resultats de la formació i dedicar esforços a perseguir els projectes i els plans de millora; resulta complex saber què passa quan el curs s’acaba… Si la transferència requereix un esforç, com no ha de ser més complicat entendre (i poder mostrar) els resultats d’impacte, els que afecten no només la persona sinó les unitats.
Però, la realitat és tossuda, avui és absolutament imprescindible demostrar que la formació no és un luxe. Per això, cal consolidar les formes amb les quals estem avaluant la transferència en el lloc i començar a mirar de forma diferent l’avaluació dels resultats finals. És probable que ens hàgim focalitzat en mètodes estadístics d’avaluació de l’impacte, que ens obliguen a estudis costosos, i que calgui recuperar l’habilitat de les unitats de formació per conèixer a fons l’abans i el després d’una formació i poder descriure qualitativament les causes que han intervingut en els canvis reals a les organitzacions.
Penseu que necessitem experimentar noves vies per avaluar l’impacte? Creieu que tenim recursos per abordar aquest nivell?
En la propera V Jornada sobre l’avaluació de la formació a les administracions públiques, que es farà el dia 19 de novembre a l’Escola, volem continuar amb aquest debat.
Molt interessants totes les reflexions fetes.
Jo ara penso la idea formulada per Olga, com implicar més als alumnes en l’avaluació de la transferència abans de començar l’activitat formativa? Això és una idea potent, estic absolutament d’acord en què s’han d’introduir elements de responsabilitat en la formació.
Nosaltres a la Diputació de Tarragona, a banda d’inscriure’s en l’acció formativa, els hi fem després confirmar l’interès en realitzar el curs i, de vegades que responguin altres qüestions, i si no ho fan, deduïm que no tenen interès en realitzar el curs i els donem de baixa, potser aquí podem aplicar la idea d’Olga.
Moltes unitats de formació ja estem avaluant si les persones apliquen els aprenentatges al lloc de treball, però sovint ens manca la implicació de les persones que participen i dels seus caps. Com aconseguir aquesta implicació?
Arribo molt tard a fer la meva aportació… S’han dit coses molt interessants, però voldria afegir una idea més….
No sé si és massa agosarat, però potser en determinats cursos, a les persones que s’hi inscriguin els hi hem de demanar com a requisit d’inscripció què creuen que podran millorar els seus llocs de treball quan finalitzin el curs, i si saben com podrien mesurar-ho.
Si una persona no té cap idea de què li aportarà el curs, és més possible que després realment no apliqui res i no canviï res en la seva feina (potser perquè el curs no està pensat per a ell, és a dir, que no és el destinatari idoni).
A posteriori del curs, i deixant una mica de temps, llavors podem aplicar altres tècniques que alguns de vosaltres heu comentat per saber els canvis que ha generat aquesta persona en la seva organització arran de la realització del curs.
En resum: la idea seria començar a implicar més a les persones destinatàries del cursos en el moment en què el soliciten. La formació, moltes vegades, és gratis per qui la rep, però en realitat té un cost que els que gestionem la formació coneixem bé… Així que convé introduir elements de responsabilitat en el propi procés d’incripció a un curs. Hem d’evitar al màxim el turisme formatiu, especialment en època de vaques flaques.
I això també lliga amb la idea del Dani Giménez: igual que és “normal” que el teu superior sàpiga que has estat absent de la feina perquè has anat a una sessió presencial del curs x, també hauria de ser normal que aquesta persona ompli una mena d’informe i/o qüestionari sobre allò que ha aplicat o està aplicant o aplicarà…. i l’impacte que això ha generat o generarà en la seva unitat. En definitiva: que el curs comença amb un acte de responsabilitat (per part de la persona que el sol.licita), i ha d’acabar amb un acte de responsabilitat compartida (entre qui ha fet el curs i el seu cap, per fer viable el canvi).
Felicitats a l’EAPC per la retransmissió de la Jornada d’ahir va ser perfecta, em va fer molt còmoda l’assistència, encara que vaig trobar a faltar el caliu de les persones….
En la meva opinió Sylvia, estic d’acord amb el que vas comentar, la Jornada es va quedar una mica curta, molts temes interessants.
Agrair també els materials que desenvolupeu per a facilitar-nos la tasca diària, em refereixo a les vídeo píndoles de les que va parlar la Directora.
Em va agradar el model contrafactual d’en Ramon Crespo. Estem acostumats a fer, fer, fer i poc a pensar. No per que no en sabem! La nostra excusa (que te molt de cert!) és que no tenim temps!!! Però hem de trobar l’equilibri que ens aporta també el fet de ordenar les nostres actuacions de cara a construir el nostre model de gestió, que ens ajudi després a fer, fer i fer
L’exposició d’Älvaro Martínez em va retornar als meus temps d’estudiant universitària! Em va encantar la seva exposició i la seva idea. M’agrada molt la formació en l’acció i aquest plantejament d’intervenció, encara que difícil d’encaixar en segons quines organitzacions, va ser molt il•lustratiu de les coses que es fan en formació per canviar la realitat.
Encarna Martínez, em va sorprendre molt i en positiu! Quina alegria, si no vaig entendre malament, tenir un equip de 25 persones treballant per formació per una plantilla de 1500 persones!. Un bon exemple de que la formació te un espai molt important en els resultats que aporten les persones. Ens va dir: “en un momento dado se detecta que crece la necesidad de crear una unidad de formación…” Qui tindria un equip de formació d’aquestes dimensions en una empresa privada sense creure en els seus resultats? I si a més de creure en la formació han pogut objectivar resultats, crec que són un bon referent.
La taula rodona ens va aportar alguna pincellada sobre transferència, com en el cas de l’elaboració de la guia de bones pràctiques o el desenvolupament dels “quadres de mando”, però vaig trobar a faltar més temps per debatre sobre l’impacte d’aquests “productes”.
Animar-vos en aquest format, que ens permet participar, aprendre, pensar, opinar i que segur anireu perfilant per enriquir el nostre aprenentatge!!!
Gràcies a tothom per continuar el debat!
Montserrat, un comentari molt en la línia de la reflexió més teòrica i metodològica de la V Jornada que avui farem! Quins resultats no s’haurien produït si no hi haguès hagut formació? Una forma de posar blanc sobre negre els resultats obtinguts. Tècnicament d’això se’n diu “construir el contrafactual”, simular una realitat en la que no hagués hagut cap intervenció i comparar-la amb una amb intervenció realitzada. Aviat podreu veure la ponència al respecte de Ramon Crespo en aquest web.
Llegint els comentaris d’aquest debat tan animat, amb riquesa de metàfores i de temes actuals (les MOOC), m’ha vingut al cap la idea de mirar-ho tot plegat des d’una altra perspectiva. Partint de la idea del valor de la formació, que millora la realitat, ens podríem preguntar alguna vegada sobre què passaria si no s’hagués fet tal formació o tal altra. I pensant en la realitat canviada, ens podríem dir: ‘Quins resultats finals no s’haurien produït si no hi hagués hagut la formació?’ O bé ‘Quins canvis reals a l’organització no s’haurien produït?’. Potser descobriríem canvis molt potens generats per plans de formació…
Quin debat més interessant.
M’ha encantat la metàfora de la Inès. I diria, Dani, que ja fa uns anys que anem segant i recollint espigues de transferència. No tots, però uns quants anem fent.
Penso que la formació formal i la informal no s’han de presentar com a una més moderna que l’altra. Són complementàries. Pèro és que sempre ho han estat. Sempre hem après pel nostre compte, i, a més, si podíem, en accions formatives organitzades per altres.
No parlem de cap novetat, per tant. Però sí que hem de dir que, pel que fa a la formació formal, no hem esgotat ni de lluny la responsabilitat que tenim els qui organitzem plans i accions formatives, en demostrar quins són els resultats que s’han produït. Ens demanin aquests resultats o no.
I això és capital, no tant per donar o no donar sentit a les unitats de formació, sinó perquè estem parlant de fons públics i de la millora i el canvi en la manera de fer de les persones en les administracions públiques. L’impacte d’aquest canvi s’ha de poder demostrar, i hem de fer que es reconegui a les persones l’esforç realizat, fent difusió d’allò que han aconseguit fer o millorar.
No sé si intentar mesurar resultats de la formació informal i voler-la acreditar no serà posar “puertas al campo”. El que sí que sé és que cal avançar cap a una cultura de formació amb resultats, sigui formal o no.
EI nostre rol ha de variar en el sentit d’acostar aquestes possibles fonts de formació informal als empleats públics, generant seleccions d’url’s mitjançant Delicious o altres eines similars, posant a la seva disposició continguts oberts i continguts d’autoaprenentatge, i difonent molt l’existència d’aquestes fonts d’aprenentatge informal, provocant que les persones expliquin els seus plans d’aprenentatge personal per poder-los compartir amb d’altres, i, sobretot, parlar el llenguatge dels resultats tangibles.
Per responsabilitat i per sentit de servei públic.
Gràcies per la teva aportació Àngels! És comprensible la idea de que la formació, el desenvolupament de les competències de les persones, és prou important com per no necessitar més justificacions, però l’interès en avaluar els resultats no és només una política de màrketing (el millor que es pot fer) és també una necessitat interna, ja que qui dissenya i organitza la formació ha de saber si és realment de qualitat . Només avaluant sabrem si, efectivament, un producte formatiu és prou potent com per generar canvis.
Gràcies Dani per reflexionar aquí i en veu alta! Tens tota la raó respecte a les limitacions de la formació formalitzada i planificada per oferir solucions ràpides als reptes diaris dels professionals. És ben cert que en moltes ocasions no es pot esperar al calendari en que es realitza un curs o taller i que, especialment les persones expertes en algun tema, recerquen activament la solució a Internet. Abans preguntaven a les seves xarxes personals, cara a cara o per telèfon, ara a qualssevol hora tenen la possibilitat de fer recerques específiques i de seguir a persones que els aportin coneixement a través de xarxes socials. Evidentment les noves tecnologies de comunicació han revolucionat la forma en que avui es pot aprendre, i l’auto- aprenentatge, social i actiu, l’anomenat aprenentatge informal, és una de les vies més fructíferes per aportar solucions en el dia a dia. L’organització, la unitat de formació, comença a ser conscient d’aquest cabdal de coneixement que els professionals remouen autònomament, però encara està lluny de poder identificar i avaluar els resultats aplicats de l’aprenentatge informal. Ara, com bé dius, també s’ha de treballar en aquest sentit.
En el cas de la formació planificada -a la que ens referim en el nostre post- compartim plenament que és obligat d’assumir la responsabilitat de retre-hi comptes, tant de transferència com d’impacte, en fer ús d’uns recursos d’aprenentatge facilitats per l’organització (la formació formal). Molt més que quan la iniciativa d’aprendre és dels professionals.
Inés, hem d’agrair-te aquesta metàfora entre el conreu de l’arròs i la formació (sigui la formal o la informal) ja que, a més a més d’il•lustrativa, és ben agradable de llegir! (Hem après molt! )
Com en el cas de l’arròs, hem de conviure amb resultats de formació que provenen de “tipus de cultius diferents” i, probablement, en el cas de l’aprenentatge informal, fins i tot, la metàfora sigui més adequada, perquè el treball de la terra i els adobs es pot assimilar de forma fàcil a una estratègia de “sembrar” recursos i oportunitats de xarxes i de col•laboració entre el personal, per esperar-ne els fruïts. Com dèiem abans, estem lluny de la identificació del coneixement informal que es produeix i encara més de poder evidenciar-ne els resultats perquè la iniciativa i la informació està en els professionals, protagonistes de l’aprenentatge autònom ,justament per obtenir resultats. La finalitat de l’aprenentatge informal està directament relacionada amb l’aplicació, perquè és davant de la pressió de la necessitat que les persones busquen i apliquen recursos.
No obstant això, tant per a la formació planificada com per a la informal, la creació d’una cultura de l’avaluació –de la demostració dels resultats- és imprescindible. D’una banda, en l’aprenentatge informal, per poder reconèixer les aportacions de les persones, el seu esperit de millora i de treball que beneficia al conjunt de l’organització i, de l’altra, perquè si s’han rebut els esforços organitzatius en forma de participació en cursos (presencials o virtuals) és obligat retornar a l’organització el fruït resultant en forma de transferència i d’impacte. Aqueta cultura d’avaluació dels resultats ajudaria als professionals i a les unitats a demostrar amb indicadors previs i posteriors els resultats del seu aprenentatge i la seva intervenció, tant sigui amb formació formal o informal.
Per què respiro aquest neguit per justificar l’existència de les àrees de formació? És la mateixa justificació que es demana als professors d’humanitats, de filosofia, d’història, de llengua (si no és l’anglesa ja que donem per descomptat que aquesta és imprescindible)? Com si segles d’història no ens haguessin ensenyat quin impacte té no saber llegir, no saber preguntar, no saber pensar, l’adoctrinament, no ser un gos mesell.
No és més important saber el què i el com ‘fem’ més bons professionals i com avaluem o valorem les competències del personal sense tenir en compte només les acreditacions tradicionals?
Tothom pot comprar un postgrau o un mestratge. L’aprenentatge, la transferència, l’impacte qüestionaran la qualitat o la validesa de l’acció formativa? O la seva qualitat o validesa només s’avaluarà per l’import que costi la formació o per l’accés restringit que s’hi tingui? Núria, tenen la mateixa validesa els teus MOOC (no en qüestiono la qualitat) que un mestratge d’una universitat molt privada de difícil accés? Depèn, de què o de qui? Estem d’acord que depèn de l’organisme que t’ho hagi de valorar, no pas de la qualitat de l’acció educativa?
Qualsevol empresa sap la importància que té la formació o la ‘deformació’ d’empresa. Les empreses ho saben. Encara recordo una sessió introductòria a un curs de benvinguda a futurs candidats a ‘reponedor de supermercado, un gran supermercado’ d’ara farà gairebé 30 anys. 30 anys! I ja en coneixien l’impacte, tot i que no sé si el mesuraven o no.
Si els directius d’un dels ens públics més grans del país, l’administració autonòmica, no reconeixen el factor humà, la importància de formar el personal i deixen aquesta formació en mans de l’atzar o de la contingència, no tinc paraules per expressar el que penso.
L’impacte? Cal avaluar l’impacte per ‘justificar’ les nostres accions formatives o cal que ens ocupem de i ens preocupem per crear productes formatius potents i necessaris per a fer-nos imprescindibles?
El dia que qualsevol ciutadà entri en una administració pública i no es trobi en algun moment algun personatge amb cara de gos, aquell dia començaré a pensar que la política formativa de la meva empresa, l’administració pública, comença a ser bona. Però el meu dubte és si aquesta gran empresa té interès per la formació del seu personal, amb avaluació o sense.
Imaginem que la formació és l’arròs del nostre meravellós Delta de l’Ebre….
L’arròs és un dels cereals amb major superfície conreada a nivell mundial i és la base de l’alimentació humana en molts països.
El conreu de l’arròs és anual, i els treballs de preparació del terreny comencen aproximadament quan s’acaba l’hivern. Es continua amb la sembra, que es realitza a la primavera, i s’acaba el cicle amb la recol•lecció, que s’efectua de setembre a octubre. Per finalitzar, s’incorporen les restes vegetals al terreny amb el fangueig.Les tasques de camp incorporen sistemes de lluita contra plagues i productes químics específics.
Aquest cicle s’assimila molt al que fem en la gestió de la formació, oi?
Al llarg de l’any planifiquem, programem, executem, avaluem i retro-alimentem els nostres plans de formació, amb la intenció de generar part de “l’aliment” que les persones de l’organització necessitaran pel seu desenvolupament laboral.
La preparació del sòl inclou l’anegament del terreny, el fanguejament per enterrar les tiges i restes de la collita,eixugat del sòl, altres labors de preparació del terreny, adobament i inundació previs a la sembra.
L’èxit o fracàs de les nostres collites, dependrà en gran mesura, d’aquesta bona planificació en la preparació del terreny, per tant hem de descriure bé els canvis i les evidències que esperem. En la sembra, haurem de preparar no només objectius, metodologia, etc, haurem de preveure la descripció acurada d’indicadors per a la propera collita: la transferència que tant esperem!.
Tot aquest treball previ ens permetrà desenvolupar les accions, la nostra sembra.
Acompanyar la sembra amb el maneig del terreny, inundant-lo, per terra o aire, escampant la llavor per les parcel•les, efectuant tractaments químics pel control de les males herbes i els fongs, serà la nostra tasca, acompanyar als docents, als alumnes, a desenvolupar les seves competències, controlant que responguin a les evidències descrites per la estratègia.
Quan el gra està madur s’ha de segar i, ja en el camp,s’inicia el procés de neteja i assecatge, o sigui, el condicionament del gra, que finalitzarà amb el processat industrial.
En aquest estadi, la formació haurà arribat al punt de collita dels productes, dels productes de la transferència que ha planificat, que no hem esperat de la providència o que plogui del cel.
Avui en dia la recol•lecció s’efectua amb equips mecànics dotats de sistemes de protecció i de millores que ajuden a que el conductor de l’equip treballi amb major comoditat i seguretat.
En aquest punt, necessitem innovar, pensar, aprofitar i millorar les nostres eines al llarg de tot el cultiu, no només al moment de la collita, per tal de desenvolupar els mecanismes que ens ajudin a recollir els millors resultats, a valorar el nostre producte i a revaloritzar-lo, i que aquest ens asseguri que l’impacte al “mercat” sigui notori, i que aquest mercat el valori entre els millors productes que es poden esperar.
Els bons resultats de la formació planificada i el seu impacte, dependran de TOT el procés del cultiu, i també dependran de la ponderació que fem dels riscos als que s’enfronta el nostre Pla de formació, preveient, com en el cas de l’arròs, els equips de protecció individual recomanats per a la manipulació de fitosanitaris i adobs o els desplaçaments per la via pública i accessos a les finques.
Se’ns presenten realitats contraposades, que hem d’aprendre a gestionar , i que no per molt diferents, hem de desaprofitar.
Per una banda l’aprenentatge informal i no planificat, que amb tanta força està entrant en els nostres cultius, no ens permetrà planificar quin serà el seu impacte, encara que a posterior, si ens ha d’interessar i molt, quin serà i que podem incorporar i reconèixer com a valor de les persones i per a l’organització. En aquest escenari es fa difícil planificar la transferència o impacte, però si podem pensar en una avaluació diferida que permeti valorar i aprofitar els resultats.
Per altra banda en l’aprenentatge planificat és on el disseny de la transferència que esperem pren protagonisme. Per a que els indicadors ens “parlin” dels resultats esperats i de l’impacte en l’organització, hem de pensar prèviament en aflorar que volem i com ho volem fer.
Entenc que el bon disseny d’evidències i indicadors, serà un gran instrument per a una bona collita d’arròs, en el nostre cultiu planificat. En la meva opinió però, la collita dels resultats no planificats, han de ensenyar-nos a extreure els bons resultats, reconeixent-los i posant-los en valor.
M’han agradat molt aquestes reflexions i us felicito per plasmar-les.
No hi ha diners però continuem pensant que quan hagi acabat la crisi tot tornarà a ser com abans. I això, pel que fa a formació ja no serà així. Ha arribat el moment de valorar més la formació informal (aprenentatge informal). Els professionals de l’Administració Pública necessitem aprendre sobre la marxa les tasques que fem cada dia i no podem esperar a que algú dissenyi un curs que es farà al cap de 8 mesos (en el millor dels casos) i al qual és molt probable que no pugui accedir per manca de places i en el cas d’accedir-hi és força probables que l’ensenyin un munt de coses que no necessiti. Per això, m’encanta la valoració dels MOC que ha fet la Núria Rovira. En el fons, ella ens ha una valuació de l’impacte que només caldrà compartir-la perquè més gent com ella pugui fer aquests MOC.
Tornat a la formació formal, al meu parer qualsevol persona que participa com alumne en una acció formativa formal hauria d’estar obligada a autoavaluar-se la transferència dels coneixements, habilitats i actitud de canvi en el seu lloc de treball…i a fer-la arribar al corresponent responsable de formació (a més de als seus superiors). De la mateixa forma, qualsevol comandament que accedeix a que una persona del seu equip participi d’una formació formal està obligat a fer una valoració del canvi observat i a fer-la arribar al responsable de formació. Com recollir això és el dubte que tinc. Fa temps que “barrunto” idees al respecte. El que tinc molt clar és que ara no fem aquesta recollida. Ni per a la formació formal ni per a la informal.
Efectivament Miquel Àngel, treballem amb fons públics i estem obligats a retre-hi comptes, per això hem d’estar preparats per explicar quin impacte tindrà qualsevol formació, en què canviarà la realitat. Però fins ara ens hem encallat en la dificultat de tenir indicadors de resultats i el dubte sobre la fiabilitat dels estudis per aïllar les altres variables que hagin pogut influir en els resultats d’una formació.
Els qüestionaris són una bona tècnica per recollir informació, Núria. Ens permeten arribar amb facilitat a moltes persones i afavoreixen la recollida de dades de forma estructurada. No obstant això, per a les dades de nivell 4 (impacte) les reunions de treball prèvies i posteriors amb els agents prescriptors de la formació ens aportaran aquesta informació de forma més directa, a banda d’ajudar-nos a crear relacions i xarxes de treball. Les unitats de formació han de créixer i afirmar-se com a unitats desenvolupadores, generadores d’oportunitats de coneixement, i per fer aquesta funció cal generar xarxes activament amb tots els agents i codissenyar amb ells l’avaluació, des de l’inici en que es rep un encàrrec de formació.
Com podem implicar els nostres interlocutors en projectes d’avaluació més ambiciosos? Què en penseu…?
Buenos días Susana, durante el día hacemos las gestiones para solucionar el problema del vídeo.
Saludos
Hola. He intentado ver un video sobre la Deteccion de necesidades formativas (en la pag. de las Jornadas de Evaluación), en concreto el de “El modelo de deteccion de necesidades del Instituto Andaluz de AAPP” a cargo de Mª del Mar Herrera y parece que no esta bien subido porque no lo identifica cuando pinchas en la flecha. ¿Serian tan amables de subirlo?. Muchas gracias.
Precisament, avui, dins el nostre equip de formació hem tingut aquest debat. Hi haurà un moment que no podrem defensar determinades propostes formatives sense fer una devolució de l’impacte en l’organització i les persones de les mateixes. Potser, com apunteu, caldria establir un mètode nou. Que s’ajudi de la mètrica però que no sigui essencial. Dades (números objectius, aïllats adequadament que ens ajudin a mesura aquesta nova realitat post formació), evidències (outputs o treballs realitzats com a conseqüència d’aplicar la formació) i testimonis directes (persones, ja siguin de l’organització o siguin usuaris dels nostres serveis, que poden verificar amb una metodologia ad hoc que efectivament, hi ha impacte).
En funció del tipus de formació, provablement tenim més elements d’un costat o d’un altre, però ben sacsejats a la coctelera del nostre impacte, en la seva justa proporció, ens podrien donar uns resultats d’allò més interessants. Ah! I de retruc, ens donaria força per proposar nous canvis vers la realitat que ens envolta.
Unes reflexions molt interessants! gràcies!
no m’havia plantejat que la formació pogués ser valorada com a luxe, i per tant prescindible…
I també em sembla molt interessant introduir la necessitat de buscar també mètodes de valoració qualitatius, ja que els quantitatius sovint sí que requereixen molt d’esforç i cost…
Personalment, en el darrer any he fet dos cursos MOOC de la Universitat d’Stanford que m’han semblat excepcionals i amb els quals he après moltíssim i amb els quals directament he canviat moltíssim la meva manera de fer. En aquesta línia, crec que potser es podrien fer qüestionaris aleatoris a alguns alumnes, un temps després, que recollissin camps tancats, tipus SI/NO, i camps oberts com: després del curs has canviat la teva manera de treballar? com? quines novetats en la teva manera de fer has introduït? o bé, quins canvis actitudinals i de mentalitat t’has observat? digues les idees o impressions clau que encara recordes del curs…, mantens relació (personal o professional) amb els companys del curs que vas tenir?, consideres que els punts de vista els companys o la relació amb ells ha suposat canvis en la teva manera de fer o enfocar els teus coneixements en aquest àmbit?.
De nou, gràcies per aquesta interessant entrada al blog!!