Here is the case, i have data coming from free text input source, it is realted to the degree and education level of the users There are many typos, many crazy stuff going on in the data, there are over 10m records, the data could be anything from typos, some their industry, some have their GPA, some even their tech stack, some data coming in English, some in Spanish I want to categorize the data by adding a new column with the official degree name to each line This is sample data id;name;cluster;; 1;Licenciatura direccion y administracion de empresas, Auditing;99;; 2;Lda. en Traducción e Interpretación;99;; 3;Licence, Communication, général, Major de promo 2018 - Cambridge C1 - DELE B2 - Russe A2 (Institut Poushkine);99;; 4;Técnico en Marketing y Comercio Internacional, Negocios internacionales/Comercio internacional;99;; 5;Curso Monográfico sobre Impuesto de Sociedades., Derecho financiero y tributario;99;; 6;MÀSTER LIDERATGE I GESTIÓ CURES INFERMERIA. LINEA INVESTIGADORA., CIÈNCIES DE LA SALUT.;99;; 7;MÀSTER EN GESTIÓ I ADMINISTRACIÓ CURES INFERMERIA, CIÈNCIES DE LA SALUT;99;; 8;Grado en Interpretación Musical, Music;99;; 9;Módulo Superior Educación Infantil, Educación infantil, Notable;99;; 10;Nivel 1 Entrenador fútbol sala, Deportes y ejercicio físico;99;; 11;Formado en Ingenieria Industrial, Ingeniería industrial;99;; 12;C.E.S-I y C.E.S-II, Educación secundaria;99;; 13;Módulo Superior Educación Infantil, Early Childhood Education and Teaching, Notable;99;; 14;Nivel 1 Entrenador fútbol sala, Sports and Exercise;99;; 15;Formado en Ingenieria Industrial, Industrial Engineering;99;; 16;C.E.S-I y C.E.S-II, Secondary Education and Teaching;99;; 17;Máster profesional “Gestión y Control de la Seguridad en la Industria Alimentaria”, Seguridad alimentaria;99;; 18;Master, Sociedad de la Informacion y el Conocimiento;99;; The goal output is: id;name;cluster;category 1;Licenciatura direccion y administracion de empresas, Auditing;99;licence in business administration; 2;Lda. en Traducción e Interpretación;99;licence in translation; 3;Licence, Communication, général, Major de promo 2018 - Cambridge C1 - DELE B2 - Russe A2 (Institut Poushkine);99;Major in communication; 4;Técnico en Marketing y Comercio Internacional, Negocios internacionales/Comercio internacional;99;Degree in marketing; 5;Curso Monográfico sobre Impuesto de Sociedades., Derecho financiero y tributario;99;course in monography; 6;MÀSTER LIDERATGE I GESTIÓ CURES INFERMERIA. LINEA INVESTIGADORA., CIÈNCIES DE LA SALUT.;99;masters in leaderchip; 7;MÀSTER EN GESTIÓ I ADMINISTRACIÓ CURES INFERMERIA, CIÈNCIES DE LA SALUT;99;master in business administration; Continue reading...
