En un partido arduamente disputado, el intento de Gabriel de bloquear un disparo de Kyle Walker-Peters resultó fatal para Arsenal.
El disparo de Walker-Peters aparentemente iba a salir desviado antes de que el intento fallido de Gabriel enviara el balón al poste y a la red.
LEA: Atalanta humilla a Milan en la Seria A italiana
Arsenal tenía su arco invicto tras cinco partidos consecutivos desde el 26 de diciembre.
En la quinta ronda, Southampton visitará a Wolverhampton, que el viernes derrotó a Chorley, de la sexta división.
Cheltenham, de la cuarta división, estuvo a punto de provocar una de las mayores sorpresas en los 150 años de historia de la copa, hasta que el equipo de Pep Guardiola anotó tres goles sobre el final.
Un pase largo de Ben Tozer provocó confusión en la defensa de City que Alfie May aprovechó para enviar el balón al fondo de la red.
+FICHAJES: El posible sustituto de Zidane en el Madrid, el Barça por cerrar a un crack; las principales novedades del mercado invernal
El empate llegó recién a los 81 con una anotación de Phil Foden. Gabriel Jesus aumentó tres minutos después para evitar el tiempo adicional y Ferrán Torres anotó el tercero para City, que enfrentará a Swansea en la quinta ronda.
En otros resultados, Brighton venció a Blackpool (3ra división) 2-1, West Ham goleó a Doncaster 4-0 y Sheffield se impuso a Plymouth 2-1.