Desde que era estudiante en la universidad hasta gran parte de sus primeros años ejerciendo, Castel tuvo varios empleos. Hasta que en uno de esos trabajos fue asistente legal de Kevin Thomas Duffy, del Tribunal de Distrito de los Estados Unidos, para el Distrito Sur de Nueva York, de 1975 a 1977, a esa persona Castel la considera su mentora. Pero fue hasta en 2003, cuando el presidente George W. Bush nominó al juez Castel para el banco en la Corte, según recordó él mismo en su biografía.