Chelsea también necesitó tiempo extra y drama tardío para derrotar 2-1 a sus rivales de la liga inferior y llegar a los octavos de final después de que Plymouth fallara un penal tardío en Stamford Bridge.
Kidderminster, de sexta división, se encuentra 113 lugares por debajo de los hombres de David Moyes, que luchan por un lugar en la Liga de Campeones de la próxima temporada.
Pero la fragilidad del equipo de los Hammers sin Rice y Michail Antonio quedó expuesta, ya que los Harriers tuvieron un buen valor por la ventaja que les dio el gol tempranero de Alex Penny durante gran parte de los 90 minutos.
El defensor se estrelló contra un desprotegido después de que los Hammers fallaran en lidiar con el tiro libre de Omari Sterling.
Moyes envió a Rice en el medio tiempo entre cinco cambios durante la segunda mitad, pero el equipo local parecía listo para aguantar hasta que el centrocampista inglés tomó el asunto en sus propias manos.
Rice cargó hacia adelante desde el medio campo en el primer minuto del tiempo de descuento, cortó por dentro y disparó el balón alto en el techo de la red.
Incluso entonces, los visitantes trabajaron durante 30 minutos de tiempo extra hasta que golpearon en el tiempo de descuento una vez más para evitar el riesgo de una tanda de penaltis.
Jarrod Bowen se quedó con la simple tarea de tocar en casa desde corta distancia después de que el arquero de Kidderminster, Luke Simpson, negara a Aaron Cresswell desde quemarropa.
El Chelsea no contó con el entrenador Thomas Tuchel, quien dio positivo por coronavirus.
Y una alineación repleta de estrellas de Blues les hizo la vida difícil antes de viajar a la Copa Mundial de Clubes en Abu Dhabi.
Macaulay Gillesphey asintió con la cabeza al equipo de League One en la delantera después de solo ocho minutos.
El gol de Plymouth tuvo una vida encantada cuando Mateo Kovacic y Callum Hudson-Odoi golpearon el larguero antes de que el ingenioso remate de César Azpilicueta empatara justo antes del medio tiempo.
La esperada embestida del Chelsea en la segunda mitad no se materializó y tuvo que esperar hasta el tiempo de descuento al final de la primera parte de la prórroga para ponerse por delante cuando Marcos Alonso remató a puerta un centro de Kai Havertz.
Sin embargo, el drama no terminó allí, ya que Plymouth recibió un penalti con segundos para el final de la prórroga.
Kepa Arrizabalaga ha sido contratado en el pasado por Tuchel para la tanda de penaltis como especialista en penales y el español se aseguró de que no hubiera tanda de penales cuando paró el penalti de Ryan Hardie.
kca/ea
