Pienamente dedito alla provocazione sociopolitica e alla masturbazione intellettuale, Rice ha interpretato cantautori fascisti e star dell'easy listening. Indossando i panni del cantautore, Rice registrò Hatesville (Hierarchy, 1995), una sorta di concept suonato in stile cocktail-lounge. Sul fronte sperimentale, The Way I Feel (Caciocavallo) raccoglie diverse collaborazioni.

Scorpion Wind è una collaborazione con Douglas P e l'atmosferico/apocalittico Heaven Sent (Ner, 1996) potrebbe essere il suo miglior album di sempre. Crescendo, Rice ha trovato la sua vera voce nella... sua voce. Rice, un compositore mediocre, è un cantante potente e persino un attore, un interprete a tutti gli effetti, che può ipnotizzare il pubblico con la sua interpretazione fanatica.
God And Beast (Mute, 1997) è una brutale sinfonia alla Foetus, che continua a migliorare il repertorio di Non.

Ulteriori provocazioni arrivarono con Might (Mute, 1995), costruito attorno a testi neofascisti. D'altra parte, Receive The Flame (Mute, 2000) è un miscuglio eclettico (cioè confuso) di tecniche d'avanguardia.
Wolf Pact (Neroz, 2001) è una collaborazione con Douglas Pearce dei Death In June, una continuazione ideale di Music, Martinis and Misanthropy.

Children of the Black Sun (Mute, 2002), ispirato ai testi degli antichi gnostici greci, gareggia con God And Beast per il titolo di opera più compiuta di Non: un vero e proprio concerto per massicci bordoni (prodotti da trombe, violini, arpe, chitarre) che ricrea lo spirito della mitica ricerca dell'autorealizzazione e dell'unione con Dio.

Terra Incognita: Ambient Works 1975 - Present (Mute, 2004) è un'antologia di alcuni dei suoi lavori migliori.

Baptism By Fire (Neroz, 2005) documenta delle performance dal vivo.