Java se puede usar tanto para aplicaciones de escritorio (por ej. jDownloader lo usa) como para paginas web (los juegos de yahoo me acuerdo que lo usaban, no se ahora). Lo que se recomienda desinstalar, es el plugin para los exploradores, ya que es lo que mayor exposición tiene a ataques. Desconozco si el problema afecta a todo java o solo en los navegadores.. pero la mayor probabilidad de infección es a través del explorador.

En menos de 24 horas encuentran nueva vulnerabilidad crítica en Java
Oracle está pasando por momentos incómodos durante estas últimas semanas, la última actualización de Java (7 u10) contenía una grave vulnerabilidad, tanto así que los expertos en seguridad informática recomendaban desinstalar el software por completo. El 13 de enero Oracle anunció una nueva actualización que se suponía solucionaría todos los problemas pero no fue así, en tan solo 24 horas encontraron una nueva vulnerabilidad y el exploit se encuentra a la venta por $5.000 USD.
(...)
Oracle aún no da una declaración al respecto sobre la nueva vulnerabilidad en Java, ni se espera un nuevo parche, así que aún se recomienda desinstalar el software para no sufrir ningún tipo de ataque por parte de los hackers o bien, tener mucho cuidado en los sitios web que visitas. Lamentablemente para muchos usuarios será imposible omitir del uso de Java en sus navegadores y sólo queda esperar a que Oracle ponga manos a la obra y solucione todos los problemas que tienen con el software.