Sí, desde luego que puede ser la batería, y más aún por los síntomas que comentas. Prueba como te digo a arrancar el coche con las pinzas y la batería de otro coche. Y ya para asegurarte que carga el alternador, cuando arranques mide con un polímetro la tensión en los bornes de la batería, tendrás entre 13,5-14v.
Un saludo.
Edito para preguntarte.. ¿a qué testigo de la batería te refieres?, ¿al pequeño "ojo de buey" que tiene y te marca el estado con color?