Je viens à peine de découvrir ce site très intéressant:
http://enacit1.epfl.ch/cours_matlab/
On y trouve un cours Matlab – Octave en français très bien fait, et de la doc pour installer et faire fonctionner Octave (y compris sous Windows via Cygwin).