Simple código vanilla js para detectar si estamos scrolleando hacia arriba o hacia abajo usando el método addEventListener para detectar el scroll y getBoundingClientRect para conocer la posición.

var scrollPos = 0;
window.addEventListener('scroll', function(){
  if ((document.body.getBoundingClientRect()).top > scrollPos)
		// ARRIBA
	else
		// ABAJO
	scrollPos = (document.body.getBoundingClientRect()).top;
});

Una demo:

Agradezco tu comentario 🤘