Instagram simplemente no admite vídeos full HD (1080p) - por lo que ese nivel de calidad está fuera de toda duda.
Si subes un vídeo a Instagram con una tasa de bits o resolución demasiado alta, Instagram simplemente lo recodificará y hará un trabajo de mierda.
Por lo que sé, los límites para el vídeo de Instagram son: 720p @ 29,97 o 30 fps con un bitrate de 3,5 Mbps (h264) con audio mono de 44,1 kHz (aunque no estoy seguro de que sea tan estricto con que sea mono). En iMovie, tienes que ir a Archivo > Compartir > Archivo... y en el diálogo seleccionar: Resolución = 720p, Calidad = Personalizada, ajustar el control deslizante a < 3,5 y Comprimir = Mejor calidad. iMovie no permite cambiar la velocidad de fotogramas del vídeo, así que el vídeo de origen debe ser también de 29,97 o 30 fps. También hay un límite de 60 segundos y 15 MB.
El Compressor de Apple se puede configurar con un preajuste para obtener los mejores resultados posibles para las subidas a Instagram, pero cuesta 50 dólares.
Una alternativa freeware para Compressor (para este propósito) podría ser Handbrake o la "navaja suiza" de la codificación de vídeo, FFmpeg.