В разговорной речи фразой "разница на порядок" часто подменяют сочетание слов "порядочная разница", т.е. существенная, значительная, большая, ощутимая.

Про математический "порядок" большинство не помнит, а возможно и не знает