Что вижу, то пою

Нет у меня хорошего определения для различения этих понятий, хотя они диаметрально противоположны. Я отнюдь не про свободу в каком-то большом философском смысле, но про что-то очень приземленное, определяемое как "я хочу и имею право на". Вседозволенность (в отличие от свободы) предполагает право отобрать нечто имеющееся у другого.

Различие, похоже, находится в способности (или ее отсутствии) уважать другого, еще об этом говорят как о моральных ограничениях — но тут еще сложнее с определениями.

Если у одного человека нет внутренних морально-этических ограничителей, либо они слишком слабы, либо очень отличаются (другая культура, другой слой общества), другому для общения приходится выстраивать внешние ограничители. Об этом часто говорят, как о личностных границах.  

Единственный критерий, который у меня об этом есть — это способность договариваться. Человек, для которого понятия свобода и вседозволенность идентичны, начинает нарушать договоренности практически сразу — обычно оправдываясь и ожидая (требуя) понимания его потребностей и обстоятельств.