Но только при условии, если сам проверяемый гражданин пустит их в свою квартиру.

Дело в том, что порядок проведения выездных налоговых проверок, установленный статьей 89 НК, распространяется, в том числе и на физических лиц, не являющихся ИП. Так, решение о проведении выездной проверки физлица выносится инспекцией по месту жительства этого «физика», причем проверка может проводиться по одному или нескольким налогам. При этом сотрудники инспекции не вправе проводить проверку в жилых помещениях против или помимо воли проживающих в них физлиц (за исключением отдельных случаев, например, на основании судебного решения).

Если гражданин не хочет пускать к себе в дом сотрудников инспекции, выездная проверка будет проводиться по месту нахождения налоговой инспекции (Информация ФНС).

Источник: Письмо Минфина от 31.08.17 № 03-02-08/55972