Розібрався!
В Debian комплект PHP + Apache - це по суті збірка, а не офіційний реліз. Програмісти, що збирали пакунок, додали коментар в /etc/apache2/apache2.conf про структуру модулів:
# It is split into several files forming the configuration hierarchy outlined
# below, all located in the /etc/apache2/ directory:
#
# /etc/apache2/
# |-- apache2.conf
# | `-- ports.conf
# |-- mods-enabled
# | |-- *.load
# | `-- *.conf
# |-- conf.d
# | `-- *
# `-- sites-enabled
# `-- *
Наскільки я зрозумів - то прописувати свої директорії треба в .conf файлах і класти їх треба в conf.d папку.
Я зайшов в цю папку і побачив там декілька файлів: apache2-doc, charset, other-vhosts-access-log, security
apache.conf, localized-error-pages, phpinfo.conf.
В apache.conf і phpinfo.conf було прописано теж саме, я думаю це сталось після виконання команди:
ln -s /etc/phpinfo/apache.conf /etc/apache2/conf.d
/phpinfo.conf
Я видалив phpinfo.conf, в якому пробував прописати посилання на /home/yaroslav/Documents/PHP
Відкрив за допомогою редактора apache.conf і додав туди наступні рядки:
# Custom Apache folder configuration
Alias /PHP /home/yaroslav/Documents/PHP
<Directory /usr/share/phpmyadmin>
Options Indexes FollowSymLinks
DirectoryIndex index.php
</Directory>
Тепер при переході в броузері на localhost/PHP підвантажується файл index.php із моєї директорії. Краса 
Дякую, funivan!
