Вчені змусили нейромережу «розселфити» селфі

Міжнародна команда вчених з Льовенського католицького університету (Бельгія) і Мерілендського університету (США) розробила алгоритм Unselfie, який здатний перетворювати селфі на «звичайну» портретну фотографію.

Фронтальні камери смартфонів дозволяють робити відносно якісні фотографії, проте в разі селфі композиція кадру все одно виходить порушеною. Такі знімки виглядають менш природно, ніж звичайні портрети - зазвичай на них видно витягнуту руку або обидві руки, а також використовується специфічний ракурс, що спотворює фон. Звичайно, селфі можна кадрувати, прибравши з кадру руки, або виправити композицію у фоторедакторі, проте вчені вирішили надати це комп'ютерному алгоритму.

За основу нової нейромережі було взято алгоритм DensePose, який автоматично визначає позу людини на знімку і потім порівнює її з іншими позами в базі даних. За допомогою методу k-найближчих сусідів алгоритм знаходить природну позу, найбільш схожу на початкову за верхньою частиною торсу, домальовує її і вставляє назад у кадр. Для навчання нейромережі дослідники зібрали набір з 23 000 портретних фотографій і 4600 селфі.

Після навчання першої частини системи, що підбирає необхідну позу, силует тіла на зображенні домальовується попіксельно на основі оригінального селфі. Отримані зображення потім порівняли з двома іншими існуючими методами, заснованими на «кругових» генеративно-змагальних нейромережах CycleGAN. Для цього отримані зображення показували 20 добровольцям і просили їх оцінити, наскільки натурально вони виглядають.

Порівняно з іншими способами добровольці вибирали новий метод відновлення портретів у 79-82% випадків залежно від методу. Тим не менш, у алгоритму все ж є деякі обмеження: він не завжди може підібрати схожу позу і в таких випадках плечі або руки на портреті виходять неприродно вузькими. Втім, за словами дослідників, таке відбувається лише приблизно в 10% випадків.