Исследователи Google показали технологию превращения изображений из интернета в объёмные 3D-сцены Статьи редакции
Для этого достаточно снимков одного объекта с разных ракурсов.
В Google показали технологию NeRF-W, которая позволяет создавать объёмные 3D-сцены разных мест по всему миру на основе случайных фотографий из сети. Инструмент исследователей сам «очищает» изображения от прохожих и выравнивает их по экспозиции, цвету и тону.
С помощью технологии авторы воссоздали в объёме Бранденбургские ворота в Берлине, базилику Сакре-Кёр в Париже и Фонтан Треви в Риме. Для этого они использовали только фотографии с сайтов вроде Flickr. В результате у исследователей получились детальные 3D-рендеры локаций с возможностью выбрать точку обзора вручную и изменить освещение в сцене.
NeRF-W основана на NeRF — первоначальной работе исследователей, которая позволяла делать то же самое, но работала нормально только в строго заданных контрольных условиях. Технология строит карты глубины резкости с помощью нейросетей, а потом синтезирует объёмную сцену с помощью прямого 3D-рендеринга
Сама по себе NeRF не могла работать со случайными изображениями из сети: у системы возникали проблемы из-за разных показателей света, экспозиции и пост-обработки. Кроме того, на снимках зачастую находились машины или люди, и это мешало созданию объёмной модели: на ней могли появиться «призраки», пересветы, смазанные объекты и другие артефакты.
В NeRF-W исследователи дополнили технологию, снизив её зависимость от «статичности» мира. Для корректного освещения и пост-обработки авторы использовали низкополигональную проекцию: это не только позволило моделировать освещение для конкретной фотографии, но ещё и «переосветить» сцену с новых углов.
Для решения проблемы с объектами, которые могли попасть в часть кадров, в технологию добавили возможность построения вторичной карты глубины, которая отделяет случайные объекты от нужных. После этого «неопределённые» части изображения очищаются.
Бля, это же охуенно просто. Скорее бы эта тулза вышла в массы. Она позволит экономить тысячи часов в геймдеве. Не нужно будет делать сотни фоток и потом в максе часами скурпулёзно восстанавливать по фото модель. Сделал пару фоток с разных ракурсов в высоком разрешении, прогнал алгоритмом, поправил косяки топологии, если есть, оптимизировал модель и вуаля. А в связке с фичей UE 5, которая позволяет грузить модели в хай-поли и сама их оптимизирует - от открывающихся возможностей просто дух захватывает. Вот реально. Если всё это будет работать, как заявляется, то цикл разработки игр можно будет сократить с 3-5 лет до 1-2
а) уже вполне развиты 3d-сканеры
б) нарисовано уже дохуища объектов
в) интересно и впечатляет то, чего нет в реальности
г(лавное) суть игр не в том, что кто-то сделал крутые 3д-модели и все охуели
а) фонтан треви в сканер не засунешь
б) требования к качеству отрисовки постоянно растут
б-2) права на 3д объекты бесплатно не передаются
б-3) единой базы 3д объектов подобного уровня детализации не припомню
в) кому как
г) согласен, но речь не об этом
д) появляются новые объекты, а старые меняются
а — есть архитектурные сканеры.
Комментарий недоступен
Только хотел написать.
Это же фотограмметрия. Агитсофт фотоскан такое тоже делает, например. Делаешь сетку полётов, облетаешь территорию на дроне, закидываешь в прогу - вуаля. 3д карта местности / дома.
В Nerf-W важно то, что они делают карту объекта без gps-данных и т.п., причём с изменяющимися условиями освещения.
Вопрос в том, сколько им входных данных надо и сколько обработка идёт
Комментарий недоступен
Сейчас 3д по снимкам даже телефон может сделать. Но 3д сканнеры никуда не делись, т.к. качество несопоставимое.
Совпадение точек тебе позволяет склеить панорамы и подобные изображения, если знать особенность линз, на которые делался снимок. Иначе будут очень серьёзные искажения.
"покрытие фотками с бОльшим перекрытием" - миф. При съёмках фотограмметрии большое перекрытие даёт больше ошибок, чем перекрытие в 15-20%.
На видео доступно показано качество получаемого видео, где там "половина отсебятины дорисовано"?
Комментарий недоступен
Я делал фотограмметрию. у агитсофта довольно слабые результаты при перекрытии в 50%
3д делает самсунг и сонька, у них встроенное по для этого есть
Комментарий недоступен
А, ну в телефонах не фотограмметрия, да. я такого не говорил.
А с агитсофтом - ну, значит, у меня руки кривые
Комментарий недоступен
У них не было бесплатной версии, когда я смотрел
Комментарий недоступен
Понятно
Нужна ли чистая фотограмметрия или нет - это вопрос использования конечного продукта.
Вспомни что такое Next Gen в 2021, а теперь забудь про то что написал
Точно такие же мысли.
Это классно, если таким образом можно будет воссоздать старинные города. Очень много снимков начала 20-ого века с прекраснейшей, но утраченной архитектурой.
Всё-таки, недостаточно.
Сначала нужна нейронка, которая автоматически найдёт эти снимки, потом другая, которая автоматически ретуширует их. Третья раскрасит. Четвёртая сделает красивые видосики.
Пятая прокромментирует сюда, что "это уже 30 лет как каждый школьник делает"
Какие ещё блять исследователи гугл, вы видели че там в Беларуси творится
Комментарий недоступен
Я здоров
Комментарий недоступен
Если они научились собирать сцену из рандомных обработанных фоточек без exif, тогда да, это прорыв, а если нет, то это очередная инкарнация structure from motion
Ого, не Беларусские новости
нет времени сейчас это читать