Імерсивний досвід, який пропонують віртуальна реальність (VR) і доповнена реальність (AR), значною мірою залежить від якості та точності візуального введення. Одним з ключових аспектів захоплення цих візуальних зображень є тип використовуваного датчика камери. Зокрема, вибір між рольставнями та глобальними затворами може значно вплинути на реалістичність і стабільність VR і AR. Розуміння того, чому глобальна технологія затвора є життєво важливою для камер VR і AR, має важливе значення як для розробників, так і для користувачів.
Розуміння Rolling Shutter проти Global Shutter
Щоб оцінити важливість глобальних віконниць, необхідно розуміти різницю між ними та їх альтернативою – рулонними воротами.
Rolling Shutter
Камери з рухомими затворами знімають зображення послідовно, скануючи сцену зверху вниз (або іноді в інших напрямках). Кожен рядок пікселів експонується в дещо інший час. Це створює затримку в процесі захоплення зображення.
- ✔️ Послідовне захоплення зображення.
- ✔️ Рядки пікселів, експонованих у різний час.
- ✔️ Може призвести до спотворення об’єктами, що швидко рухаються.
Ця послідовна зйомка може спричинити значні проблеми під час зйомки об’єктів, що швидко рухаються, або коли сама камера швидко рухається. Отримане зображення може виглядати перекошеним, деформованим або спотвореним, цей ефект широко відомий як «ефект желе».
Глобальний затвор
На відміну від цього, камера з глобальним затвором знімає все зображення одночасно. Усі пікселі експонуються одночасно, створюючи знімок сцени в один момент часу.
- ✔️ Одночасне захоплення зображення.
- ✔️ Усі пікселі експонуються одночасно.
- ✔️ Усуває спотворення, спричинені рухом.
Таке одночасне захоплення усуває артефакти спотворення, пов’язані з рольставнями. Результатом є більш точне та стабільне представлення сцени, що має вирішальне значення для додатків VR та AR.
Чому Global Shutter важливий для VR і AR
Унікальні вимоги додатків VR і AR роблять глобальну технологію затвора особливо важливою. Рухи голови користувача, взаємодія з віртуальними об’єктами та потреба в точному відстеженні – все це сприяє необхідності точного візуального введення без спотворень.
Зменшені артефакти руху
У VR і AR голова користувача постійно рухається. Цей рух може спричинити значне спотворення зображень, знятих камерами з рухомими затворами. Камери з глобальним затвором усувають цю проблему, знімаючи всю сцену одночасно, незалежно від руху.
Це зменшення артефактів руху забезпечує більш стабільний і комфортний перегляд. Віртуальний світ виглядає більш твердим і менш схильним до коливань або перекосів, що може викликати дискомфорт або навіть нудоту.
Покращена точність відстеження
Багато додатків VR і AR покладаються на точне відстеження голови та рук користувача. Це відстеження часто досягається за допомогою алгоритмів комп’ютерного зору, які аналізують зображення, зроблені камерами.
Викривлення, спричинені рухомими затворами, можуть негативно вплинути на точність цих алгоритмів відстеження. Алгоритми можуть неправильно інтерпретувати спотворені зображення, що призведе до неточного відстеження та погіршення взаємодії з користувачем. Камери з глобальним затвором забезпечують більш точне відображення сцени, що забезпечує більш надійне відстеження.
Покращений реалізм
Мета віртуальної реальності та доповненої реальності – створити захоплюючий і реалістичний досвід. Спотворення зображення може порушити ілюзію реальності, зробивши віртуальний світ штучним і непереконливим. Камери з глобальним затвором сприяють підвищенню реалістичності, забезпечуючи більш точне та природне зображення.
Відсутність спотворень дозволяє користувачам зосередитися на вмісті VR або AR, а не відволікатися на візуальні артефакти. Це створює більш привабливе та правдоподібне віртуальне середовище.
Краща продуктивність у програмах із низькою затримкою
Низька затримка є критичною для додатків VR і AR. Затримку між дією користувача та відповідною зоровою реакцією потрібно звести до мінімуму, щоб запобігти заколисування та зберегти відчуття присутності.
Послідовне захоплення камерами з рухомими затворами може створити додаткову затримку в системі. Камери з глобальним затвором завдяки їх одночасному захопленню можуть допомогти зменшити загальну затримку, сприяючи плавнішому та чутливішому користуванню.
Технічні міркування та компроміси
Хоча глобальний затвор пропонує значні переваги для VR і AR, важливо враховувати технічні проблеми та компроміси, пов’язані з цією технологією.
Вартість
Глобальні датчики жалюзі, як правило, дорожчі у виробництві, ніж датчики рольставен. Це пов’язано зі складнішими конструкціями та виробничими процесами, необхідними для досягнення одночасної експозиції пікселів.
Вища вартість може стати перешкодою для входу на ринок для деяких розробників VR і AR, особливо для тих, хто працює над проектами з обмеженим бюджетом. Однак переваги глобального затвора часто переважують вартість для додатків, де якість зображення та точність відстеження є найважливішими.
Світлочутливість
Глобальні датчики затвора зазвичай мають нижчу світлочутливість порівняно з датчиками рольставен. Це тому, що механізм глобального затвора часто включає додаткові схеми, які зменшують кількість світла, що досягає пікселів.
Низька світлочутливість може бути проблемою в умовах слабкого освітлення. Додатки віртуальної реальності та доповненої реальності, яким потрібно працювати в слабо освітлених приміщеннях, можуть вимагати додаткового освітлення або більш складних методів обробки зображень, щоб компенсувати знижену світлочутливість.
Споживана потужність
Глобальні датчики жалюзі часто споживають більше енергії, ніж датчики рольставен. Додаткова схема, необхідна для одночасної експозиції пікселів, сприяє збільшенню енергоспоживання.
Високе енергоспоживання може викликати занепокоєння для мобільних пристроїв VR і AR, де термін служби акумулятора є критичним фактором. Під час проектування мобільних систем віртуальної реальності та доповненої реальності розробникам необхідно ретельно враховувати вимоги до потужності глобальних затворних камер.
Майбутні тенденції глобальної технології затворів
Незважаючи на труднощі, глобальна технологія жалюзі постійно розвивається. Удосконалення в розробці та виробництві датчиків спрямовані на усунення обмежень вартості, світлочутливості та енергоспоживання.
Покращені конструкції датчиків
Дослідники розробляють нові конструкції датчиків, які покращують світлочутливість і зменшують енергоспоживання камер із глобальним затвором. Ці конструкції часто включають інноваційну піксельну архітектуру та вдосконалені технології виготовлення.
Оскільки технологія датчиків продовжує вдосконалюватися, глобальні затворні камери стають більш практичними та доступними для ширшого спектру програм VR та AR.
Інтеграція з алгоритмами комп’ютерного зору
Глобальні затворні камери все більше інтегруються з передовими алгоритмами комп’ютерного зору. Ці алгоритми можуть ще більше підвищити точність і надійність відстеження й обробки зображень у додатках VR і AR.
Поєднання глобальної технології затвора та складних алгоритмів комп’ютерного зору прокладає шлях до більш захоплюючого та реалістичного досвіду VR та AR.
Мініатюризація
Тривають спроби мініатюризувати глобальні затворні камери. Менші камери необхідні для легких і портативних пристроїв VR і AR.
Мініатюризація вимагає вдосконалення дизайну сенсора, технології лінз і техніки упаковки. Оскільки глобальні затворні камери стають меншими та компактнішими, їх буде легше інтегрувати в різноманітні платформи VR та AR.
