How synthetic data can enhance AR/VR and the metaverse
ディープダイビング：合成データがAR/VRとメタバースをどのように強化できるか
要約(英語):
Artificial Intelligence (AI) and machine learning (ML) are expected to be created 60% by 2024, according to Gartner. Machine learning algorithms generate synthetic data by ingesting real data to train on behavioral patterns and generate simulated fake data that retains the statistical properties of the original dataset. Notably, by 2024, 60% of the data required to create AI and analytics projects will be generated synthetically.
要約(日本語):
Gartnerによると、人工知能（AI）および機械学習（ML）は2024年までに60％作成されると予想されています。機械学習アルゴリズムは、実際のデータを摂取して行動パターンをトレーニングし、元のデータセットの統計的特性を保持するシミュレートされた偽データを生成することにより、合成データを生成します。特に、2024年までに、AIおよび分析プロジェクトの作成に必要なデータの60％が合成的に生成されます。
本文:
The metaverse has captivated our collective imagination.
メタバースは私たちの集合的な想像力を魅了しました。
The exponential development in internet-connected devices and virtual content is preparing the metaverse for general acceptance, requiring businesses to go beyond traditional approaches to create metaverse content.
インターネットに接続されたデバイスと仮想コンテンツの指数開発は、一般的な受け入れのためにメタバースを準備しており、企業は従来のアプローチを超えてメタバースコンテンツを作成することを要求しています。
However, next-generation technologies such as the metaverse, which employs artificial intelligence (AI) and machine learning (ML), rely on enormous datasets to function effectively. This reliance on large datasets brings new challenges.
ただし、人工知能（AI）や機械学習（ML）を使用するメタバースなどの次世代技術は、効果的に機能するために膨大なデータセットに依存しています。この大規模なデータセットへの依存は、新しい課題をもたらします。
Technology users have become more conscious of how their sensitive personal data is acquired, stored and used, resulting in regulations designed to prevent organizations from using personal data without explicit permission Without large amounts of accurate data, it’s impossible to train or develop AI/ML models, which severely limits metaverse development.
テクノロジーユーザーは、機密性の高い個人データがどのように獲得、保存、使用されるかをより意識化し、その結果、組織が大量の正確なデータなしで明示的な許可なしに個人データを使用するのを防ぐために設計された規制が行われ、AI/MLモデルのトレーニングまたは開発は不可能です、メタバースの発達を厳しく制限しています。
As this quandary becomes more pressing, synthetic data is gaining traction as a solution.
この困惑がより差し迫ったようになるにつれて、合成データは解決策として牽引力を獲得しています。
In fact, According to Gartner, by 2024, 60% of the data required to create AI and analytics projects will be generated synthetically.
実際、Gartnerによると、2024年までに、AIおよび分析プロジェクトの作成に必要なデータの60％が合成的に生成されます。
Machine learning algorithms generate synthetic data by ingesting real data to train on behavioral patterns and generate simulated fake data that retains the statistical properties of the original dataset.
機械学習アルゴリズムは、実際のデータを摂取して行動パターンをトレーニングし、元のデータセットの統計的特性を保持するシミュレートされた偽データを生成することにより、合成データを生成します。
Such data can replicate real-world circumstances and, unlike standard anonymized datasets, it’s not vulnerable to the same flaws as real data.
このようなデータは、実際の状況を複製でき、標準の匿名化されたデータセットとは異なり、実際のデータと同じ欠陥に対して脆弱ではありません。
As AR/VR and metaverse developments progress towards more accurate digital environments, they now require new capabilities for humans to interact seamlessly with the digital world.
AR/VRとメタバースの開発がより正確なデジタル環境に向かって進むにつれて、人間がデジタルの世界とシームレスに対話するための新しい機能が必要です。
This includes the ability to interact with virtual objects, on-device rendering optimization using accurate eye gaze estimation, realistic user avatar representation and the creation of a solid 3D digital overlay on top of the actual environment.
これには、仮想オブジェクトと対話する機能、正確な視線視線推定を使用したデバイスレンダリング最適化、現実的なユーザーアバター表現、および実際の環境の上に固体3Dデジタルオーバーレイの作成が含まれます。
ML models learn 3D objects such as meshes, morphable models, surface normals from photographs and obtaining such visual data to train these AI models is challenging.
MLモデルは、メッシュ、変形可能なモデル、写真の表面正規、およびこれらのAIモデルをトレーニングするための視覚データの取得などの3Dオブジェクトを学習します。
Training a 3D model requires a large quantity of face and full body data, including precise 3D annotation.
3Dモデルのトレーニングには、正確な3Dアノテーションを含む大量の顔と全身のデータが必要です。
The model also must be taught to perform tasks such as hand pose and mesh estimation, body pose estimation, gaze analysis, 3D environment reconstruction and codec avatar synthesis. “The metaverse will be powered by new and powerful computer vision machine learning models that can understand the 3D space around a user, capture motion accurately, understand gestures and interactions, and translate emotion, speech, and facial details to photorealistic avatars,” Yashar Behzadi, CEO and founder of Synthesis AI, told VentureBeat. “To build these, foundational models will require large amounts of data with rich 3D labels,” Behzadi said. For these reasons, the metaverse is experiencing a paradigm shift — moving away from modeling and toward a data-centric approach to development.
また、このモデルは、ハンドポーズとメッシュの推定、ボディポーズ推定、視線分析、3D環境再構築、コーデックアバター合成などのタスクを実行するように教えられる必要があります。「メタバースは、ユーザーの周りの3D空間を理解し、動きを正確にキャプチャし、ジェスチャーと相互作用を理解し、感情、スピーチ、顔の詳細をフォトリアリスティックなアバターに翻訳できる新しい強力なコンピュータービジョン機械学習モデルを搭載します」とYashar Behzadi、合成AIのCEO兼創設者はVentureBeatに語った。「これらを構築するには、基礎モデルには、豊富な3Dラベルを使用した大量のデータが必要になります」とBehzadi氏は述べています。これらの理由から、メタバースはパラダイムシフトを経験しています – モデリングから離れ、開発へのデータ中心のアプローチに移行します。
Rather than making incremental improvements to an algorithm or model, researchers can optimize a metaverse’s AI model performance much more effectively by improving the quality of the training data.
研究者は、アルゴリズムまたはモデルを漸進的に改善するのではなく、トレーニングデータの品質を改善することにより、メタバースのAIモデルパフォーマンスをより効果的に最適化できます。
“Conventional approaches to building computer vision rely on human annotators who can not provide the required labels.
「コンピュータービジョンを構築するための従来のアプローチは、必要なラベルを提供できない人間のアノテーターに依存しています。
However, synthetic data or computer-generated data that mimics reality has proven a promising new approach,” said Behzadi. Using synthetic data, companies can generate customizable data that can make projects run more efficiently as it can be easily distributed between creative teams without worrying about complying with privacy laws.
ただし、現実を模倣する合成データまたはコンピューター生成データは、有望な新しいアプローチを証明しています」とBehzadi氏は述べています。合成データを使用して、企業は、プライバシー法に準拠することを心配することなく、クリエイティブチーム間で簡単に分散できるため、プロジェクトをより効率的に実行できるようにするカスタマイズ可能なデータを生成できます。
This provides greater autonomy, enabling developers to be more efficient and focus on revenue-driving tasks. Behzadi says he believes coupling cinematic visual effects technologies with generative AI models will allow synthetic data technologies to provide vast amounts of diverse and perfectly labeled data to power the metaverse.
これにより、自律性が向上し、開発者がより効率的になり、収益運転タスクに集中できるようになります。Behzadiは、生成AIモデルを使用した映画の視覚効果技術を結合することで、合成データテクノロジーが膨大な量の多様で完全にラベル付けされたデータを提供するために、メタバースを動かすことができると考えていると言います。
To enhance user experience, hardware devices used to step into the metaverse play an equally important role.
ユーザーエクスペリエンスを強化するために、メタバースに足を踏み入れるために使用されるハードウェアデバイスは、同様に重要な役割を果たします。
However, hardware has to be supported by software that makes the transition between the real and virtual worlds seamless, and this would be impossible without computer vision. To function properly, AR/VR hardware needs to understand its position in the real world to augment users with a detailed and accurate 3D map of the virtual environment.
ただし、ハードウェアは、実際の世界と仮想世界の間の移行をシームレスにするソフトウェアによってサポートされる必要があり、これはコンピュータービジョンなしでは不可能です。適切に機能するために、AR/VRハードウェアは、仮想環境の詳細かつ正確な3Dマップでユーザーを強化するために、現実の世界でその位置を理解する必要があります。
Therefore, gaze estimation( i.e., finding out where a person is looking by the picture of their face and eyes), is a crucial problem for current AR and VR devices.
したがって、視線の推定（つまり、人が顔と目の写真のそばを見ている場所を見つける）は、現在のARデバイスとVRデバイスにとって重要な問題です。
In particular, VR depends heavily on foveated rendering, a technique in which the image in the center of a field of view is produced in high resolution and excellent detail, but the image on the periphery deteriorates progressively.
特に、VRは、視野の中心にある画像が高解像度と優れたディテールで生成されるが、周辺の画像が徐々に悪化する技術である解像度のレンダリングに大きく依存しています。
According to Richard Kerris, vice president of the Omniverse development platform at NVIDIA, synthetic data generation can act as a remedy for such cases, as it can provide visually accurate examples of use cases when interacting with objects or constructing environments for training. “Synthetic data generated with simulation expedites AR/VR application development by providing continuous development integration and testing workflows,” Kerris told VentureBeat.
NvidiaのOmniverse Development Platformの副社長であるRichard Kerrisによると、合成データ生成は、オブジェクトと相互作用したり、トレーニングのために環境を構築したりする際に、ユースケースの視覚的に正確な例を提供できるため、そのようなケースの治療薬として機能する可能性があります。「継続的な開発統合とテストワークフローを提供することにより、シミュレーションの迅速なAR/VRアプリケーション開発で生成された合成データ」とKerrisはVentureBeatに語りました。
“Furthermore, when created from the digital twin of the actual world, such data can help train AIs for various near-field sensors that are invisible to human eyes, in addition to improving the tracking accuracies of location sensors.” When entering virtual reality, one needs to be represented by an avatar for an immersive virtual social experience.
「さらに、実際の世界のデジタル双子から作成された場合、このようなデータは、ロケーションセンサーの追跡精度を改善することに加えて、人間の目に見えないさまざまな近距離場センサーのAIを訓練するのに役立ちます。」仮想現実に入るとき、没入型の仮想社会体験のためにアバターに代表される必要があります。
Future metaverse environments would need photorealistic virtual avatars that represent real people and can capture their poses.
将来のメタバース環境には、実際の人々を表し、ポーズを捉えることができるフォトリアリックな仮想アバターが必要です。
However, constructing such an avatar is a tricky computer vision problem, which is now being addressed by the use of synthetic data. Kerries explained that the biggest challenges are encountered while generating a diverse variety of avatars with high fidelity, along with accessories like clothes and hair styles, and related emotions, without compromising privacy.
ただし、そのようなアバターを構築することは、トリッキーなコンピュータービジョンの問題であり、現在では合成データの使用によって対処されています。Kerriesは、プライバシーを損なうことなく、衣服や髪型、関連する感情などのアクセサリーとともに、高い忠実度を持つ多様なさまざまなアバターを生成しながら、最大の課題に遭遇すると説明しました。
“Procedural generation of diverse digital human characters at a large scale can create endlessly different human poses and animate characters for specific use cases.
「大規模な多様なデジタル人間のキャラクターの手続き上の生成は、特定のユースケースのために無限に異なる人間のポーズを作成し、アニメーションキャラクターを作成できます。
Procedural generation by using synthetic data helps address these many styles of avatars,”Kerries said. For estimating the position of 3D objects and their material properties in digital worlds such as the metaverse, light must interact with the object and its environment to generate an effect similar to the real world.
合成データを使用することによる手続き上の生成は、これらの多くのスタイルのアバターに対処するのに役立ちます」とKerries氏は述べています。3Dオブジェクトの位置とメタバースなどのデジタルワールドにおけるその材料特性を推定するには、光がオブジェクトとその環境と相互作用して、現実世界と同様の効果を生成する必要があります。
Therefore, AI-based computer vision models for the metaverse require understanding the object’s surfaces to render them accurately within the 3D environment.
したがって、メタバース向けのAIベースのコンピュータービジョンモデルは、3D環境内でそれらを正確にレンダリングするためにオブジェクトの表面を理解する必要があります。
According to Swapnil Srivastava, global head of data and analytics at Evalueserve, by using synthetic data, AI models could predict and make more realistic tracking based on body types, lighting/illumination, backgrounds and environments among others.
Swapnil Srivastavaによると、Evalueserveのデータと分析のグローバルヘッドによると、合成データを使用することにより、AIモデルは、身体の種類、照明/照明、背景、環境に基づいて、より現実的な追跡を予測し、より現実的な追跡を行うことができます。
“Metaverse/omniverse or similar ecosystems will depend highly on photorealistic expressive and behavioral humans, now achievable with synthetic data.
「メタバース/オムニバルまたは同様の生態系は、光線上の表現力豊かで行動的な人間に大きく依存しており、現在は合成データで達成可能です。
It is humanly impossible to annotate 2D and 3D images at a pixel-perfect scale.
ピクセル完璧なスケールで2Dおよび3D画像に注釈を付けることは人間的に不可能です。
With synthetic data, this technological and physical barrier is bridged, allowing for accurate annotation, diversity, and customization while ensuring realism,” Srivastava told VentureBeat. Gesture recognition is another primary mechanism for interacting with virtual worlds.
合成データを使用すると、この技術的および物理的な障壁が橋渡しされており、リアリズムを確保しながら正確な注釈、多様性、カスタマイズが可能になります」とSrivastavaはVentureBeatに語りました。ジェスチャー認識は、仮想世界と相互作用するためのもう1つの主要なメカニズムです。
However, building models for accurate hand tracking is intricate, given the complexity of the hands and the need for 3D positional tracking.
ただし、手の複雑さと3D位置追跡の必要性を考えると、正確なハンドトラッキングのためのモデルの構築は複雑です。
Further complicating the task is the need to capture data that accurately represents the diversity of users, from skin tone to the presence of rings, watches, shirt sleeves and more. Behzadi says that the industry is now using synthetic data to train hand-tracking systems to overcome such challenges.
タスクをさらに複雑にすることは、肌のトーンからリング、時計、シャツの袖などの存在まで、ユーザーの多様性を正確に表すデータをキャプチャする必要性です。Behzadi氏によると、業界は現在、合成データを使用して、そのような課題を克服するためにハンドトラッキングシステムを訓練しています。
“By leveraging 3D parametric hand models, companies can create vast amounts of accurately 3D labeled data across demographics, confounds, camera viewpoints and environments,” Behzadi said. “Data can then be produced across environments and camera positions/types for unprecedented diversity since the data generated has no underlying privacy concerns.
「3Dパラメトリックハンドモデルを活用することにより、企業は、人口統計、交絡、カメラの視点、環境全体に膨大な量の3Dラベル付きデータを作成できます」とBehzadi氏は言います。「データは、生成されたデータには根底にあるプライバシーの懸念がないため、前例のない多様性のために環境とカメラの位置/タイプで生成できます。
This level of detail is orders of magnitude greater than what can be provided by humans and is enabling a greater level of realism to power the metaverse,” he added.
このレベルの詳細は、人間が提供できるものよりも桁違いに大きく、より大きなレベルのリアリズムをメタバースに駆り立てることを可能にしています」と彼は付け加えました。
Srivastava said that compared to the current process, the metaverse will collect more personal data like facial features, body gestures, health, financial, social preference, and biometrics, among many others. “Protecting these personal data points should be the highest priority.
Srivastava氏によると、現在のプロセスと比較して、メタバースは、顔の特徴、身体のジェスチャー、健康、財務、社会的好み、生体認証など、より多くの個人データを収集すると述べました。「これらの個人的なデータポイントを保護することが最優先事項でなければなりません。
Organizations need effective data governance and security policies, as well as a consent governance process.
組織には、効果的なデータガバナンスとセキュリティポリシー、および同意ガバナンスプロセスが必要です。
Ensuring ethics in AI would be very important to scaling effectiveness in the metaverse while creating responsible data for training, storing, and deploying models in production,” he said. Similarly, Behzadi said that synthetic data technologies will allow building more inclusive models in privacy-compliant and ethical ways.
AIの倫理を確保することは、メタバースの有効性をスケーリングしながら、モデルのトレーニング、保存、展開の責任あるデータを作成するために非常に重要です」と彼は言いました。同様に、Behzadiは、合成データテクノロジーにより、プライバシーに準拠した倫理的な方法でより包括的なモデルを構築できるようになると述べました。
However, because the concept is new, broad adoption will require education. “The metaverse is a broad and evolving term, but I think we can expect new and deeply immersive experiences — whether it’s for social interactions, reimaging consumer and shopping experiences, new types of media, or applications we have yet to imagine.
ただし、概念は新しいため、広範な採用には教育が必要です。「メタバースは広範で進化する用語ですが、社会的相互作用、消費者とショッピングの経験、新しいタイプのメディア、またはまだ想像していないアプリケーションなど、新しい深く没入感のある体験を期待できると思います。
New initiatives like OpenSynthetics.com are a step in the right direction to help build a community of researchers and industrial partners to advance the technology,” said Behzadi. Creating simulation-ready data sets is challenging for companies wanting to use synthetic data generation to build and operate virtual worlds in the metaverse.
OpenSynthetics.comのような新しいイニシアチブは、技術を進めるための研究者と産業パートナーのコミュニティを構築するための正しい方向への一歩です」とBehzadiは述べています。シミュレーション対応のデータセットの作成は、合成データ生成を使用して、メタバースで仮想世界を構築および運用したい企業にとって困難です。
Kerris says that off-the-shelf 3D assets aren’t enough to implement accurate training paradigms. “These data sets must have the information and characteristics that make them useful.
Kerrisは、既製の3Dアセットでは、正確なトレーニングパラダイムを実装するのに十分ではないと言います。「これらのデータセットには、有用な情報と特性が必要です。
For example, weight, friction and other factors must be included in the asset for them to be useful in training,” Kerris said.
たとえば、体重、摩擦、その他の要因は、トレーニングに役立つように資産に含める必要があります」とケリスは言いました。
“We can expect an increased set of sim-ready libraries from companies, which will help accelerate the use cases for synthetic data generation in metaverse applications, for industrial use cases like robotics and digital twins.” GamesBeat’s creed when covering the game industry is “where passion meets business.” What does this mean?
「企業からのSIM対応ライブラリのセットが増加することを期待できます。これは、ロボット工学やデジタル双子などの産業用ユースケースの合成データ生成のユースケースを加速するのに役立ちます。」ゲーム業界をカバーするときのGamesbeat’s Creedは、「情熱がビジネスに出会う場所」です。これは何を意味するのでしょうか？
We want to tell you how the news matters to you — not just as a decision-maker at a game studio, but also as a fan of games.
ゲームスタジオの意思決定者としてだけでなく、ゲームのファンとしても、ニュースがあなたにとってどのように重要であるかをお伝えしたいと思います。
Whether you read our articles, listen to our podcasts, or watch our videos, GamesBeat will help you learn about the industry and enjoy engaging with it.
私たちの記事を読んだり、ポッドキャストを聴いたり、ビデオを見たりしても、GamesBeatは業界について学び、それに取り組むのに役立ちます。
元記事
https://venturebeat.com/ai/deep-dive-how-synthetic-data-can-enhance-ar-vr-and-the-metaverse/
