【海外ITニュース速報】適切なNLPソリューションを選択する方法

1. How to choose the right NLP solution
2. 要約(英語):
3. 要約(日本語):
4. 本文:

How to choose the right NLP solution

適切なNLPソリューションを選択する方法

要約(英語):

Natural language processing (NLP) is predicted to be the most important technology trend of the next five years, according to Khosla Ventures. The company estimates that to build mature AI capabilities, a company needs to employ at least 500 to 600 full-time AI employees. “Build your own” strategy allows companies to construct custom ML models on their data. This strategy minimizes security risks because companies don’t have to share data with external vendors to label or process

要約(日本語):

Khosla Venturesによると、Natural Language Processing（NLP）は、今後5年間で最も重要な技術傾向であると予測されています。同社は、成熟したAI機能を構築するために、企業は少なくとも500〜600人のフルタイムAI従業員を雇用する必要があると推定しています。「独自の構築」戦略により、企業はデータにカスタムMLモデルを構築できます。この戦略は、企業が外部ベンダーとデータを共有してラベル付けまたは処理する必要がないため、セキュリティリスクを最小限に抑えます。

本文:

For decades, enterprises have jury-rigged software designed for structured data when trying to solve unstructured, text-based data problems.

何十年もの間、企業は、非構造化されたテキストベースのデータの問題を解決しようとする際に、構造化データ用に設計されたju審員のソフトウェアを持っています。

Although these solutions performed poorly, there was nothing else.

これらのソリューションはパフォーマンスが低くなりましたが、他に何もありませんでした。

Recently, though, machine learning (ML) has improved significantly at understanding natural language.

しかし、最近、機械学習（ML）は自然言語の理解により大幅に改善されました。

Unsurprisingly, Silicon Valley is in a mad dash to build market-leading offerings for this new opportunity.

当然のことながら、シリコンバレーは、この新しい機会のために市場をリードする製品を構築するために狂ったダッシュになっています。

Khosla Ventures thinks natural language processing (NLP) is the most important technology trend of the next five years.

Khosla Venturesは、Natural Language Processing（NLP）が今後5年間で最も重要な技術傾向であると考えています。

If the 2000s were about becoming a big data-enabled enterprise, and the 2010s were about becoming a data science-enabled enterprise — then the 2020s are about becoming a natural language-enabled enterprise.

2000年代がビッグデータ対応の企業になり、2010年代がデータサイエンス対応の企業になることについてであった場合、2020年代は自然言語対応の企業になることです。

To fast-track its transformation to such an enterprise, an organization must establish a viable strategy that aligns with its business objectives and generates business impact.

そのような企業への変革を迅速に追跡するために、組織はビジネス目標と一致し、ビジネスの影響を生み出す実行可能な戦略を確立する必要があります。

While it may sound like a complex decision that requires an expensive management consulting firm, it’s not.

高価な管理コンサルティング会社を必要とする複雑な決定のように聞こえるかもしれませんが、そうではありません。

It starts with how you answer two questions: First, who employs the data scientists and machine learning engineers (MLEs)?

それは、2つの質問にどのように答えるかから始まります。まず、データサイエンティストと機械学習エンジニア（MLE）を採用するのは誰ですか？

Second, who builds and operates the underlying ML stack that houses the relevant models and tools?

第二に、関連するモデルとツールを収容する基礎となるMLスタックを構築および操作するのは誰ですか？

A “build your own” strategy allows companies to construct custom ML models on their data.

「独自の構築」戦略により、企業はデータにカスタムMLモデルを構築できます。

It also minimizes security risks because companies don’t have to share data with external vendors to label or process.

また、企業はラベルまたは処理するために外部ベンダーとデータを共有する必要がないため、セキュリティリスクを最小限に抑えます。

If you can pull it off and afford it, “build your own” leads to substantial competitive advantages because you now have a world-class artificial intelligence (AI) team, amplifying productivity in every aspect of the business.

あなたがそれを引き出してそれを買う余裕があるならば、「あなた自身の構築」は、あなたが現在世界クラスの人工知能（AI）チームを持っているので、かなりの競争上の利点につながり、ビジネスのあらゆる面で生産性を増幅します。

However, this strategy is by far the most expensive.

ただし、この戦略は断然最も高価です。

Building and operating an ML stack is complicated and requires specialized expertise.

MLスタックの構築と操作は複雑であり、専門的な専門知識が必要です。

KPMG estimates that to build mature AI capabilities, a company needs to employ at least 500 to 600 full-time AI employees The “low-code ML platform and pre-trained models” strategy reduces the cost of building mature AI capabilities because the vendor handles the majority of the development and operation of the ML stack.

KPMGは、成熟したAI機能を構築するために、企業は少なくとも500〜600のフルタイムAI従業員を雇用する必要があると推定しています。MLスタックの開発と動作の大部分。

Instead of spending more than $100 million per year, organizations can likely reduce that to $25 million to $50 million annually.

年間1億ドル以上を費やす代わりに、組織はそれを年間2,500万ドルから5,000万ドルに減らすことができます。

This strategy also still allows companies to build custom ML and NLP models.

また、この戦略により、企業はカスタムMLおよびNLPモデルを構築することもできます。

Though, like the previous strategy, there is no guarantee of success because it does not eliminate one of the most complex parts of the full AI process.

ただし、以前の戦略と同様に、完全なAIプロセスの最も複雑な部分の1つを排除しないため、成功の保証はありません。

That is — the handoff of models from the AI team to the business team to actually implement them into production and derive business value.

つまり、AIチームからビジネスチームへのモデルのハンドオフで、実際に生産に実装し、ビジネス価値を導き出します。

An application programming interface (API) strategy minimizes the hand-off problem, increasing the probability of success in productionizing AI.

アプリケーションプログラミングインターフェイス（API）戦略により、ハンドオフの問題が最小限に抑えられ、AIの生産に成功する確率が向上します。

ML models can be seamlessly integrated into applications because the vendor abstracts the complexity of creating and training these models, and guides the users into the best way of using them.

ベンダーはこれらのモデルを作成およびトレーニングする複雑さを抽象化し、ユーザーを使用する最良の方法に導くため、MLモデルをアプリケーションにシームレスに統合できます。

It also reduces the cost of achieving the benefits of NLP since the vendor employs the data scientists and MLEs, and builds and operates the ML stack.

また、ベンダーがデータサイエンティストとMLEを採用し、MLスタックを構築および操作するため、NLPの利点を達成するコストを削減します。

Models that are accessible via APIs are built on public datasets and must still be trained and tuned to work on domain and company-specific data.

APIを介してアクセス可能なモデルは、パブリックデータセットに基づいて構築されており、ドメインおよび企業固有のデータで動作するようにトレーニングおよび調整する必要があります。

However, if the vendor has implemented the tool properly, this work can be done directly by domain experts without technical skills.

ただし、ベンダーがツールを適切に実装している場合、この作業は、技術的なスキルなしでドメインの専門家が直接実行できます。

Unfortunately, most vendors have not solved this problem, so there is limited feasibility of re-training their large language models to work on customer data without hiring a full staff of MLEs and data scientists to train and maintain over time; it either works or it doesn’t.

残念ながら、ほとんどのベンダーはこの問題を解決していないため、MLEとデータサイエンティストの完全なスタッフを雇用することなく、顧客データに取り組むために大規模な言語モデルを再訓練することの実現可能性は限られています。動作するかそうでないかのどちらかです。

For most enterprises, the best approach to leveraging NLP and becoming a natural language-enabled enterprise would be a strategy that includes APIs.

ほとんどの企業にとって、NLPを活用し、自然言語対応の企業になるための最良のアプローチは、APIを含む戦略です。

That is — provided that the vendor has enabled the capability for the customer to easily tune and optimize its general-purpose model so it can work on customer data.

つまり、ベンダーが顧客が汎用モデルを簡単に調整して最適化して、顧客データに取り組むことができるようになった場合です。

This would save enterprises tens of millions of dollars every year and accelerate time-to-value.

これにより、企業は毎年数千万ドルを節約し、時間の時間を加速します。

To the extent that the use case calls for a model that can’t be accessed via API and easily tuned, then the next best strategy for most enterprises is the “low-code ML platform and pre-trained models” strategy.

ユースケースがAPIを介してアクセスできず、簡単に調整できないモデルを必要とする限り、ほとんどの企業にとって次に最適な戦略は「低コードMLプラットフォームおよび事前訓練されたモデル」戦略です。

While the build-your-own strategy is the least practical strategy for most enterprises, there are, of course, a few companies for which this is the best path to action.

構築された戦略は、ほとんどの企業にとって最も実用的な戦略ではありませんが、もちろん、これが行動への最良の道であるいくつかの企業があります。

After all, according to Gartner: “Enterprises sit on unexploited unstructured data, with opportunities to extract differentiating insights.

結局のところ、Gartnerによれば、「企業は、差別化された洞察を抽出する機会を持つ、非公開の非構造化データに座っています。

Data and analytics technical professionals must uncover such insights by applying natural language technology solutions: intelligent document processing, conversational AI and insight engines.” Ryan Welsh is the founder and CEO of Kyndi.

データと分析の技術専門家は、自然言語技術ソリューションを適用することにより、そのような洞察を明らかにする必要があります。ライアンウェールズは、Kyndiの創設者兼CEOです。