인앱 채팅이 포함된 모든 애플리케이션에는 사용자가 주고받을 수 있는 메시지를 규제하고 중재할 수 있는 방법이 필요합니다. 인간 중재자가 모든 부적절한 콘텐츠를 중재하는 것은 불가능하므로 중재 시스템은 자동으로 작동해야 합니다. 사용자가 종종 중재를 회피하려고 시도하기 때문에 머신러닝, 생성 AI, 대규모 언어 모델(LLM)[및 GPT-3, GPT-4 등의 GPT 모델]은 콘텐츠를 중재하는 데 널리 사용되는 방법입니다.

모더레이션은 복잡한 주제이며, PubNub은 개발자의 모든 사용 사례를 충족할 수 있는 다양한 솔루션을 제공합니다.

PubNub 함수는 메시지가 목적지에 도달하기 전에 메시지를 가로채서 수정할 수 있습니다. 외부 REST API 호출을 포함하여 함수 내에서 사용자 정의 로직을 적용할 수 있으므로 메시지 검토를 위해 외부 서비스를 사용할 수 있습니다. 이 문서에서는 이 접근 방식을 사용하여 OpenAI와 통합합니다.
PubNub 함수는 콘텐츠 검토 및 감정 분석을 지원하는 사용자 지정 통합 기능을 제공하며, 여기에는 올가미 검토, Tisane, RegEx 기반 욕설 필터, Lexalytics 및 Community Sift 등이 포함됩니다.
PubNub의 BizOps 워크스페이스는 메시지 편집 및 삭제 기능을 포함하여 대화를 모니터링하고 중재할 수 있습니다.

Open AI 중재 엔드포인트

이 문서에서는 인공 지능(AI)을 사용하여 제공된 텍스트에 잠재적으로 유해한 용어가 포함되어 있는지 여부를 판단하는 REST API인 OpenAI의 모더레이션 API에 대해 살펴봅니다. 이 API의 목적은 개발자가 유해한 콘텐츠를 필터링하거나 제거할 수 있도록 하는 것이며, 작성 시점에서는 영어만 지원하지만 무료로 제공되고 있습니다.

모더레이션 API의 모델은 제공된 텍스트를 다음과 같이 분류합니다( API 문서에서 발췌):

혐오: 인종, 성별, 민족, 종교, 국적, 성적 지향, 장애 여부 또는 계급에 근거하여 혐오를 표현, 선동 또는 조장하는 콘텐츠입니다. 보호받지 못하는 집단(예: 체스 플레이어)을 겨냥한 혐오 콘텐츠는 괴롭힘에 해당합니다.
증오/협박: 인종, 성별, 민족, 종교, 국적, 성적 지향, 장애 여부 또는 카스트에 따라 대상 그룹에 대한 폭력이나 심각한 위해를 포함하는 혐오 콘텐츠입니다.
괴롭힘: 특정 대상에 대한 괴롭힘을 표현, 선동 또는 조장하는 콘텐츠.
괴롭힘/협박: 모든 대상에 대한 폭력 또는 심각한 위해를 포함하는 괴롭힘 콘텐츠.
자해: 자살, 자해, 섭식 장애 등 자해 행위를 조장, 장려 또는 묘사하는 콘텐츠입니다.
자해/의도: 화자가 자살, 자해, 섭식 장애 등 자해 행위에 관여하거나 관여할 의도가 있음을 표현하는 콘텐츠입니다.
자해/지시: 자살, 자해, 섭식 장애 등 자해 행위를 조장하거나 그러한 행위를 하는 방법에 대한 지침 또는 조언을 제공하는 콘텐츠입니다.
성적인 콘텐츠: 성행위에 대한 묘사 등 성적 흥분을 불러일으키거나 성적인 서비스를 홍보하는 콘텐츠(성교육 및 건강 관련 내용은 제외).
성적인 / 미성년자: 18세 미만의 개인이 등장하는 성적인 콘텐츠.
폭력: 죽음, 폭력 또는 신체적 상해를 묘사하는 콘텐츠.
폭력 / 그래픽: 죽음, 폭력 또는 신체적 상해를 그래픽으로 자세히 묘사하는 콘텐츠.

결과는 다음과 같이 JSON 구조로 제공됩니다(API 문서에서 발췌):

{
  "id": "modr-XXXXX",
  "model": "text-moderation-007",
  "results": [
    {
      "flagged": true,
      "categories": {
        "sexual": false,
        "hate": false,
        "harassment": false,
        "self-harm": false,
        "sexual/minors": false,
        "hate/threatening": false,
        "violence/graphic": false,
        "self-harm/intent": false,
        "self-harm/instructions": false,
        "harassment/threatening": true,
        "violence": true
      },
      "category_scores": {
        //  Out of scope for this article
      }
    }
  ]
}

PubNub에서 Open AI 모더레이션 API 호출하기

이 단계별 튜토리얼에 따라 PubNub함수를 사용하여 모더레이션 API를 모든 PubNub 애플리케이션에 쉽게 통합할 수 있습니다:

함수를 사용하면 송수신되는 메시지와 같이 PubNub 플랫폼에서 발생하는 실시간 이벤트를 캡처할 수 있으며, 해당 함수 내에서 사용자 지정 서버리스 코드를 작성하여 필요에 따라 메시지를 수정, 경로 변경, 보강 또는 필터링할 수 있습니다.

이 함수 유형은 메시지가 전달되기 전에 호출되며 메시지가 수신자에게 전달되기 전에 실행을 완료해야 합니다. PubNub 문서에서 자세한 배경과 세부 사항을 확인할 수 있지만 요약하면 '게시 또는 실행 전'은 메시지 또는 해당 페이로드를 변경할 수 있는 동기식 호출입니다.

PubNub 함수 만들기

PubNub 관리자 포털에 로그인하고 관리하려는 앱의 애플리케이션과 키 집합을 선택합니다.
'빌드' 탭 아래에서 찾을 수 있는 '함수'를 선택합니다.
'+ 새 모듈 만들기'를 선택하고 모듈의 이름과 설명을 입력합니다.
'+ 새 함수 만들기'를 선택하고 함수 이름을 지정합니다.
이벤트 유형으로 '게시 또는 실행 전'을 선택합니다.
채널 이름에 *를 입력합니다(이 데모에서는 *를 사용하지만 애플리케이션에서는 여기에서 관리하려는 채널만 지정할 수 있습니다).

PubNub 함수를 생성한 후에는 Open AI API 키를 비밀로 제공해야 합니다.

'내 비밀'을 선택하고 'OPENAI_API_KEY'라는 이름의 새 키를 생성합니다.
Open AI API 키를 생성하고 해당 키가 일반 API에 액세스할 수 있는지 확인합니다.
생성된 API 키를 방금 생성한 PubNub 함수 시크릿에 제공합니다.

PubNub 함수의 본문은 다음과 같습니다:

const xhr  = require('xhr');
const vault = require('vault');

export default request => {
  if (request.message && request.message.text)
  {
    let messageText = request.message.text
    return getOpenaiApiKey().then(apiKey => {
      return openAIModeration(messageText).then(aiResponse => {
        //  Append the response to the message
        request.message.openAiModeration = aiResponse;
        //  If the message was harmful, you might also choose to report the message here.
        return request.ok();
      })
    })
  }
  return request.ok();
};

let OPENAI_API_KEY = null;
function getOpenaiApiKey() {
  // Use cached key
  if (OPENAI_API_KEY) {
      return new Promise(resolve => resolve(OPENAI_API_KEY));
  }
  // Fetch key from vault
  return vault.get("OPENAI_API_KEY").then(apikey => {
      OPENAI_API_KEY = apikey;
      return new Promise(resolve => resolve(OPENAI_API_KEY));
  });
}

function openAIModeration(messageText) {
  const url = 'https://api.openai.com/v1/moderations';
  const http_options = {
    'method': 'POST',
    'headers': {
      "Content-Type": "application/json",
      "Authorization": `Bearer ${OPENAI_API_KEY}`,
    },
    'body': JSON.stringify({
      "input": messageText
    }),
    timeout: 9500,
    retries: 0
  };
  return xhr.fetch(url, http_options)
    .then((resp) => {
      const body = JSON.parse(resp.body);
      return body;
    })
    .catch((err) => {
      console.log(err);
      return "Open AI Timed out";
    });
}

함수 자체는 매우 간단합니다:

수신된 각 메시지에 대해

Open AI 모더레이션 함수에 전달합니다.
반환된 모더레이션 객체를 메시지(JSON) 객체에 새 키로 추가합니다.

함수를 저장하고 모듈이 시작되었는지 확인합니다.

지연 시간

방금 만든 PubNub 함수는 메시지가 전송될 때마다 동기적으로 실행되며, 해당 메시지는 함수 실행이 완료될 때까지 전달되지 않습니다. 함수에 외부 API 호출이 포함되어 있으므로 전달 지연 시간은 Open AI에 대한 API 호출이 얼마나 빨리 반환되는지에 따라 달라지며, 이는 PubNub의 통제를 벗어난 것이며 상당히 높을 수 있습니다.

사용자 경험의 저하를 완화하는 방법에는 여러 가지가 있습니다. 대부분의 배포는 발신자에게 메시지가 전송되었다는 즉각적인 피드백을 제공한 다음 읽기 영수증에 의존하여 메시지가 전달(또는 보고)되었음을 나타냅니다.

클라이언트 애플리케이션 업데이트

일반적인 채팅 앱의 대부분의 기능을 보여주기 위해 PubNub Chat SDK를 사용하는 React 애플리케이션인 Chat 데모를 사용하여 애플리케이션 내에서 모더레이션 페이로드를 처리하는 데 필요한 것이 무엇인지 고려해 보겠습니다.

잠재적으로 유해한 메시지가 표시되어야 하는지 여부를 추적하는 속성을 설정합니다:

 const [showHarmfulMessage, setShowHarmfulMessage] = useState(false)

그리고 유해할 수 있는 메시지를 기본적으로 표시하지 않도록 로직을 추가합니다(이 경우 message.tsx 내에):

{(
  !message.content.openAiModeration || 
  !message.content.openAiModeration?.results[0].flagged || 
  showHarmfulMessage) && (message.content.text
)}
{
  !showHarmfulMessage && 
  message.content.openAiModeration?.results[0].flagged && 
  <span>Message contains potentially harmful content 
    <span className="text-blue-400 cursor-pointer" 
    onClick={() => {setShowHarmfulMessage(true)}}>(Reveal)
    </span>
  </span>
}

![Chat Moderation with OpenAI - Image](pubnub.com/cdn/3prze68gbwl1/1qmBAFCDiDwwKdp.. "Chat Moderation with OpenAI - Image 01")

이러한 변경 사항은 호스팅된 버전의 Chat 데모에는 제공되지 않지만, 사용 설명서에 이를 빌드하고 자체 키 집합에서 직접 실행할 수 있는 전체 지침이 포함되어 있다는 점에 유의하세요.

마무리

지금까지 Open AI를 사용하여 애플리케이션에 모더레이션과 감성 분석을 모두 추가하는 빠르고 쉬운(그리고 무료인) 방법을 알아봤습니다.

Open AI와 PubNub의 통합에 대해 자세히 알아보려면 다음 리소스를 확인하세요:

함수와 OpenAI GPT API 통합하기
PubNub 및 ChatGPT로 챗봇 구축하기 (PubNub 쇼케이스에 챗봇 추가하기)
PubNub & Chat GPT / OpenAI로 지오 앱 개선하기

개발팀( devrel@pubnub.com )에 문의하거나 지원팀에 연락하여 PubNub 개발과 관련된 모든 부분에 대해 도움을 받으세요.

PubNub이 어떤 도움을 드릴 수 있나요?

이 문서는 원래 PubNub.com에 게시되었습니다.

저희 플랫폼은 개발자가 웹 앱, 모바일 앱 및 IoT 디바이스를 위한 실시간 인터랙티브를 구축, 제공 및 관리할 수 있도록 지원합니다.

저희 플랫폼의 기반은 업계에서 가장 크고 확장성이 뛰어난 실시간 에지 메시징 네트워크입니다. 전 세계 15개 이상의 PoP가 월간 8억 명의 활성 사용자를 지원하고 99.999%의 안정성을 제공하므로 중단, 동시 접속자 수 제한 또는 트래픽 폭증으로 인한 지연 문제를 걱정할 필요가 없습니다.

PubNub 체험하기

라이브 투어를 통해 5분 이내에 모든 PubNub 기반 앱의 필수 개념을 이해하세요.

설정하기

PubNub 계정에 가입하여 PubNub 키에 무료로 즉시 액세스하세요.

시작하기

사용 사례나 SDK에 관계없이 PubNub 문서를 통해 바로 시작하고 실행할 수 있습니다.

OpenAI를 사용한 채팅 중재

펍넙 함수 및 OpenAI의 무료 중재 API를 사용하여 펍넙 채팅 중재하기