AI는 사람의 지시를 따르는 도구를 넘어, 더 복잡한 판단과 업무에까지 활용되고 있습니다. 사람은 AI를 활용해 미처 찾지 못한 대안을 얻거나 반복적인 업무의 부담을 줄이고, 더 중요한 판단과 창의적인 활동에 집중할 수 있습니다. 인간중심성에서 중요한 것은 이러한 활용에서도 판단과 선택의 주체가 사람 자신이라는 점입니다. AI가 사람의 불안이나 정보 부족과 같은 취약한 상태를 부당하게 이용하거나 정보와 선택지를 왜곡하여 특정한 판단이나 행동을 유도하는 방향으로 개발·활용된다면, 사람이 스스로 판단하고 선택할 여지가 줄어들고 자신의 역량을 충분히 발휘하기 어려워질 수 있습니다. 따라서 AI는 사람의 판단과 선택을 지원하고, 창의성과 문제 해결 역량을 강화하는 방향으로 개발되고 활용될 필요가 있습니다.

AI가 맡는 업무의 범위가 넓어지고 작동 방식이 복잡해지면서 사람이 모든 과정을 직접 감독하거나 AI의 개별 판단에 일일이 관여하기는 어려워지고 있습니다. 이에 따라 사람이 모든 과정에 직접 관여하는 방식 외에도, AI의 역할과 범위를 정하고 그 작동을 살피며 필요한 경우 개입하는 방식이 함께 고려되고 있습니다. 이를 위해 상황에 따라 AI의 작동을 확인하거나 제한·중단하는 등의 방법이 활용될 수 있습니다. 이러한 수단의 유형과 수준은 AI의 활용 목적과 사람에게 미치는 영향 등에 따라 달라질 수 있습니다.

AI가 편리하고 유용하더라도 판단을 지나치게 AI에게 맡기면 스스로 생각하고 결정하는 힘이 약해질 수 있습니다. 이러한 과의존은 이용자의 태도에서만 비롯되지는 않습니다. AI가 사람의 판단을 지나치게 대신하도록 설계되거나, 이용자가 산출물을 충분히 검토하기 어려운 방식으로 서비스가 제공되는 경우에도 과의존은 커질 수 있습니다. 따라서 AI를 설계할 때에는 사람이 맡아야 할 역할을 함께 고려해야 하고, 이용자는 산출물이 자신의 상황과 목적에 맞는지 검토한 뒤 활용해야 합니다. 이러한 노력이 함께 이루어질 때 비로소 사람은 자신의 역량을 발휘하는 데 도움이 되는 수단으로 AI를 활용할 수 있습니다.

AI는 여러 정보를 결합·분석하여 개인의 성향이나 생활방식 등 기존 정보만으로는 알기 어려운 새로운 정보를 추론할 수 있습니다. 이러한 기능이 개인이 예상하지 못했거나 원하지 않는 방식으로 활용되면 사생활을 침해하거나 부당한 감시의 수단이 될 수 있습니다. 특히 개인의 행동이나 이동을 지속적으로 추적하거나, 개인이 스스로 드러내지 않은 사적인 정보까지 추론하는 경우가 대표적입니다. 따라서 AI를 개발하고 활용할 때는 그 기능이 부당한 감시나 사생활 침해의 수단이 될 가능성을 살필 필요가 있습니다.

AI의 개발과 활용 과정에서는 학습과 서비스 제공 등을 위해 개인정보가 다양한 방식으로 처리될 수 있습니다. 이때 정해진 목적에 필요한 범위에서 개인정보를 처리하고, 그 과정에서 개인정보가 유출되거나 정해진 목적과 다르게 이용되지 않도록 해야 합니다. 또한 여러 정보를 결합하는 과정에서 특정 개인이 불필요하게 식별될 수 있다는 점도 고려할 필요가 있습니다. 따라서 AI 생애주기 전반에서 개인정보 처리의 특성과 위험에 맞는 보호 조치를 마련하는 것이 중요합니다.

AI가 개인정보를 다양한 방식으로 활용할수록, 개인이 자신의 정보가 언제 어떤 목적으로 어떻게 이용되는지 알고 그 이용에 관해 필요한 선택을 할 수 있어야 합니다. 정보주체는 자신의 개인정보가 어떻게 처리되고 있는지 확인하고, 필요한 경우 정정·삭제 등 자신의 권리를 행사할 수 있어야 합니다. 이를 위해서는 개인정보의 처리에 관한 정보를 알기 쉽게 제공하고, 정보주체가 자신의 권리를 실질적으로 행사할 수 있도록 필요한 방법과 절차를 마련할 필요가 있습니다.

AI는 학습에 사용한 데이터나 설계 방식에 따라 편향된 결과를 낼 수 있습니다. 사회 일각의 차별과 불평등이 학습용 데이터에 반영되어 있다면 AI의 판단이나 산출물이 이를 되풀이하거나 확대할 수 있습니다. 한편, 성별·연령·장애·인종·사회적 신분 등에 따른 특정 집단의 경험과 상황이 데이터에 충분히 반영되지 않은 경우에는 해당 집단에 불리한 오류가 발생하거나 결과의 품질이 낮아질 수 있습니다. 편향을 완전히 제거하기는 어렵고, 어떤 편향이 차별이나 부당한 불이익으로 이어지는지는 AI가 활용되는 맥락에 따라 달라질 수 있습니다. 따라서 데이터와 알고리즘, 산출물에서 나타나는 편향을 지속적으로 살피고, 이러한 편향이 부당한 차별로 이어지지 않도록 개선해 나갈 필요가 있습니다.

누구나 AI의 혜택과 기회를 공평하게 누릴 수 있어야 한다는 것이 모두에게 같은 결과를 보장한다는 뜻은 아닙니다. 기기와 이용 환경, 경제적 여건, 디지털 역량이나 AI 제품·서비스의 설계 방식 등으로 인해 누구도 AI에 접근하거나 그 혜택과 기회를 누리는 데 부당한 제약이나 배제를 겪지 않아야 한다는 의미입니다. 특히 장애인, 고령자 등 AI 제품이나 서비스를 이용하는 데 어려움을 겪는 사람에게는 각자의 여건과 필요를 고려한 적절한 지원이 제공될 필요가 있습니다.

AI는 사회의 여러 분야와 사람들의 일상에 폭넓게 활용되며, 그 영향은 다양한 개인과 집단에 미칩니다. 따라서 AI의 개발·활용 기준과 방향에 관한 논의가 특정 주체에 한정되어서는 안 되며, 폭넓은 참여가 보장될 필요가 있습니다. 여기서 참여란 AI가 어떻게 개발·활용되고 사회에 어떤 영향을 미치는지에 관한 논의에서 다양한 이해관계자가 의견을 제시하고 그 의견이 고려될 기회를 갖는 것을 의미합니다. 이는 모든 이해관계자가 개별 AI의 개발 과정에 직접 참여해야 한다는 의미는 아닙니다.

AI의 개발과 활용에는 데이터를 수집하고 모델을 개발하는 주체, 이를 제품이나 서비스로 제공하는 주체, 운영하고 이용하는 주체, 관련 제도와 여건을 마련하는 주체 등 여러 주체가 관여합니다. 이처럼 다양한 주체가 관여하면 각 단계에서 누가 어떤 역할과 책임을 맡는지 불분명해질 수 있습니다. 또한 AI는 일정 범위에서 자율적으로 판단하거나 업무를 수행할 수 있어, 사람이 정한 절차나 지시에 따라서만 작동하는 일반적인 도구나 서비스와 달리 문제가 발생했을 때 책임 소재를 확인하기가 더욱 어려워질 수 있습니다. 따라서 AI의 개발과 활용에 관여하는 각 주체가 자신의 역할과 책임을 명확히 인식하고, 이를 이행하는 것이 중요합니다.

AI의 개발과 활용으로 문제가 발생한 경우에는 그 원인과 책임 소재를 확인하는 한편, 피해를 입은 사람에 대한 구제도 함께 이루어져야 합니다. 여러 주체가 관여하는 AI의 특성상 책임 소재를 확인하는 데 여러 단계를 거칠 수 있는데, 피해 구제는 적시에 효과적으로 이루어져야 합니다. 따라서 피해를 입은 사람이 신속하고 실질적인 구제를 받을 수 있도록 필요한 절차와 수단을 마련하는 것이 중요합니다.

AI의 개발과 활용에 관여하는 주체마다 보유한 역량과 자원, 영향력은 서로 다릅니다. 비례적 책임은 모든 주체에게 같은 수준의 역할과 부담을 요구하는 것이 아니라, 역량과 영향력이 큰 주체일수록 자신의 결정과 활동이 미치는 영향을 더욱 폭넓게 살피고 그에 상응하는 책임을 다해야 한다는 의미입니다. 이러한 책임은 개별 기업이나 한 국가의 범위에만 한정되지 않습니다. AI의 혜택이 일부 국가·지역·집단에 집중되고 그 부담이 다른 곳에 편중되면 기존의 격차와 불평등이 커질 수 있으므로, AI의 혜택과 부담이 사회와 국제사회에 어떻게 분배되는지도 함께 고려할 필요가 있습니다.

AI의 오류나 이상 작동은 사람의 생명과 신체, 정신적 건강에 위해를 주거나 재산상 피해를 일으킬 수 있습니다. 예를 들어 자율주행차가 사람이나 장애물을 잘못 인식하면 사고가 발생할 수 있고, 의료 현장에서 AI의 판단 결과에 오류가 있으면 환자의 건강이 위협받을 수 있습니다. 또한 사람과 지속적으로 상호작용하는 AI가 이용자에게 유해하거나 부적절한 정보·응답을 반복적으로 제공하는 경우 정신적 건강에 부정적인 영향을 줄 수 있으며, 산업설비를 제어하는 AI의 비정상적인 작동은 작업자의 부상이나 시설 파손으로 이어질 수 있습니다. 따라서 AI를 설계하고 이용할 때는 그 작동으로 인해 발생할 수 있는 위험을 살피고, 사람의 생명·신체·정신적 건강에 위해가 발생하거나 재산상 피해가 생기지 않도록 하는 것이 중요합니다. 여기서 재산상 피해는 AI의 작동으로 인해 발생하는 재산상의 손실이나 손상을 의미하며, 지식재산권 및 영업비밀 등 권리 침해와는 구분됩니다.

모든 AI에 같은 수준의 안전조치가 필요한 것은 아닙니다. AI의 용도와 활용 환경, 발생 가능한 피해의 성격과 정도를 고려하여 위험 수준을 판단하고, 그에 맞는 안전조치를 마련할 필요가 있습니다. 위험은 AI 자체의 오류나 이상 작동뿐만 아니라 본래의 목적과 다른 사용, 안전장치의 우회, 외부 공격 등으로도 발생할 수 있습니다. 따라서 이러한 위험에 미리 대비하고, 문제가 발생한 경우에는 피해가 확대되지 않도록 지체 없이 대응하는 것이 중요합니다. 안전한 AI 활용을 위해서는 AI를 만드는 주체뿐만 아니라 이용자의 역할도 중요합니다. 이용자 역시 안전장치를 우회하거나 AI를 본래의 목적과 다르게 사용하지 않아야 합니다.

AI의 발전으로 위험의 범위도 개인을 넘어 사회 전체로 확대될 수 있습니다. 예를 들어 AI의 활용이 허위·조작정보를 대규모로 생성·확산해 여론 형성과 사회적 의사결정을 방해하거나, 고도화된 사이버공격이나 생물학적 위험을 증폭시키는 데 활용될 수 있습니다. 또한 AI의 자율성이 높아질수록 사람을 의도적으로 속이거나 인간의 통제를 회피하고, 사람의 의도와 무관하게 스스로 복제·확산하는 등 새로운 형태의 위험이 나타날 가능성도 있습니다. 따라서 이러한 위험의 발생 가능성과 영향의 크기를 지속적으로 살피고, 사회의 안전을 위해 필요한 경우 예방·제한·대응할 수 있는 수단을 마련하는 것이 중요합니다.

AI에 요구되는 성능은 절대적으로 정해지는 것이 아닙니다. 같은 정도의 오차라도 AI의 이용 목적과 적용 분야, 그 결과가 미치는 영향에 따라 허용될 수 있는 수준이 달라집니다. 예를 들어 단순한 편의 기능과 사람의 권리나 안전에 중요한 영향을 미치는 기능에 같은 수준의 성능을 요구하기는 어렵습니다. 따라서 AI를 개발·활용할 때는 그 목적과 활용 맥락을 고려하여 최소한 어느 정도의 성능이 필요한지 기준을 정할 필요가 있습니다. 아울러 의도된 사용 조건에서 실제 성능이 해당 기준 아래로 떨어지지 않도록 관리하는 것이 중요합니다.

AI가 맡은 업무를 신뢰할 수 있게 수행하려면 의도된 목적과 허용된 권한의 범위가 분명해야 합니다. AI가 그 범위를 벗어나 작동하거나 허용되지 않은 방식으로 다른 시스템·정보에 접근하면 의도한 것과 다른 결과가 나타날 수 있습니다. 이는 AI의 모든 행동과 결과를 미리 예측해야 한다는 의미는 아닙니다. 중요한 것은 AI가 맡은 업무와 부여받은 권한의 범위를 분명히 하고, 그 범위를 벗어난 작동이 나타날 경우 이를 확인하고 대응할 수 있도록 하는 것입니다.

AI는 의도된 사용 조건에서 기대한 성능을 보이더라도, 실제로는 입력되는 데이터나 이용 방식, 주변 환경이 예상과 다를 수 있습니다. 이러한 조건의 차이에 따라 결과의 품질이 크게 달라지거나 예상하지 못한 방식으로 작동한다면 AI를 신뢰하기 어렵습니다. 따라서 다양한 사용 조건에서도 AI가 안정적으로 작동하도록 하고, 이용되는 동안 그 성능과 작동 상태를 지속적으로 점검해야 합니다. 이상 징후가 나타나면 그 원인을 파악하고 개선하는 것이 중요합니다.

이용자와 영향받는 자는 어떤 과정에 AI가 활용되고 있는지 알 수 있어야 합니다. 이를 위해 AI가 활용된다는 사실과 그 목적, AI가 담당하는 역할과 활용된 수준 등 필요한 정보를 알기 쉽게 제공할 필요가 있습니다. AI를 개발하고 제공하며 운영하는 주체가 서로 다른 경우에는 각자가 자신의 역할과 책임을 다할 수 있도록 AI의 기능과 한계, 작동 상태 등에 관한 정보를 서로 공유하는 것도 중요합니다. 다만 모든 정보를 같은 수준으로 제공해야 하는 것은 아니며, 제공할 정보의 범위와 구체성은 AI의 활용 목적과 영향, 정보를 제공받는 사람의 이해 수준과 필요 등을 고려하여 달라질 수 있습니다.

AI가 개인의 권리와 의무, 기회 등에 영향을 미치는 판단이나 결정에 활용되는 경우에는 그 결과뿐만 아니라 어떤 기준과 정보에 따라 그러한 결과가 나왔는지를 이해할 수 있는 것이 중요합니다. 특히 개인에게 미치는 영향이 중대할수록 당사자가 그 판단이나 결정이 내려진 이유를 이해하고, 필요한 경우 이의를 제기하거나 재검토를 요청할 수 있도록 충분한 설명을 제공할 필요가 있습니다. 이를 위해 AI의 판단 기준과 위험 수준 등에 관한 정보를 이해하기 쉬운 방식으로 제공해야 합니다. 다만 정보를 제공하고 설명하는 과정에서는 설명의 필요성과 함께 개인정보와 보안, 영업비밀, 지식재산권 등 보호할 필요가 있는 정보도 고려해야 합니다.